Empêcher l'indexation de son YesWiki par les moteurs de recherche


Il est parfois intéressant de pouvoir limiter l'indexation de son Wiki par les moteurs de recherche.

Pour ce faire :
Il faut agir sur le fichier robot.txt qui se trouve à la racine de votre wiki.
Suggestion : il y a également une solution à la fois sûre et simple à mettre en place qui consiste à demander une authentification htaccess/htpassword. https://ouvaton.coop/proteger-par-htpasswd. É partir du moment où le wiki concerné est un outil de travail collaboratif, cette étape ne constitue pas une véritable contrainte.

Editez ce fichier et remplacez
# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

User-agent: *
par
User-Agent: *    
Disallow: /
ATTENTION Pour une efficacité réelle (étant donné que google ne respecte plus trop le robots.txt,, il convient de rajouter dans wakka.config.php, cette ligne
'meta' => array('robots' => 'noindex, nofollow'),


Voici d'autres exemples de fichier robots.txt :


Exclusion de toutes les pages :
User-Agent: *
Disallow: /

Exclusion d'aucune page (équivalent É l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:

Autorisation d'un seul robot :
User-Agent: nomDuRobot
Disallow :
User-Agent: *
Disallow: /

Exclusion d'un robot :
User-Agent: nomdurobot
Disallow: /
User-Agent: *
Disallow:

Exclusion d'une page :
User-Agent: *
Disallow: /repertoire/chemin/page.html

Exclusion de plusieurs page :
User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html

Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :
User-Agent: *
Disallow: /repertoire/

Indiquer à Google ne pas suivre un lien :
<a href="http://www.yeswiki.net" rel="nofollow">ancre du texte de la page wiki</a>