Empêcher l'indexation de son YesWiki par les moteurs de recherche


Il est parfois intéressant de pouvoir limiter l'indexation de son Wiki par les moteurs de recherche.

Pour ce faire :
Il faut agir sur le fichier robot.txt qui se trouve à la racine de votre wiki par FTP.

Editez ce fichier et remplacez
# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

User-agent: *

par
User-Agent: *    
Disallow: /


Voici d'autres exemples de fichier robots.txt :


Exclusion de toutes les pages :
User-Agent: *
Disallow: /

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:

Autorisation d'un seul robot :
User-Agent: nomDuRobot
Disallow :
User-Agent: *
Disallow: /

Exclusion d'un robot :
User-Agent: nomdurobot
Disallow: /
User-Agent: *
Disallow:

Exclusion d'une page :
User-Agent: *
Disallow: /repertoire/chemin/page.html

Exclusion de plusieurs page :
User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html

Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :
User-Agent: *
Disallow: /repertoire/

Indiquer à Google ne ne pas suivre un lien :
<a href="http://www.yeswiki.net" rel="nofollow">ancre du texte de la page wiki</a>