Parfois, l’indexation de votre fichier robots.txt peut prendre un certain temps… Après une modification importante de celui-ci, il peut donc être utile d’indiquer aux robots des moteurs de recherche qu’il à été modifié!
Si vous souhaitez forcer Google (et les autres!) à mettre à jour votre fichier plus rapidement, vous pouvez effectuer cette petite modification dans votre .htaccess en y ajoutant cette instruction:
<FilesMatch "\.(txt)$">
Header set Cache-Control "max-age=60, public, must-revalidate"
</FilesMatch>
Il vous est possible de consulter la dernière date d’indexation de votre fichier robots.txt dans Google Webmaster Tools.
Une fois que vous remarquerez que la modification à été effectuée, supprimez l’instruction de votre .htaccess afin d’éviter que votre fichier robots.txt soit crawlé plus que de raison 😉