Le fichier robots.txt est souvent le premier fichier qu’on bricole en lançant son site, et souvent celui qu’on comprend le moins bien. Google vient de le rappeler dans une courte vidéo publiée le 21 octobre, deuxième épisode de sa série « Non-Canonical Cabinet ». Gary Illyes et Cherry Prommawin, tous deux chez Google, y passent en revue ce que l’on peut vraiment écrire dans ce fichier. Le message principal tient en une phrase : beaucoup de lignes que les webmasters croient utiles sont tout simplement ignorées.
Plan de l'article
Quatre règles, pas une de plus #
Comme le résume Abondance, Gary Illyes rappelle que l’analyseur de Google ne reconnaît que quatre règles : user-agent, allow, disallow et sitemap. Tout le reste passe à la trappe, sans message d’erreur.
La documentation officielle de Google sur le robots.txt dit la même chose, en précisant que « d’autres champs tels que crawl-delay ne sont pas acceptés ». Si vous avez copié un modèle trouvé en ligne avec un Crawl-delay: 10 pour ménager votre hébergement, sachez que Googlebot n’en tient aucun compte.
À lire PDF et SEO : ce que Google a dit sur leur indexation, leurs liens et leurs mises à jour
L’exemple du « don’t crawl »
Dans la vidéo, un exemple fait sourire mais il est instructif. Un webmaster écrit en toutes lettres « don’t crawl » suivi du nom d’une page secrète. Pour Google, « don’t crawl » n’est pas une règle valide : la ligne est ignorée, et la page risque donc d’être explorée quand même. Le robots.txt n’est pas un fichier où l’on donne des consignes en langage naturel. C’est un format strict, et une faute de syntaxe ne bloque rien.
Les emojis et les accents, deux pièges #
Cherry Prommawin pose une question volontairement absurde : peut-on mettre un emoji dans la ligne user-agent, par exemple pour tenir à l’écart les robots d’IA ? La réponse rapportée par Abondance est nette : les noms de robots ne peuvent contenir que des lettres et des tirets, la règle ne fonctionnera donc pas.
Les accents dans les adresses posent un problème plus réel pour un site en français. Une page /poulet-épicé peut s’écrire dans le fichier sous sa forme encodée, /poulet-%C3%A9pic%C3%A9. Google accepte les deux : sa documentation indique que le chemin « peut être constitué de caractères UTF-8 bruts ou de chaînes UTF-8 encodées en pourcentage ». Abondance prévient toutefois que certains autres robots peuvent ignorer toute la ligne s’ils ne savent pas lire les caractères bruts. Écrire la version encodée est donc le choix le plus sûr si vous voulez être compris de tous.
Attention à la casse
Autre détail qui coûte cher : les noms de champs et la valeur de user-agent ne sont pas sensibles à la casse, mais les chemins, eux, le sont. La documentation de Google donne l’exemple d’une règle sur /fish qui ne s’applique pas à /Fish.asp. Un dossier écrit avec une majuscule dans l’adresse et en minuscules dans le robots.txt reste donc ouvert aux robots.
À lire Ce qu’est un slug SEO : comment optimiser vos URL pour le référencement
Ce que fait Google quand le fichier pose problème #
Pour un petit site, le plus important n’est pas forcément la syntaxe mais le comportement de Google quand le fichier est absent ou inaccessible. La documentation est claire sur plusieurs points :
Une erreur 4xx sur le robots.txt (sauf la 429) est traitée comme s’il n’existait pas de fichier valide. Google explore alors le site sans restriction. À l’inverse, une erreur serveur 5xx est prise au sérieux : pendant les 12 premières heures, Google cesse d’explorer le site tout en réessayant de récupérer le fichier, puis il utilise pendant 30 jours la dernière version qu’il connaît. Un hébergement qui renvoie des erreurs 500 sur ce petit fichier peut donc freiner l’exploration de tout le site.
Google met aussi le fichier en cache, en général pendant 24 heures. Une correction n’est donc pas prise en compte à la minute. Enfin, seuls les 500 premiers Kio du fichier sont lus, ce qui ne gêne que les sites aux fichiers démesurés. Cherry Prommawin cite d’ailleurs un robots.txt composé à 97 % d’un dessin et à 3 % de directives.
Robots.txt et IA : il gère l’accès, pas l’usage #
Gary Illyes rappelle que les règles s’appliquent aussi bien aux moteurs de recherche qu’aux robots qui collectent des contenus pour entraîner des modèles d’IA, à condition de viser le nom exact de chaque robot. Mais Abondance insiste sur une limite : le robots.txt « encadre l’accès, pas l’usage des contenus par l’IA ». Un disallow dit au robot de ne pas entrer. Il ne dit rien de ce que devient un contenu déjà collecté.
À lire Sites incontournables pour évaluer et booster la performance de votre site web
Pour Google en particulier, l’article rappelle l’existence du jeton Google-Extended, proposé depuis 2023, qui permet de refuser l’usage de ses contenus pour les modèles Gemini sans toucher à l’indexation dans le moteur.
Ce que le robots.txt ne fait pas
Dernier rappel utile : le robots.txt n’est pas une protection. Comme le souligne le récapitulatif cité par Abondance, il n’empêche pas l’accès d’un client non autorisé. Une page privée doit être protégée par un mot de passe, pas cachée derrière une ligne disallow que n’importe qui peut lire en tapant /robots.txt après votre nom de domaine.
Le bon réflexe pour votre site #
Ouvrez votre propre fichier à l’adresse votresite.fr/robots.txt et relisez-le ligne par ligne. Supprimez ce qui ne relève pas des quatre règles reconnues, vérifiez la casse des chemins, encodez les accents et contrôlez que le fichier répond bien en 200. Quelques minutes suffisent, et c’est souvent là que se cache une page importante bloquée par erreur depuis des mois.
