Aller au contenu
search-engine-optimizedpar Netsolution

Le fichier robots.txt et son interprétation

Le fichier robots.txt contrôle l'exploration, pas l'indexation : une adresse bloquée peut encore apparaître dans les résultats, sans extrait. Les règles d'interprétation sont publiées, y compris l'arbitrage entre directives contradictoires, la taille maximale du fichier et le traitement des codes de réponse.

Un fichier qui parle d’exploration, et de rien d’autre

Le malentendu le plus répandu de tout le domaine tient en une confusion entre deux verbes : explorer et indexer. Le fichier robots.txt ne s’adresse qu’au premier.

Le moteur ne peut pas indexer le contenu d'une page dont l'exploration est interdite, mais il peut encore indexer son adresse et l'afficher dans les résultats sans extrait.

officielSource : Google Search Central, « How Google interprets the robots.txt specification »

La conséquence est contre-intuitive et vaut d’être posée franchement : pour qu’une page ne soit pas indexée, il faut qu’elle reste explorable. L’instruction qui demande de ne pas indexer se lit dans la page ou dans son en-tête HTTP, et une page interdite d’exploration n’est jamais lue. Bloquer et vouloir désindexer sont donc deux intentions qui s’annulent.

Panneau d'accueil d'un domaine ouvert au public, listant les chiens guides autorisés, une demande de ne pas déranger les paons, et les horaires d'ouverture.
Un panneau à l'entrée, qui énonce ce qu'on demande aux visiteurs et n'empêche personne de rien. C'est le régime exact de ce fichier : une consigne adressée aux explorateurs qui acceptent de la lire.Richard Webb — CC BY-SA 2.0 · Wikimedia Commons, relevé le

Ce que le fichier reconnaît

Quatre champs seulement sont pris en charge : user-agent, allow, disallow et sitemap.

officielSource : Google Search Central, « How Google interprets the robots.txt specification »

Quatre champs. Tout le reste de ce qu’on voit passer dans les fichiers du web — les directives de délai entre requêtes, les instructions d’indexation glissées dans le fichier, les champs inventés par tel outil — n’appartient pas à cette liste. Un champ non reconnu n’est pas une erreur bruyante : il est ignoré, silencieusement, ce qui est bien plus dangereux. On croit avoir donné une consigne.

Le protocole d'exclusion des robots est un standard publié par l'IETF, sur la voie des standards, et non une convention propre à un moteur.

officielSource : IETF, RFC 9309, « Robots Exclusion Protocol »

Cette précision compte pour une raison pratique : le protocole est un standard publié, donc lisible par n’importe qui, et les règles d’interprétation d’un moteur donné viennent par-dessus ce standard. Les deux documents se lisent ensemble, et c’est le seul domaine du référencement où la référence n’appartient pas à l’éditeur du moteur.

L’arbitrage entre règles contradictoires

C’est le point où l’intuition trompe le plus souvent, et il est documenté avec précision.

L'arbitrage se fait sur la longueur du chemin de la règle : la règle la plus spécifique s'applique, et en cas de conflit, y compris entre règles à jokers, c'est la moins restrictive qui l'emporte.

officielSource : Google Search Central, « How Google interprets the robots.txt specification »

Deux mécanismes se succèdent, et il faut les prendre dans l’ordre. La spécificité d’abord : c’est la longueur du chemin de la règle qui décide, pas son rang dans le fichier. Un fichier n’est donc pas une suite d’instructions lues de haut en bas, contrairement à ce que sa forme suggère. Le sens ensuite : à spécificité égale, la moins restrictive gagne. Une autorisation précise rouvre ce qu’une interdiction large avait fermé, et c’est ainsi qu’on garde accessible un fichier indispensable au rendu d’une page dont le dossier est par ailleurs interdit.

Vérifier chaque règle contre une liste d'adresses réelles avant de la publier

hypothèse

Effort
faible
Délai avant effet
immédiat
Risque
nul
Durabilité
structurelle

Deux limites matérielles qu’on n’anticipe jamais

Une limite de taille est appliquée au fichier, fixée à 500 kibioctets, et ce qui suit cette limite est ignoré.

officielSource : Google Search Central, « How Google interprets the robots.txt specification »

Une limite de taille paraît anecdotique jusqu’au jour où un site accumule les règles au fil des ans, une par incident. Ce qui dépasse est ignoré — sans avertissement, et donc sans que personne s’aperçoive que la moitié du fichier ne s’applique plus.

Le contenu du fichier est généralement gardé en cache jusqu'à vingt-quatre heures, et parfois plus longtemps lorsque le rafraîchissement de la version en cache est impossible.

officielSource : Google Search Central, « How Google interprets the robots.txt specification »

Le cache explique un phénomène que beaucoup prennent pour une lenteur du moteur : une correction n’agit pas tout de suite. Il a un corollaire plus désagréable — un blocage posé par erreur, puis retiré, continue d’agir un moment. C’est la raison pour laquelle une règle se vérifie avant d’être mise en ligne, et non par l’observation de ses effets.

Les codes de réponse, ou le fichier qu’on croit avoir

Les robots traitent toutes les erreurs de la série 4xx, à l'exception de 429, comme si aucun fichier robots.txt valide n'existait.

officielSource : Google Search Central, « How Google interprets the robots.txt specification »

Autrement dit : un fichier absent équivaut à une autorisation générale. C’est un choix de conception raisonnable — le web fonctionnerait mal si l’absence de fichier fermait les sites — mais il faut en tirer la conséquence. Un robots.txt qui répond une erreur au lieu de son contenu ne protège plus rien, et cette panne est de celles qui ne se voient pas sur un site par ailleurs parfaitement fonctionnel.

Les erreurs serveur suivent une logique distincte et graduée : les robots suspendent d’abord, puis s’appuient sur la version gardée en cache tout en réessayant, et leur comportement à long terme dépend de la disponibilité générale du site. La leçon pratique est la même dans les deux cas : la réponse HTTP de ce fichier fait partie de ce qu’on surveille, à égalité avec celle des pages.

Ce qui ne marche pas

Pour empêcher une page d'apparaître dans Google, ajoutez-la simplement au robots.txt : elle disparaîtra des résultats.

La documentation dit l'inverse : le moteur peut indexer l'adresse et l'afficher sans extrait. Le blocage empêche la lecture de la page, donc aussi la lecture de toute instruction de non-indexation qu'elle contiendrait. La consigne produit le résultat opposé à celui annoncé.

Un dernier réflexe mérite d’être nommé, parce qu’il paraît prudent : bloquer les fichiers de style et de script pour « économiser » l’exploration. Ils sont nécessaires au rendu de la page, et une page rendue sans eux n’est pas la page que voient les visiteurs. L’économie est réelle : ce qu’elle coûte l’est aussi.

Sources

  1. How Google interprets the robots.txt specification — Google Search Centralconsulté le
  2. Introduction to robots.txt — Google Search Centralconsulté le
  3. RFC 9309 — Robots Exclusion Protocol — IETFconsulté le

Bloc revalidé le

Questions fréquentes

Bloquer une page dans robots.txt la retire-t-elle des résultats ?
Non, et c'est écrit noir sur blanc : le moteur peut encore indexer l'adresse et l'afficher sans extrait. Le blocage empêche la lecture du contenu, pas la mention de la page. Pour qu'une page ne soit pas indexée, il faut au contraire qu'elle reste explorable.
Que se passe-t-il si le fichier renvoie une erreur ?
Une erreur de la série 4xx, sauf le code 429, est traitée comme si aucun fichier valide n'existait, donc comme une autorisation générale. Un fichier absent n'est pas un site fermé. Les erreurs serveur suivent une logique différente, graduée dans le temps selon la durée de la panne.
Quelle règle gagne quand deux règles se contredisent ?
L'arbitrage se fait sur la longueur du chemin : la règle la plus spécifique s'applique. À conflit égal, y compris entre règles comportant des jokers, c'est la moins restrictive qui l'emporte. Une autorisation précise peut donc rouvrir un dossier interdit plus haut.
Combien de temps une modification met-elle à être prise en compte ?
Le fichier est mis en cache, généralement jusqu'à vingt-quatre heures, et parfois davantage si le rafraîchissement est impossible. Une correction n'est donc pas immédiate, ce qui a une conséquence pratique : un blocage posé par erreur continue d'agir après avoir été retiré.