Vérifier qu'un robot est bien Googlebot
Un nom d'agent utilisateur se déclare, donc il s'invente. La méthode publiée consiste à résoudre l'adresse en nom, à vérifier que ce nom se termine par un domaine attendu, puis à résoudre ce nom en adresse et à retrouver la même. Les listes d'adresses publiées permettent le même contrôle à grande échelle.
Ce qu’une ligne de journal ne dit pas
Dans les journaux d’un serveur, une visite de robot se présente sous la forme d’un nom d’agent utilisateur : une chaîne de caractères que le client envoie avec sa requête. Elle se lit facilement, et c’est tout ce qu’on peut en dire.
Un nom d'agent utilisateur est une chaîne que le client choisit d'envoyer : il ne prouve rien par lui-même, ce que confirme indirectement l'existence même d'une procédure de vérification publiée.
hypothèse
Le statut est celui d’une lecture, et le raisonnement se tient en une phrase : la documentation publie une procédure de vérification, donc le nom déclaré ne suffit pas. Elle donne d’ailleurs le motif de cette page — le cas où un site s’inquiète de voir des visiteurs se réclamer de Google.
La méthode, en trois gestes
La vérification manuelle décrite tient en trois gestes : résoudre en sens inverse l'adresse relevée dans les journaux, vérifier que le nom obtenu appartient à l'un des trois domaines attendus, puis résoudre ce nom en adresse et retrouver l'adresse de départ.
officielSource : Google, « Vérifier les requêtes provenant des robots d'exploration de Google »
La raison de faire les deux résolutions plutôt qu’une seule mérite d’être comprise, parce qu’elle décide de la valeur du contrôle. La résolution inverse d’une adresse est renseignée par celui qui détient cette adresse : elle peut annoncer ce qu’elle veut. La résolution directe du nom obtenu, elle, dépend du domaine nommé. Faire les deux et retrouver la même adresse suppose donc de contrôler les deux côtés.
Le nom obtenu doit appartenir à l'un des trois domaines nommés par la documentation, et à eux seuls : googlebot.com, google.com ou googleusercontent.com.
officielSource : Google, « Vérifier les requêtes provenant des robots d'exploration de Google »
Trois domaines, et pas d’autre. Un nom qui contient « google » sans se terminer par l’un des trois n’établit rien, et c’est exactement la forme que prennent les tentatives observées dans les journaux.
L'exemple donné par la documentation se vérifie encore : l'adresse 66.249.66.1 se résout en crawl-66-249-66-1.googlebot.com, et ce nom se résout en retour vers la même adresse.
observéSource : Relevé effectué depuis un poste extérieur aux réseaux de l'éditeur, 2026-08-25
Le relevé a été refait pour cette page, sur l’exemple même de la documentation, et il concorde. Le
statut reste observé et non testé : deux commandes de résolution ne constituent pas un protocole,
et ce site réserve le second statut à des mesures décrites assez précisément pour être rejouées à
l’identique.
Notre pare-feu identifie Googlebot par son agent utilisateur et lui réserve une bande passante prioritaire, pour améliorer votre budget d'exploration.
Trois familles, trois comportements
Trois familles de robots sont distinguées, avec des comportements différents : les robots courants, qui respectent toujours les règles du fichier robots.txt lors des explorations automatiques ; les robots de cas particuliers, qui peuvent les respecter ou non ; et les récupérateurs déclenchés par une personne, qui les ignorent.
officielSource : Google, « Vérifier les requêtes provenant des robots d'exploration de Google »
Cette distinction explique une observation qui revient souvent, et qui passe d’ordinaire pour une anomalie : une adresse interdite dans le fichier robots.txt est tout de même récupérée. Si la requête vient d’un récupérateur déclenché par une personne, la documentation dit qu’elle ignore ces règles, et le motif est cohérent — la demande émane d’un utilisateur, pas d’un programme d’exploration.
Les suffixes diffèrent aussi selon la famille, ce qui rend le contrôle plus lisible : un nom en
googlebot.com désigne un robot courant, un nom en google.com peut désigner un robot de cas
particulier, et un récupérateur déclenché par une personne peut se résoudre vers un nom
d’hébergement.
Le contrôle à grande échelle
Pour un contrôle à grande échelle, la documentation renvoie à des listes d'adresses publiées au format JSON, une par famille de robots, à comparer avec l'adresse qui accède au site.
officielSource : Google, « Vérifier les requêtes provenant des robots d'exploration de Google »
Interroger le DNS pour chaque ligne d’un journal ne tient pas : le volume est trop grand et la latence s’additionne. Les listes publiées permettent une comparaison locale, plage par plage, sans aucune requête réseau. Elles ont une contrepartie qu’il faut nommer : elles changent, et une copie figée dans un pare-feu vieillit sans prévenir.
Vérifier l'origine des robots avant d'appliquer une règle de filtrage
hypothèse
- Effort
- modéré
- Délai avant effet
- immédiat
- Risque
- nul
- Durabilité
- structurelle
L’effort tient à deux commandes pour un contrôle ponctuel, à un peu de code pour un contrôle régulier. Le délai est immédiat, puisque la réponse arrive avec la résolution. Le risque est nul pour la vérification elle-même — il se trouve entièrement du côté du filtrage qu’elle précède. La durabilité est bonne : la méthode est publiée sous la même forme depuis des années, et seules les listes d’adresses évoluent.
Ce qui ne marche pas, ou ne marche plus
Se fier au seul agent utilisateur, d’abord. C’est la déclaration du client, et elle vaut ce que vaut la parole d’un inconnu.
Ensuite, coller dans un pare-feu une liste d’adresses relevée une fois. Les listes publiées existent pour être relues, et une plage retirée de la liste continuera d’être autorisée par la copie.
Enfin, conclure d’un nom contenant « google » que la requête vient de Google. Trois domaines sont nommés, la vérification porte sur la fin du nom, et la seconde résolution reste indispensable.
Sources
- Vérifier les requêtes provenant des robots d'exploration et des récupérateurs de Google — Googleconsulté le
- Codes d'état HTTP, erreurs réseau et erreurs DNS, et leur effet sur la recherche Google — Google Search Centralconsulté le
Bloc revalidé le
Questions fréquentes
- Pourquoi ne pas se fier au nom de l'agent utilisateur ?
- Parce qu'il est déclaré par celui qui demande la page, et qu'une chaîne de caractères se copie. L'existence même d'une procédure de vérification publiée le dit assez : si le nom suffisait, la procédure n'aurait pas lieu d'être. Les journaux d'un site un peu visité contiennent toujours de faux Googlebot.
- Une seule résolution DNS suffit-elle ?
- Non, et c'est le point que la méthode publiée insiste à décrire en deux temps. La résolution inverse donne un nom, que le titulaire de l'adresse contrôle en partie. La résolution directe de ce nom doit ensuite retrouver l'adresse de départ. C'est la concordance des deux qui établit quelque chose.
- Que faire d'un robot qui échoue au test ?
- Le traiter comme n'importe quel client anonyme : la vérification établit seulement qu'il n'est pas ce qu'il prétend être. Bloquer, limiter le débit ou ignorer relève de la politique du site. Attention toutefois à ne pas confondre les trois familles, dont deux portent des suffixes différents de googlebot.com.
- Tous les robots de Google respectent-ils robots.txt ?
- Non, et la documentation le dit sans détour. Seuls les robots courants respectent toujours les règles lors des explorations automatiques. Les robots de cas particuliers peuvent les respecter ou non, et les récupérateurs déclenchés par une personne les ignorent, parce que la demande vient d'un utilisateur et non d'un programme.
- Comment vérifier des milliers de lignes de journaux ?
- Par les listes d'adresses publiées au format JSON, une par famille, que la documentation met à disposition en notation CIDR. La comparaison se fait alors sans interroger le DNS pour chaque ligne. C'est la méthode recommandée dès que le volume dépasse quelques vérifications ponctuelles.