Aller au contenu
search-engine-optimizedpar Netsolution

Les robots d'IA et Google-Extended

Google-Extended est un jeton de robots.txt sans agent utilisateur propre : il décide si le contenu peut servir à entraîner les modèles Gemini et à les alimenter au moment de la question. Il n'a aucun effet sur l'inclusion dans la recherche, donc aucun sur les réponses d'IA qui en font partie.

Un jeton qui n’explore rien

La première chose à comprendre sur Google-Extended est qu’il ne désigne pas un robot. C’est une étiquette qu’on écrit dans un fichier, et rien d’autre ne lui correspond du côté du réseau.

Google-Extended ne possède pas d'agent utilisateur HTTP distinct : l'exploration se fait avec les agents existants, et le jeton n'existe que dans le fichier robots.txt, à titre de commande.

officielSource : Google, « Robots d'exploration courants de Google »

Conséquence immédiate, et elle épargne des heures : il est inutile de chercher ce nom dans les journaux d’un serveur. L’exploration se fait avec les agents habituels ; le jeton ne sert qu’à déclarer une préférence sur l’usage qui en sera fait ensuite.

Ce jeton permet de décider si le contenu exploré peut servir à entraîner les futures générations de modèles Gemini et à les ancrer, c'est-à-dire à leur fournir du contenu au moment de la question pour améliorer l'exactitude et la pertinence.

officielSource : Google, « Robots d'exploration courants de Google »

Deux usages, donc, et il vaut la peine de les distinguer. L’entraînement concerne les modèles à venir. L’ancrage concerne le moment de la question : fournir du contenu au modèle pour améliorer l’exactitude de sa réponse. Ce second usage est celui que la plupart des éditeurs ont réellement en tête quand ils parlent d’être cités.

Le malentendu qui coûte le plus cher

Google-Extended n'a aucune incidence sur la présence d'un site dans la recherche et n'est pas utilisé comme signal de classement.

officielSource : Google, « Robots d'exploration courants de Google »

La phrase est rassurante et elle est régulièrement lue à l’envers. Elle dit que bloquer ce jeton ne coûte rien au référencement ; elle ne dit pas que le bloquer retire des réponses d’IA affichées dans la recherche. C’est l’autre document qui règle ce point.

L'IA étant intégrée à la recherche, ce sont les directives adressées à Googlebot dans le fichier robots.txt qui commandent l'accès pour ces fonctionnalités ; pour limiter ce qui est montré des pages, l'éditeur renvoie aux règles nosnippet, data-nosnippet, max-snippet et noindex.

officielSource : Google Search Central, « Les fonctionnalités d'IA et votre site web »

Autrement dit, les deux dispositifs ne se recouvrent pas. Ce qui est intégré à la recherche se commande avec les moyens de la recherche : l’accès par les directives adressées à Googlebot, l’affichage et la reprise par les règles d’extrait. Le jeton, lui, gouverne des produits distincts.

Une ligne à ajouter dans votre robots.txt et vos contenus n'alimenteront plus les réponses générées par IA de Google, sans aucun impact sur vos positions.

La seconde moitié est exacte, la première ne l'est pas. Le jeton cité concerne l'entraînement et l'ancrage de modèles dans d'autres produits ; les réponses affichées dans la recherche relèvent des directives adressées à Googlebot et des règles d'extrait.

Les autres jetons, et ce qu’ils recouvrent

GoogleOther est un robot générique que différentes équipes peuvent employer pour récupérer du contenu public, par exemple pour des explorations ponctuelles de recherche et développement ; les préférences qui lui sont adressées ne concernent aucun produit en particulier.

officielSource : Google, « Robots d'exploration courants de Google »

Les préférences adressées à Google-CloudVertexBot concernent des explorations demandées par les propriétaires de sites eux-mêmes pour construire des agents, et n'ont aucun effet sur la recherche ni sur les autres produits.

officielSource : Google, « Robots d'exploration courants de Google »

Le second cas mérite d’être signalé, parce qu’il est contre-intuitif : ce jeton concerne des explorations que des propriétaires de sites demandent eux-mêmes, pour construire leurs propres agents. Le bloquer par précaution revient à se refuser un service qu’on aurait pu vouloir.

Un jeton propre à un éditeur ne règle que le cas de cet éditeur : bloquer Google-Extended ne dit rien aux autres systèmes qui explorent le web, et la portée réelle d'une décision se mesure au nombre de jetons qu'il faudrait écrire.

hypothèse

Le statut est celui d’une lecture, et elle découle de la structure du dispositif : un jeton appartient à l’éditeur qui le publie et n’engage que lui. Rien dans la documentation ne prétend le contraire ; nous en tirons qu’une décision de principe sur l’IA ne se met pas en œuvre par une ligne, mais par une liste qu’il faut entretenir.

Décider de l'usage de son contenu par les systèmes d'IA, jeton par jeton

hypothèse

Effort
modéré
Délai avant effet
immédiat
Risque
nul
Durabilité
éphémère

L’effort est faible à l’écriture, réel à l’entretien. Le délai est immédiat, un fichier robots.txt étant relu fréquemment. Le risque est faible pour ce jeton précis, la documentation écrivant qu’il n’affecte ni la présence dans la recherche ni le classement. La durabilité est la plus basse de ce site : ces noms changent, et une liste figée cesse de dire ce qu’elle croit dire.

Ce qui ne marche pas, ou ne marche plus

Chercher Google-Extended dans ses journaux. Le jeton n’a pas d’agent utilisateur distinct, il n’y laisse donc aucune trace.

Ensuite, bloquer ce jeton en pensant sortir des réponses d’IA de la recherche. Ces fonctionnalités font partie de la recherche et se commandent avec les moyens de la recherche.

Enfin, recopier une liste de robots à bloquer trouvée dans un article. Les noms changent, et un fichier qui date donne l’illusion d’une décision toujours appliquée.

Sources

  1. Robots d'exploration courants de Google — Googleconsulté le
  2. Les fonctionnalités d'IA et votre site web — Google Search Centralconsulté le

Bloc revalidé le

Questions fréquentes

Bloquer Google-Extended fait-il disparaître des réponses d'IA de la recherche ?
Non. Ce jeton concerne l'entraînement des modèles Gemini et leur ancrage dans les applications correspondantes. Les aperçus et le mode conversationnel font partie de la recherche : ce sont les directives adressées à Googlebot qui commandent l'accès, et les règles d'extrait qui limitent ce qui en est montré.
Bloquer ce jeton nuit-il au référencement ?
La documentation répond directement : Google-Extended n'a aucune incidence sur la présence d'un site dans la recherche et n'est pas utilisé comme signal de classement. C'est l'une des rares affirmations de ce corpus formulée de manière aussi nette, et elle se cite telle quelle.
Comment repérer Google-Extended dans mes journaux ?
On ne le repère pas : il n'a pas d'agent utilisateur distinct, l'exploration se faisant avec les agents existants. Le jeton n'existe que dans le fichier robots.txt, où il sert de commande. Chercher sa trace dans des journaux est donc une perte de temps, faute de trace à trouver.
Qu'est-ce que GoogleOther vient faire là ?
C'est un robot générique utilisé par différentes équipes pour récupérer du contenu public, y compris pour des explorations ponctuelles de recherche et développement. Les préférences qui lui sont adressées ne concernent aucun produit précis, ce qui en fait un cas distinct des deux autres jetons.
Faut-il bloquer tous les robots d'IA ?
C'est une décision éditoriale, pas technique, et elle a un coût de maintenance : chaque système publie son propre jeton, et une liste écrite une fois vieillit. La question utile n'est pas comment bloquer, mais ce que le site perd et gagne à ne plus être lu par ces systèmes.