Aller au contenu
search-engine-optimizedpar Netsolution

Budget d'exploration

Le budget d'exploration désigne ce qu'un moteur consacre à télécharger les pages d'un site. Il résulte de deux facteurs : ce que le serveur supporte, et l'envie qu'a le moteur d'y revenir. La documentation réserve explicitement le sujet aux très grands sites, ou à ceux qui changent très vite.

À qui ce sujet s’adresse-t-il, exactement ?

Commençons par l’information la plus utile de ce guide, et la plus souvent omise dans les articles qui traitent le sujet : la documentation qui décrit le budget d’exploration précise elle-même à qui elle est destinée.

La documentation réserve ce sujet à trois profils : les très grands sites dont le contenu change modérément souvent, les sites de taille moyenne dont le contenu change très rapidement, et ceux dont une large part des adresses est classée « découverte, actuellement non indexée ».

officielSource : Google Search Central, « Optimize your crawl budget »

Les ordres de grandeur cités sont un million de pages uniques pour le premier profil, dix mille pour le second. Autant dire que la plupart des sites qui lisent des conseils sur le budget d’exploration n’entrent dans aucune des trois catégories. Et la source enfonce le clou :

Si vos pages apparaissent indexées le jour même de leur publication, ce guide ne vous concerne pas.

officielSource : Google Search Central, « Optimize your crawl budget »

C’est un test à un critère, applicable en une minute. Si vos pages entrent dans l’index le jour où vous les publiez, le reste de ce guide relève de la culture générale et pas de votre liste de travaux.

De quoi le budget d’exploration est-il fait ?

De deux choses distinctes, que la documentation nomme séparément. La première est une contrainte technique :

La limite de capacité d'exploration borne le temps total que le serveur passe à maintenir des connexions ouvertes pour le moteur, en tenant compte du nombre de connexions simultanées et de leur durée.

officielSource : Google Search Central, « Optimize your crawl budget »

Elle décrit une capacité, au sens où l’entend un administrateur système : combien de connexions simultanées, pendant combien de temps. Un serveur lent ou instable réduit cette capacité, non par sanction mais par mesure de prudence — un robot qui ferait tomber un site ne rendrait service à personne.

La seconde est une contrainte d’intérêt :

La demande d'exploration dépend notamment de la taille du site, de sa fréquence de mise à jour, de la qualité de ses pages et de leur pertinence, comparées à celles d'autres sites.

officielSource : Google Search Central, « Optimize your crawl budget »

Cette phrase mérite d’être relue lentement, parce qu’elle contient les deux mots que les optimisations techniques ne peuvent pas atteindre : « qualité » et « pertinence », et surtout la comparaison finale, « comparées à celles d’autres sites ». Autrement dit, l’envie de revenir n’est pas une propriété interne du site : elle est relative.

Couverture d'un carnet de rationnement américain de 1943, portant un numéro imprimé, des cases d'identité à remplir et la mention « Not valid without stamp ».
Une allocation fixée d'avance, qu'on dépense coupon par coupon et qu'on ne réclame pas. L'exploration d'un site se comporte pareil : chaque adresse servie en consomme une part, y compris celles qui ne méritaient pas d'être servies.Bill Faulk — Domaine public · Wikimedia Commons, relevé le

Où part réellement le budget, sur les sites concernés ?

Sur les sites concernés, l'essentiel du gaspillage d'exploration vient d'adresses produites automatiquement par des filtres, des tris et des paginations, plutôt que de pages rédigées.

hypothèse

Ce statut « hypothèse » signale une observation d’usage, pas une mesure publiée. Elle a une conséquence directe : sur un site à facettes, le nombre d’adresses atteignables croît en produit des options disponibles, alors que le nombre de pages réellement distinctes croît à peine. Trois filtres combinables à cinq valeurs chacun suffisent à fabriquer plus d’adresses que le catalogue n’a de produits.

Et le robot n’a aucun moyen de savoir à l’avance lesquelles sont utiles :

Un robot ne télécharge pas toutes les pages qu'il découvre : certaines sont interdites par le site, d'autres exigent une authentification.

officielSource : Google Search Central, « In-depth guide to how Google Search works »

Réduire les adresses inutiles produites par les filtres et les tris

hypothèse

Effort
élevé
Délai avant effet
quelques mois
Risque
faible
Durabilité
structurelle

L’axe du risque n’est pas nul, et c’est important. Retirer des adresses de la file d’exploration est une opération qui se trompe facilement de cible : un paramètre jugé inutile peut porter une page réellement demandée, et le blocage empêche alors toute correction par la page elle-même. Ce travail se fait sur inventaire, jamais par précaution.

Comment décider, plutôt que d’appliquer des recettes ?

Trois questions, dans cet ordre.

D’abord : suis-je dans l’un des trois profils documentés ? Si non, l’affaire s’arrête là, et le temps se dépense mieux ailleurs. Ensuite : quelle proportion de mes adresses reste durablement au stade de la découverte sans exploration ? C’est le signal que la source retient, et il se lit dans le rapport d’indexation plutôt que dans un outil tiers. Enfin, seulement alors : quelles familles d’adresses n’ont aucune raison d’exister, et par quel mécanisme les faire disparaître — supprimer, regrouper sous une canonique, ou bloquer.

L’ordre importe. Chacune de ces trois interventions a un coût de développement et un risque d’erreur ; les mener sans avoir répondu aux deux premières questions revient à payer une dette qu’on n’a pas contractée.

Ce qui ne marche pas, ou plus

Améliorez votre crawl budget en supprimant les pages inutiles, en réduisant la profondeur de clic à 3 et en soumettant un sitemap chaque jour pour signaler vos nouveautés.

Ces gestes sont présentés comme un réglage universel alors que la documentation restreint le sujet à trois profils de sites. La profondeur chiffrée n'est publiée nulle part, et soumettre un sitemap quotidiennement ne modifie ni la capacité du serveur ni l'intérêt du moteur.

Reste une confusion plus tenace, qu’il vaut la peine de nommer : l’exploration et le classement sont deux étapes différentes. Un site davantage exploré n’est pas un site mieux placé ; il est un site dont les pages sont examinées plus souvent. Confondre les deux transforme un travail d’infrastructure en promesse de position, ce que rien dans la documentation ne soutient.

Sources

  1. Optimize your crawl budget — Google Search Centralconsulté le
  2. In-depth guide to how Google Search works — Google Search Centralconsulté le
  3. Introduction to robots.txt — Google Search Centralconsulté le
  4. Page indexing report — Google Search Consoleconsulté le

Bloc revalidé le

Questions fréquentes

Mon site de cent pages a-t-il un problème de budget d'exploration ?
Presque certainement pas. La documentation officielle écarte explicitement ce sujet pour les sites dont les pages apparaissent indexées le jour de leur publication. Chercher à optimiser une contrainte qui ne s'applique pas revient à traiter un symptôme qu'on n'a pas.
Bloquer des pages dans le fichier d'exclusion améliore-t-il l'exploration ?
Cela retire des adresses de la file, ce qui est utile quand elles sont massivement inutiles. Mais un blocage empêche aussi la lecture de toute consigne portée par ces pages, y compris une consigne de non-indexation. Le geste se réfléchit, il ne s'applique pas par précaution.
Un site plus rapide est-il davantage exploré ?
La limite de capacité dépend du temps que le serveur passe à tenir des connexions ouvertes, donc un serveur qui répond mieux peut en supporter davantage. Cela n'augmente pas pour autant l'envie du moteur de revenir, qui dépend d'autres facteurs.
Comment savoir si l'exploration est réellement mon problème ?
En regardant la part de vos adresses classées « découverte, actuellement non indexée » dans le rapport d'indexation. Une part importante et durable est le signal que la documentation retient. Une poignée de pages dans cet état ne constitue pas un diagnostic.