Aller au contenu
search-engine-optimizedpar Netsolution

Crawl et audit technique

Un outil de crawl parcourt votre site à la manière d'un robot d'exploration et rapporte ce qu'il rencontre : redirections, pages inaccessibles, titres manquants, consignes contradictoires. Il montre la structure réelle du site, souvent différente de celle qu'on croit avoir construite, mais il ne juge aucune page.

Que fait un outil de crawl ?

Il part d’une adresse, suit les liens qu’il y trouve, et recommence. À l’arrivée, il livre la liste des pages atteignables depuis ce point d’entrée, avec ce qu’il a rencontré en chemin : codes de réponse, chaînes de redirection, titres, consignes d’indexation, adresses en double.

Sa valeur tient à un déplacement de point de vue. Vous connaissez le site que vous avez voulu construire ; l’outil montre celui qu’un robot rencontre. L’écart entre les deux est presque toujours plus grand que prévu, et il est fait de pages atteignables qu’on croyait retirées, de redirections empilées, et de variantes d’adresses produites par des filtres.

Un robot d'exploration ne télécharge pas toutes les pages qu'il découvre : certaines sont interdites par le site, d'autres exigent une authentification.

officielSource : Google Search Central, « In-depth guide to how Google Search works »

Quel est le problème que cette catégorie détecte le mieux ?

Celui-ci, et il justifie à lui seul l’exercice :

Une page interdite dans le fichier robots.txt empêche le moteur de lire sa consigne de non-indexation, et elle peut donc rester affichée dans les résultats.

officielSource : Google Search Central, « Block Search indexing with noindex »

Une configuration où l’accès est interdit alors qu’une consigne de non-indexation attend d’être lue est invisible à l’œil nu : chaque fichier, pris séparément, paraît correct. Un outil qui lit les deux en même temps la signale immédiatement. C’est le cas d’usage le plus rentable de la catégorie, et il concerne surtout les sites qui viennent de passer de la préproduction à la production.

Crawler son site avant une mise en ligne qui touche aux adresses

hypothèse

Effort
modéré
Délai avant effet
immédiat
Risque
nul
Durabilité
structurelle

Ce qu’un outil de crawl ne fait pas

Il ne dit pas si une page mérite d’être indexée, et il ne le saura jamais :

L'indexation n'est pas garantie : toutes les pages traitées par le moteur n'entrent pas dans l'index.

officielSource : Google Search Central, « In-depth guide to how Google Search works »

Il ne voit pas non plus ce que le moteur a réellement fait de vos pages. Un crawl est une simulation menée par un robot qui n’est pas celui du moteur, à un instant donné, depuis un point de départ que vous avez choisi. Il montre ce qui est atteignable, pas ce qui a été retenu.

Enfin, il ne hiérarchise pas ses trouvailles de façon fiable.

La plupart des alertes produites par un audit automatique signalent un écart à une convention interne à l'outil, et non un obstacle constaté à l'exploration ou à l'indexation.

hypothèse

Ce statut « hypothèse » est assumé : c’est une observation d’usage, pas une propriété documentée des outils. Elle a une conséquence pratique immédiate, qui est de lire la liste d’alertes en cherchant les trois catégories qui empêchent réellement quelque chose — accès refusé, consigne contradictoire, adresse instable — et d’ignorer le reste jusqu’à ce que ces trois-là soient traitées.

Qu’est-ce qui remplace un outil de crawl ?

Pour un petit site, la Search Console suffit à répondre à la question la plus utile : cette page a-t-elle été explorée, et est-elle conservée ? Elle répond du point de vue du moteur, ce qu’aucun outil tiers ne peut faire. Elle ne donne pas la vue d’ensemble d’un crawl, et c’est justement pour cela que les deux ne s’opposent pas.

Pour vérifier une consigne d’exclusion, le protocole lui-même est public et normalisé : la syntaxe se relit directement dans la spécification, sans intermédiaire.

Ce qui ne marche pas, ou plus

Votre score technique est de 62 sur 100 : corrigez les 214 erreurs détectées pour améliorer votre positionnement.

Le score et le nombre d'erreurs dépendent des règles activées dans l'outil, pas de l'état du site. Aucun moteur ne publie de score technique, et rien ne relie une liste d'écarts conventionnels à un changement de position.

Cinq fiches sont publiées ici. Deux outils payants : Screaming Frog SEO Spider, qui rend l’inventaire brut des adresses, et Sitebulb, qui hiérarchise ses constats à votre place — ce qui est un confort et une interprétation de plus.

Trois outils ouverts en reprennent chacun une part : advertools refait l’exploration en script, sans interface ; Lighthouse audite une page à la fois ; Unlighthouse porte ce même audit à l’échelle du site, en échantillonnant.

Aucun des trois ne rend l’inventaire brut, qui est ce que la licence payante achète réellement. La page outils open source détaille ce partage.

Sources

  1. In-depth guide to how Google Search works — Google Search Centralconsulté le
  2. Block Search indexing with noindex — Google Search Centralconsulté le
  3. Introduction to robots.txt — Google Search Centralconsulté le
  4. RFC 9309, Robots Exclusion Protocol (septembre 2022) — IETFconsulté le

Bloc revalidé le

Les fiches de cette catégorie

Questions fréquentes

À partir de quelle taille de site un outil de crawl devient-il utile ?
Dès qu'on ne peut plus lister ses pages de mémoire, ce qui arrive plus tôt qu'on ne croit sur un site à filtres ou à pagination. En dessous, la Search Console et une lecture attentive du plan de site suffisent à repérer les mêmes problèmes.
Un audit qui remonte des centaines d'alertes révèle-t-il un site en mauvais état ?
Pas nécessairement, et c'est le piège de cette catégorie. Le nombre d'alertes dépend surtout du nombre de règles activées dans l'outil, pas de l'état réel du site. Trois alertes sur une consigne de non-indexation oubliée comptent plus que deux cents remarques sur des longueurs de titre jugées non conformes.
Faut-il crawler son site avant chaque mise en ligne ?
Avant les mises en ligne qui touchent aux adresses, aux redirections ou aux consignes d'indexation : oui, systématiquement. Ce sont précisément les changements qui cassent en silence, sans rien afficher d'anormal à l'écran. Pour une simple modification de texte, l'exercice n'apporte rien qu'une relecture attentive ne donne déjà.
Que remplacer par du gratuit dans cette catégorie ?
La Search Console rapporte l'état d'exploration et d'indexation de vos pages telles que le moteur les voit, ce qu'aucun outil tiers ne peut connaître. Elle ne remplace pas un crawl complet, mais elle répond d'abord à la question la plus utile.