Crawlabilité – Crawlability

Glossaire – SEO technique

La crawlabilité désigne la facilité avec laquelle un robot d’exploration, Googlebot en tête, peut atteindre les pages d’un site, les télécharger et y trouver les liens vers les suivantes. Elle conditionne l’indexation sans la garantir, et Google précise que l’exploration n’est pas un critère de classement.

Pour un dirigeant, la question tient en une phrase : les pages que vous payez pour produire sont-elles seulement lues par Google ? Une page jamais explorée n’a aucune chance d’apparaître dans les résultats, quelle que soit sa qualité. Le 18 octobre 2026, nous avons contrôlé les fichiers robots.txt et les plans de site (sitemaps) de 95 sites classés dans le top 10 de Google sur dix requêtes commerciales. Aucun ne bloque Googlebot. Mais sur les 70 sites dont le sitemap a pu être testé, 29 y déclarent au moins une adresse qui redirige, renvoie vers une autre page ou refuse l’indexation.

Ce que couvre cette fiche :

• Les quatre contrôles qu’une page passe avant d’être indexée
• Relevé : les sitemaps de 70 sites de première page
• Tester une règle robots.txt avant de la publier
• Détectée, explorée, indexée : lire la Search Console
• Budget de crawl : qui est vraiment concerné
• Les questions qui reviennent

Le parcours d’une adresse

Les quatre contrôles qu’une page passe avant d’être indexée

Avant qu’un algorithme juge le contenu d’une page, Googlebot doit la trouver, avoir le droit de la lire, obtenir une réponse exploitable du serveur, puis lire ce qu’elle contient. Chaque étape peut arrêter la suivante, et aucune ne se voit en naviguant sur le site.

1. Être trouvée

Googlebot découvre une adresse (URL) de deux façons : un lien qui pointe vers elle, ou sa présence dans un sitemap XML, le fichier qui liste les pages d’un site. Google indique ne suivre de façon fiable que les liens écrits sous forme de balise <a> munie d’un attribut href ; un bouton qui change de page par un script (onclick) peut rester invisible pour lui. Une page qu’aucune autre ne lie, dite orpheline, ne dépend plus que du sitemap : c’est pourquoi le maillage interne fait partie de la crawlabilité, pas seulement du classement.

2. Être autorisée

Avant toute page, le robot lit le fichier robots.txt placé à la racine du site. Ce fichier est normalisé depuis septembre 2022 par la RFC 9309 de l’IETF, qui formalise un protocole proposé par Martijn Koster en 1994. Google en lit les 500 premiers Kio et le garde en mémoire jusqu’à 24 heures. Deux comportements surprennent : un robots.txt absent (erreur 404) vaut autorisation complète ; un robots.txt qui renvoie une erreur serveur (5xx) suspend l’exploration de tout le site pendant 12 heures, puis Google s’appuie sur la dernière version valide pendant 30 jours au plus.

3. Répondre correctement

Le serveur répond par un code HTTP. Un 200 signifie que la page est servie. Google suit jusqu’à 10 redirections successives, et sa documentation sur le budget de crawl déconseille les longues chaînes. Un 404 ou un 410 fait retirer l’adresse de l’index et espacer les visites. Les erreurs 5xx et le code 429 (trop de requêtes) font ralentir Googlebot, jusqu’à ce que les réponses redeviennent normales.

4. Être lisible

Googlebot ne lit que les 2 premiers Mo d’une page HTML (64 Mo pour un PDF), selon sa documentation mise à jour le 3 février 2026. Quand le contenu est produit par JavaScript, la page passe par une file d’attente de rendu où elle peut rester « quelques secondes, mais parfois davantage », écrit Google. Le JavaScript SEO traite ce cas en détail ; retenez qu’un texte ou un lien absent du code HTML initial arrive plus tard, et parfois pas du tout.

Relevé B-Strong du 18 octobre 2026

Relevé : ce que cachent les sitemaps de 70 sites de première page

Les guides sur la crawlabilité décrivent des sites en panne. Nous voulions savoir à quoi ressemblent des sites qui marchent. Méthode : dix requêtes commerciales (logiciel de facturation, devis toiture, location utilitaire, mutuelle senior, panneau solaire prix, cuisine équipée, formation excel, assurance chien, chaussures de randonnée, expert comptable en ligne), Google France, ordinateur, relevé par l’API de SE Ranking. Les dix premiers résultats naturels donnent 95 domaines distincts, YouTube écarté. Pour chacun, nous avons lu le robots.txt, puis tiré au hasard jusqu’à 20 adresses déclarées dans le sitemap et vérifié leur code de réponse, leur balise robots, leur URL canonique (la version qu’une page désigne comme officielle) et leur statut dans le robots.txt du site.

Robots.txt et sitemaps de 95 sites classés dans le top 10 de Google

Dix requêtes commerciales, Google France, ordinateur. Aucun site ne ferme la porte à Googlebot ; quatre sur dix lui indiquent pourtant des adresses qui ne mènent pas à une page indexable.

Fichier robots.txt (83 sites lisibles)

• Indique l’adresse de son sitemap73
• Nomme au moins un robot d’IA12
• Bloque un robot d’IA sur tout le site4
• Bloque Googlebot sur tout le site0

URL déclarées dans les sitemaps (1 382 testées, 70 sites)

1 283 propres (92,8 %)99 avec un défaut

• Redirigée vers une autre adresse79
• Canonique vers une autre page12
• Balise noindex6
• Interdite par le robots.txt du site2
• Erreur 4041

Les 70 sites testés : 29 déclarent au moins une URL qui n’est pas indexable telle quelle

13121099654432222211111111111111

nombre d’URL en défaut sur l’échantillon tiré (20 par site au plus) échantillon sans défaut. Cinq sites concentrent 53 des 99 URL en défaut.

Le robots.txt est rarement le problème. 83 fichiers ont pu être lus ; 2 sites n’en ont pas, ce qui revient à tout autoriser ; 10 ont refusé notre requête par leur pare-feu et sont exclus. Aucun ne ferme le site à Googlebot, 3 seulement lui consacrent des règles propres, et 73 sur 83 (88 %) y donnent l’adresse de leur sitemap. Les fichiers sont courts : 695 octets en médiane, 19 Ko pour le plus long, loin de la limite de 500 Kio.

Les robots d’IA sont cités plus souvent qu’ils ne sont bloqués. 12 sites nomment au moins un des cinq robots testés (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot). 4 en bloquent au moins un sur tout le site, le plus souvent CCBot, le robot de la base publique Common Crawl. Le sujet compte si vous visez une citation dans les réponses des IA : un blocage décidé il y a deux ans par prudence peut contredire votre stratégie actuelle.

Le sitemap, lui, est souvent approximatif. Sur 1 382 adresses testées, 1 283 (92,8 %) sont propres. 99 ne le sont pas : 79 redirigent ailleurs, 12 désignent une autre page comme canonique, 6 portent une balise noindex, 2 sont interdites par le robots.txt du même site, 1 renvoie une erreur 404. Ces défauts touchent 29 sites sur 70, et cinq sites en concentrent plus de la moitié (53 sur 99).

Ces sites sont pourtant en première page, ce qui remet le sujet à sa place : un sitemap imparfait ne fait pas tomber un site. Il envoie en revanche des signaux contradictoires, puisque Google demande de n’y inscrire que les adresses que vous voulez voir dans ses résultats. Sur un site vitrine de 50 pages, l’effet est négligeable. Sur un catalogue de 200 000 fiches, 5 % d’adresses redirigées font 10 000 URL qui envoient Googlebot vers une étape de plus avant la vraie page. Limites du relevé : vingt adresses par site, une seule date, des requêtes envoyées depuis nos serveurs (un pare-feu peut traiter Googlebot autrement), et aucun lien testé entre ces défauts et la position.

Outil

Tester une règle robots.txt avant de la publier

Un robots.txt se lit mal à l’œil nu, parce que l’ordre des lignes ne compte pas. Google applique trois principes, décrits dans sa documentation et dans la RFC 9309 : un robot ne suit qu’un seul groupe de règles, celui qui le nomme le plus précisément (un groupe User-agent: GPTBot fait ignorer à GPTBot tout le groupe *) ; quand plusieurs règles correspondent à une adresse, la plus longue l’emporte ; à longueur égale, la moins restrictive, Allow, gagne. Le joker * remplace n’importe quelle suite de caractères et $ marque la fin de l’adresse. La directive Crawl-delay, encore présente dans beaucoup de fichiers, est ignorée par Google.

Testeur de robots.txt : la règle la plus longue l’emporte

Modifiez le fichier, le robot ou l’adresse : le verdict applique les règles de la norme RFC 9309 telles que Google les décrit (groupe le plus spécifique, règle la plus longue, Allow à égalité, jokers * et $).

Fichier robots.txt

• User-agent: *
• Disallow: /panier
• Allow: /panier/aide
• Disallow: /*?tri=
• Disallow: /*.pdf$
•  
• User-agent: GPTBot
• Disallow: /

Robot

Googlebot

Adresse testée

/panier/aide?tri=prix

Exploration autorisée

Groupe appliqué : User-agent: *. Trois règles correspondent ; la plus longue, Allow: /panier/aide (12 caractères), l’emporte sur Disallow: /panier et Disallow: /*?tri= (7 caractères chacune).

L’erreur la plus coûteuse reste de bloquer une page pour la faire disparaître. Un Disallow interdit la lecture, pas l’indexation : Google peut afficher l’adresse sans description, à partir des liens qui pointent vers elle. Pour retirer une page des résultats, il faut une balise noindex, et laisser la page explorable pour que Google puisse lire cette balise. Faire les deux à la fois revient à cacher l’instruction au robot qui doit l’appliquer.

Crawlabilité et indexabilité

Détectée, explorée, indexée : lire la Search Console

Le rapport « Indexation des pages » de la Google Search Console distingue deux statuts que l’on confond souvent, et qui n’appellent pas le même remède.

« Détectée, actuellement non indexée » : Google connaît l’adresse mais ne l’a pas encore explorée. Son aide l’explique le plus souvent par une exploration reportée pour ne pas surcharger le site. C’est un sujet de crawlabilité : serveur lent, trop d’adresses inutiles, page trop peu liée.

« Explorée, actuellement non indexée » : Google a lu la page et a choisi de ne pas l’indexer pour l’instant. Le robot est passé ; la question porte désormais sur la page elle-même, son contenu, sa ressemblance avec une autre, son utilité. Améliorer l’exploration ne changera rien.

Le cas inverse existe aussi : « Indexée malgré le blocage par le fichier robots.txt ». Pour aller plus loin que ces rapports, le rapport « Statistiques sur l’exploration » montre le volume de requêtes de Googlebot et leurs codes de réponse, et seuls les fichiers de log du serveur donnent la liste exacte des pages visitées, adresse par adresse.

Budget de crawl

Budget de crawl : qui est vraiment concerné

Le budget de crawl est le nombre de pages que Googlebot peut et veut explorer sur un site. Google le décompose en deux parts : la capacité, qui dépend de la santé du serveur (des réponses rapides et stables la font monter, les erreurs 5xx et 429 la font baisser), et la demande, qui dépend de l’inventaire d’adresses connues, de leur popularité et du besoin de les rafraîchir. Son guide, mis à jour le 22 juillet 2026, vise en priorité les sites de plus d’un million de pages modifiées chaque semaine, ceux de plus de 10 000 pages modifiées chaque jour, et ceux qui accumulent les adresses « Détectées, actuellement non indexées ». En dessous, le budget limite rarement quoi que ce soit.

Google a aussi publié une liste d’idées reçues sur l’exploration. Celles qui reviennent le plus en audit :

Idée reçue	Ce qu’en dit Google (décembre 2025)
Un petit site est exploré moins souvent qu’un grand	Faux : un site au contenu important et souvent modifié est exploré souvent, quelle que soit sa taille
Un site plus rapide est exploré davantage	Vrai : Googlebot récupère plus de pages dans le même temps
Les pages en 404 gaspillent le budget	Faux, sauf le code 429 : Google ne reçoit qu’un code de réponse
Une balise noindex pilote le budget de crawl	En partie : la page doit être explorée pour que la balise soit lue
Crawl-delay ralentit Googlebot	Faux : Google ne traite pas cette directive
L’exploration est un critère de classement	Faux : elle est nécessaire à l’indexation, elle ne classe rien

Beaucoup de guides recommandent encore l’outil de gestion des paramètres d’URL de la Search Console : Google l’a supprimé le 26 avril 2022, en expliquant qu’il devinait désormais mieux quels paramètres sont inutiles. L’ancien testeur de robots.txt a, lui, été remplacé par le rapport robots.txt de la Search Console.

FAQ

Les questions qui reviennent

Comment savoir si Google explore bien mes pages ?
Commencez par l’outil d’inspection d’URL de la Search Console : il indique si la page est autorisée par le robots.txt, la date de la dernière exploration et la façon dont Googlebot l’a reçue. Le rapport robots.txt liste les fichiers que Google a lus pour les 20 principaux hôtes de la propriété au cours des 30 derniers jours, avec les éventuelles erreurs. Le rapport « Statistiques sur l’exploration » donne les volumes et les codes de réponse. Pour une mesure exacte, page par page, il faut les fichiers de log du serveur.

Un sitemap suffit-il à faire explorer une page ?
Il signale la page à Google, qui reste libre de l’explorer quand il le juge utile. Google le traite comme une indication parmi d’autres, ignore les champs priority et changefreq, et n’utilise la date lastmod que si elle est exacte de façon vérifiable. Une page présente dans le sitemap mais liée par aucune autre reste fragile : le lien interne reste le chemin le plus sûr. Notre relevé montre aussi qu’un sitemap mérite un contrôle régulier, même sur des sites bien classés.

Faut-il bloquer les robots d’IA dans le robots.txt ?
La décision relève de votre stratégie de contenu. Bloquer GPTBot ou ClaudeBot empêche ces éditeurs de lire vos pages pour leurs propres usages. Google-Extended n’a pas de robot propre : c’est un mot-clé du robots.txt qui indique si les contenus explorés par Google peuvent servir à entraîner les modèles Gemini, et Google précise qu’il n’a aucun effet sur la présence ou le classement dans la recherche. Dans notre relevé, 4 sites sur 83 bloquent au moins un robot d’IA sur tout le site.

Mon site de 40 pages a-t-il un problème de crawl ?
Rarement de budget, parfois d’accès. Sur un petit site, les vrais blocages sont une règle Disallow héritée d’une mise en préproduction, une balise noindex oubliée après une refonte, une page que plus aucun menu ne lie, ou un serveur qui répond par intermittence en erreur 5xx. Ces quatre points se vérifient en une heure avec la Search Console.

Sources citées

1. IETF, RFC 9309, Robots Exclusion Protocol, M. Koster, G. Illyes, H. Zeller, L. Sassman, septembre 2022
2. Google, How Google interprets the robots.txt specification (mise à jour du 31 août 2026)
3. Google Search Central, Introduction to robots.txt (mise à jour du 10 décembre 2025)
4. Google Search Central, Googlebot (mise à jour du 3 février 2026)
5. Google, HTTP status codes and network errors (mise à jour du 4 février 2026)
6. Google Search Central, Make your links crawlable (mise à jour du 10 décembre 2025)
7. Google Search Central, Understand JavaScript SEO basics (mise à jour du 4 mars 2026)
8. Google, Crawl budget management for large sites (mise à jour du 22 juillet 2026)
9. Google, Myths about crawling (mise à jour du 18 décembre 2025)
10. Google Search Central, Build and submit a sitemap (mise à jour du 8 juillet 2026)
11. Google, Common crawlers, Google-Extended (mise à jour du 15 octobre 2026)
12. Aide Search Console, rapport Indexation des pages
13. Aide Search Console, rapport robots.txt
14. Search Engine Land, suppression de l’outil de paramètres d’URL au 26 avril 2022

Relevé B-Strong du 18 octobre 2026 : API SERP de SE Ranking (Google France, ordinateur, langue française, tâches 245521795 à 245521879), robots.txt et sitemaps lus le même jour. Fiche mise à jour le 18 octobre 2026.

Terme lié à connaître : le JavaScript SEO.

La crawlabilité est le premier des cinq axes examinés dans un audit SEO : tant qu’une page n’est pas explorée, rien de ce qu’elle contient ne compte.