Glossaire – Définition

Le budget de crawl désigne la quantité de pages qu’un moteur de recherche est disposé à explorer et à indexer sur un site web dans un laps de temps donné.

Ce concept, officiellement documenté par Google en 2017 dans le blog Search Central, est longtemps resté méconnu des équipes éditoriales.
Pourtant, un budget de crawl mal géré est l’une des causes les plus fréquentes de pages stratégiques mal indexées, notamment sur les sites e-commerce, les portails à fort volume de contenu ou les plateformes à URL générées dynamiquement. Optimiser ce budget, c’est s’assurer que Googlebot consacre son temps d’exploration à vos pages qui comptent vraiment. On parle de notion de crawlabilité.

Pour bien comprendre :

• Budget de crawl : comment Google le calcule-t-il ?
• Quels types de pages gaspillent le budget de crawl ?
• Comment auditer et surveiller son budget de crawl ?
• Les 5 leviers techniques pour optimiser son budget de crawl
• L’avis de l’expert B-Strong
• Questions fréquentes

Un peu de technique

Budget de crawl : comment Google le calcule-t-il ?

Google détermine le budget de crawl d’un site en croisant deux variables : la limite de crawl (capacité du serveur à absorber les requêtes de Googlebot) et la demande de crawl (popularité et fraîcheur perçues des URLs).

Comprendre la mécanique de calcul du budget de crawl permet d’agir sur les bons leviers. Google Search Central a documenté deux composantes officielles que tout SEO technique doit maîtriser :

• La limite de crawl (Crawl Capacity Limit) : Googlebot ajuste automatiquement sa fréquence d’exploration pour ne pas saturer le serveur du site. Si les temps de réponse sont élevés, si le serveur renvoie des erreurs 5xx ou si le fichier robots.txt indique une directive Crawl-delay, Googlebot ralentit. À l’inverse, un serveur rapide et stable invite Googlebot à explorer davantage. C’est le plafond technique du budget.
• La demande de crawl (Crawl Demand) : Google priorise les URLs qui présentent le plus d’intérêt : popularité mesurée par les backlinks entrants, fraîcheur du contenu (une page mise à jour régulièrement est recrawlée plus souvent), et signaux de qualité globaux du domaine. Un site avec une forte autorité de domaine bénéficie mécaniquement d’une demande de crawl plus élevée.
• Le Crawl Budget effectif : C’est l’intersection des deux composantes précédentes. Il représente le nombre réel de pages explorées par Googlebot sur une période donnée — visible dans les logs serveur et partiellement dans Google Search Console via le rapport « Statistiques d’exploration ».
• L’indexation vs. l’exploration : Il est fondamental de distinguer les deux concepts. Googlebot peut crawler une page sans l’indexer (si elle retourne un noindex, si son contenu est jugé de faible valeur ou en doublon). Le budget de crawl concerne l’exploration — l’indexation est une étape ultérieure, soumise à ses propres critères de qualité.
• Googlebot Smartphone vs. Googlebot Desktop : Depuis le passage au Mobile-First Indexing (déployé progressivement entre 2018 et 2023), c’est principalement Googlebot Smartphone qui effectue le crawl de référence. Les logs serveur doivent filtrer sur son User-Agent spécifique pour une analyse précise.

Quels types de pages gaspillent le budget de crawl ?

Les principaux consommateurs parasites du budget de crawl sont les URLs à paramètres, les pages de filtres et de tri, les contenus dupliqués internes, les pages en erreur 404/410 et les redirections en chaîne.

Sur un site de plusieurs milliers de pages, une fraction seulement possède une réelle valeur SEO. Identifier et neutraliser les pages qui épuisent le budget inutilement est la première action corrective à mener :

• URLs à paramètres dynamiques : Les paramètres de session, de tracking ou de tri génèrent un nombre théoriquement infini d’URLs pointant vers le même contenu (?sort=prix&couleur=rouge&session=abc123). Chacune consomme du budget de crawl sans apporter la moindre valeur indexable. Ce phénomène est particulièrement destructeur sur les sites e-commerce à catalogue large.
• Pages de pagination sans contrôle : Les paginations profondes (/page/247/, /page/248/…) drainent le budget vers des pages à faible valeur ajoutée, éloignées de la racine et peu liées en interne. Sans stratégie de pagination explicite (balise rel="next" abandonnée par Google en 2019, désormais remplacée par une gestion via sitemap et maillage interne), ces pages alourdissent inutilement le crawl.
• Pages en erreur 404 encore présentes dans le maillage interne : Chaque lien interne pointant vers une URL morte force Googlebot à effectuer une requête infructueuse. Sur un site mal maintenu, ces requêtes peuvent représenter plusieurs pourcents du budget total.
• Redirections en chaîne (redirect chains) : A → B → C → D mobilise quatre requêtes Googlebot là où une seule suffirait. Au-delà de trois niveaux de redirection, Googlebot peut simplement abandonner l’exploration de la chaîne.
• Contenu dupliqué interne non canonicalisé : Pages de tags, archives de dates sur WordPress, variantes de produits sans balise canonical — autant de doublons que Googlebot explore et que l’index doit réconcilier, au détriment des pages cibles.
• Pages bloquées par robots.txt mais liées en interne : Un URL bloqué dans robots.txt ne peut pas être crawlé, mais Googlebot consomme quand même du budget pour découvrir qu’il doit s’arrêter — s’il arrive sur cette URL via un lien interne.

Diagnostic et surveillance

Comment auditer et surveiller son budget de crawl ?

L’analyse des logs serveur reste la méthode de référence. Elle est complétée par le rapport « Statistiques d’exploration » de Google Search Console et le crawl technique via Screaming Frog ou Botify.

Un audit complet du budget de crawl croise trois sources de données complémentaires pour dresser un tableau exhaustif des comportements de Googlebot.

Méthode 1 — Analyse des logs serveur (source primaire)

1. Récupérez les fichiers de logs bruts auprès de votre hébergeur (format Apache ou Nginx). Sur les gros sites, filtrez sur une fenêtre de 30 jours minimum pour avoir un volume représentatif.
2. Filtrez les lignes correspondant au User-Agent de Googlebot Smartphone (Mozilla/5.0 (Linux; Android 6.0.1; [...] Googlebot/2.1) pour isoler le crawl de référence depuis le Mobile-First Indexing.
3. Analysez la distribution des URLs crawlées : quelles sections du site concentrent le plus de requêtes ? Quel ratio entre pages stratégiques et pages parasites ?
4. Identifiez les codes de réponse renvoyés : le pourcentage de 404, 301, 302 et 5xx consommés par Googlebot. Un taux de codes non-200 supérieur à 15 % est un signal d’alarme.
5. Croisez avec vos données d’indexation dans Search Console pour identifier les pages fréquemment crawlées mais jamais indexées — signe d’un problème de qualité ou de duplication perçue par Google.

Méthode 2 — Google Search Console : rapport Statistiques d’exploration

Accédez à Search Console > Paramètres > Statistiques d’exploration. Ce rapport affiche le nombre moyen de pages crawlées par jour sur les 90 derniers jours, les codes de réponse agrégés et les temps de réponse moyens. Il ne remplace pas l’analyse des logs (moins granulaire, échantillonné), mais constitue un premier indicateur accessible sans compétence technique avancée.

Les 5 leviers techniques pour optimiser son budget de crawl

L’optimisation du budget de crawl repose sur deux axes complémentaires : réduire le gaspillage (neutraliser les URLs sans valeur) et augmenter l’attractivité (améliorer les performances serveur et la qualité perçue du contenu).

Il n’existe pas d’action universelle. La priorisation dépend du diagnostic réalisé en amont — type de site, volume d’URLs, nature des gaspillages identifiés.

L’avis de l’expert B-Strong

Sources citées

1. Google Search Central — Gérer le budget de crawl pour les grands sites
2. Ahrefs Blog — Crawl Budget: What It Is & How to Optimize It
3. Semrush — Crawl Budget: What Is It and How to Optimize It for SEO
4. Botify — Crawl Budget Optimization: The Complete Guide

Questions / réponses

Ce qu’on nous demande souvent

Le budget de crawl concerne-t-il tous les sites, même les petits ?
Google indique officiellement que le budget de crawl n’est pas une préoccupation pour les sites de petite taille dont toutes les pages sont de qualité et bien liées en interne. En pratique, dès qu’un site dépasse 1 000 à 2 000 URLs actives — ou qu’il génère des URLs dynamiques par des filtres ou des paramètres — la gestion du crawl budget devient un facteur de performance SEO à part entière. Un petit site e-commerce avec des facettes de filtres non contrôlées peut très rapidement atteindre des dizaines de milliers d’URLs parasites.

Peut-on augmenter son budget de crawl en demandant à Google ?
Partiellement. Google Search Console permet de moduler la fréquence de crawl de Googlebot via le paramètre « Limitation du taux de crawl », accessible dans Paramètres > Exploration. Cette option permet de réduire la fréquence si le serveur est surchargé, mais pas de l’augmenter artificiellement au-delà de ce que Googlebot juge pertinent. La seule façon d’obtenir un budget de crawl plus élevé de façon durable est d’améliorer la qualité globale du site (moins de pages parasites, meilleure autorité de domaine, serveur plus performant).

Quelle est la différence entre le budget de crawl et le budget d’indexation ?
Ce sont deux étapes distinctes du pipeline de Google. Le budget de crawl détermine quelles pages Googlebot va visiter et à quelle fréquence. Le budget d’indexation — notion moins formalisée mais réelle — détermine parmi ces pages crawlées lesquelles seront effectivement ajoutées à l’index de Google. Une page peut être crawlée régulièrement et pourtant ne jamais être indexée si son contenu est jugé de faible qualité, en doublon ou non conforme aux quality guidelines. L’optimisation du crawl est donc une condition nécessaire mais pas suffisante pour garantir l’indexation.

Un mauvais budget de crawl affecte-t-il la visibilité dans les réponses des IA génératives ?
Oui, de façon directe et souvent sous-estimée. Les AI Overviews de Google, ChatGPT Search et Perplexity s’appuient sur l’index constitué par les moteurs de recherche — ils ne crawlent pas les sites en temps réel. Une page non indexée parce qu’elle n’a pas été crawlée est donc invisible pour ces systèmes, quelles que soient la qualité de son contenu ou la pertinence de ses données structurées. Optimiser le budget de crawl pour s’assurer que les pages stratégiques sont régulièrement explorées et indexées est un prérequis indispensable à toute stratégie GEO efficace.