Budget de crawl

Glossaire – SEO technique

Le budget de crawl est l’ensemble des URL que Google peut et veut explorer sur un site. Il se calcule par nom d’hôte, en croisant la capacité de votre serveur et le besoin d’exploration que Google attribue à vos pages.

Gary Illyes, de l’équipe exploration et indexation de Google, a clarifié le terme le 16 janvier 2017, et la première idée de son billet reste la plus utile : le budget de crawl n’est pas un sujet dont la plupart des éditeurs doivent se soucier. Google réserve aujourd’hui son guide à trois cas : les sites de plus d’un million de pages dont le contenu change chaque semaine, ceux de plus de 10 000 pages qui changent chaque jour, et ceux dont une grande part des URL reste « Détectée, actuellement non indexée » dans la Search Console.

Le budget ne concerne que l’exploration (le crawl), c’est-à-dire le passage d’un robot qui télécharge une adresse. L’indexation, la décision de garder la page dans la base de Google, vient après et obéit à d’autres critères. Une page explorée n’est donc pas une page indexée. C’est la suite logique de la crawlabilité : une page doit d’abord être explorable, puis Google doit avoir envie d’y passer.

Au sommaire :

• Les deux paramètres que Google combine
• 2017 à 2026 : ce que Google a dit, et ce qu’il a retiré
• Où partent 2 400 explorations sur un petit site
• Ce que des filtres font à votre inventaire d’URL
• Les fuites que Google nomme, et les faux remèdes
• Mesurer avant de corriger
• Les questions qui reviennent

La mécanique

Les deux paramètres que Google combine

Google définit le budget comme l’ensemble des URL qu’il peut explorer (sa capacité) et qu’il veut explorer (son besoin). Sa documentation sur l’exploration, mise à jour le 16/09/2026 en français, décrit les deux :

• La limite de capacité d’exploration, aussi appelée charge de l’hôte : la durée totale pendant laquelle votre serveur garde des connexions ouvertes pour Google, compte tenu du nombre de connexions parallèles et de leur durée. Chaque site démarre avec la même limite prudente. Elle monte si les temps de réponse, dont le Time to First Byte (le délai avant le premier octet reçu), restent stables ou s’améliorent. Elle baisse dès que le serveur ralentit, renvoie des erreurs 5xx ou des codes 429, le code qui signifie « trop de requêtes ».
• Le besoin d’exploration : ce que Google souhaite revoir. Pour Googlebot, il dépend de la taille du site, de sa fréquence de mise à jour, de la qualité des pages et de leur pertinence face aux autres sites. Vous agissez surtout sur trois facteurs : l’inventaire perçu (toutes les URL que Google connaît chez vous, doublons compris), la popularité des pages et leur obsolescence, c’est-à-dire le besoin de vérifier si elles ont changé.

Deux conséquences sont rarement expliquées. D’abord, la capacité est commune à tous les robots de Google : une forte demande d’AdsBot, qui contrôle les pages d’annonces, ou de Google Shopping, qui suit les produits de vos flux marchands, réduit ce qui reste pour Googlebot. Ensuite, un sous-domaine est un site distinct : www.example.com et code.example.com ont chacun leur budget. Même quand la capacité n’est pas atteinte, un besoin faible suffit à ce que Google explore peu.

Les délais de réaction de ces mécanismes ont été chiffrés par Gary Illyes le 2 octobre 2026 à Barcelone, au Search Central Live Deep Dive Europe, d’après le compte rendu publié par PPC Land le lendemain. Google parle d’une analyse interne, sans méthode ni échantillon publiés :

Processus	Cas typique	Cas le plus lent
Découverte d’une nouvelle URL	environ 20 heures	des semaines, ou jamais
Nouvelle exploration d’une URL connue	environ 30 jours	des semaines, ou jamais
Traitement d’un sitemap	environ 24 heures	jusqu’à 14 jours, ou jamais
Prise en compte d’un robots.txt modifié	environ 24 heures	25 heures
Mise à jour de la capacité d’exploration	de 4 heures à 1 ou 2 semaines	1 à 3 semaines en phase de récupération
Mise à jour du besoin d’exploration	environ 20 heures	des semaines à des mois

La capacité peut en revanche chuter en quelques secondes quand Google se retire d’un serveur en difficulté. Un hébergement instable se paie donc tout de suite et se rattrape en semaines. Les autres chiffres de cette intervention sont détaillés dans notre article Crawl, indexation, refonte : les délais dévoilés par Google en 2026.

L’histoire du terme

2017 à 2026 : ce que Google a dit, et ce qu’il a retiré

Le budget de crawl est l’une des rares notions SEO dont Google a lui-même fixé le sens, puis retiré un à un les outils de pilotage. Les dates comptent, car beaucoup de conseils encore en ligne s’appuient sur des outils qui n’existent plus.

• 16 janvier 2017. Le billet « What Crawl Budget Means for Googlebot » définit la limite de vitesse d’exploration et la demande d’exploration. Il précise qu’un site de moins de quelques milliers d’URL est le plus souvent exploré efficacement, et classe par ordre d’importance les URL de faible valeur qui épuisent l’exploration : navigation à facettes et identifiants de session, contenu dupliqué interne, erreurs « soft 404 », pages piratées, espaces infinis et proxys, contenu de faible qualité et spam. Il ajoute que l’exploration n’est pas un signal de classement, que les fichiers CSS et JavaScript comptent dans le budget, et que Googlebot ne lit pas la directive crawl-delay.
• 28 mars 2022. Google annonce la fin de l’outil Paramètres d’URL, lancé en 2009 dans les Outils pour les webmasters, effective un mois plus tard. Motif donné : environ 1 % seulement des réglages déclarés servaient encore à l’exploration. Le robots.txt prend le relais.
• 8 janvier 2024. Retrait de l’outil de limitation de la vitesse d’exploration, annoncé le 24 novembre 2023. Il ne permettait que de ralentir Googlebot, jamais de l’accélérer. Pour freiner en urgence, Google recommande désormais de renvoyer des codes 500, 503 ou 429 pendant quelques heures, un à deux jours au plus.
• Décembre 2024. Le blog Search Central consacre sa série « Crawling December » au fonctionnement de Googlebot, au cache HTTP, à la navigation à facettes et aux CDN. La page sur les facettes devient une documentation à part entière.
• 2026. La documentation sur l’exploration quitte Search Central pour un espace consacré à l’infrastructure d’exploration commune à tous les produits Google. La page Googlebot (mise à jour le 03/02/2026) fixe à 2 Mo la part explorée d’un fichier HTML ou d’une ressource, 64 Mo pour un PDF, chaque CSS et chaque JavaScript étant récupéré séparément avec la même limite.

Relevé de terrain

Où partent 2 400 explorations sur un petit site

Relevé B-Strong dans le rapport Statistiques sur l’exploration de la Search Console d’un site WordPress de services, une centaine de pages indexées, sur les 90 jours arrêtés au 15 août 2026 : 2 400 demandes d’exploration, soit environ 27 par jour, 49,4 Mo téléchargés et un temps de réponse moyen de 447 ms.

Où sont allées 2 400 explorations en 90 jours

Site WordPress de services, une centaine de pages indexées. Search Console, rapport Statistiques sur l’exploration, 90 jours au 15/08/2026.

2 400demandes

≈ 27par jour

447 msréponse moyenne

49,4 Motéléchargés

Par objectif

89 %11 %

Actualisation 89 %Découverte 11 %

Par type de fichier

HTML 36 %JS 32 %CSS 18 %9 %

HTML 36 %JavaScript 32 %CSS 18 %Autre 9 %Image 2 %

Par réponse

200 : 91 %

200 (page servie) 91 %301 (redirection) 6 %404 (introuvable) 2 %304 et 302 : moins de 1 %

Par robot

Ressources 37 %Smartphone 29 %Ordinateur 20 %

Chargement des ressources 37 %Smartphone 29 %Ordinateur 20 %Autre 7 %AdsBot 5 %

Ce site n’a aucun problème de budget au sens de Google : il est cent fois sous le seuil des 10 000 pages. Ce que le relevé montre, c’est l’usage du passage. Neuf demandes sur dix revisitent des pages déjà connues, une sur dix seulement sert à découvrir une adresse. Pour un site qui publie peu, c’est normal. Pour un site qui publie chaque jour, ce serait le premier chiffre à surveiller.

La moitié des demandes porte sur des fichiers JavaScript et CSS. Google les récupère un par un pour afficher la page, et le billet de 2017 précisait déjà qu’ils comptent dans le budget. Sur un thème WordPress qui charge des dizaines de scripts, réduire et regrouper ces fichiers libère plus d’exploration que n’importe quel réglage du robots.txt. Les 6 % de redirections viennent, eux, de liens internes qui pointent encore vers d’anciennes adresses : négligeable ici, mais la même proportion sur un catalogue de 200 000 URL ferait 12 000 demandes perdues à chaque passage.

Le rapport affichait aussi l’état « L’hôte a rencontré des problèmes précédemment ». D’après l’aide de la Search Console, cela signifie qu’au moins un problème majeur de disponibilité s’est produit dans les 90 jours, il y a plus d’une semaine. C’est la ligne à lire en premier, parce que c’est elle qui fait baisser la capacité. Limites du relevé : un seul site, une seule période, et une répartition, pas une norme.

Calculateur

Ce que des filtres font à votre inventaire d’URL

Sur un site e-commerce, le risque ne vient pas du nombre de produits mais du nombre d’adresses que la navigation à facettes peut fabriquer. Chaque filtre (couleur, taille, prix) et chaque tri ajoute un paramètre à l’URL, et les combinaisons se multiplient. Google décrit l’effet dans sa documentation sur les facettes : ces URL paraissent nouvelles, ses robots en explorent donc un très grand nombre avant de conclure qu’elles sont inutiles, et la découverte des vraies nouvelles pages ralentit. Le calculateur ci-dessous donne l’ordre de grandeur pour votre catalogue.

Combien d’URL vos filtres peuvent fabriquer

Exemple par défaut : 50 pages de catégorie, 4 filtres de 6 valeurs (une valeur à la fois), 4 ordres de tri, au rythme du relevé ci-dessus (27 explorations par jour). Modifiez les valeurs.

Pages de catégorieNombre de filtresValeurs par filtreOrdres de triExplorations par jourPlusieurs valeurs cochables dans un même filtre

480 200URL explorables, pour 50 pages utiles sans filtre

17 785 jourssoit environ 48,7 ans pour tout explorer une fois

Pages utiles (catégories sans filtre)

URL que les filtres et les tris rendent explorables

110010 0001 million100 millions10 milliards

Avec la sélection multiple, chaque filtre de 6 valeurs offre 64 états au lieu de 7, et le même catalogue dépasse 3 milliards d’URL.

Formule : catégories × (valeurs + 1) puissance nombre de filtres × tris ; en sélection multiple, chaque filtre compte 2 puissance valeurs états. Échelle logarithmique. Calcul théorique : toutes les combinaisons ne sont pas liées, Google ajuste son rythme au besoin, et l’ordre des paramètres peut encore multiplier les adresses. Le résultat donne un ordre de grandeur, pas une prévision. Calculateur B-Strong, 21/10/2026.

Le chiffre n’a pas de sens pris au pied de la lettre : Google ne suit pas toutes les combinaisons, et son rythme monte quand le besoin monte. Il dit en revanche pourquoi un catalogue de quelques centaines de produits peut se retrouver avec des pages neuves jamais découvertes. Google recommande, dans sa documentation sur les facettes mise à jour le 18/12/2025 :

• si les pages filtrées n’ont pas vocation à être indexées, d’en interdire l’exploration dans le robots.txt en gardant une page de liste sans filtre, ou de passer les filtres dans un fragment d’URL, après le #, que Google n’explore pas ;
• de ne pas compter sur rel="canonical" ni sur rel="nofollow", jugés moins efficaces à long terme ; un nofollow n’agit que s’il est posé sur tous les liens vers l’URL ;
• si certaines combinaisons doivent être indexées : le séparateur standard &, un ordre des filtres toujours identique, et un code 404 quand une combinaison ne renvoie aucun produit, servi à cette adresse plutôt qu’une redirection vers une page d’erreur commune.

C’est souvent là que se joue l’indexation d’un catalogue, bien avant le contenu des fiches produits. Nous détaillons cette approche sur notre page agence SEO e-commerce.

Les vraies fuites

Les fuites que Google nomme, et les faux remèdes

La liste des gaspillages n’a presque pas bougé depuis 2017 : doublons, facettes, erreurs déguisées, redirections. Ce qui a changé, c’est la façon de les traiter, et plusieurs réflexes répandus vont à l’encontre de la documentation actuelle.

• Un noindex ne libère pas de budget. Google demande quand même la page, puis l’abandonne en lisant la balise : l’exploration est consommée. Pour qu’une URL ne soit plus explorée, c’est le robots.txt ; pour une page supprimée définitivement, un code 404 ou 410.
• Le robots.txt n’est pas un outil de réallocation. Google ne redistribue pas aux autres pages le budget libéré, sauf si le site approche de sa limite de diffusion. Une URL bloquée reste aussi plus longtemps en file d’attente et sera explorée de nouveau dès que le blocage tombe, alors qu’un 404 indique qu’il est inutile de revenir.
• Les soft 404 continuent d’être explorées. Une page vide ou « aucun résultat » servie avec un code 200 passe pour une vraie page. Le rapport Indexation des pages de la Search Console les liste.
• Les chaînes de redirection pèsent sur l’exploration. Googlebot suit jusqu’à 10 sauts, il n’abandonne donc pas à la troisième redirection comme on le lit souvent, mais chaque saut est une demande. Corrigez les liens internes pour qu’ils visent directement l’adresse finale (voir redirections 301 et 302).
• Le contenu dupliqué se consolide plutôt qu’il ne se cache, pour que l’exploration porte sur des contenus uniques et non sur des URL uniques.
• Le cache HTTP et le sitemap XML aident. Un code 304 (non modifié) évite de renvoyer une page inchangée ; un sitemap à jour, avec la date de modification lastmod, signale ce qui a bougé.

Google ne cite que deux façons d’augmenter le budget : ajouter des ressources serveur, si l’outil d’inspection d’URL affiche « Charge de l’hôte dépassée », et améliorer la qualité du contenu pour le produit visé, ce qui recouvre pour la recherche la popularité, la valeur pour l’utilisateur, l’originalité et la capacité de diffusion. Aucun réglage de la Search Console ne permet de demander davantage d’exploration.

Diagnostic

Mesurer avant de corriger

Le rapport Statistiques sur l’exploration (Search Console, Paramètres, puis Exploration) est la première lecture : nombre de demandes, taille téléchargée, temps de réponse, état de l’hôte sur 90 jours, puis répartition par code de réponse, type de fichier, objectif et type de Googlebot. Dans la colonne objectif, « Découverte » désigne une URL jamais explorée et « Actualisation » une page connue explorée de nouveau. Deux limites : le rapport ne montre que les demandes adressées au domaine de la propriété, et ses exemples d’URL ne sont pas complets.

Les fichiers de log du serveur restent la seule source exhaustive : chaque passage de robot y figure, URL par URL. Filtrez sur Googlebot Smartphone, robot principal depuis le mobile first indexing, et vérifiez l’origine des requêtes, car la chaîne d’agent utilisateur peut être usurpée ; Google publie une méthode de vérification. Les questions utiles sont simples : quelle part des passages va aux pages qui comptent, combien de jours s’écoulent entre la publication d’une page et sa première visite, et quelles sections absorbent des demandes sans rien apporter.

Un vrai problème de budget se reconnaît à trois signes, cohérents avec le billet de 2017 et le guide actuel : des pages neuves qui ne sont pas explorées dans la journée ou les jours qui suivent, une part importante d’URL « Détectée, actuellement non indexée », et un inventaire connu de Google sans commune mesure avec le nombre de pages que vous voulez voir indexées.

Questions

Les questions qui reviennent

Mon site de 300 pages a-t-il un problème de budget de crawl ?
Très probablement pas. Google écrit qu’un site de moins de quelques milliers d’URL est le plus souvent exploré efficacement. Si des pages ne sont pas indexées, la cause est plus souvent leur qualité, leur faible maillage interne ou des doublons. L’exception : une navigation à filtres qui fabrique des milliers d’adresses à partir de quelques centaines de produits.

Peut-on demander à Google d’explorer davantage ?
Non. L’outil de limitation de la vitesse d’exploration, retiré le 8 janvier 2024, ne servait qu’à ralentir Googlebot. Restent l’inspection d’URL, pour demander l’exploration de quelques pages précises, et les deux leviers que Google reconnaît : des ressources serveur suffisantes et la qualité du contenu.

Le budget de crawl influe-t-il sur le classement ?
Pas directement. Google l’a écrit dès 2017 : l’exploration est nécessaire pour figurer dans les résultats, mais ce n’est pas un signal de classement. Explorer plus souvent une page ne la fait pas monter ; cela permet seulement à Google de voir plus vite vos modifications.

Un budget mal utilisé me rend-il invisible dans les réponses des IA ?
Pour Google, oui en partie : une page doit être indexée et éligible à un extrait pour apparaître comme lien dans les AI Overviews ou le Mode IA, et une page jamais explorée ne peut pas l’être. ChatGPT et Perplexity utilisent leurs propres robots (OAI-SearchBot, PerplexityBot) : ils ne puisent pas dans le budget de Googlebot, mais sollicitent le même serveur, d’où l’intérêt de surveiller vos journaux.

Sources citées

1. Google Search Central : Optimiser votre budget d’exploration (MAJ 16/09/2026)
2. Gary Illyes, Google : What Crawl Budget Means for Googlebot (16/01/2017)
3. Google : Managing crawling of faceted navigation URLs (MAJ 18/12/2025)
4. Google : Reduce Google’s crawl rate (MAJ 06/10/2026)
5. Google : Upcoming deprecation of Crawl Rate Limiter Tool in Search Console (24/11/2023)
6. Google : Spring cleaning, the URL Parameters tool (28/03/2022)
7. Google : Googlebot, limite de 2 Mo (MAJ 03/02/2026)
8. Google : How HTTP status codes affect Google’s crawlers, 10 redirections (MAJ 04/02/2026)
9. Google : Googlebot et robots courants, agents utilisateurs (MAJ 15/10/2026)
10. Aide Search Console : Rapport Statistiques sur l’exploration
11. PPC Land : Google says new pages take about 20 hours to be found (03/10/2026)
12. Google : AI features and your website (MAJ 10/12/2025)
13. OpenAI : Overview of OpenAI Crawlers
14. Perplexity : Perplexity Crawlers

Relevé Statistiques sur l’exploration (90 jours au 15/08/2026) et calculateur de facettes : B-Strong. Fiche mise à jour le 21/10/2026.

Terme lié à connaître : le fichiers de log.

Terme lié à connaître : le robots.txt.

Savoir où part le budget de crawl demande un relevé, pas une intuition. C’est l’objet de la partie technique d’un audit de référencement.