Na aula do curso de SEO Técnico, o professor Lucas Rezende explica como o Google decide quantas páginas rastrear por dia, a partir de que tamanho de site isso vira problema e quais fatores fazem o robô visitar mais ou menos o seu domínio
Imagine um e-commerce com 150 mil páginas. O Googlebot passa por ali todos os dias, mas lê só 1.500 URLs por vez. E boa parte dessas visitas vai para as mesmas páginas de sempre: a home, o menu, as categorias principais. Resultado: um produto novo ou uma página atualizada pode levar meses até ser visto pelo buscador.
É esse limite que se chama crawl budget, ou orçamento de rastreamento. Na aula sobre o tema, o professor Lucas Rezende explica que o conceito não interessa a todo site da mesma forma, mas pode virar um gargalo sério para quem tem milhares de URLs.
A seguir, você entende o que é o crawl budget, quando ele merece atenção e quais fatores aumentam ou reduzem as visitas do robô. Continue a leitura a seguir.
O que é crawl budget
Crawl budget é o número de páginas que um mecanismo de busca, como o Googlebot ou o Googlebot Mobile, consegue rastrear em um site dentro de um período, por exemplo, ao longo de um dia. Não é um número fixo: ele muda conforme a saúde técnica do site, a velocidade do servidor e a relevância que o domínio tem para o buscador.
Na prática, é como se o robô tivesse um tempo limitado para circular pelo site. O trabalho de SEO é garantir que esse tempo seja gasto nas páginas que realmente importam.
Quando o crawl budget passa a ser um problema
Segundo a aula, a necessidade de cuidar do orçamento de rastreamento depende do tamanho do site:
- Menos de 1.000 páginas: dificilmente terão problema, porque o robô consegue passar por quase tudo rapidamente. A exceção são portais de notícias, que publicam e atualizam conteúdo o tempo todo.
- A partir de 10.000 páginas: já vale montar estratégias para otimizar o orçamento.
- Mais de 80.000 páginas: a otimização se torna obrigatória, porque o volume exige prioridades de rastreamento muito claras.
O exemplo das 150 mil páginas
O professor usa um cenário para mostrar o impacto do conceito. Um site com 150.000 páginas e um crawl budget de 1.500 páginas por dia não tem todas as URLs lidas a cada visita. Como a home e os itens do menu principal são mais relevantes, o robô passa por eles repetidamente, e parte das 1.500 visitas diárias é gasta reavaliando essas mesmas páginas.
Com isso, o Google pode levar meses para passar por todas as 150.000 URLs. Otimizar o crawl budget serve justamente para que o robô visite o site com mais frequência e saiba quais seções priorizar.
O que reduz as visitas do robô
A aula destaca dois fatores técnicos que fazem o Googlebot diminuir o ritmo de rastreamento:
- Erros e redirecionamentos em excesso: muitos redirecionamentos (códigos 3xx), erros de acesso como 404 e 403 e erros de servidor (5xx) fazem o robô reduzir as visitas, porque ele percebe falhas frequentes ou sobrecarga.
- Servidor lento: quando o servidor leva de 1 a 2 segundos para responder, o buscador entende que há sobrecarga e diminui o volume de requisições.
Por isso, cuidar de performance e Core Web Vitals e corrigir erros de status não é só questão de experiência do usuário: também afeta quanto do site o Google consegue ler.
O robô é um turista, e o site é uma cidade
Para explicar o papel da arquitetura, o professor usa uma metáfora: o bot é como um turista, e o domínio é uma cidade. Com arquitetura bem estruturada, sitemap definido e boa linkagem interna, o turista usa as ruas principais e chega rápido às seções prioritárias. Com uma categorização confusa, ele fica dando voltas em lugares irrelevantes e não chega ao conteúdo principal.
É aí que entram ferramentas como o sitemap XML, que funciona como um mapa entregue ao robô, e uma linkagem interna que leve às páginas mais importantes. A Educa também explicou em detalhes como funciona a rastreabilidade em SEO.
Backlinks também aumentam o orçamento
O último fator citado na aula está fora do site. Backlinks saudáveis e de boa autoridade mostram ao buscador que o domínio tem relevância e demanda de busca. Isso motiva o robô a dar prioridade ao site e a visitá-lo com mais frequência.
Vale lembrar que o próprio Google revisou sua documentação sobre o tema, como a Educa mostrou ao cobrir a reformulação da documentação de crawl budget.
Crawl budget é prioridade em sites grandes, e a Educa ensina a gerenciá-lo
Para sites pequenos, o crawl budget raramente é motivo de preocupação. Para e-commerces, portais e sites com dezenas de milhares de URLs, ele define quanto tempo uma página leva para ser descoberta e atualizada no Google. Servidor rápido, poucos erros, arquitetura clara e backlinks de qualidade são o caminho para que o robô gaste o tempo dele onde importa.
A aula completa de Lucas Rezende faz parte do curso de SEO Técnico da Educa. Quem quer dominar esse e outros fundamentos encontra na Educa formações completas com profissionais que vivem SEO na prática.
Referências
Educa (YouTube). O que é CRAWL BUDGET e por que ele é IMPORTANTE? | Dicionário Educa. Disponível em: https://youtu.be/QVXcfOuhXR8
Educa. Curso de SEO Técnico: crawl budget. Disponível em: https://educaseo.com.br/seo/curso/seo-tecnico/crawl-budget
Google Search Central. Guia para proprietários de sites grandes sobre como gerenciar o orçamento de rastreamento. Disponível em: https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget