Na aula do curso de SEO Técnico, o professor Rafael Orsini explica a diferença entre rastreamento e indexação, mostra os comandos User-agent, Disallow, Allow e Sitemap e ensina o passo a passo para criar, publicar e validar o arquivo
Antes de ler qualquer página do seu site, o robô do Google faz uma parada: ele procura um arquivo de texto simples, na raiz do domínio, para saber por onde pode ou não passar. Se esse arquivo estiver bem configurado, o robô vai direto ao que interessa. Se estiver errado, ele pode perder tempo em áreas inúteis ou deixar de ler páginas importantes.
Esse arquivo é o robots.txt. Na aula sobre o tema, o professor Rafael Orsini define o arquivo com uma imagem simples: ele é um porteiro digital. O robô chega, confere se tem permissão e, a partir dela, acessa e ranqueia as páginas.
A seguir, você entende o que o robots.txt faz (e o que ele não faz), os comandos principais e como criar o arquivo do zero. Continue a leitura a seguir.
O que é o robots.txt
O robots.txt é um arquivo de texto simples que fica no diretório raiz do site. Ele instrui os robôs dos buscadores sobre o que deve ou não ser lido. Os principais mecanismos de busca, como Google e Bing, respeitam essas instruções, mas o arquivo funciona como um guia de orientações, e não como uma regra obrigatória.
Um ponto que a aula faz questão de destacar: o robots.txt controla o rastreamento, não a indexação. Ele diz ao robô por onde passar, mas não garante que uma URL fique fora dos resultados. Para isso existem outros controles, como a tag noindex, que a Educa detalhou ao cobrir a atualização do guia de controle de conteúdos do Google.
Como o buscador chega até as suas páginas
Para entender o papel do arquivo, a aula explica as quatro etapas do trabalho do buscador:
- Descoberta: o robô encontra novos links em páginas já conhecidas ou pelo sitemap.
- Rastreamento: o robô acessa a página e lê o conteúdo.
- Processamento: o buscador analisa o conteúdo para definir relevância e ranqueamento.
- Indexação: se a página for útil, ela entra no índice do buscador.
O robots.txt atua na etapa de rastreamento. Por isso, sua função principal é ajudar a otimizar o rastreamento do site e o crawl budget, o orçamento que o robô tem para percorrê-lo.
Para que serve o robots.txt no SEO
Segundo a aula, o arquivo tem três usos principais:
- Bloquear áreas irrelevantes: impedir que páginas internas, como painéis administrativos, entrem no fluxo de rastreamento.
- Proteger áreas sensíveis: evitar que áreas privadas sejam rastreadas.
- Direcionar o robô: garantir que ele navegue focado no que foi planejado para o usuário ver.
Os quatro comandos principais
O arquivo é montado com poucos comandos, sempre nesta ordem:
- User-agent: define para qual robô vale a regra. Com asterisco (User-agent: *), vale para todos os bots. Com o nome do robô (User-agent: Googlebot), vale só para ele.
- Disallow: bloqueia o rastreamento de pastas ou URLs. Exemplo: Disallow: /privado impede o acesso a essa pasta e a todas as subpáginas dela.
- Allow: libera seções específicas mesmo quando há bloqueios mais amplos. Exemplo: Allow: /publico garante que esse conteúdo seja lido.
- Sitemap: indica, no fim do arquivo, onde está o sitemap XML, ajudando o robô a encontrar as URLs mais importantes.
O comando Sitemap conecta o robots.txt a outro arquivo essencial, que a Educa já explicou no post sobre para que serve e como gerar o sitemap XML.
Passo a passo para criar e publicar o arquivo
A criação do robots.txt é simples e segue cinco passos:
- Abra um editor de texto: Notepad (Windows), TextEdit (Mac) ou um editor online como o editpad.org.
- Escreva as regras: monte o texto na ordem User-agent, Disallow, Allow e Sitemap. Se já existir um arquivo antigo, a dica do professor é apagar tudo e refazer do zero.
- Salve com o nome certo: sempre robots.txt, em letras minúsculas.
- Envie para a raiz do servidor: o arquivo deve ficar acessível em meusite.com.br/robots.txt.
- Teste e valide: confira as instruções no Google Search Console.
Cuidado: um erro no arquivo pode sair caro
Por ser tão simples, o robots.txt costuma ser editado sem muito cuidado, e um erro de ordem ou de sintaxe pode ter efeitos sérios. A Educa já mostrou um caso real em que um robots.txt mal organizado fez o Google ignorar o bloqueio e indexar páginas de spam. Por isso, testar sempre antes e depois de qualquer mudança é obrigatório.
O arquivo também ganhou novos usos com a IA. O Google, por exemplo, anunciou um controle compartilhado no robots.txt para recusar o treinamento de IA, o que torna o domínio desse arquivo ainda mais importante.
Um arquivo pequeno com papel grande, e a Educa ensina a configurá-lo
O robots.txt é o porteiro do site: decide por onde os robôs passam e ajuda a concentrar o rastreamento no que importa. Bem configurado, protege áreas internas e acelera a leitura das páginas principais. Mal configurado, pode esconder conteúdo importante ou deixar passar o que não devia.
A aula completa de Rafael Orsini faz parte do curso de SEO Técnico da Educa. Quem quer dominar esse e outros fundamentos encontra na Educa formações completas com profissionais que vivem SEO na prática.
Referências
Educa (YouTube). O que é ROBOTS.TXT? | Dicionário Educa. Disponível em: https://youtu.be/w49v2Xn-HQM
Educa. Curso de SEO Técnico: robots.txt. Disponível em: https://educaseo.com.br/seo/curso/seo-tecnico/robots-txt
Google Search Central. Introdução ao robots.txt. Disponível em: https://developers.google.com/search/docs/crawling-indexing/robots/intro