O arquivo robots.txt é uma ferramenta poderosa para controlar como os mecanismos de busca rastreiam e indexam as URLs do seu site. A configuração correta ajuda a evitar a indexação de conteúdo duplicado, URLs com parâmetros desnecessários e até mesmo páginas que você não deseja que apareçam nos resultados de pesquisa.
Neste tutorial, vamos ver como configurar o robots.txt para gerenciar URLs de forma eficaz usando exemplos práticos. Vamos usar o nosso site fictício tutorialseo.com.br como referência.
Passo a passo para otimizar o rastreamento e indexação de URLs
Passo 1: Acessar e Criar o Arquivo robots.txt
O arquivo robots.txt deve estar localizado na raiz do seu site, no caminho https://www.tutorialseo.com.br/robots.txt. Se ainda não existe, crie um novo arquivo de texto e nomeie-o como robots.txt. Esse arquivo deve ser acessível para todos os mecanismos de busca.
Passo 2: Estrutura Básica do robots.txt
A estrutura básica de um robots.txt inclui especificar quais agentes (mecanismos de busca) podem acessar determinadas partes do site. Veja um exemplo de como configurar o robots.txt para permitir que todos os mecanismos de busca rastreiem todo o conteúdo do site:
User-agent: * Disallow:
- **User-agent: *** – Aplica a regra a todos os mecanismos de busca, como Googlebot (Google), Bingbot (Bing), etc.
- Disallow: – Sem qualquer valor após o
Disallow, indica que todas as URLs estão permitidas para rastreamento.
Passo 3: Bloquear URLs com Parâmetros no robots.txt
Se o seu site possui URLs com parâmetros, como páginas que contêm informações de rastreamento ou sessão, você pode bloqueá-las para evitar conteúdo duplicado no índice do Google. Vamos bloquear URLs que contêm parâmetros comuns usando Disallow:
User-agent: *
Disallow: /*?__hstc=
Disallow: /*?__hssc=
Disallow: /*?__hsfp=
Explicação do bloqueio de parâmetro no robots.txt:
- Disallow: /*?__hstc= – Bloqueia URLs que contêm o parâmetro __hstc.
- Disallow: /*?__hssc= – Bloqueia URLs que contêm o parâmetro __hssc.
- Disallow: /*?__hsfp= – Bloqueia URLs que contêm o parâmetro __hsfp.
Exemplo de URLs Bloqueadas:
- https://www.tutorialseo.com.br/blog/artigo?__hstc=123456789
- https://www.tutorialseo.com.br/produto?__hssc=987654321
- https://www.tutorialseo.com.br/blog/page/2?__hsfp=2521323127
Essas regras garantem que o Google não rastreie e indexe URLs com parâmetros desnecessários, mantendo o índice mais organizado.
Passo 4: Permitir Acesso a Diretórios Específicos
Se o seu site possui diretórios que você deseja permitir explicitamente o rastreamento, adicione uma linha Allow. Por exemplo, se as imagens do site estão armazenadas em /images/, você pode permitir o rastreamento:
User-agent: *
Allow: /images/
Isso garante que os mecanismos de busca possam rastrear e indexar imagens no diretório /images/ do site tutorialseo.com.br.
Exemplo de URLs Permitidas:
- https://www.tutorialseo.com.br/images/logo.png
- https://www.tutorialseo.com.br/images/banner.webp
Passo 5: Bloquear Acesso a Páginas e Diretórios Internos
Se houver páginas ou diretórios internos que você não deseja que sejam rastreados, como áreas administrativas ou de testes, use Disallow para bloqueá-las:
User-agent: *
Disallow: /admin/
Disallow: /private/
Exemplo de URLs Bloqueadas:
- https://www.tutorialseo.com.br/admin/
- https://www.tutorialseo.com.br/private/config.html
Passo 6: Criar um Sitemap para Ajudar na Indexação
Além de configurar o robots.txt, é importante criar um sitemap XML e adicionar suas URLs para garantir que os mecanismos de busca encontrem todo o conteúdo importante do seu site. Depois de criar o sitemap (por exemplo, sitemap.xml), adicione uma referência a ele no robots.txt:
Sitemap: https://www.tutorialseo.com.br/sitemap.xml
Isso ajuda o Google e outros mecanismos de busca a encontrar e indexar o conteúdo do seu site de maneira mais eficiente.
Passo 7: Verificar o robots.txt no Google Search Console
Após configurar o robots.txt, acesse o Google Search Console e use a ferramenta Teste de robots.txt para verificar se suas regras estão funcionando corretamente. Você pode simular como o Google rastreia seu site e identificar qualquer problema.
Exemplo Completo do robots.txt
Aqui está um exemplo completo do robots.txt para o site tutorialseo.com.br, combinando as regras vistas até agora:
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /*?__hstc=
Disallow: /*?__hssc=
Disallow: /*?__hsfp=
Allow: /images/
Sitemap: https://www.tutorialseo.com.br/sitemap.xml
Considerações Finais sobre rastreamento e indexação de parâmetros
O arquivo robots.txt é uma ferramenta essencial para controlar o que é rastreado e indexado no seu site. Com as configurações corretas, você evita problemas como a indexação de conteúdo duplicado e melhora a qualidade do índice do seu site nos mecanismos de busca. Certifique-se de revisar e ajustar o robots.txt conforme o seu site cresce e novas seções ou parâmetros são adicionados!
Se precisar de mais detalhes sobre o robots.txt ou tiver dúvidas específicas sobre seu site, entre em contato e ficarei feliz em ajudar!
Charles David
Charles David - Coordenador de SEO e Webmaster com experiência mais de 10 anos na área de SEO. Coordenação das Ações desde sua Criação até análise dos resultados e otimização constante. Planejamento e Gestão de: Web Site Optimization - Search Engine Optimization - SEO Otimização de Sites.
Deixe sua opinião sobre SEO