Checklist de crawlability para IAs
A tese: um checklist só ajuda quando cada item tem um teste e um critério de sucesso. Estes vinte itens têm os dois.
Neste texto
Qual é a tese?
Listas de "42 sinais" ou "63 elementos" circulam no mercado de SEO para IA, e a maioria dos itens não tem teste associado. A tese é prática: um item que não pode ser verificado em minutos não pertence a um checklist de operação. O que segue é uma lista enxuta, ordenada por dependência, que complementa o artigo de fundamentos de SEO técnico para IAs com testes executáveis.
Grupo A: acesso dos robôs
| # | Item | Teste | Critério de sucesso |
|---|---|---|---|
| 1 | robots.txt existe e responde 200 | abrir /robots.txt | UTF-8, texto simples; RFC 9309 trata erro 5xx como bloqueio total |
| 2 | regras por robô, não em bloco | ler o arquivo | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer e Googlebot com decisão registrada |
| 3 | robôs de treino decididos à parte | idem | GPTBot, ClaudeBot, Google-Extended, meta-externalagent com decisão e data |
| 4 | firewall não bloqueia robôs liberados | logs e regras do WAF | visitas dos robôs de busca com status 200 |
| 5 | verificação por IP onde a empresa publica faixas | comparar com os arquivos oficiais | Perplexity publica faixas em JSON; OpenAI recomenda liberar as faixas listadas |
| 6 | mudanças de regra datadas | registro de mudanças | cada alteração com data; esperar cerca de 24 horas antes de testar |
Grupo B: resposta e HTML
| # | Item | Teste | Critério de sucesso |
|---|---|---|---|
| 7 | página responde 200 direto | curl -I URL | sem cadeia de redirecionamentos |
| 8 | páginas removidas devolvem 404 ou 410 reais | abrir URL inexistente | sem soft 404 |
| 9 | conteúdo principal no HTML bruto | curl URL e procurar o parágrafo-chave | resposta, título, autor e data presentes |
| 10 | tabelas e listas em HTML, não em imagem | inspecionar o código | dado em texto |
| 11 | conteúdo não depende de rolagem infinita ou clique para carregar | testar sem JavaScript | tudo importante presente na carga inicial |
O item 9 é o mais decisivo. A Vercel mediu em dezembro de 2024 que os rastreadores de IA que analisou, exceto o do Gemini, não executam JavaScript. O Google recomenda renderização no servidor ou pré-renderização e adverte que páginas que não retornam 200 não entram na fila de renderização.
Grupo C: identidade da URL
| # | Item | Teste | Critério de sucesso |
|---|---|---|---|
| 12 | uma URL por conteúdo | buscar duplicatas | variações com redirecionamento ou canonical |
| 13 | rel="canonical" coerente | ver o código | aponta para si mesma ou para a versão preferida |
| 14 | título e descrição únicos | auditar | sem repetição entre páginas |
| 15 | data de publicação e de atualização visíveis | olhar a página | datas verdadeiras e coerentes com datePublished e dateModified |
Grupo D: descoberta
| # | Item | Teste | Critério de sucesso |
|---|---|---|---|
| 16 | links em elementos <a href> | inspecionar a navegação | o Google só descobre links nesse formato |
| 17 | páginas-chave a até dois cliques da home | mapear | nenhuma página órfã |
| 18 | sitemap atualizado, enviado ao Google e ao Bing | Search Console e Bing Webmaster Tools | o Google diz que ele ajuda, mas não garante rastreio |
Grupo E: monitoramento
| # | Item | Teste | Critério de sucesso |
|---|---|---|---|
| 19 | logs analisados por agente | filtrar por User-Agent | frequência e status de cada robô conhecidos |
| 20 | relatórios oficiais conferidos | Search Console e AI Performance do Bing | o relatório de IA generativa do Google e o do Bing, quando disponíveis, são consultados todo mês |
Como executar o checklist?
- 01Reserve duas horas e escolha cinco páginas-chave: a home, a página de entidade e três páginas que respondem às perguntas centrais.
- 02Execute os grupos A a E na ordem. Pare quando houver falha no grupo A ou B e corrija antes de seguir: sem acesso e sem HTML, o resto é irrelevante.
- 03Anote cada resultado como passou, falhou ou não se aplica, com data.
- 04Corrija uma falha por vez e reteste. Critério: nenhum item corrigido sem reteste.
- 05Repita trimestralmente e a cada migração de plataforma ou mudança de hospedagem. A rotina está no guia de acompanhamento mensal.
Qual é o contraponto?
Checklist dá falsa segurança. Passar nos vinte itens indica que o site é legível, não que o conteúdo mereça ser citado. O Google insiste que atender aos requisitos não garante indexação nem exibição.
Os nomes dos robôs mudam. As empresas atualizam seus agentes e versões; o que está nesta lista vem de páginas consultadas em outubro de 2026. Releia as fontes antes de agir. O mapa de fontes concentra os links.
O item 5 pode ser excessivo. Para muitos sites, a verificação por IP é desnecessária. Ela só importa quando o firewall bloqueia por padrão ou quando há suspeita de imitação de robôs.
Alguns itens servem mais a outras funções. Dados estruturados, por exemplo, são úteis para resultados enriquecidos; o Google diz que não são exigidos para os recursos de IA. Estão no checklist apenas na medida em que a data e a autoria precisam concordar com o texto visível.
Quais são os limites?
O checklist não cobre desempenho, acessibilidade nem segurança, que merecem outros roteiros. Os testes assumem acesso ao servidor e aos logs; em hospedagens que não dão acesso a logs, o item 19 depende de relatórios do provedor. E as afirmações sobre robôs de cada empresa têm a data da consulta indicada nas páginas de plataformas.
Fontes
- RFC 9309: Robots Exclusion Protocol, IETF (2022-09-01)
- JavaScript SEO basics, Google Search Central (2026-03-04)
- Learn about sitemaps, Google Search Central (2025-12-10)
- Overview of OpenAI crawlers, OpenAI (2026-10-14)
- Perplexity crawlers, Perplexity (2026-10-14)
- The rise of the AI crawler, Vercel (2024-12-17)
Meça antes de otimizar
Defina o conjunto de consultas, registre a linha de base e acompanhe a evolução com o mesmo protocolo.