artigo

Checklist de crawlability para IAs

A tese: um checklist só ajuda quando cada item tem um teste e um critério de sucesso. Estes vinte itens têm os dois.

resposta curtaVinte itens bastam para saber se robôs de IA conseguem acessar, ler e atribuir uma página: seis sobre acesso, cinco sobre resposta e HTML, quatro sobre identidade da URL, três sobre descoberta e dois sobre monitoramento. Cada item abaixo traz o teste e o critério de sucesso. Passar em todos não garante citação; falhar em um pode impedi-la.
Neste texto

Qual é a tese?

Listas de "42 sinais" ou "63 elementos" circulam no mercado de SEO para IA, e a maioria dos itens não tem teste associado. A tese é prática: um item que não pode ser verificado em minutos não pertence a um checklist de operação. O que segue é uma lista enxuta, ordenada por dependência, que complementa o artigo de fundamentos de SEO técnico para IAs com testes executáveis.

Grupo A: acesso dos robôs

#ItemTesteCritério de sucesso
1robots.txt existe e responde 200abrir /robots.txtUTF-8, texto simples; RFC 9309 trata erro 5xx como bloqueio total
2regras por robô, não em blocoler o arquivoOAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer e Googlebot com decisão registrada
3robôs de treino decididos à parteidemGPTBot, ClaudeBot, Google-Extended, meta-externalagent com decisão e data
4firewall não bloqueia robôs liberadoslogs e regras do WAFvisitas dos robôs de busca com status 200
5verificação por IP onde a empresa publica faixascomparar com os arquivos oficiaisPerplexity publica faixas em JSON; OpenAI recomenda liberar as faixas listadas
6mudanças de regra datadasregistro de mudançascada alteração com data; esperar cerca de 24 horas antes de testar

Grupo B: resposta e HTML

#ItemTesteCritério de sucesso
7página responde 200 diretocurl -I URLsem cadeia de redirecionamentos
8páginas removidas devolvem 404 ou 410 reaisabrir URL inexistentesem soft 404
9conteúdo principal no HTML brutocurl URL e procurar o parágrafo-chaveresposta, título, autor e data presentes
10tabelas e listas em HTML, não em imageminspecionar o códigodado em texto
11conteúdo não depende de rolagem infinita ou clique para carregartestar sem JavaScripttudo importante presente na carga inicial

O item 9 é o mais decisivo. A Vercel mediu em dezembro de 2024 que os rastreadores de IA que analisou, exceto o do Gemini, não executam JavaScript. O Google recomenda renderização no servidor ou pré-renderização e adverte que páginas que não retornam 200 não entram na fila de renderização.

Grupo C: identidade da URL

#ItemTesteCritério de sucesso
12uma URL por conteúdobuscar duplicatasvariações com redirecionamento ou canonical
13rel="canonical" coerentever o códigoaponta para si mesma ou para a versão preferida
14título e descrição únicosauditarsem repetição entre páginas
15data de publicação e de atualização visíveisolhar a páginadatas verdadeiras e coerentes com datePublished e dateModified

Grupo D: descoberta

#ItemTesteCritério de sucesso
16links em elementos <a href>inspecionar a navegaçãoo Google só descobre links nesse formato
17páginas-chave a até dois cliques da homemapearnenhuma página órfã
18sitemap atualizado, enviado ao Google e ao BingSearch Console e Bing Webmaster Toolso Google diz que ele ajuda, mas não garante rastreio

Grupo E: monitoramento

#ItemTesteCritério de sucesso
19logs analisados por agentefiltrar por User-Agentfrequência e status de cada robô conhecidos
20relatórios oficiais conferidosSearch Console e AI Performance do Bingo relatório de IA generativa do Google e o do Bing, quando disponíveis, são consultados todo mês

Como executar o checklist?

  1. 01Reserve duas horas e escolha cinco páginas-chave: a home, a página de entidade e três páginas que respondem às perguntas centrais.
  2. 02Execute os grupos A a E na ordem. Pare quando houver falha no grupo A ou B e corrija antes de seguir: sem acesso e sem HTML, o resto é irrelevante.
  3. 03Anote cada resultado como passou, falhou ou não se aplica, com data.
  4. 04Corrija uma falha por vez e reteste. Critério: nenhum item corrigido sem reteste.
  5. 05Repita trimestralmente e a cada migração de plataforma ou mudança de hospedagem. A rotina está no guia de acompanhamento mensal.

Qual é o contraponto?

Checklist dá falsa segurança. Passar nos vinte itens indica que o site é legível, não que o conteúdo mereça ser citado. O Google insiste que atender aos requisitos não garante indexação nem exibição.

Os nomes dos robôs mudam. As empresas atualizam seus agentes e versões; o que está nesta lista vem de páginas consultadas em outubro de 2026. Releia as fontes antes de agir. O mapa de fontes concentra os links.

O item 5 pode ser excessivo. Para muitos sites, a verificação por IP é desnecessária. Ela só importa quando o firewall bloqueia por padrão ou quando há suspeita de imitação de robôs.

Alguns itens servem mais a outras funções. Dados estruturados, por exemplo, são úteis para resultados enriquecidos; o Google diz que não são exigidos para os recursos de IA. Estão no checklist apenas na medida em que a data e a autoria precisam concordar com o texto visível.

Quais são os limites?

O checklist não cobre desempenho, acessibilidade nem segurança, que merecem outros roteiros. Os testes assumem acesso ao servidor e aos logs; em hospedagens que não dão acesso a logs, o item 19 depende de relatórios do provedor. E as afirmações sobre robôs de cada empresa têm a data da consulta indicada nas páginas de plataformas.

Fontes

  1. RFC 9309: Robots Exclusion Protocol, IETF (2022-09-01)
  2. JavaScript SEO basics, Google Search Central (2026-03-04)
  3. Learn about sitemaps, Google Search Central (2025-12-10)
  4. Overview of OpenAI crawlers, OpenAI (2026-10-14)
  5. Perplexity crawlers, Perplexity (2026-10-14)
  6. The rise of the AI crawler, Vercel (2024-12-17)

Meça antes de otimizar

Defina o conjunto de consultas, registre a linha de base e acompanhe a evolução com o mesmo protocolo.