Auditoria de prompts

Auditoria de prompts para medir a sua marca em IA

Como montar 50 prompts por etapa do funil, separar prompts de marca e de categoria, lidar com a variação das respostas e auditar o conjunto antes de medir.

resposta curtaUma auditoria de prompts confere, antes da medição, se o conjunto de perguntas é adequado: 50 a 100 prompts reais do cliente, distribuídos por etapa do funil, com e sem o nome da marca, neutros, autossuficientes, congelados e executados mais de uma vez por plataforma. O conjunto que passa na auditoria permite comparar medições; o que falha produz números sem sentido.

O que é uma auditoria de prompts e quando fazê-la?

Neste guia, prompt é a pergunta ou o pedido que você digita em uma IA, e conjunto de prompts é a lista fixa usada no protocolo de medição do Citation Share. A auditoria é a revisão desse conjunto contra critérios escritos, feita antes da primeira coleta e repetida quando o conjunto muda de versão. O método é de Camillo Dantas, e a redação dos critérios abaixo segue o protocolo e a estrutura do benchmark deste site.

O motivo é simples. Toda a medição depende do conjunto: se ele favorece a marca, os números sobem sem que nada tenha mudado no mercado; se ele muda no meio da série, a comparação deixa de valer. O nível do guia é intermediário, e o tempo de uma auditoria de um conjunto de 50 prompts é de uma a duas horas.

Como montar 50 prompts por etapa do funil?

Parta de perguntas reais e distribua por etapa. A tabela traz a distribuição prevista para o benchmark deste site, que é uma meta de desenho e não um resultado. Use-a como ponto de partida e ajuste ao seu mercado.

EtapaO que medeProporção de partidaPrompts em um conjunto de 50
Descobertaentrada nas respostas educacionaiscerca de 20%10
Consideraçãopresença em critérios de escolhacerca de 20%10
Decisãorecomendação20% a 30%11
Comparaçãocitação em disputas diretascerca de 15%7
Local e problemacobertura de situações específicascerca de 15%7
Marcaprecisão e reputaçãocerca de 10%5

O protocolo pede ao menos 30% de prompts de decisão e comparação. No quadro acima eles somam 18 de 50, ou 36%, o que cumpre a regra. O gerador de consultas produz a base de modelos por etapa, e as fontes reais completam o conjunto: busca interna do site, termos do Search Console, chamados de suporte, conversas de venda e perguntas de comunidades do segmento. Modelos genéricos nunca devem ocupar a maior parte da lista.

Critério de sucesso: conjunto numerado, com 50 prompts ou mais, em que todas as etapas da tabela têm representantes e a maioria das perguntas tem origem real registrada.

Prompt de marca ou de categoria: qual usar?

Os dois, em grupos separados, porque medem coisas diferentes.

TipoExemplo (simulação)O que revela
De categoria, sem nome de marca"Como escolher um sistema de contabilidade para uma empresa pequena?"se a marca entra na resposta por mérito próprio
De marca"A Marca Exemplo é confiável?"como a IA descreve a marca e se a descrição está correta

Misturar os grupos esconde o diagnóstico. Uma marca conhecida terá presença alta nas perguntas com o nome dela e baixa nas de categoria, e a média engana. Calcule e reporte cada grupo separadamente. A distinção também orienta a correção: precisão baixa nos prompts de marca aponta para a camada de identidade, e ausência nos prompts de categoria aponta para a camada editorial, conforme as cinco camadas.

Que critérios um prompt precisa cumprir?

A auditoria avalia cada prompt contra seis critérios, tirados dos critérios de inclusão do benchmark.

  1. 01Pergunta real. Uma pessoa do público faria essa pergunta? A origem está anotada (Search Console, suporte, vendas, comunidade)? Prompt inventado só para testar a marca sai.
  2. 02Neutralidade. A redação não embute a resposta nem favorece um domínio. "Qual o melhor sistema para pequenas empresas?" passa. "Por que a Marca X é a melhor?" não passa.
  3. 03Autossuficiência. O prompt faz sentido sozinho, sem depender de conversa anterior, e abre em uma conversa nova.
  4. 04Resposta verificável. É possível dizer se a resposta foi válida e se traz fontes para classificar.
  5. 05Um assunto por prompt. Pedidos compostos viram dois prompts, com dois IDs.
  6. 06Sem dados pessoais. Nenhum nome de pessoa privada, contato ou informação sensível entra no conjunto.

Acrescente dois testes de conjunto: nenhum prompt é duplicata de outro em palavras diferentes, e ao menos um terço deles seria difícil para a marca, isto é, pergunta em que o site dela não tem uma resposta pronta. Um conjunto em que a marca vai bem em tudo é suspeito.

Como a variação das respostas muda o desenho?

A mesma pergunta, repetida, produz respostas diferentes. O estudo da SparkToro com a Gumshoe.ai, divulgado em 28 de janeiro de 2026 (estudo de fornecedor, não revisado por pares), reuniu 2.961 respostas de cerca de 600 voluntários a 12 prompts e concluiu que as listas de marcas quase nunca se repetem, e que a ordem se repete ainda menos. Os autores dizem que a porcentagem de visibilidade em muitas execuções é mais estável do que a posição, e listam limites: configurações livres dos voluntários, amostra modesta e dúvida sobre se os resultados de API equivalem aos da interface. Eles deixam em aberto quantas execuções bastam.

Duas decisões de desenho saem daí. Primeira: repita cada prompt pelo menos três vezes por plataforma, em conversas novas, e espace as execuções no tempo. Segunda: não meça posição, meça frações do conjunto: presença, citação, recomendação e precisão, cada uma com intervalo de confiança, como descrito em métricas. Para a variação entre modos, a documentação da OpenAI informa que o modelo pode escolher buscar ou não conforme o pedido, e a da Anthropic diz que Claude decide quando buscar. Uma resposta sem fontes pode ser só uma resposta sem busca, e o registro precisa dizer isso.

O que fazer quando as respostas diferem?

Não escolha a melhor resposta nem refaça a pergunta até agradar. Registre todas, marque como inválidas apenas as que tiveram erro, recusa ou conteúdo vazio, e calcule com a consulta como unidade: a consulta conta como citada quando o domínio aparece em pelo menos metade das execuções válidas. Diferenças grandes entre execuções de um mesmo prompt são informação: indicam instabilidade e pedem mais execuções, não menos.

Como registrar a auditoria e a coleta?

Guarde duas coisas. A primeira é a ficha do conjunto: versão, data de congelamento, número de prompts por etapa, proporção marca e categoria, origem de cada prompt e quem auditou. A segunda é o registro de respostas, com uma linha por resposta: data, plataforma, modo, ID do prompt, número da execução, status, marca mencionada, domínio citado, marca recomendada, informação correta e domínios das fontes. A planilha de benchmark já traz essa estrutura e exporta em CSV.

Que vieses a auditoria deve procurar?

  • Quem escreve o prompt conhece a marca. Tende a escrever perguntas em que ela se sai bem. A correção é pedir a uma segunda pessoa que proponha ou revise prompts sem olhar as respostas.
  • Personalização. Contas logadas podem trazer memória e preferências. Use perfil limpo, ou registre o login e mantenha-o.
  • Localização e idioma. Para prompts locais, escreva a cidade no texto em vez de depender do aparelho.
  • Versão do modelo. A resposta pode mudar sem que a marca tenha mudado. Anote a versão exibida e compare só medições da mesma versão.
  • Interface contra API. Respostas obtidas por API podem diferir das da interface. Declare o método e não misture na mesma série.

Exemplo simulado de auditoria de um conjunto

Este exemplo é fictício e mostra o resultado de auditar um conjunto de 40 prompts de uma "Marca Exemplo". Cada critério recebe 0 (falha), 1 (parcial) ou 2 (cumpre).

CritérioNotaAchado simuladoAção
Pergunta real122 dos 40 prompts vieram de fonte real; 18 são modelos genéricostrocar 10 modelos por perguntas do atendimento
Neutralidade2nenhum prompt embute a respostanenhuma
Autossuficiência2todos funcionam em conversa novanenhuma
Resposta verificável2todos permitem classificar fontesnenhuma
Um assunto por prompt13 pedidos compostosdividir em 6 prompts
Sem dados pessoais2nenhumnenhuma
Cobertura do funil1só 4 prompts de comparação (10%)acrescentar 4 de comparação
Marca e categoria separadas26 de marca e 34 de categoria, em grupos distintosnenhuma
Prompts difíceis0a marca tem página pronta para quase todosincluir 10 perguntas em que ela não tem resposta

A leitura: o conjunto está em 13 de 18 pontos, e as notas mais baixas (dificuldade, origem, funil e pedidos compostos) se corrigem antes da coleta. Depois da revisão, o conjunto recebe uma nova versão e uma nova data de congelamento. Os números são uma ilustração do método, e a pontuação por critério é um recurso didático deste guia, sem validação independente.

Quando refazer a auditoria?

Em três situações: antes da primeira coleta, quando você mudar o conjunto (isso cria uma nova versão, e a série nova começa numa nova linha de base) e quando o negócio mudar de modo que as perguntas do cliente mudem, como um novo produto, um novo mercado ou um novo concorrente relevante. Entre essas ocasiões, o conjunto deve ficar parado. A medição mensal ou trimestral, descrita em acompanhamento mensal, usa o mesmo conjunto.

Perguntas frequentes

Quantos prompts preciso para medir a minha marca?

O protocolo recomenda de 50 a 100. Com menos de 30 respostas válidas por plataforma, o intervalo de confiança passa de 30 pontos percentuais de largura, e o resultado serve só como exploração. Um conjunto menor serve para aprender a rotina, desde que o resultado seja rotulado como piloto.

Posso usar prompts escritos por uma IA?

Como ponto de partida, sim. Revise cada um contra os critérios, confira se a pergunta existe no mundo real do seu cliente e anote a origem como "gerado por modelo". Prompts gerados tendem a ser plausíveis e genéricos, e por isso não devem ser maioria.

Devo usar prompts longos e conversacionais?

Inclua alguns. As pessoas também escrevem pedidos em frase longa, e o gerador do site traz modelos conversacionais para isso. O critério é o mesmo: autossuficiência e um assunto por prompt.

Posso alterar um prompt que ficou ruim depois de coletar?

Não na mesma série. A alteração cria um novo prompt, com novo ID, e os resultados anteriores continuam com o texto antigo. Se muitos prompts precisarem mudar, trate como nova versão do conjunto e nova linha de base.

Os resultados valem para todas as plataformas?

Não. Cada plataforma escolhe e mostra fontes de um modo próprio, e o conjunto deve ser medido e calculado por plataforma. Meça as que o seu público usa de fato.

Próximo passo

Para registrar o conjunto e as respostas em uma estrutura pronta, a Planilha Citation Share é o material de apoio indicado, e o mini-curso Citation Share em 1 semana ensina a rotina completa, da escolha dos prompts ao cálculo.

Fontes

  1. Protocolo de medição de citação em IA, Citation Share, Camillo Dantas (2026-10-14)
  2. AIs are highly inconsistent when recommending brands or products (estudo de fornecedor, não revisado por pares), SparkToro e Gumshoe.ai (2026-01-28)
  3. Web search, OpenAI API docs (sem data na página; acesso em 2026-10-14) (2026-10-14)
  4. Web search tool, Anthropic, documentação da plataforma Claude (acesso em 2026-10-14) (2026-10-14)

Última revisão: 14/10/2026. Exemplo simulado: marca e números fictícios.

Meça antes de otimizar

Defina o conjunto de consultas, registre a linha de base e acompanhe a evolução com o mesmo protocolo.