Auditoria de prompts para medir a sua marca em IA
Como montar 50 prompts por etapa do funil, separar prompts de marca e de categoria, lidar com a variação das respostas e auditar o conjunto antes de medir.
O que é uma auditoria de prompts e quando fazê-la?
Neste guia, prompt é a pergunta ou o pedido que você digita em uma IA, e conjunto de prompts é a lista fixa usada no protocolo de medição do Citation Share. A auditoria é a revisão desse conjunto contra critérios escritos, feita antes da primeira coleta e repetida quando o conjunto muda de versão. O método é de Camillo Dantas, e a redação dos critérios abaixo segue o protocolo e a estrutura do benchmark deste site.
O motivo é simples. Toda a medição depende do conjunto: se ele favorece a marca, os números sobem sem que nada tenha mudado no mercado; se ele muda no meio da série, a comparação deixa de valer. O nível do guia é intermediário, e o tempo de uma auditoria de um conjunto de 50 prompts é de uma a duas horas.
Como montar 50 prompts por etapa do funil?
Parta de perguntas reais e distribua por etapa. A tabela traz a distribuição prevista para o benchmark deste site, que é uma meta de desenho e não um resultado. Use-a como ponto de partida e ajuste ao seu mercado.
| Etapa | O que mede | Proporção de partida | Prompts em um conjunto de 50 |
|---|---|---|---|
| Descoberta | entrada nas respostas educacionais | cerca de 20% | 10 |
| Consideração | presença em critérios de escolha | cerca de 20% | 10 |
| Decisão | recomendação | 20% a 30% | 11 |
| Comparação | citação em disputas diretas | cerca de 15% | 7 |
| Local e problema | cobertura de situações específicas | cerca de 15% | 7 |
| Marca | precisão e reputação | cerca de 10% | 5 |
O protocolo pede ao menos 30% de prompts de decisão e comparação. No quadro acima eles somam 18 de 50, ou 36%, o que cumpre a regra. O gerador de consultas produz a base de modelos por etapa, e as fontes reais completam o conjunto: busca interna do site, termos do Search Console, chamados de suporte, conversas de venda e perguntas de comunidades do segmento. Modelos genéricos nunca devem ocupar a maior parte da lista.
Critério de sucesso: conjunto numerado, com 50 prompts ou mais, em que todas as etapas da tabela têm representantes e a maioria das perguntas tem origem real registrada.
Prompt de marca ou de categoria: qual usar?
Os dois, em grupos separados, porque medem coisas diferentes.
| Tipo | Exemplo (simulação) | O que revela |
|---|---|---|
| De categoria, sem nome de marca | "Como escolher um sistema de contabilidade para uma empresa pequena?" | se a marca entra na resposta por mérito próprio |
| De marca | "A Marca Exemplo é confiável?" | como a IA descreve a marca e se a descrição está correta |
Misturar os grupos esconde o diagnóstico. Uma marca conhecida terá presença alta nas perguntas com o nome dela e baixa nas de categoria, e a média engana. Calcule e reporte cada grupo separadamente. A distinção também orienta a correção: precisão baixa nos prompts de marca aponta para a camada de identidade, e ausência nos prompts de categoria aponta para a camada editorial, conforme as cinco camadas.
Que critérios um prompt precisa cumprir?
A auditoria avalia cada prompt contra seis critérios, tirados dos critérios de inclusão do benchmark.
- 01Pergunta real. Uma pessoa do público faria essa pergunta? A origem está anotada (Search Console, suporte, vendas, comunidade)? Prompt inventado só para testar a marca sai.
- 02Neutralidade. A redação não embute a resposta nem favorece um domínio. "Qual o melhor sistema para pequenas empresas?" passa. "Por que a Marca X é a melhor?" não passa.
- 03Autossuficiência. O prompt faz sentido sozinho, sem depender de conversa anterior, e abre em uma conversa nova.
- 04Resposta verificável. É possível dizer se a resposta foi válida e se traz fontes para classificar.
- 05Um assunto por prompt. Pedidos compostos viram dois prompts, com dois IDs.
- 06Sem dados pessoais. Nenhum nome de pessoa privada, contato ou informação sensível entra no conjunto.
Acrescente dois testes de conjunto: nenhum prompt é duplicata de outro em palavras diferentes, e ao menos um terço deles seria difícil para a marca, isto é, pergunta em que o site dela não tem uma resposta pronta. Um conjunto em que a marca vai bem em tudo é suspeito.
Como a variação das respostas muda o desenho?
A mesma pergunta, repetida, produz respostas diferentes. O estudo da SparkToro com a Gumshoe.ai, divulgado em 28 de janeiro de 2026 (estudo de fornecedor, não revisado por pares), reuniu 2.961 respostas de cerca de 600 voluntários a 12 prompts e concluiu que as listas de marcas quase nunca se repetem, e que a ordem se repete ainda menos. Os autores dizem que a porcentagem de visibilidade em muitas execuções é mais estável do que a posição, e listam limites: configurações livres dos voluntários, amostra modesta e dúvida sobre se os resultados de API equivalem aos da interface. Eles deixam em aberto quantas execuções bastam.
Duas decisões de desenho saem daí. Primeira: repita cada prompt pelo menos três vezes por plataforma, em conversas novas, e espace as execuções no tempo. Segunda: não meça posição, meça frações do conjunto: presença, citação, recomendação e precisão, cada uma com intervalo de confiança, como descrito em métricas. Para a variação entre modos, a documentação da OpenAI informa que o modelo pode escolher buscar ou não conforme o pedido, e a da Anthropic diz que Claude decide quando buscar. Uma resposta sem fontes pode ser só uma resposta sem busca, e o registro precisa dizer isso.
O que fazer quando as respostas diferem?
Não escolha a melhor resposta nem refaça a pergunta até agradar. Registre todas, marque como inválidas apenas as que tiveram erro, recusa ou conteúdo vazio, e calcule com a consulta como unidade: a consulta conta como citada quando o domínio aparece em pelo menos metade das execuções válidas. Diferenças grandes entre execuções de um mesmo prompt são informação: indicam instabilidade e pedem mais execuções, não menos.
Como registrar a auditoria e a coleta?
Guarde duas coisas. A primeira é a ficha do conjunto: versão, data de congelamento, número de prompts por etapa, proporção marca e categoria, origem de cada prompt e quem auditou. A segunda é o registro de respostas, com uma linha por resposta: data, plataforma, modo, ID do prompt, número da execução, status, marca mencionada, domínio citado, marca recomendada, informação correta e domínios das fontes. A planilha de benchmark já traz essa estrutura e exporta em CSV.
Que vieses a auditoria deve procurar?
- Quem escreve o prompt conhece a marca. Tende a escrever perguntas em que ela se sai bem. A correção é pedir a uma segunda pessoa que proponha ou revise prompts sem olhar as respostas.
- Personalização. Contas logadas podem trazer memória e preferências. Use perfil limpo, ou registre o login e mantenha-o.
- Localização e idioma. Para prompts locais, escreva a cidade no texto em vez de depender do aparelho.
- Versão do modelo. A resposta pode mudar sem que a marca tenha mudado. Anote a versão exibida e compare só medições da mesma versão.
- Interface contra API. Respostas obtidas por API podem diferir das da interface. Declare o método e não misture na mesma série.
Exemplo simulado de auditoria de um conjunto
Este exemplo é fictício e mostra o resultado de auditar um conjunto de 40 prompts de uma "Marca Exemplo". Cada critério recebe 0 (falha), 1 (parcial) ou 2 (cumpre).
| Critério | Nota | Achado simulado | Ação |
|---|---|---|---|
| Pergunta real | 1 | 22 dos 40 prompts vieram de fonte real; 18 são modelos genéricos | trocar 10 modelos por perguntas do atendimento |
| Neutralidade | 2 | nenhum prompt embute a resposta | nenhuma |
| Autossuficiência | 2 | todos funcionam em conversa nova | nenhuma |
| Resposta verificável | 2 | todos permitem classificar fontes | nenhuma |
| Um assunto por prompt | 1 | 3 pedidos compostos | dividir em 6 prompts |
| Sem dados pessoais | 2 | nenhum | nenhuma |
| Cobertura do funil | 1 | só 4 prompts de comparação (10%) | acrescentar 4 de comparação |
| Marca e categoria separadas | 2 | 6 de marca e 34 de categoria, em grupos distintos | nenhuma |
| Prompts difíceis | 0 | a marca tem página pronta para quase todos | incluir 10 perguntas em que ela não tem resposta |
A leitura: o conjunto está em 13 de 18 pontos, e as notas mais baixas (dificuldade, origem, funil e pedidos compostos) se corrigem antes da coleta. Depois da revisão, o conjunto recebe uma nova versão e uma nova data de congelamento. Os números são uma ilustração do método, e a pontuação por critério é um recurso didático deste guia, sem validação independente.
Quando refazer a auditoria?
Em três situações: antes da primeira coleta, quando você mudar o conjunto (isso cria uma nova versão, e a série nova começa numa nova linha de base) e quando o negócio mudar de modo que as perguntas do cliente mudem, como um novo produto, um novo mercado ou um novo concorrente relevante. Entre essas ocasiões, o conjunto deve ficar parado. A medição mensal ou trimestral, descrita em acompanhamento mensal, usa o mesmo conjunto.
Perguntas frequentes
Quantos prompts preciso para medir a minha marca?
O protocolo recomenda de 50 a 100. Com menos de 30 respostas válidas por plataforma, o intervalo de confiança passa de 30 pontos percentuais de largura, e o resultado serve só como exploração. Um conjunto menor serve para aprender a rotina, desde que o resultado seja rotulado como piloto.
Posso usar prompts escritos por uma IA?
Como ponto de partida, sim. Revise cada um contra os critérios, confira se a pergunta existe no mundo real do seu cliente e anote a origem como "gerado por modelo". Prompts gerados tendem a ser plausíveis e genéricos, e por isso não devem ser maioria.
Devo usar prompts longos e conversacionais?
Inclua alguns. As pessoas também escrevem pedidos em frase longa, e o gerador do site traz modelos conversacionais para isso. O critério é o mesmo: autossuficiência e um assunto por prompt.
Posso alterar um prompt que ficou ruim depois de coletar?
Não na mesma série. A alteração cria um novo prompt, com novo ID, e os resultados anteriores continuam com o texto antigo. Se muitos prompts precisarem mudar, trate como nova versão do conjunto e nova linha de base.
Os resultados valem para todas as plataformas?
Não. Cada plataforma escolhe e mostra fontes de um modo próprio, e o conjunto deve ser medido e calculado por plataforma. Meça as que o seu público usa de fato.
Próximo passo
Para registrar o conjunto e as respostas em uma estrutura pronta, a Planilha Citation Share é o material de apoio indicado, e o mini-curso Citation Share em 1 semana ensina a rotina completa, da escolha dos prompts ao cálculo.
Fontes
- Protocolo de medição de citação em IA, Citation Share, Camillo Dantas (2026-10-14)
- AIs are highly inconsistent when recommending brands or products (estudo de fornecedor, não revisado por pares), SparkToro e Gumshoe.ai (2026-01-28)
- Web search, OpenAI API docs (sem data na página; acesso em 2026-10-14) (2026-10-14)
- Web search tool, Anthropic, documentação da plataforma Claude (acesso em 2026-10-14) (2026-10-14)
Última revisão: 14/10/2026. Exemplo simulado: marca e números fictícios.
Meça antes de otimizar
Defina o conjunto de consultas, registre a linha de base e acompanhe a evolução com o mesmo protocolo.