ferramenta gratuita

Planilha de benchmark (ledger)

O ledger é o livro-razão da medição: uma linha por resposta, com plataforma, versão, consulta, execução e o que a resposta trouxe. O resumo é calculado a partir dele, e não o contrário.

resposta curtaA planilha registra cada resposta de IA coletada pelo protocolo, calcula presença, Citation Share e recomendação por plataforma com intervalo de confiança de 95% e exporta tudo em CSV. Os dados ficam só no seu navegador (armazenamento local) e nada é enviado a servidor. Exporte o CSV com frequência: limpar o navegador apaga o registro.
Nova resposta

Resumo por plataforma

Registro (0 linhas)

Como usar a planilha

  1. 01Gere e congele o conjunto de consultas no gerador. O ID de cada consulta (Q001, Q002...) é a chave do registro.
  2. 02Para cada execução, abra a plataforma em sessão limpa, cole a consulta sem alterar uma palavra e registre a resposta na hora, com a data.
  3. 03Marque se a marca foi mencionada, se o domínio dela apareceu nas fontes, se foi recomendada (apenas em consultas de decisão) e se a informação estava correta.
  4. 04Use "Adicionar e preparar próxima execução" para registrar as repetições da mesma consulta sem preencher tudo de novo.
  5. 05Leia o resumo por plataforma. Exporte o CSV ao fim de cada sessão e guarde uma cópia fora do navegador.

Exemplo preenchido

O botão "Carregar exemplo" adiciona 16 linhas fictícias: duas plataformas ("Plataforma A" e "Plataforma B"), quatro consultas e duas execuções de cada. Na Plataforma A, o domínio da marca aparece em 4 das 8 respostas (50,0% por resposta). A conta por consulta mostra um quadro mais cuidadoso: com apenas quatro consultas, o intervalo é muito largo, e o resumo deixa isso visível. Nenhum desses números descreve plataforma ou marca reais. O exemplo existe para você ver o formato do registro e do resumo.

Colunas do arquivo

ColunaO que registrar
datadata da coleta (AAAA-MM-DD)
plataforma, modelo_versao, modoonde, em qual versão exibida e com ou sem busca na web
consulta_id, consultaID do conjunto congelado e texto exato
execucaonúmero da repetição da mesma consulta
statusválida, ou inválida para erro, recusa e resposta vazia
mencionada, citadasim ou não: marca no texto; domínio da marca nas fontes
recomendada, corretasim, não ou na (não se aplica)
concorrentes_citados, fontes_citadaslistas separadas por ponto e vírgula
observacoescontexto, como a resposta mudou de formato

O CSV segue a estrutura da RFC 4180: vírgula como separador, campos entre aspas, aspas internas duplicadas e quebra de linha CRLF. O arquivo inclui a marca de ordem de bytes UTF-8 para que o Excel exiba os acentos. Na importação, a planilha aceita vírgula ou ponto e vírgula (comum em arquivos salvos pelo Excel em português).

Limites

  • Os dados ficam no navegador. Eles usam o armazenamento local deste site neste aparelho. Outro navegador, outro computador ou a limpeza de dados do navegador começam com o registro vazio. Exporte o CSV.
  • Ela não coleta nada. A pessoa que opera o protocolo lê a resposta e preenche os campos. Isso é lento de propósito: ler a resposta evita erro de leitura automática, mas depende de disciplina.
  • Há classificação humana. Dois avaliadores podem divergir sobre o que é "recomendada" ou "correta". Para estudos, use dupla checagem e registre as divergências.
  • O resumo é descritivo. Ele não testa hipóteses nem corrige comparações múltiplas. Para comparar duas medições, use a calculadora.
  • Sem dados pessoais. Não registre nomes de usuários nem conteúdo de conversas privadas. O ledger guarda dados da resposta pública a uma consulta que você mesmo escreveu.

Fontes

  1. RFC 4180: Common Format and MIME Type for Comma-Separated Values (CSV) Files, IETF (2005-10-01)
  2. Interval Estimation for a Binomial Proportion (Brown, Cai e DasGupta), Statistical Science, vol. 16, n. 2, p. 101-133 (2001)
  3. Understanding Success Criterion 2.1.1: Keyboard, W3C, WCAG 2.1 (2018-06-05)

Meça antes de otimizar

Defina o conjunto de consultas, registre a linha de base e acompanhe a evolução com o mesmo protocolo.