Planilha de benchmark (ledger)
O ledger é o livro-razão da medição: uma linha por resposta, com plataforma, versão, consulta, execução e o que a resposta trouxe. O resumo é calculado a partir dele, e não o contrário.
Resumo por plataforma
Registro (0 linhas)
Como usar a planilha
- 01Gere e congele o conjunto de consultas no gerador. O ID de cada consulta (Q001, Q002...) é a chave do registro.
- 02Para cada execução, abra a plataforma em sessão limpa, cole a consulta sem alterar uma palavra e registre a resposta na hora, com a data.
- 03Marque se a marca foi mencionada, se o domínio dela apareceu nas fontes, se foi recomendada (apenas em consultas de decisão) e se a informação estava correta.
- 04Use "Adicionar e preparar próxima execução" para registrar as repetições da mesma consulta sem preencher tudo de novo.
- 05Leia o resumo por plataforma. Exporte o CSV ao fim de cada sessão e guarde uma cópia fora do navegador.
Exemplo preenchido
O botão "Carregar exemplo" adiciona 16 linhas fictícias: duas plataformas ("Plataforma A" e "Plataforma B"), quatro consultas e duas execuções de cada. Na Plataforma A, o domínio da marca aparece em 4 das 8 respostas (50,0% por resposta). A conta por consulta mostra um quadro mais cuidadoso: com apenas quatro consultas, o intervalo é muito largo, e o resumo deixa isso visível. Nenhum desses números descreve plataforma ou marca reais. O exemplo existe para você ver o formato do registro e do resumo.
Colunas do arquivo
| Coluna | O que registrar |
|---|---|
data | data da coleta (AAAA-MM-DD) |
plataforma, modelo_versao, modo | onde, em qual versão exibida e com ou sem busca na web |
consulta_id, consulta | ID do conjunto congelado e texto exato |
execucao | número da repetição da mesma consulta |
status | válida, ou inválida para erro, recusa e resposta vazia |
mencionada, citada | sim ou não: marca no texto; domínio da marca nas fontes |
recomendada, correta | sim, não ou na (não se aplica) |
concorrentes_citados, fontes_citadas | listas separadas por ponto e vírgula |
observacoes | contexto, como a resposta mudou de formato |
O CSV segue a estrutura da RFC 4180: vírgula como separador, campos entre aspas, aspas internas duplicadas e quebra de linha CRLF. O arquivo inclui a marca de ordem de bytes UTF-8 para que o Excel exiba os acentos. Na importação, a planilha aceita vírgula ou ponto e vírgula (comum em arquivos salvos pelo Excel em português).
Limites
- Os dados ficam no navegador. Eles usam o armazenamento local deste site neste aparelho. Outro navegador, outro computador ou a limpeza de dados do navegador começam com o registro vazio. Exporte o CSV.
- Ela não coleta nada. A pessoa que opera o protocolo lê a resposta e preenche os campos. Isso é lento de propósito: ler a resposta evita erro de leitura automática, mas depende de disciplina.
- Há classificação humana. Dois avaliadores podem divergir sobre o que é "recomendada" ou "correta". Para estudos, use dupla checagem e registre as divergências.
- O resumo é descritivo. Ele não testa hipóteses nem corrige comparações múltiplas. Para comparar duas medições, use a calculadora.
- Sem dados pessoais. Não registre nomes de usuários nem conteúdo de conversas privadas. O ledger guarda dados da resposta pública a uma consulta que você mesmo escreveu.
Fontes
- RFC 4180: Common Format and MIME Type for Comma-Separated Values (CSV) Files, IETF (2005-10-01)
- Interval Estimation for a Binomial Proportion (Brown, Cai e DasGupta), Statistical Science, vol. 16, n. 2, p. 101-133 (2001)
- Understanding Success Criterion 2.1.1: Keyboard, W3C, WCAG 2.1 (2018-06-05)
Meça antes de otimizar
Defina o conjunto de consultas, registre a linha de base e acompanhe a evolução com o mesmo protocolo.