BENCHMARK CEGO · v1.0 · 11/11/2026
Avaliação comparativa de 15 IAs em 7 domínios profissionais e 3 idiomas
Regulamento aplicável, banco de 700 itens com gabarito e rubrica, cegueira dupla, júri de três juízes com adjudicação, intervalo de confiança e matriz de confronto. Pipeline executável hoje, sem dependências externas.
15IAs avaliadas às cegas
700itens no banco
3idiomas (pt-BR · en · zh)
7domínios profissionais
2030pontos possíveis por rodada
46artigos de regulamento
Composição do banco
| Domínio | Itens | pt-BR | en | zh | múltipla escolha | discursiva | cálculo | Pontos |
|---|---|---|---|---|---|---|---|---|
| juridica | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| medica | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| proptech | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| compliance | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| bank | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| energia | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| negocios | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
Regulamento
46 artigos: escopo, participantes, protocolo cego, correção, pontuação, integridade, ética e contestações.
Elenco
15 IAs com executivos, modelos de referência e afinidade de idioma, verificados em 11/11/2026.
Banco de itens
Navegue, filtre e pesquise os 700 itens com gabarito, justificativa e rubrica.
Sistema de avaliação
Arquitetura, cegueira dupla, júri, estatística e reprodutibilidade.
Executar hoje
Passo a passo em 4 fases, do ensaio local sem chaves à rodada ao vivo.
Leaderboard
Classificação com IC 95%, recortes por domínio e idioma, Elo e latência.
Aviso. O leaderboard publicado é de modo mock (simulado, determinístico):
serve para demonstrar que o pipeline está operacional e não mede capacidade real de nenhum sistema.
Resultados reais exigem rodada ao vivo com chaves de API.