Humanity's Last Exam: o que mede a prova de 2.500 perguntas de especialistas para IA

O Humanity's Last Exam (HLE) é uma prova de 2.500 perguntas fechadas, escritas por cerca de mil especialistas, que mede quanto um modelo de IA sabe e raciocina no nível da pesquisa acadêmica. Ele aparece nos anúncios porque os testes anteriores saturaram e o HLE ainda separa os modelos de ponta. Ao final, você saberá como uma questão é corrigida, por que duas notas do mesmo modelo divergem e quais erros do gabarito pesam sobre o número.

Por que o benchmark existe

A pergunta do HLE é direta: um modelo de linguagem responde corretamente a questões fechadas que só especialistas de fronteira sabem resolver, em mais de cem disciplinas? O motivo é a saturação. Segundo o artigo de lançamento, os LLMs já passavam de 90% no MMLU, o teste de conhecimento acadêmico mais citado até então. Com todos os modelos perto do teto, a nota deixava de distinguir um modelo do outro.

O benchmark foi criado pelo Center for AI Safety (CAIS) e pela Scale AI, com um consórcio de quase mil colaboradores de mais de 500 instituições em 50 países. O artigo saiu no arXiv em 24 de janeiro de 2025, com Long Phan como primeiro autor e Dan Hendrycks como último. A lista soma 1.178 autores. O trabalho foi publicado na Nature em 28 de janeiro de 2026, no volume 649.

Os autores chamam o HLE de "the final closed-ended academic benchmark of its kind", o último do gênero com perguntas fechadas e cobertura ampla. A própria equipe faz uma ressalva: nota alta não indica capacidade de pesquisa autônoma nem inteligência geral. O HLE mede conhecimento e raciocínio em problemas com resposta verificável, não a capacidade de propor perguntas novas.

A construção explica boa parte do que vem depois. Cada pergunta candidata era submetida a vários modelos de fronteira e só seguia adiante se eles errassem. A equipe registrou mais de 70.000 tentativas, das quais cerca de 13.000 perguntas derrubaram os modelos e passaram para revisão de especialistas. Um prêmio de US$ 500.000 pagou US$ 5.000 a cada uma das 50 melhores perguntas e US$ 500 a cada uma das 500 seguintes. A versão final, com 2.500 questões, foi fechada em 3 de abril de 2025, e CAIS e Scale seguem como mantenedores.

Como é uma tarefa

As perguntas de vitrine no site oficial dão o tom. Uma, enviada por Edward V., do MIT, trata de um osso sesamoide dos Apodiformes, o grupo dos beija-flores, e pergunta quantos tendões pareados ele sustenta. Outra, de Henry T., do Merton College de Oxford, traz a lápide romana com uma inscrição em escrita palmirena e pede a tradução. Cerca de 14% das questões têm imagem, 24% são de múltipla escolha e o resto pede uma resposta curta e exata.

Para ver o mecanismo inteiro, tome uma questão de física analisada por Hojin Yoo e Johyun Park no blog da Asteromorph. Ela pede a probabilidade de encontrar uma partícula no estado n=2 de uma caixa unidimensional entre 0,495a e 0,505a. O modelo recebe só o enunciado e um prompt de sistema que exige três campos: explicação, resposta e confiança de 0% a 100%. No protocolo do artigo, os modelos avaliados não têm acesso a calculadora nem a execução de código.

O modelo precisa escrever a função de onda do estado, integrar a densidade de probabilidade no intervalo estreito e entregar um número. A correção não fica com um humano. Um modelo juiz, o o3-mini, extrai a resposta final e a compara com o gabarito, aceitando uma pequena margem de erro em problemas numéricos. O gabarito dessa questão é 0,000008.

Os modelos de fronteira chegaram a cerca de 6,58×10⁻⁶, valor que Yoo e Park consideram correto, e foram marcados como errados. O erro estava no gabarito, que além disso fere as convenções de algarismos significativos. Para o juiz, a resposta simplesmente não batia com a chave.

Outra questão do mesmo levantamento mostra um erro de convenção, não de cálculo. Ela pede a razão entre a incerteza do momento e o momento na primeira órbita de Bohr, com incerteza de posição de 10 pm. A maioria dos modelos usou ΔxΔp ≈ ħ/2 e chegou a cerca de 2,646. O gabarito, ao que tudo indica, usou ΔxΔp ≈ h e deu 33, uma diferença de 4π, sem que o enunciado dissesse qual aproximação adotar.

Como a nota é calculada

A métrica principal é a acurácia: a porcentagem das 2.500 questões que o juiz marca como corretas. A correção é tudo ou nada. Não há crédito parcial por raciocínio certo com resposta final errada, nem por uma resposta alternativa válida que difira da chave. O prompt do juiz manda avaliar só a correspondência entre as respostas, sem resolver o problema nem argumentar a favor de outra solução.

A segunda métrica é o erro de calibração, em escala de 0 a 100, e quanto menor, melhor. Como cada resposta vem com uma confiança declarada, dá para comparar o que o modelo acha que sabe com o que ele acerta. O HLE usa o erro de calibração RMS: um modelo que diz 90% de certeza em respostas que acerta poucas vezes recebe erro alto. No lançamento, o GPT-4o tinha erro de 89, sinal de excesso de confiança.

O leaderboard da Scale publica a acurácia com intervalo de confiança de 95%, em torno de ±1,9 ponto percentual para notas perto de 50%. A posição de um modelo é 1 mais o número de modelos cujo limite inferior supera o limite superior dele. Na prática, diferenças de um ou dois pontos entre modelos vizinhos não indicam que um seja melhor que o outro.

O acaso rende pouco. Nas 76% de questões de resposta exata, chutar praticamente não pontua. Nas de múltipla escolha, a pergunta só seguia para revisão se os modelos errassem, o que nesse formato significa ir, em média, pior que o chute aleatório.

Não existe uma nota humana de referência no sentido de uma turma fazendo a prova. A referência mais útil é a discordância entre especialistas. Numa auditoria de duas rodadas, com 200 questões cada, a equipe estimou que especialistas discordam de 15,4% do conjunto público. Em biologia, química e saúde, a taxa é de cerca de 18%. Isso funciona como um teto de ruído: perto dele, ganhar pontos pode significar concordar com um gabarito errado.

Como o teste é rodado

O harness oficial, isto é, o código que envia as perguntas e coleta as respostas, está no GitHub do CAIS. Um script gera as previsões do modelo e outro roda o juiz sobre elas. A temperatura padrão é 0. O exemplo usa 8.192 tokens de saída, e o README desaconselha usar menos que isso em modelos de raciocínio. O conjunto traz uma canary string, um código que serve para os laboratórios retirarem o HLE dos dados de treino.

A variável que mais altera a nota são as ferramentas. Na avaliação do artigo, o modelo responde sozinho, sem busca na web nem execução de código. Os laboratórios, porém, divulgam versões com scaffold, a estrutura que dá ao modelo ferramentas e várias tentativas. No lançamento do Grok 4, em julho de 2025, a xAI declarou 25,4% sem ferramentas, 38,6% com ferramentas e 44,4% na versão Heavy, com vários agentes, segundo a Scientific American.

Existem também várias versões do conjunto. O subconjunto só de texto serve para modelos sem visão, como o DeepSeek-R1 no lançamento. O HLE-Rolling, de 8 de outubro de 2025, é um fork dinâmico do conjunto original. O HLE-Diamond, de 22 de setembro de 2026, tem 1.000 questões revisadas, metade de raciocínio e metade de conhecimento. A equipe ainda guarda um conjunto privado held-out para detectar overfitting.

O esforço de raciocínio também pesa. No placar da Scale, o claude-opus-4-6 marca 34,44% no modo de raciocínio máximo e 19,00% sem raciocínio estendido. O mesmo modelo, com dois ajustes, aparece com quase o dobro da nota.

Por isso, duas notas do mesmo modelo raramente batem. O site oficial do HLE lista o Gemini 3 Pro com 38,3%, e o placar da Scale lista o gemini-3-pro-preview com 37,52%. Marco Santoni cita uma diferença de 10 a 18 pontos para o mesmo modelo entre leaderboards, explicada por metodologia e não pelo modelo.

O placar hoje e como chegou aqui

Em janeiro de 2025, nenhum modelo passava de 15%. O GPT-4o fez 2,7%, o Claude 3.5 Sonnet 4,1%, o Gemini 1.5 Pro 4,6% e o o1 8,0%. No subconjunto só de texto, o DeepSeek-R1 marcou 8,5% e o o3-mini (high) 13,4%. Os erros de calibração ficavam entre 73 e 89.

Lido em 13 de novembro de 2026, o placar da Scale AI, coautora do benchmark e não fabricante dos modelos, tem o GPT 6 Astra em primeiro, com 54,80% ± 1,94. Em seguida vêm Fable 5.1 (xhigh) com 46,50%, gemini-3.1-pro-preview com 46,44%, Sonnet 5.5 (xhigh) com 46,12% e Gemini 3.8 Flash com 44,52%. Os intervalos do segundo ao quinto colocado se sobrepõem, então eles estão estatisticamente empatados.

A calibração melhorou junto com a acurácia. O GPT 6 Astra tem erro de calibração de 39 e o Fable 5.1, de 20, contra 89 do GPT-4o. Os modelos atuais erram menos e também sabem melhor quando estão errando.

Os autores escreveram em 2025 que era plausível um modelo passar de 50% até o fim daquele ano. No placar da Scale, a marca só foi superada pelo líder atual. No HLE-Diamond, segundo os resultados do blog oficial com raciocínio alto, o Claude Fable 5.2 chega a 74,3% sem ferramentas. O GPT-6 Astra sobe ali de 59,9% para 82,9% com busca na web e código.

A evolução aponta para a saturação do conjunto original. O site oficial apresenta o Diamond como caminho de migração para quando os modelos se aproximarem do teto de ruído do HLE. Com cerca de 15% de discordância entre especialistas, o espaço útil acima de 55% é menor do que parece.

O que a nota não diz

A crítica mais documentada é ao gabarito. Em julho de 2025, Andrew White e colegas da FutureHouse auditaram 321 questões de química e biologia só com texto, usando um agente de busca na literatura e revisão de especialistas. A estimativa: cerca de 29% (±3,7%) das respostas contradizem a literatura revisada por pares. Um exemplo dá "Oganesson" como gás nobre, embora o elemento seja sintético e previsto como sólido.

A equipe do HLE respondeu com sua própria checagem de um subconjunto de biologia e química, feita por três revisores. Encontrou cerca de 18% de questões problemáticas, e em 25% delas pelo menos um revisor discordava. Em agosto de 2026, a Epoch AI sorteou 48 questões e julgou 22 delas (46%) defeituosas e 12 impossíveis de responder como estavam escritas. Uma pede uma "DFT de 4 pontos" sobre uma sequência de 8 valores. A Epoch classificou o benchmark como "Flawed", rótulo para erros que afetam pelo menos 20% da nota na amostra.

O mecanismo por trás disso vem do próprio filtro de dificuldade. Só entrava a pergunta que os modelos erravam. Se o especialista errou o gabarito e o modelo acertou, a resposta do modelo parecia errada, e a pergunta passava no filtro. Marco Santoni resume: selecionar perguntas em que o modelo falha também seleciona chaves erradas, e o ruído se concentra justamente na faixa difícil onde se mede o progresso.

A FutureHouse acrescenta um fator de processo. Os revisores não eram obrigados a verificar a justificativa quando isso levava mais de cinco minutos. Yoo e Park apontam ainda questões que são trocadilhos, como a "Mercedesbenzene", que teria 7 carbonos por causa do logotipo da marca. Citam também uma questão de desenho de molécula cuja própria chave viola a regra de não ter carbonila.

Há ainda a contaminação. As 2.500 questões são públicas desde 2025, e a canary string só funciona se quem treina o modelo a respeitar. O conjunto privado existe para medir overfitting, mas a Scale não publica resultados dele no placar.

Como ler esse número num anúncio

A primeira pergunta é se o modelo usou ferramentas. Uma nota com busca e código não se compara com outra sem eles: no caso do Grok 4, a diferença foi de 25,4% para 38,6%. Desconfie também de configurações com vários agentes, como a versão Heavy, que nem sempre aparecem no placar oficial.

A segunda é qual conjunto foi usado. HLE completo, subconjunto só de texto, HLE-Rolling e HLE-Diamond são provas diferentes, com notas em escalas diferentes. Um número do Diamond, perto de 75%, não pode ser colocado ao lado de um número do HLE original, perto de 55%.

A terceira é quem mediu e com qual esforço de raciocínio. As notas do Grok 4 no lançamento vinham de testes internos da xAI, ainda fora do placar oficial. A Scale segue um protocolo fixo com juiz o3-mini e temperatura 0. Verifique se a configuração é "xhigh", "max" ou padrão.

A quarta é se a diferença supera o intervalo de confiança. Com ±1,9 ponto em cada lado, dois modelos separados por três pontos podem estar empatados. Olhe também o erro de calibração, que diz se o modelo sabe quando não sabe.

Para quem importa

O HLE ajuda quem precisa de um modelo que responda perguntas técnicas fechadas sem consultar nada, como em pesquisa acadêmica ou em assistentes para especialistas. Uma vantagem grande e estável entre modelos, medida pelo mesmo avaliador, indica mais conhecimento especializado guardado nos parâmetros. O erro de calibração interessa a quem vai mostrar a confiança do modelo ao usuário final.

Ele ajuda pouco em decisões sobre programação, agentes, atendimento ou tarefas do dia a dia. As questões são acadêmicas, às vezes obscuras, e o próprio time do HLE nega que uma nota alta indique capacidade de pesquisa autônoma. Para esses usos, avaliações do seu próprio domínio dizem mais.

Em química e biologia, use o número com cautela redobrada. Com estimativas de 18% a 29% de gabaritos problemáticos nessas áreas, pontos a mais podem refletir concordância com chaves erradas. A FutureHouse publicou um subconjunto filtrado, o HLE-Gold-Bio/Chem, para quem precisa medir essas áreas.

Para um gestor, o uso honesto do HLE é como sinal grosseiro de conhecimento de fronteira, não como critério de desempate. Diferenças de poucos pontos, notas com ferramentas sem aviso ou versões misturadas não justificam trocar de modelo.

Glossário

Benchmark: conjunto padronizado de tarefas com correção definida, usado para comparar modelos sob as mesmas condições.

LLM: sigla de large language model, modelo de linguagem treinado em grandes volumes de texto, como GPT, Gemini e Claude.

Saturação: estado em que os modelos chegam perto da nota máxima e o benchmark deixa de diferenciá-los, como aconteceu com o MMLU.

Exact-match: formato em que a resposta curta precisa coincidir com o gabarito, admitindo apenas equivalências ou pequena margem numérica.

Multimodal: questão que combina texto e imagem, como a inscrição palmirena; cerca de 14% do HLE.

Harness: código que aplica o benchmark, envia as perguntas ao modelo, coleta as respostas e calcula a nota.

Em resumo

• O HLE só aceitou perguntas que os modelos de ponta erravam: dos 70.000 testes registrados saíram 2.500 questões
• Um modelo juiz, o o3-mini, corrige no tudo ou nada e rejeita respostas válidas que não batem com a chave
• De 2,7% do GPT-4o em 2025, o líder da Scale chegou a 54,80% em novembro de 2026
• Estimativas de questões defeituosas vão de 18%, na checagem da própria equipe, a 46%, na amostra da Epoch AI
• Com ferramentas, a nota pode subir mais de 20 pontos, então compare sempre na mesma configuração
• Os autores do HLE avisam que nota alta não indica pesquisa autônoma nem inteligência geral

Explicação escrita por um agente de IA a partir das páginas listadas abaixo e conferida contra elas por uma segunda checagem automática. Placares mudam: veja a data de cada número. Atualizado em 13/11/2026 às 06:15 (Brasília).