Blog › Benchmarks explicados

Benchmark explicado · 15/11/2026

GPQA: o benchmark que mede raciocínio científico de nível de doutorado em IA

São 198 questões de biologia, física e química que doutores de outras áreas erram mesmo com a web aberta, e o líder independente já passa de 95%

8 fontes Atualizado em 15/11/2026 às 06:15 (Brasília)

O GPQA reúne perguntas de múltipla escolha em biologia, física e química, escritas por doutores e pensadas para não ter resposta fácil numa busca. O subconjunto Diamond, com 198 questões, aparece em quase todo anúncio de modelo como prova de raciocínio científico. Ao final, você vai saber como a nota é calculada, por que duas medições do mesmo modelo divergem e o que um número perto de 95% ainda diz.

Por que o GPQA existe

O GPQA nasceu para estudar uma pergunta incômoda. Como uma pessoa pode confiar na resposta de uma IA quando ela própria não sabe resolver o problema? Esse campo de pesquisa se chama scalable oversight, ou supervisão escalável. Para estudá-lo, os autores precisavam de perguntas que especialistas acertam e que leigos qualificados erram, mesmo pesquisando à vontade.

O nome resume a ideia: Graduate-Level Google-Proof Q&A, ou perguntas e respostas de pós-graduação à prova de Google. A prova de que buscar na web não basta é empírica. Validadores com doutorado em outras áreas acertaram cerca de 34%, com web liberada e média de 37 minutos por questão. Assistentes de IA ficaram proibidos nessa busca.

O artigo saiu no arXiv em 20 de novembro de 2023. O primeiro autor é David Rein, da NYU e da Cohere, e o último é Samuel R. Bowman, da Anthropic. Também assinam Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani e Julian Michael. O repositório idavidrein/gpqa guarda os dados e recebe correções por formulário.

Os autores apresentam o GPQA como base para experimentos de supervisão. A esperança deles é usá-lo com modelos futuros que superem a capacidade humana. Na prática, porém, os laboratórios adotaram o Diamond como placar de raciocínio científico.

Como é uma tarefa

Cada questão passou por quatro etapas, executadas por 61 profissionais contratados pela plataforma Upwork, todos doutores ou doutorandos na área. Primeiro, um especialista escreve a pergunta e as quatro alternativas. Um segundo especialista responde e comenta, e o autor revisa o texto. Depois, um terceiro especialista e três não especialistas respondem.

Dessa triagem saem três conjuntos. O Extended tem 546 questões. O principal tem 448, com pelo menos metade dos especialistas de acordo e no máximo dois terços dos leigos acertando. O Diamond tem 198, nas quais os dois especialistas acertam e no máximo um terço dos leigos acerta.

Um exemplo publicado no artigo é de química orgânica. O metilciclopentadieno reage com metil isoamil cetona e uma quantidade catalítica de pirrolidina. Forma-se um hidrocarboneto amarelo-vivo, que depois reage com acrilato de etila na proporção 1:1, até a cor sumir. O artigo pergunta: "How many chemically distinct isomers make up the final product (not counting stereoisomers)?". As opções são 2, 16, 8 e 4.

O modelo recebe o enunciado e as quatro alternativas. Ele precisa deduzir a estrutura de cada produto, usar pistas como a perda da cor para inferir o que mudou e contar as combinações possíveis. No fim, entrega uma letra. A correção extrai essa letra com uma expressão regular e a compara com o gabarito. Não há crédito parcial pelo raciocínio.

Às vezes o erro é do modelo, às vezes do gabarito. Greg Burnham, da Epoch AI, estudou as questões em que os modelos de ponta quase sempre falham. Numa sobre dissolução de um composto de ferro, o gabarito exige raciocinar com o produto de solubilidade. Os modelos escolheram a mesma alternativa errada em 98% das vezes, e ele julga o gabarito correto. Noutra, de espectroscopia estelar, ele acha que o enunciado leva a outra resposta.

Como a nota é calculada

A métrica é a acurácia, ou seja, a porcentagem de questões em que a letra escolhida bate com o gabarito. A escala vai de 0% a 100%. Com quatro alternativas, chutar ao acaso rende 25%. No Diamond, cada questão vale cerca de meio ponto percentual, porque são só 198.

A referência humana depende do conjunto. No Extended, especialistas acertaram 64,8% e não especialistas, 34,1%. No Diamond, os números sobem para 81,3% e caem para 22,1%. O artigo avisa que essa diferença é inflada pelo próprio critério de seleção, já que o Diamond reúne justamente as questões em que especialistas acertaram e leigos erraram.

Há ainda um teto de qualidade. Depois de responder, cada especialista via a explicação do autor e podia reconhecer o próprio erro. Descontados esses erros, os autores estimaram em cerca de 74% a fração de questões com resposta incontroversa, num critério conservador. Esse número indica quanto ruído o gabarito pode conter.

A forma de contar também muda a nota. No harness da Epoch AI, uma resposta fora do formato exigido vale zero. Por isso a nota de um modelo pode até ficar abaixo dos 25% do acaso. A Epoch publica as notas com margem de incerteza, como os 87% (±2%) do Grok 4.

Como o teste é rodado

Harness é o programa que envia as questões ao modelo, recolhe as respostas e calcula a nota. No artigo original, os autores testaram vários prompts. Houve o zero-shot, em que o modelo vê só a questão, e o few-shot, com exemplos resolvidos. Também houve o chain-of-thought, que pede raciocínio passo a passo, e uma versão com acesso a um mecanismo de busca.

A Epoch AI usa o prompt da biblioteca simple-evals, da OpenAI. Ele pede que o modelo pense passo a passo e termine com a linha "ANSWER: LETTER". Na rodada do Grok 4, em julho de 2025, foram 1.584 amostras, oito por questão, e 7 delas tiveram erro de API. O limite de saída foi de 128.000 tokens, como a xAI recomendou. Falhas de rede foram, em geral, contadas como erro.

A Vals AI segue os prompts do artigo. No zero-shot, o modelo deve fechar com "The correct answer is (insert answer here)". No few-shot, recebe antes cinco questões de exemplo com explicações escritas por especialistas. A resposta é lida com a mesma expressão regular do artigo original.

Por isso, duas notas do mesmo modelo podem não bater. Mudam o prompt, a regra de extração, o limite de tokens e o tratamento de erros de API. Também muda o número de tentativas: a OpenAI divulgou o o1 com 77,3% em pass@1 e 78,0% por consenso entre várias amostras. Até o formato da resposta muda com o tempo. Em fevereiro de 2026, a Epoch trocou "ANSWER: $LETTER" por "ANSWER: LETTER" e passou a chamar o teste de versão 1.0.6.

O placar hoje e como chegou aqui

Em novembro de 2023, o melhor resultado do artigo foi do GPT-4 com chain-of-thought em few-shot: 38,8% no Diamond. Com acesso à busca, ele fez os mesmos 38,8%, mas se absteve em 41,3% das questões, e nesses casos o harness voltava ao chain-of-thought. O Llama-2-70B-chat ficou em 28,1%, quase no acaso. Esses números foram medidos pelos próprios autores do benchmark.

A subida foi rápida. Pelo histórico compilado pela IntuitionLabs, o Claude 3 Opus chegou a cerca de 60% em março de 2024, número citado no fórum do OpenReview. O o1 marcou 77,3% em setembro de 2024, segundo o blog da OpenAI, perto dos 81,3% dos especialistas no Diamond. Em fevereiro de 2026, a model card do Google DeepMind trouxe 94,3% para o Gemini 3.1 Pro Thinking (High), sem ferramentas.

No placar independente da Vals AI, lido em 15/11/2026 e atualizado pela última vez em 1º de setembro de 2026, lidera o Gemini 3.1 Pro Preview (02/26), com 95,45%. Em seguida vêm o GPT-5.6 Sol, com 95,20%, e o Grok 4.6, com 94,70%. Os cinco primeiros cabem em cerca de 1,5 ponto, de 93,94% a 95,45%. Essas notas foram medidas pela própria Vals, e não pelos laboratórios.

A Vals arquivou o benchmark por considerá-lo saturado, ou seja, sem espaço para separar os melhores modelos, e não o roda mais em lançamentos novos. Burnham tinha avaliado em maio de 2025 que o teste ainda tinha "a bit more juice left", um pouco de fôlego. Ele estimou que pelo menos 90% das questões são válidas.

O que a nota não diz

O primeiro limite é o gabarito. Burnham pegou os 14 modelos com pelo menos 70% e viu que os erros se concentram em 40 questões, 20% do total. Ele analisou seis das sete em que os modelos acertam menos de 5% e estimou 2,25 inválidas. Extrapolando, chegou a cerca de 15 questões problemáticas, 8% do Diamond, com a ressalva de que a incerteza é grande.

O segundo limite é a composição. A química orgânica responde por 36% do Diamond, mas por 70% daquelas 40 questões difíceis. Burnham levanta duas hipóteses. Os modelos podem ter dificuldade com raciocínio espacial e diagramático. Ou os humanos podem errar mais ao escrever questões válidas nessa área. Em qualquer caso, a nota final mistura habilidades distintas num só número.

O terceiro é o tamanho. Os autores reconhecem que 448 questões no conjunto principal limitam o poder estatístico, e o Diamond tem menos da metade disso. A HoneyHive lembra que, com uma questão valendo meio ponto, diferenças pequenas entre modelos são evidência fraca. Os autores também apontam vieses regionais, demográficos e temáticos possíveis no recrutamento pela Upwork.

O quarto é a contaminação, isto é, o vazamento das questões para os dados de treino. Os dados ficam num zip com senha e carregam uma canary string. No artigo, os autores pedem que ninguém publique exemplos em texto ou imagem na internet. A HoneyHive observa que qualquer benchmark público pode vazar com o tempo.

Por fim, o formato de múltipla escolha mede escolher entre quatro opções, não formular uma resposta do zero. Os autores mostraram que classificadores que veem só as alternativas, como T5 e um modelo bag-of-words, não superam o acaso. Logo, a forma das opções não entrega o gabarito. Mesmo assim, a IntuitionLabs nota que acertar essa prova fechada não basta para estabelecer ampla capacidade científica de pós-graduação.

Como ler esse número num anúncio

Primeiro, confira o conjunto. GPQA Extended, GPQA main e GPQA Diamond são provas diferentes. O 39% do GPT-4 no resumo do artigo vale para o conjunto principal de 448 questões. Os 65% de especialistas no resumo batem com os 64,8% do Extended na tabela, enquanto no principal eles fizeram 71,9%.

Depois, veja como a nota foi agregada. Pass@1 numa amostra, média de oito amostras e voto de consenso entre várias tentativas produzem números distintos. A diferença do o1 entre 77,3% e 78,0% vem só disso. Pergunte também se houve ferramentas, como busca ou execução de código, e qual foi o limite de tokens de raciocínio.

Em seguida, descubra quem mediu. Notas da model card são do laboratório, com prompt e configuração escolhidos por ele. Medições da Epoch AI ou da Vals AI usam o mesmo harness para todos. Ainda assim, não convém comparar uma nota da Epoch com uma da Vals, porque prompts e regras de extração diferem.

Por fim, olhe a distância. Perto de 95%, uma vantagem de um ponto equivale a duas questões. Parte do espaço restante pode ser erro de gabarito, e não dificuldade real. Uma diferença dessas não deveria decidir a escolha entre dois modelos.

Para quem importa

Para quem acompanha a evolução dos modelos, o GPQA Diamond é um bom registro histórico. Ele mostra que modelos de linguagem saíram de perto do acaso para acima dos especialistas humanos em pouco mais de dois anos. Essa trajetória foi medida com o mesmo conjunto fixo de questões.

Para escolher um modelo de fronteira hoje, a nota ajuda pouco. Os líderes estão separados por frações de ponto, dentro do ruído de um teste de 198 questões. O número serve mais como filtro mínimo: um modelo novo bem abaixo de 90% está atrás no raciocínio científico em prova fechada.

A nota também não responde a perguntas de produto. Ela não diz se o modelo usa bem ferramentas, lê documentos longos ou segue instruções do seu domínio. Também não mede alucinação em perguntas abertas. Para pesquisa assistida, Burnham sugere tirar a múltipla escolha e criar testes de habilidades de assistente de pesquisa, como o SciCode.

Para quem trabalha com segurança e supervisão de IA, o GPQA mantém o valor original. Ele oferece questões em que leigos qualificados não conseguem conferir a resposta sozinhos. Isso permite testar protocolos em que um humano supervisiona um modelo mais competente que ele.

Glossário

Scalable oversight (supervisão escalável): pesquisa sobre como humanos podem avaliar e corrigir respostas de sistemas de IA mais capazes que eles em uma tarefa. É a motivação original do GPQA.

Harness e scaffold: harness é o programa que aplica o teste, formata o prompt, extrai a resposta e calcula a nota. Scaffold é a estrutura em volta do modelo, como ferramentas e laços de tentativa.

Zero-shot, few-shot e chain-of-thought: no zero-shot, o modelo recebe só a questão; no few-shot, recebe também exemplos resolvidos. Chain-of-thought é pedir que ele raciocine passo a passo antes de responder.

Pass@1 e consenso: pass@1 é a taxa de acerto com uma única resposta por questão, ou a média dessas taxas em várias rodadas. Consenso é gerar várias respostas e ficar com a letra mais votada.

Canary string, contaminação e saturação: a canary string é um código único inserido nos dados para que quem treina modelos os detecte e exclua. Contaminação é quando as questões vazam para o treino. Saturação é quando os melhores modelos encostam no teto e o teste deixa de separá-los.

Em resumo

  • O Diamond tem 198 questões de quatro alternativas. Chutar rende 25% e cada questão vale cerca de meio ponto.
  • Na criação, especialistas acertaram 81,3% do Diamond, leigos qualificados com web ficaram em 22,1% e o GPT-4, em 38,8%.
  • Na leitura de 15/11/2026, o placar independente da Vals AI tem os três primeiros entre 94,70% e 95,45%, e a Vals arquivou o teste por saturação.
  • Greg Burnham, da Epoch AI, estima que cerca de 8% das questões podem ter gabarito ou enunciado problemático.
  • Prompt, número de amostras, limite de tokens e regra de extração mudam a nota de um mesmo modelo.

Explicação escrita por um agente de IA a partir das páginas listadas abaixo e conferida contra elas por uma segunda checagem automática. Placares mudam: veja a data de cada número. Atualizado em 15/11/2026 às 06:15 (Brasília).

Outras publicações