ARC-AGI: o teste que mede se a IA aprende regras novas a partir de poucos exemplos

O ARC-AGI é uma família de testes criada por François Chollet para medir inteligência fluida, isto é, a capacidade de aprender uma habilidade nova com pouquíssimos exemplos. Ele aparece nos anúncios de modelos porque foi um dos poucos benchmarks em que humanos comuns iam bem e a IA ia mal durante anos. Ao final, você vai saber como é uma tarefa, como a nota é calculada, por que duas notas do mesmo modelo divergem e o que perguntar antes de comparar números.

Por que o ARC-AGI existe

A maioria dos benchmarks mede quanto um modelo já sabe: fatos, código, matemática escolar. Chollet queria medir outra coisa: com que eficiência um sistema adquire uma habilidade em tarefas que nunca viu. Ele chama isso de inteligência fluida e propôs o teste em 2019, no artigo "On the Measure of Intelligence", com o nome Abstraction and Reasoning Corpus.

A ideia central é que as tarefas sejam fáceis para pessoas e difíceis para máquinas, em vez de problemas de nível de doutorado. Por isso elas pressupõem só os chamados core knowledge priors. São blocos cognitivos que humanos têm ao nascer ou adquirem muito cedo, conceito que vem da teoria do Core Knowledge, de Elizabeth Spelke.

O teste ganhou três versões. O ARC-AGI-1 é de 2019. O ARC-AGI-2 saiu em 24 de março de 2025, com tarefas mais difíceis e calibradas por testes com pessoas. O ARC-AGI-3, apresentado em março de 2026, troca as grades estáticas por jogos interativos.

Quem mantém o benchmark é a ARC Prize, que organiza competições no Kaggle e roda o leaderboard verificado. A edição de 2026 da competição já terminou, e os resultados serão anunciados em 4 de dezembro de 2026. O leaderboard usa um conjunto de tarefas não publicado, detalhado mais adiante.

Como é uma tarefa

Nas versões 1 e 2, cada tarefa é um quebra-cabeça de grades. Uma grade vai de 1x1 a 30x30 células, com até 10 cores. O modelo recebe alguns pares de demonstração, cada um com uma grade de entrada e a grade de saída correspondente; no ARC-AGI-1, costumam ser de dois a cinco. Depois recebe uma ou mais entradas de teste, sem a saída.

O trabalho é inferir a regra que transforma entrada em saída e aplicá-la ao teste. A resposta é a grade de saída inteira, célula por célula, com as dimensões certas. Não existe nota parcial por chegar perto: a grade produzida é comparada com o gabarito. A tarefa só conta como resolvida se todos os pares de teste estiverem certos.

Um exemplo real do ARC-AGI-2 é a tarefa e3721c99. Na grade aparecem retângulos coloridos com buracos e, espalhadas, outras formas também com buracos. A regra é pintar cada forma com a cor do retângulo que tem o mesmo número de buracos. O retângulo funciona como uma legenda definida dentro da própria tarefa.

Esse tipo de tarefa foi incluído de propósito. As novas tarefas do ARC-AGI-2 miram interpretação simbólica, raciocínio composicional e aplicação de regras que dependem do contexto. A família da tarefa b5ca7ac4 ilustra o último caso: formas são isoladas e empilhadas para um lado, e o lado depende de uma pista, como a cor do contorno.

No ARC-AGI-3, a tarefa é um jogo. O agente vê uma grade de 64x64 células com 16 cores e escolhe ações: teclas de ação, desfazer e clicar numa coordenada. Ninguém dá instruções em linguagem natural, e o agente precisa descobrir o objetivo enquanto joga. No jogo ls20, uma política aleatória vence o primeiro nível com probabilidade de 1 em 355.

Como a nota é calculada

No ARC-AGI-1 e no ARC-AGI-2, a métrica é pass@2: o modelo tem duas tentativas por tarefa e acerta se uma delas bater com o gabarito. A ARC Prize justifica as duas chances pela ambiguidade explícita de algumas tarefas e por erros não intencionais no conjunto. A nota final é a porcentagem de tarefas resolvidas, de 0% a 100%.

A referência humana do ARC-AGI-2 veio de um estudo em San Diego, com 407 participantes em 515 sessões. Uma tarefa só entrou no conjunto se pelo menos duas pessoas a resolveram em até duas tentativas. O painel humano teve média de 60%, ao custo de US$ 17 por tarefa. No ARC-AGI-1, os humanos mais habilidosos resolviam mais de 97% das tarefas.

Desde o ARC-AGI-2, todo resultado vem acompanhado de uma métrica de eficiência, começando pelo custo por tarefa. A ARC Prize argumenta que inteligência é achar a solução com eficiência, não de forma exaustiva. Uma busca por força bruta poderia um dia resolver o teste, mas, para a fundação, isso não representaria inteligência de verdade.

O ARC-AGI-3 usa outra métrica, a RHAE (Relative Human Action Efficiency). Para cada nível, divide-se o número de ações do humano de referência pelo número de ações da IA, e eleva-se ao quadrado. Se o humano usa 10 ações e a IA 20, o nível vale 25%. Nas regras atuais, o teto por nível é 1,15, ou seja, superar o humano rende até 115%.

A nota do jogo é uma média ponderada dos níveis, com peso igual ao número do nível, então os finais valem mais. Quem para no nível 4 de um jogo de 5 níveis fica limitado a 66,7%. A nota total é a média dos jogos. A referência humana é a mediana superior, por menor número de ações, entre jogadores que viam o jogo pela primeira vez.

Como o teste é rodado

Cada versão tem conjuntos separados. O ARC-AGI-2 tem 1.000 tarefas de treino e três conjuntos de avaliação de 120 tarefas: público, semi-privado e privado. O conjunto semi-privado é held-out, ou seja, fica fora do alcance público, mas é enviado às APIs dos laboratórios sob acordo de não retenção de dados. O privado é usado na competição, com acesso extremamente restrito.

O leaderboard verificado é medido pela própria ARC Prize no conjunto semi-privado. Por padrão, o modelo não recebe nenhuma ferramenta extra, nem execução de código, e qualquer ferramenta habilitada precisa ser declarada. A busca na web nunca é ligada, para não vazar tarefas. No ARC-AGI-3 entra ainda o harness, o programa que conduz o modelo, monta o contexto e guarda memória.

As regras impõem um teto de US$ 10.000 por rodada, e cada resultado vem de uma única rodada, sem média entre várias. Um modelo pode ser testado em vários níveis de raciocínio; quando algum nível fica de fora, a fundação declara o motivo. Como checagem, ela compara a nota pública com a semi-privada: no ARC-AGI-2, a diferença precisa ficar dentro de 3 pontos percentuais.

No ARC-AGI-3, o harness pesa muito. O harness Standard é uma interface mínima e neutra, que só deixa o modelo carregar as anotações que escolher guardar. O harness Provider Adapter usa o gerenciamento de contexto desenhado pelo fornecedor, como compactação e preservação do estado de raciocínio. A ARC Prize publica as duas notas separadas.

Por isso duas notas do mesmo modelo podem não bater. Pode ser conjunto público contra semi-privado, nível de raciocínio diferente, harness diferente ou regra de pontuação diferente. O ARC-AGI-3 mudou de regra depois do lançamento: o artigo de março de 2026 usava o segundo melhor humano e teto de 1,0, enquanto a documentação atual usa a mediana superior e teto de 1,15.

O placar hoje e como chegou aqui

Durante cinco anos, o ARC-AGI-1 resistiu. Na competição de 2024, o melhor resultado no conjunto privado subiu de 33% para 55,5%, puxado por síntese de programas guiada por deep learning e por test-time training, técnica em que o modelo é ajustado durante a própria avaliação. A meta do prêmio era 85%.

A virada veio em dezembro de 2024. Segundo Melanie Mitchell, o o3 da OpenAI fez 75,7% no conjunto semi-privado com pouco compute e 87,5% com muito compute. Na configuração cara, foram 1.024 amostras por tarefa e mais de US$ 1 milhão no total. O ARC-AGI-2 nasceu nesse contexto e estreou com sistemas em um dígito: o o3-preview em modo econômico tinha 4%, em estimativa preliminar.

O leaderboard da ARC Prize, lido em 11 de novembro de 2026, mostra a escalada. O GPT-5 tinha 9,9% no ARC-AGI-2 em agosto de 2025. O Gemini 3 Pro marcava 31,1% em novembro de 2025, e o Gemini 3 Deep Think chegou a 84,6% em fevereiro de 2026. Hoje o topo é do GPT-6 Astra, com 95,0%, seguido de Gemini 4 Carbon e GPT-6.1 Sol, ambos com 94,2%.

No ARC-AGI-1, vários modelos empatam em 98,5%, entre eles Claude Opus 5.5, Gemini 4 Carbon e GPT-6 Astra. O ARC-AGI-3 foi lançado com todos os modelos de ponta abaixo de 1%: o Gemini 3.1 Pro Preview fez 0,37%. Na leitura de 11 de novembro, no harness Standard, o líder é o Claude Fable 5.2, com 81,2%. No Provider Adapter, o GPT-6 Astra marca 99,9%.

A leitura é de saturação em cadeia. O ARC-AGI-1 está esgotado e o ARC-AGI-2 caminha para o mesmo lugar, acima da média humana de 60%. No harness mínimo do ARC-AGI-3, os líderes saíram de quase zero para notas entre 52,7% e 81,2% em menos de oito meses. Os números vêm do leaderboard verificado da ARC Prize, não dos laboratórios; resultados da comunidade ficam numa aba separada.

O que a nota não diz

Os próprios autores apontaram falhas do ARC-AGI-1 no artigo do ARC-AGI-2. Uma análise de 2020 encontrou 49% do conjunto privado resolvido por ao menos uma equipe, quase sempre por busca de programas em força bruta. As mesmas 100 tarefas privadas foram usadas em quatro competições, com cerca de 10.000 notas expostas. E o conjunto público era mais fácil que o privado.

Melanie Mitchell levantou outra questão. A OpenAI revelou que o o3 foi ajustado em 300 das 400 tarefas de treino do ARC. Para Mitchell, isso fere a premissa de que o solucionador não deveria precisar de treino específico no domínio. Num post no BlueSky, ela escreveu que resolver por força de compute "defeats the original purpose", ou seja, anula o propósito original.

Ela apontou ainda que um conjunto de 100 tarefas é pequeno para conclusões fortes, e lembrou a lei de Goodhart: quando a medida vira alvo, deixa de medir bem. No artigo do ARC-AGI-3, a fundação reconhece o risco: tarefas estáticas podem ser contornadas treinando o modelo em uma cobertura densa de tarefas sintéticas parecidas.

Há também a questão de validade: acertar não prova abstração. Em estudo de 2025, Claas Beger, Mitchell e coautores pediram que os modelos explicassem em palavras as regras usadas no ConceptARC, um teste aparentado. As regras dos melhores modelos capturavam a abstração pretendida bem menos do que as humanas. A conclusão: medir só o acerto pode superestimar a competência dos modelos quando a entrada é texto.

O ARC-AGI-3 tem limites próprios. A referência humana vem de 10 pessoas por ambiente, testadas num centro em San Francisco. O corte em 5 vezes as ações humanas por nível pode subestimar agentes. No próprio artigo, o Opus 4.6 fez 0,0% numa variante do jogo TR87 sem harness e 97,1% com o harness Duke, sinal de que ganhos com harness podem não generalizar.

Como ler esse número num anúncio

Primeiro, qual versão? 90% no ARC-AGI-1 hoje não impressiona; 90% no ARC-AGI-2 é topo de linha; 90% no ARC-AGI-3 Standard seria recorde. Anúncios às vezes dizem só "ARC-AGI", e a diferença entre versões é de dezenas de pontos.

Segundo, qual conjunto e quem mediu? Nota no conjunto público, medida pelo próprio laboratório, vale menos do que nota verificada pela ARC Prize no semi-privado. O público está aberto há anos e pode ter vazado para dados de treino. Procure o selo de verificação ou a aba Verified do leaderboard.

Terceiro, quanto custou? Pergunte o custo por tarefa e o nível de raciocínio. O o3 de 2024 mostrou que mais amostras e mais compute sobem a nota. Dois modelos com a mesma nota podem estar a ordens de grandeza de distância em custo, e o benchmark trata isso como parte do resultado.

Quarto, no ARC-AGI-3, qual harness? Standard e Provider Adapter não se comparam. O GPT-6.1 Sol tem 52,7% no primeiro e 96,4% no segundo. Pergunte também com qual regra de pontuação a nota foi calculada, já que a fórmula mudou em 2026.

Para quem importa

A nota ajuda quem acompanha a fronteira da pesquisa a saber se um modelo novo generaliza melhor para problemas fora da distribuição de treino. Como as tarefas evitam conhecimento especializado, o ARC-AGI separa raciocínio sobre regras novas de memória acumulada.

Para um gestor que escolhe modelo, o ARC-AGI-3 é o mais próximo do uso prático. Ele mede se um agente explora um ambiente desconhecido, descobre o objetivo e chega lá sem desperdiçar ações. É um indício para tarefas agênticas em sistemas novos, sem documentação.

A nota não diz se o modelo escreve bom código, resume documentos com fidelidade ou responde em português. Também não mede latência, alucinação ou segurança. Um modelo pode dominar quebra-cabeças de grades e ser mediano no seu caso de uso.

Com as versões 1 e 2 perto do teto, elas já não separam os líderes. No ARC-AGI-1, seis modelos empatam em 98,5% na leitura de 11 de novembro de 2026. Para a fronteira, o sinal útil hoje está no ARC-AGI-3.

Glossário

Benchmark: conjunto padronizado de tarefas e regras de correção usado para comparar sistemas de IA.

Inteligência fluida: capacidade de raciocinar, resolver problemas novos e se adaptar a situações novas, em oposição à inteligência cristalizada, que depende de conhecimento acumulado.

Core knowledge priors: blocos cognitivos que humanos têm ao nascer ou adquirem muito cedo, únicos pressupostos pelo ARC-AGI.

pass@2: regra em que o modelo tem duas tentativas por tarefa e conta como acerto se qualquer uma estiver correta.

Held-out: conjunto de dados mantido fora do treino e do acesso público, para medir generalização sem contaminação.

Conjunto semi-privado: 120 tarefas do ARC-AGI-2 não publicadas, mas enviadas a APIs de laboratórios para os testes do leaderboard verificado.

Em resumo

• O ARC-AGI testa aprendizado de regras novas com poucos exemplos, não conhecimento acumulado.
• Nas versões 1 e 2, a resposta é uma grade inteira e o modelo tem só duas tentativas.
• O ARC-AGI-3 troca as grades por jogos sem instrução e pontua pela eficiência em ações comparada à humana.
• Em 11/11/2026, o topo do ARC-AGI-2 passa de 94%, acima da média humana de 60% medida em 2025.
• Nota sem versão, conjunto, custo e harness não permite comparar modelos.
• Críticos como Melanie Mitchell lembram que acertar a grade não prova que o modelo abstraiu a regra pretendida.

Explicação escrita por um agente de IA a partir das páginas listadas abaixo e conferida contra elas por uma segunda checagem automática. Placares mudam: veja a data de cada número. Atualizado em 11/11/2026 às 06:30 (Brasília).