Benchmarks de IA explicados

A cada dois dias, um benchmark conhecido explicado em detalhe: o que uma tarefa pede, como a nota é calculada, o placar de hoje e o que o número não diz.

Receber cada modelo novo por e-mail

ARC-AGI: o teste que mede se a IA aprende regras novas a partir de poucos exemplos

O ARC-AGI é uma família de testes criada por François Chollet para medir inteligência fluida, isto é, a capacidade de aprender uma habilidade nova com pouquíssimos exemplos. Ele aparece nos…

12 fontes

Material do benchmark

Análise independente

SWE-bench: o teste que mede se a IA consegue corrigir issues reais de projetos no GitHub

O SWE-bench entrega a um modelo de IA um repositório Python de verdade e a descrição de um bug relatado no GitHub, e verifica se a correção proposta passa nos testes do próprio projeto. Vir…

11 fontes

Material do benchmark

Notícia

Análise independente