O LMArena, antes Chatbot Arena e desde janeiro de 2026 chamado só de Arena, ranqueia modelos de linguagem pelos votos de pessoas que comparam duas respostas sem saber de quem são. Os laboratórios citam a nota nos lançamentos porque ela parece medir o que o usuário sente na conversa. Ao fim do texto, você vai saber como a nota é calculada, por que ela oscila e que perguntas fazer antes de confiar nela.
Por que o benchmark existe
Testes clássicos como o MMLU têm perguntas fixas e gabarito fechado. Os criadores da Arena apontaram dois problemas nisso: as perguntas não são abertas, e os conjuntos de teste estáticos podem se contaminar com o tempo. Contaminação é quando as perguntas do teste acabam nos dados de treino do modelo. Um chatbot, porém, é usado em conversa livre, e o que importa é se a pessoa gostou da resposta.
A Arena responde a uma pergunta simples: entre dois modelos, qual as pessoas preferem quando elas mesmas escrevem os prompts? O projeto foi lançado pelo blog da LMSYS e entrou no ar em 24 de abril de 2023. O artigo de referência saiu em 7 de março de 2024. Os autores são Wei-Lin Chiang, Lianmin Zheng, Anastasios Angelopoulos, Ion Stoica e outros, de Berkeley, Stanford e UCSD.
Os autores defendiam uma plataforma de avaliação "aberta e ao vivo, baseada em preferência humana". Para eles, uma avaliação realista exige perguntas novas, variadas e vindas de usuários reais. Como os prompts chegam o tempo todo, o conjunto se renova sozinho. Assim, não existe uma lista pronta de perguntas para um laboratório decorar.
A trajetória institucional mudou várias vezes. Em setembro de 2024, o projeto ganhou domínio próprio, lmarena.ai. Em abril de 2025, virou uma empresa independente, a LMArena. Em 28 de janeiro de 2026, adotou o nome Arena e passou a funcionar em arena.ai.
Como é uma tarefa
Na Arena, a tarefa é o próprio prompt do usuário. A pessoa escreve qualquer pedido e recebe duas respostas lado a lado, de modelos anônimos. Ela vota em A, em B, em "empate" ou em "ambas ruins". Se não conseguir decidir, pode continuar conversando, e os nomes dos modelos só aparecem depois do voto.
O artigo de 2024 traz um exemplo concreto, descrito como um desafio de programação de jogos em Python. O usuário pediu um jogo que desenhasse um boneco de neve no lugar da forca. O jogo devia usar um dicionário para escolher palavras em três níveis de dificuldade.
O GPT-4-0613 entregou um programa em Python que baixava o dicionário, separava as palavras por dificuldade, desenhava o boneco e rodava o laço do jogo. O artigo mostra a saída no terminal e trata o programa como correto. O Llama-2-70b-chat entregou só um plano geral, com bibliotecas como numpy, nltk e pygame, mas nenhum programa executável. Nesse exemplo do apêndice, o juiz foi o GPT-4-Turbo, e o veredito disse que o Llama-2 falhou em fornecer qualquer programa.
O mesmo apêndice mostra o caso oposto. Perguntados sobre qual filme saiu primeiro, Blind Shaft ou The Mask of Fu Manchu, os dois modelos deram os anos certos, 1932 e 2003. O juiz declarou empate. Os autores usam o par para mostrar que alguns prompts não conseguem separar os modelos.
Não há correção automática nem gabarito: quem decide é o voto. A plataforma aplica filtros de palavras-chave para descartar conversas que citam nomes de modelos, como GPT e Claude, ou de empresas, como OpenAI e Anthropic. Essas menções quebrariam o anonimato. A API de moderação da OpenAI marca conteúdo inseguro, o que atinge cerca de 3% dos pedidos.
Como a nota é calculada
No lançamento, em maio de 2023, a equipe usou o sistema Elo do xadrez. A cada batalha, a nota de cada modelo era atualizada conforme a diferença entre o resultado esperado e o real. Em dezembro de 2023, a equipe explicou o problema do fator K, que define quanto cada partida mexe na nota. Ele precisa ser alto para modelos novos subirem rápido e baixo para manter as notas estáveis.
Ainda em dezembro de 2023, a Arena trocou o Elo online pelo modelo Bradley-Terry. Esse modelo estima as notas de uma vez só, por máxima verossimilhança, a partir de todas as batalhas. Ele supõe que o desempenho de cada modelo é fixo, então a ordem das partidas não importa. Empates contam como meia vitória e meia derrota.
Segundo a equipe, o Bradley-Terry dá notas mais estáveis e intervalos de confiança mais precisos. As médias e a ordem do ranking ficaram muito próximas das do Elo. A diferença entre as notas de dois modelos vira, por uma curva logística, a probabilidade de um vencer o outro. Por isso a nota é relativa e só tem sentido comparada à de outros modelos do mesmo placar.
Cada nota vem com intervalo de confiança, a faixa onde o valor verdadeiro provavelmente está. Os intervalos são estimados por bootstrap, que reamostra as batalhas muitas vezes para medir a variação. Modelos mais novos, com menos votos, têm faixas mais largas que os modelos já estabelecidos.
Não existe uma referência humana separada, porque a métrica já é a preferência humana. O artigo mediu se os votos são confiáveis. A concordância entre a multidão e os especialistas ficou entre 72,8% e 83,1%, conforme o especialista e o par de modelos. Entre os dois especialistas, ficou em 79,4% e 89,8%.
Como o teste é rodado
A Arena não tem harness no sentido comum, isto é, um programa que aplica um conjunto fixo de testes ao modelo. Cada voto é uma batalha nova, com um prompt novo. Também não há um número fixo de tentativas por modelo. O volume de votos é que define a precisão da nota.
A escolha dos pares não é aleatória. O artigo descreve uma amostragem ativa: a plataforma sorteia com mais frequência os pares que mais reduzem o intervalo de confiança. Numa simulação, chegar a uma precisão de 0,2 na matriz de vitórias exigiu cerca de 6.800 votos com sorteio uniforme e cerca de 4.400 com amostragem ativa.
Há várias versões do placar. Em agosto de 2024 surgiu o controle de estilo, que desconta o efeito do tamanho da resposta e da quantidade de títulos, negritos e listas em markdown. Com esse ajuste, o grok-2-mini caiu do 6º para o 18º lugar, o gpt-4o-mini caiu do 6º para o 11º e o claude-3-opus subiu do 16º para o 10º. O tamanho da resposta foi o fator de estilo dominante.
Também existem categorias, como Hard Prompts, e arenas separadas. Na categoria Hard Prompts com controle de estilo, o claude-3-5-sonnet passou do 2º para o 1º lugar. A arena de imagens chegou em junho de 2024 e a de vídeo em janeiro de 2026. Cada recorte gera um ranking próprio.
Por isso duas notas do mesmo modelo podem não bater. Uma pode vir do placar com controle de estilo e a outra do placar sem ele. Ou o mesmo nome comercial pode mudar por trás da API, já que a equipe admite que modelos proprietários hospedados podem mudar sem aviso. Em 2023, o gpt-4-0314 tinha 1201 pontos e o gpt-4-0613, 1152.
O placar hoje e como chegou aqui
O primeiro placar, publicado em 3 de maio de 2023, usava cerca de 4,7 mil votos válidos e nove modelos. O líder era o vicuna-13b, com 1169 pontos, seguido do koala-13b, com 1082, e do oasst-pythia-12b, com 1065. Em dezembro de 2023, a plataforma já passava de 130 mil votos válidos e de 40 modelos ranqueados. Em janeiro de 2024, somava mais de 240 mil votos de cerca de 90 mil usuários, mais de 50 modelos e conversas em mais de 100 idiomas, 77% delas em inglês.
Em 21 de novembro de 2026, o placar de texto da Arena, espelhado pelo agregador BenchLeader com resultados publicados pela Arena em 19 de novembro, tinha três modelos do Google no topo. O Gemini 4 Carbon (high) liderava com 1527, seguido do Gemini 4 Argon (high), com 1520, e do Gemini 4 Neon (high), com 1513. Esses números são medição da própria Arena, não dos laboratórios donos dos modelos.
Logo atrás vinham o Muse Wonder (max), da Meta, com 1511, e o Claude Opus 5.5 (high), da Anthropic, com 1506. Do 6º ao 10º lugar, só aparecem modelos da Anthropic, com notas entre 1504 e 1501. O BenchLeader informa que a nota de texto é calculada com controle de estilo.
O topo está aglomerado. Os dez primeiros cabem em 26 pontos, e três modelos empatam em 1503. Entre vizinhos, as diferenças vão de 1 a 7 pontos. Com distâncias tão curtas, a ordem só significa algo depois de conferir os intervalos de confiança de cada modelo.
As notas de 2023 e de 2026 também não se comparam diretamente. Como a escala é relativa, o 1169 do Vicuna valia contra os rivais daquela época. Ele não mede uma distância fixa até o 1527 do líder atual.
O que a nota não diz
A crítica mais detalhada é o artigo The Leaderboard Illusion, de 29 de abril de 2025. Os autores são Shivalika Singh, Sara Hooker e outros, de Cohere Labs, Princeton, Stanford, MIT e outras instituições. O mecanismo central é o teste privado. Um provedor envia vários variantes anônimos, observa as notas e publica só a que quiser.
Como cada nota tem ruído, o máximo de várias medições tende a ficar acima do valor real. Numa simulação, testar 20 variantes elevou a melhor nota em cerca de 50 pontos sem nenhuma melhora real. Na prática, dois checkpoints idênticos do Aya-Vision-8B tiraram 1069 e 1052. Os autores contaram 27 variantes privados da Meta em março de 2025, antes do Llama 4, e 43 somando o placar de visão.
O artigo também mediu desigualdade de dados. Google e OpenAI receberam cerca de 19,2% e 20,4% de todos os dados da Arena, enquanto 83 modelos open-weight somaram 29,7%. Dos 243 modelos públicos analisados, 205 foram retirados de circulação sem aviso. Treinar com dados da Arena elevou a taxa de vitória no ArenaHard de 23,5% para 49,9%, ganho relativo de 112%, sem melhora no MMLU.
O caso Llama 4 mostrou o risco na prática. A Meta colocou no placar uma versão chamada Llama-4-Maverick-03-26-Experimental, descrita por ela como otimizada para conversa. Quando a versão pública foi avaliada, ficou abaixo de GPT-4o, Claude 3.5 Sonnet e Gemini 1.5 Pro, segundo o TechCrunch em 11 de abril de 2025. A LMArena pediu desculpas, mudou suas regras, e o TechCrunch observou que ajustar um modelo ao teste dificulta prever seu desempenho em outros contextos.
Há ainda o viés de quem vota. O próprio controle de estilo nasceu porque o tamanho e a formatação das respostas pesam nos votos. Um estudo citado pela Fast Company em fevereiro de 2025 concluiu que algumas centenas de votos manipulados podem distorcer o ranking. E preferir uma resposta numa conversa não mostra se um código roda em produção.
Como ler esse número num anúncio
Primeiro, pergunte qual placar foi citado. Texto, imagem, vídeo e as categorias internas, como Hard Prompts, são rankings diferentes. Também importa se a nota tem controle de estilo, porque as posições mudam bastante entre as duas visões, como mostram os casos do grok-2-mini e do claude-3-opus.
Segundo, confira se o modelo avaliado é o que você vai usar. O nome no placar deve bater com o da API ou dos pesos publicados, e o caso do Llama 4 Maverick mostra por quê. Variantes com sufixos como (high) ou (max) aparecem como entradas separadas, cada uma com nota própria.
Terceiro, olhe o intervalo de confiança e o número de votos. Um modelo recém-chegado, com poucos votos, tem faixa larga. Uma vantagem de poucos pontos dentro dessa faixa não é vitória.
Quarto, anote a data. O placar muda conforme chegam votos e novos rivais, e uma posição de lançamento pode cair. Compare dois modelos sempre na mesma leitura do mesmo placar.
Para quem importa
A nota ajuda quem escolhe um modelo para conversa aberta com o público, como assistentes e ferramentas de escrita. Nesses casos, a preferência de muita gente em prompts variados é um sinal útil. Ela também serve para montar uma lista curta de modelos para testar.
As categorias ajudam a refinar a escolha. Se o seu produto lida com pedidos difíceis, o recorte Hard Prompts fica mais perto do seu caso do que a nota geral. O mesmo vale para as arenas de imagem e vídeo, que têm rankings próprios.
A nota ajuda pouco em decisões técnicas estreitas. Ela não diz se o modelo extrai dados de um contrato sem erro, se segue um formato JSON rígido ou se acerta cálculos. Para isso, o caminho é um teste com seus próprios dados.
Gestores devem tratar a posição como um indício do gosto médio de quem vota, não de qualidade absoluta. Com os dez primeiros dentro de 26 pontos, uma diferença pequena entre líderes raramente justifica trocar de fornecedor. O risco de sobreajuste apontado por The Leaderboard Illusion reforça esse cuidado.
Glossário
Bradley-Terry: modelo estatístico que estima a força de cada competidor a partir de muitas comparações em pares. Ele ajusta todos os resultados de uma vez, sem depender da ordem das partidas.
Elo: sistema de rating do xadrez que atualiza a nota a cada partida. A Arena o usou até dezembro de 2023.
Fator K: parâmetro do Elo que define quanto uma única partida altera a nota.
Intervalo de confiança: faixa onde o valor verdadeiro da nota provavelmente está. Fica mais estreita com mais votos.
Bootstrap: técnica que reamostra os dados muitas vezes para estimar quanto uma medida varia.
Contaminação: presença de perguntas de um teste nos dados de treino do modelo, o que infla a nota sem melhora real.
Em resumo
- Não há gabarito: cada batalha é decidida pelo voto de quem escreveu o prompt.
- Desde dezembro de 2023, a nota vem do modelo Bradley-Terry, e não mais do Elo online.
- Em 21/11/2026, segundo o BenchLeader, o Gemini 4 Carbon (high) liderava o placar de texto com 1527.
- Os dez primeiros do placar de texto estavam separados por apenas 26 pontos.
- Testar variantes em privado e publicar só a melhor infla a nota, segundo The Leaderboard Illusion.
- A versão do Llama 4 Maverick que foi ao placar não era a mesma entregue aos desenvolvedores.
Explicação escrita por um agente de IA a partir das páginas listadas abaixo e conferida contra elas por uma segunda checagem automática. Placares mudam: veja a data de cada número. Atualizado em 21/11/2026 às 06:30 (Brasília).
Fontes usadas no texto
Material do benchmark
Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference arxiv.orgResumo do artigo de referência, com autores e data.
Chatbot Arena (texto completo) arxiv.orgInterface, filtros, Bradley-Terry, amostragem ativa, concordância com especialistas, escala e exemplos do apêndice.
Lançamento do Chatbot Arena lmsys.orgPrimeiro placar com Elo, cerca de 4,7 mil votos e o vicuna-13b na liderança.
Atualização do sistema de notas lmsys.orgTroca do Elo online pelo Bradley-Terry, dilema do fator K e o caso das versões do GPT-4.
Controle de estilo na Arena lmsys.orgMétodo que desconta tamanho e markdown, com exemplos de mudanças de posição.
Notícia
TechCrunch sobre o Llama 4 Maverick techcrunch.comVersão pública do Maverick abaixo de rivais e mudança de regras da LMArena.
Análise independente
BenchLeader: placar de texto da LMArena benchleader.comEspelho do placar de texto lido em 21/11/2026, com resultados da Arena de 19/11/2026.
The Leaderboard Illusion (resumo) arxiv.orgData, autores e principais críticas sobre testes privados e desigualdade de dados.
The Leaderboard Illusion (texto completo) arxiv.orgSimulação do viés de melhor-de-N, checkpoints do Aya-Vision, variantes da Meta, retiradas silenciosas e ganhos no ArenaHard.
Arena (AI platform) na Wikipedia en.wikipedia.orgLinha do tempo de domínio, empresa, novo nome, arenas de imagem e vídeo, e a crítica citada pela Fast Company.


