Blog › Benchmarks explicados

Benchmark explicado · 17/11/2026

OSWorld: o benchmark que mede se um agente de IA consegue usar um computador de verdade

Como funcionam as 369 tarefas em máquina virtual, o que mudou no OSWorld-Verified e por que as notas acima de 80% exigem leitura atenta

10 fontes Atualizado em 17/11/2026 às 06:30 (Brasília)

O OSWorld coloca um agente de IA diante de um Ubuntu de verdade, rodando numa máquina virtual, e verifica se ele termina tarefas como limpar cookies, editar planilhas ou ajustar slides. Ele aparece nos lançamentos de modelos com “computer use” porque dá uma nota única e automática para a capacidade de operar um desktop. Ao final, você vai saber como uma tarefa é montada e corrigida, de onde vêm os números acima de 80% e o que perguntar antes de comparar dois modelos.

Por que o OSWorld existe

A pergunta do OSWorld é direta: um modelo consegue operar um computador comum, com mouse, teclado e aplicativos reais, até concluir uma tarefa pedida em linguagem natural? Para isso, ele observa a tela, decide uma ação, executa e repete. O teste mede o resultado final, não a conversa.

Segundo o artigo original, os testes anteriores tinham um de dois problemas. Ou ofereciam demonstrações sem um ambiente executável, ou limitavam o escopo a aplicativos ou domínios específicos, como a navegação web. O OSWorld cobre Chrome, LibreOffice, GIMP, VS Code, Thunderbird, VLC e ferramentas básicas do sistema, além de fluxos que atravessam vários programas.

O trabalho foi publicado no arXiv em 11 de abril de 2024, assinado por Tianbao Xie e mais 16 coautores. As instituições são a Universidade de Hong Kong, a Salesforce Research, a Carnegie Mellon e a Universidade de Waterloo. Nove estudantes de computação gastaram cerca de 1.800 horas, ao longo de três meses, montando as tarefas.

Quem mantém o benchmark é o XLANG Lab, da Universidade de Hong Kong. Em 28 de julho de 2025 o grupo lançou o OSWorld-Verified, uma revisão do mesmo conjunto. Em 26 de junho de 2026 anunciou o OSWorld 2.0, um benchmark novo, com tarefas muito mais longas, que o site antigo indica como a versão mais recente.

Como é uma tarefa

O exemplo que o próprio artigo usa é simples de enunciar: “Can you help me clean up my computer by getting rid of all the cookies that Amazon might have saved?”. O pedido é vago, como o de um usuário comum. O agente precisa descobrir sozinho que se trata dos cookies do navegador.

Antes de o agente começar, um script de configuração prepara a máquina virtual (VM, um computador simulado dentro de outro). Nesse caso, ele deixa o Chrome aberto. O agente recebe a instrução em texto e uma observação da tela, que pode ser uma captura de 1920×1080 pixels.

A partir daí, o agente precisa achar nas configurações do navegador o ponto onde se apagam os dados da Amazon. Cada passo é escrito como código Python da biblioteca pyautogui, que move o mouse, clica, digita e aciona atalhos. Há ainda três ações especiais: WAIT (esperar), FAIL (declarar a tarefa impossível) e DONE (encerrar).

A correção não olha o caminho percorrido. Quando o agente termina, uma função de avaliação lê os dados de cookies do navegador e verifica se sobrou algum do domínio.amazon.com. Se não sobrou, a tarefa vale 1. O benchmark tem 302 estados iniciais e 134 funções de avaliação diferentes, cada uma escrita para checar um tipo de resultado.

Os erros dos primeiros modelos foram concretos. Entre 550 falhas analisadas pelos autores, mais de 75% envolviam cliques imprecisos: o plano estava certo, mas a coordenada estava errada. Num pedido para ajustar o brilho no GIMP, o agente não sabia em que menu ficava a opção e testou menus ao acaso até esgotar os passos.

Como a nota é calculada

A métrica é a taxa de sucesso: a média das notas por tarefa, em porcentagem. A maioria das funções devolve 0 ou 1. Depois da revisão de 2025, algumas passaram a dar notas fracionárias, como a comparação de documentos Word, que devolve um valor entre 0 e 1.

O conjunto oficial tem 369 tarefas em Ubuntu: 268 de um único aplicativo e 101 que cruzam vários. Oito dependem do Google Drive e podem falhar na preparação. Os mantenedores aceitam configurá-las à mão, rodando as 369, ou excluí-las, rodando 361. Existem ainda 43 tarefas em Windows, só para análise, que exigem ativação por questão de direitos autorais.

Cerca de 8,1% das tarefas, 30 no total, são impossíveis de propósito. Elas se baseiam em funções descontinuadas ou inexistentes que usuários reais pediram. Nelas, o acerto é o agente responder FAIL, o que pune quem inventa uma solução para algo que não existe.

A referência humana é 72,36%. Ela veio de estudantes de computação, com tempo mediano de 111,94 segundos por tarefa. Os autores comparam com o WebArena, outro benchmark de agentes web, em que os humanos acertam cerca de 88% e levam 35,38 segundos na mediana.

Como o teste é rodado

O harness é o programa que liga o modelo ao ambiente: sobe a VM, aplica a configuração inicial, entrega observações, executa as ações e chama o avaliador. O do OSWorld é aberto no GitHub e roda sobre VMware, VirtualBox, Docker, AWS e outros provedores. Na AWS, com até 50 ambientes em paralelo, uma rodada completa leva menos de uma hora.

O agente pode receber quatro tipos de entrada. São elas: só a captura de tela, só a árvore de acessibilidade (a lista estruturada de elementos que o sistema expõe a leitores de tela), as duas juntas, ou Set-of-Marks. No Set-of-Marks, a captura vem com caixas numeradas sobre os elementos, e o modelo responde com o número em vez de coordenadas. A escolha muda muito a nota: o GPT-4V tirou 5,26% só com tela e 12,17% com tela e árvore.

O limite de passos é outra variável decisiva. O artigo original usou 15, e os comandos de exemplo do repositório ainda usam 15. Já os resultados recentes declaram 50 ou 100. No anúncio do Verified, o o3 aparece com notas entre 9,1% e 23,0%, conforme o orçamento de passos.

Também entra o scaffold: a camada de software em volta do modelo que planeja, divide o trabalho, chama outros modelos ou dá acesso a terminal e Python. O placar oficial separa modelos gerais, modelos especializados em uso de computador e “agentic frameworks”, sistemas que combinam vários modelos. Uma planilha preenchida por script e outra preenchida clicando valem a mesma coisa para o avaliador.

Por isso, duas notas do mesmo modelo raramente batem. Segundo o placar da Steel.dev, a Anthropic usa um harness revisado, com 100 passos e pass@1 calculado como média de várias execuções. A mesma página marca a nota do Claude Opus 4.8 como “not directly comparable to older entries”. Para entrar no placar verificado, os mantenedores rodam o código do agente do seu lado e publicam as trajetórias no Hugging Face.

O placar hoje e como chegou aqui

Em abril de 2024, o melhor resultado foi 12,24%, do GPT-4 lendo só a árvore de acessibilidade. Com apenas a captura de tela, o Claude 3 Opus fez 2,42%. A distância para os 72,36% humanos era o argumento central do artigo.

Quando o OSWorld-Verified saiu, em julho de 2025, o XLANG Lab listava o CoACT-1 com 60,76% e o Agent S2.5 com o3 com 56,0%. Entre os modelos sem sistema em volta, o Claude 4 Sonnet tinha 43,9%. O GPT-4o ficava em 5%.

Na leitura feita em 17/11/2026, o topo já está acima da referência humana. Na compilação da Presenc AI, com dados do placar oficial em 1º de outubro de 2026, lidera o Intelligence-Indeed Agent, com 90,19%. Em seguida vêm o Claude Fable 5, com 85,96%, e o Pointer Agent com Opus 4.7, com 83,64%. Todos rodaram com limite de 100 passos.

Os agregadores de notas por modelo contam outra história. Na BenchLM, atualizada em 16 de novembro de 2026, o Qwen3.8 Max lidera com 86,1%, número divulgado pela própria Alibaba. Os sete primeiros ficam entre 82,6% e 86,1%. Só um deles, o Holo3-35B-A3B, da H Company, tem medição independente, feita pelo OSWorld-Verified.

A evolução indica saturação. Com o topo concentrado em poucos pontos e acima dos humanos, o OSWorld clássico já separa mal os modelos de ponta. O OSWorld 2.0 tem 108 tarefas com mediana de 1,6 hora humana e limite de 500 passos. Segundo a Presenc AI, no placar oficial de 17 de setembro de 2026, o Claude Opus 5 tinha 44,33% de conclusão completa.

O que a nota não diz

A crítica mais detalhada é de Florian Brand e Greg Burnham, da Epoch AI, publicada em 30 de outubro de 2025. Eles resumem: construir um benchmark de uso de computador “that is both realistic and rigorous is hard”. A análise mostra que a nota mede menos a interface gráfica do que o nome sugere.

Cerca de 15% das tarefas podem ser feitas só pelo terminal, e em cerca de 30% os scripts Python substituem boa parte do trabalho gráfico. Quase metade exige pouca ou nenhuma interação com a interface. Num caso registrado pela Epoch, o Claude Sonnet 4 instalou openpyxl e pandas para montar uma tabela de Excel, mesmo sem ferramentas de código no seu scaffold.

Há também erros de gabarito. A Epoch estima que cerca de 10% das tarefas têm erros graves, uma taxa que considera típica em benchmarks de IA. Muitas instruções são ambíguas: um pedido de retirada de carro “do dia 10 ao 11” só passa se o horário for 12h. Num slide, “alinhar” pode se referir ao texto ou à caixa de texto.

O próprio XLANG Lab documentou problemas ao lançar o Verified, depois de corrigir mais de 300 problemas relatados pela comunidade. Sites passaram a exibir CAPTCHA, como o Budget.com, e o speedtest.net removeu a exportação em CSV de que uma tarefa dependia. Segundo a Epoch, cerca de 10% das tarefas dependem de dados ao vivo da internet, então a dificuldade muda com o tempo.

Por fim, o benchmark não é estável. Segundo a Epoch, o Verified alterou a maioria das instruções e funções de avaliação, e cerca de 10% das instruções mudaram de novo depois disso. Uma correção de gabarito pode parecer ganho de capacidade, o que torna frágil comparar notas de épocas diferentes.

Como ler esse número num anúncio

Primeiro, confirme a versão. OSWorld original, OSWorld-Verified e OSWorld 2.0 são testes diferentes. Um 80% no Verified e um 45% no 2.0 podem descrever o mesmo modelo. Como o Verified mudou avaliadores e instruções, compará-lo com notas anteriores a julho de 2025 é arriscado.

Segundo, veja quem mediu. A maioria das notas de lançamento é autodeclarada pelo laboratório. O placar verificado só aceita resultados em que os mantenedores rodaram o código ou receberam trajetórias de instituições confiáveis. Uma diferença de dois pontos entre uma nota autodeclarada e outra verificada não quer dizer quase nada.

Terceiro, procure as condições: limite de passos, número de execuções, tipo de observação e ferramentas extras. Um sistema com terminal, Python e vários modelos coordenados não é comparável a um modelo que só vê a tela e clica. Se o anúncio não diz quantos passos usou, a nota fica difícil de interpretar.

Quarto, desconfie de diferenças pequenas no topo. Com 361 tarefas, cada uma vale cerca de 0,28 ponto percentual, e cerca de 10% têm problemas de gabarito. Uma vantagem de um ponto equivale a três ou quatro tarefas, e o ruído do próprio teste pode explicar uma diferença desse tamanho.

Para quem importa

A nota ajuda quem está escolhendo um modelo para automatizar trabalho em desktop: preencher planilhas, mexer em documentos, configurar programas. Uma diferença grande, como a de 12% para 60% entre 2024 e 2025, indica um salto real de capacidade. Ela também mostra se um modelo erra muito ao clicar ou ao localizar elementos na tela.

A nota não diz como o agente se sai em tarefas longas. Segundo a Epoch, a maior parte das tarefas do OSWorld clássico pede menos de dez ações, e o tempo mediano humano fica perto de dois minutos. No OSWorld 2.0, com tarefas que passam de uma hora, nenhum modelo passa de 10% na faixa entre 137 e 163 minutos.

Ela também não mede o ambiente mais comum nos escritórios. As tarefas rodam em Ubuntu com aplicativos de código aberto, como LibreOffice, GIMP, Chrome e VS Code, e não em Windows com Microsoft Office. A Epoch suspeita que isso não seja grave, porque há sinais de transferência entre sistemas. Mas nota que o foco dos desenvolvedores nos sistemas populares pode deixar a nota do OSWorld defasada.

Para decisões de segurança, a nota vale pouco. Ela não mostra se o agente apagou arquivos que não devia ou executou ações arriscadas no caminho, porque só o estado final é corrigido. No OSWorld 2.0, as tarefas trazem relatórios de segurança separados, que auditam execuções sensíveis.

Glossário

Harness: o programa que conecta o modelo ao ambiente de teste. Ele prepara a máquina, entrega as observações, executa as ações do agente e chama a correção.

Scaffold: a camada de software em volta do modelo que organiza seu trabalho, com planejamento, memória, chamadas a outros modelos ou acesso a terminal. O mesmo modelo com scaffolds diferentes pode ter notas muito distintas.

Árvore de acessibilidade: a descrição estruturada dos elementos da tela (botões, campos, textos, posições) que o sistema operacional oferece a leitores de tela. Dá ao agente informação que uma imagem sozinha não dá.

Set-of-Marks: forma de observação em que a captura de tela vem com caixas numeradas sobre os elementos. O modelo aponta o elemento pelo número, sem calcular coordenadas.

Pass@1: a taxa de acerto com uma única tentativa por tarefa. Quando é média de várias execuções, reduz o efeito da sorte numa rodada isolada.

Grounding: a capacidade de ligar uma intenção (“clicar em Salvar”) ao ponto exato da tela onde isso acontece. Foi a principal fonte de erro dos primeiros agentes no OSWorld.

Em resumo

  • São 369 tarefas reais em Ubuntu, corrigidas por scripts que inspecionam o estado final da máquina.
  • A melhor nota passou de 12,24% em 2024 para mais de 90% em 2026, acima dos 72,36% humanos.
  • Segundo a Epoch AI, quase metade das tarefas pede pouca interação gráfica.
  • Notas autodeclaradas e verificadas, com 15 ou 100 passos, não devem ser postas lado a lado.
  • O OSWorld 2.0, com 108 tarefas longas e limite de 500 passos, assumiu o papel de teste difícil.

Explicação escrita por um agente de IA a partir das páginas listadas abaixo e conferida contra elas por uma segunda checagem automática. Placares mudam: veja a data de cada número. Atualizado em 17/11/2026 às 06:30 (Brasília).

Fontes usadas no texto

Material do benchmark

OSWorld: Benchmarking Multimodal Agents (arXiv) arxiv.org

Resumo do artigo original, com autores, data, número de tarefas, referência humana e melhor resultado inicial.

Artigo completo do OSWorld arxiv.org

Traz o exemplo dos cookies da Amazon, os aplicativos, os tipos de observação, o espaço de ações, o estudo humano e a análise de erros.

Site oficial do OSWorld 1.0 osworld-v1.xlang.ai

Apresenta instituições, categorias e regras do placar verificado, a opção 361/369 e o aviso sobre o OSWorld 2.0.

Introducing OSWorld-Verified xlang.ai

Descreve as mais de 300 correções, exemplos de tarefas quebradas, notas fracionárias, AWS e os resultados de julho de 2025.

Site oficial do OSWorld 2.0 osworld-v2.xlang.ai

Detalha as 108 tarefas longas, o limite de 500 passos, o desempenho por duração e os relatórios de segurança.

GitHub

Repositório do OSWorld no GitHub github.com

Mostra provedores suportados, o limite de 15 passos nos exemplos, a cronologia e as regras de submissão verificada.

Análise independente

Epoch AI: o que o OSWorld diz sobre uso de computador epoch.ai

Auditoria independente sobre tarefas resolvíveis por terminal, erros de gabarito, ambiguidade e instabilidade das instruções.

Steel.dev: placar do OSWorld leaderboard.steel.dev

Lista notas autodeclaradas com orçamento de passos, número de execuções e ressalvas sobre o harness, atualizada em 11/10/2026.

BenchLM: OSWorld-Verified benchlm.ai

Separa notas autodeclaradas de independentes e mostra a concentração do topo, atualizada em 16/11/2026.

Presenc AI: placar do OSWorld em 2026 presenc.ai

Compila o topo do placar oficial verificado em 1º/10/2026 e o resultado do OSWorld 2.0 de setembro de 2026.

Outras publicações