O OSWorld coloca um agente de IA diante de um Ubuntu de verdade, rodando numa máquina virtual, e verifica se ele termina tarefas como limpar cookies, editar planilhas ou ajustar slides. Ele aparece nos lançamentos de modelos com “computer use” porque dá uma nota única e automática para a capacidade de operar um desktop. Ao final, você vai saber como uma tarefa é montada e corrigida, de onde vêm os números acima de 80% e o que perguntar antes de comparar dois modelos.
Por que o OSWorld existe
A pergunta do OSWorld é direta: um modelo consegue operar um computador comum, com mouse, teclado e aplicativos reais, até concluir uma tarefa pedida em linguagem natural? Para isso, ele observa a tela, decide uma ação, executa e repete. O teste mede o resultado final, não a conversa.
Segundo o artigo original, os testes anteriores tinham um de dois problemas. Ou ofereciam demonstrações sem um ambiente executável, ou limitavam o escopo a aplicativos ou domínios específicos, como a navegação web. O OSWorld cobre Chrome, LibreOffice, GIMP, VS Code, Thunderbird, VLC e ferramentas básicas do sistema, além de fluxos que atravessam vários programas.
O trabalho foi publicado no arXiv em 11 de abril de 2024, assinado por Tianbao Xie e mais 16 coautores. As instituições são a Universidade de Hong Kong, a Salesforce Research, a Carnegie Mellon e a Universidade de Waterloo. Nove estudantes de computação gastaram cerca de 1.800 horas, ao longo de três meses, montando as tarefas.
Quem mantém o benchmark é o XLANG Lab, da Universidade de Hong Kong. Em 28 de julho de 2025 o grupo lançou o OSWorld-Verified, uma revisão do mesmo conjunto. Em 26 de junho de 2026 anunciou o OSWorld 2.0, um benchmark novo, com tarefas muito mais longas, que o site antigo indica como a versão mais recente.
Como é uma tarefa
O exemplo que o próprio artigo usa é simples de enunciar: “Can you help me clean up my computer by getting rid of all the cookies that Amazon might have saved?”. O pedido é vago, como o de um usuário comum. O agente precisa descobrir sozinho que se trata dos cookies do navegador.
Antes de o agente começar, um script de configuração prepara a máquina virtual (VM, um computador simulado dentro de outro). Nesse caso, ele deixa o Chrome aberto. O agente recebe a instrução em texto e uma observação da tela, que pode ser uma captura de 1920×1080 pixels.
A partir daí, o agente precisa achar nas configurações do navegador o ponto onde se apagam os dados da Amazon. Cada passo é escrito como código Python da biblioteca pyautogui, que move o mouse, clica, digita e aciona atalhos. Há ainda três ações especiais: WAIT (esperar), FAIL (declarar a tarefa impossível) e DONE (encerrar).
A correção não olha o caminho percorrido. Quando o agente termina, uma função de avaliação lê os dados de cookies do navegador e verifica se sobrou algum do domínio.amazon.com. Se não sobrou, a tarefa vale 1. O benchmark tem 302 estados iniciais e 134 funções de avaliação diferentes, cada uma escrita para checar um tipo de resultado.
Os erros dos primeiros modelos foram concretos. Entre 550 falhas analisadas pelos autores, mais de 75% envolviam cliques imprecisos: o plano estava certo, mas a coordenada estava errada. Num pedido para ajustar o brilho no GIMP, o agente não sabia em que menu ficava a opção e testou menus ao acaso até esgotar os passos.
Como a nota é calculada
A métrica é a taxa de sucesso: a média das notas por tarefa, em porcentagem. A maioria das funções devolve 0 ou 1. Depois da revisão de 2025, algumas passaram a dar notas fracionárias, como a comparação de documentos Word, que devolve um valor entre 0 e 1.
O conjunto oficial tem 369 tarefas em Ubuntu: 268 de um único aplicativo e 101 que cruzam vários. Oito dependem do Google Drive e podem falhar na preparação. Os mantenedores aceitam configurá-las à mão, rodando as 369, ou excluí-las, rodando 361. Existem ainda 43 tarefas em Windows, só para análise, que exigem ativação por questão de direitos autorais.
Cerca de 8,1% das tarefas, 30 no total, são impossíveis de propósito. Elas se baseiam em funções descontinuadas ou inexistentes que usuários reais pediram. Nelas, o acerto é o agente responder FAIL, o que pune quem inventa uma solução para algo que não existe.
A referência humana é 72,36%. Ela veio de estudantes de computação, com tempo mediano de 111,94 segundos por tarefa. Os autores comparam com o WebArena, outro benchmark de agentes web, em que os humanos acertam cerca de 88% e levam 35,38 segundos na mediana.
Como o teste é rodado
O harness é o programa que liga o modelo ao ambiente: sobe a VM, aplica a configuração inicial, entrega observações, executa as ações e chama o avaliador. O do OSWorld é aberto no GitHub e roda sobre VMware, VirtualBox, Docker, AWS e outros provedores. Na AWS, com até 50 ambientes em paralelo, uma rodada completa leva menos de uma hora.
O agente pode receber quatro tipos de entrada. São elas: só a captura de tela, só a árvore de acessibilidade (a lista estruturada de elementos que o sistema expõe a leitores de tela), as duas juntas, ou Set-of-Marks. No Set-of-Marks, a captura vem com caixas numeradas sobre os elementos, e o modelo responde com o número em vez de coordenadas. A escolha muda muito a nota: o GPT-4V tirou 5,26% só com tela e 12,17% com tela e árvore.
O limite de passos é outra variável decisiva. O artigo original usou 15, e os comandos de exemplo do repositório ainda usam 15. Já os resultados recentes declaram 50 ou 100. No anúncio do Verified, o o3 aparece com notas entre 9,1% e 23,0%, conforme o orçamento de passos.
Também entra o scaffold: a camada de software em volta do modelo que planeja, divide o trabalho, chama outros modelos ou dá acesso a terminal e Python. O placar oficial separa modelos gerais, modelos especializados em uso de computador e “agentic frameworks”, sistemas que combinam vários modelos. Uma planilha preenchida por script e outra preenchida clicando valem a mesma coisa para o avaliador.
Por isso, duas notas do mesmo modelo raramente batem. Segundo o placar da Steel.dev, a Anthropic usa um harness revisado, com 100 passos e pass@1 calculado como média de várias execuções. A mesma página marca a nota do Claude Opus 4.8 como “not directly comparable to older entries”. Para entrar no placar verificado, os mantenedores rodam o código do agente do seu lado e publicam as trajetórias no Hugging Face.
O placar hoje e como chegou aqui
Em abril de 2024, o melhor resultado foi 12,24%, do GPT-4 lendo só a árvore de acessibilidade. Com apenas a captura de tela, o Claude 3 Opus fez 2,42%. A distância para os 72,36% humanos era o argumento central do artigo.
Quando o OSWorld-Verified saiu, em julho de 2025, o XLANG Lab listava o CoACT-1 com 60,76% e o Agent S2.5 com o3 com 56,0%. Entre os modelos sem sistema em volta, o Claude 4 Sonnet tinha 43,9%. O GPT-4o ficava em 5%.
Na leitura feita em 17/11/2026, o topo já está acima da referência humana. Na compilação da Presenc AI, com dados do placar oficial em 1º de outubro de 2026, lidera o Intelligence-Indeed Agent, com 90,19%. Em seguida vêm o Claude Fable 5, com 85,96%, e o Pointer Agent com Opus 4.7, com 83,64%. Todos rodaram com limite de 100 passos.
Os agregadores de notas por modelo contam outra história. Na BenchLM, atualizada em 16 de novembro de 2026, o Qwen3.8 Max lidera com 86,1%, número divulgado pela própria Alibaba. Os sete primeiros ficam entre 82,6% e 86,1%. Só um deles, o Holo3-35B-A3B, da H Company, tem medição independente, feita pelo OSWorld-Verified.
A evolução indica saturação. Com o topo concentrado em poucos pontos e acima dos humanos, o OSWorld clássico já separa mal os modelos de ponta. O OSWorld 2.0 tem 108 tarefas com mediana de 1,6 hora humana e limite de 500 passos. Segundo a Presenc AI, no placar oficial de 17 de setembro de 2026, o Claude Opus 5 tinha 44,33% de conclusão completa.
O que a nota não diz
A crítica mais detalhada é de Florian Brand e Greg Burnham, da Epoch AI, publicada em 30 de outubro de 2025. Eles resumem: construir um benchmark de uso de computador “that is both realistic and rigorous is hard”. A análise mostra que a nota mede menos a interface gráfica do que o nome sugere.
Cerca de 15% das tarefas podem ser feitas só pelo terminal, e em cerca de 30% os scripts Python substituem boa parte do trabalho gráfico. Quase metade exige pouca ou nenhuma interação com a interface. Num caso registrado pela Epoch, o Claude Sonnet 4 instalou openpyxl e pandas para montar uma tabela de Excel, mesmo sem ferramentas de código no seu scaffold.
Há também erros de gabarito. A Epoch estima que cerca de 10% das tarefas têm erros graves, uma taxa que considera típica em benchmarks de IA. Muitas instruções são ambíguas: um pedido de retirada de carro “do dia 10 ao 11” só passa se o horário for 12h. Num slide, “alinhar” pode se referir ao texto ou à caixa de texto.
O próprio XLANG Lab documentou problemas ao lançar o Verified, depois de corrigir mais de 300 problemas relatados pela comunidade. Sites passaram a exibir CAPTCHA, como o Budget.com, e o speedtest.net removeu a exportação em CSV de que uma tarefa dependia. Segundo a Epoch, cerca de 10% das tarefas dependem de dados ao vivo da internet, então a dificuldade muda com o tempo.
Por fim, o benchmark não é estável. Segundo a Epoch, o Verified alterou a maioria das instruções e funções de avaliação, e cerca de 10% das instruções mudaram de novo depois disso. Uma correção de gabarito pode parecer ganho de capacidade, o que torna frágil comparar notas de épocas diferentes.
Como ler esse número num anúncio
Primeiro, confirme a versão. OSWorld original, OSWorld-Verified e OSWorld 2.0 são testes diferentes. Um 80% no Verified e um 45% no 2.0 podem descrever o mesmo modelo. Como o Verified mudou avaliadores e instruções, compará-lo com notas anteriores a julho de 2025 é arriscado.
Segundo, veja quem mediu. A maioria das notas de lançamento é autodeclarada pelo laboratório. O placar verificado só aceita resultados em que os mantenedores rodaram o código ou receberam trajetórias de instituições confiáveis. Uma diferença de dois pontos entre uma nota autodeclarada e outra verificada não quer dizer quase nada.
Terceiro, procure as condições: limite de passos, número de execuções, tipo de observação e ferramentas extras. Um sistema com terminal, Python e vários modelos coordenados não é comparável a um modelo que só vê a tela e clica. Se o anúncio não diz quantos passos usou, a nota fica difícil de interpretar.
Quarto, desconfie de diferenças pequenas no topo. Com 361 tarefas, cada uma vale cerca de 0,28 ponto percentual, e cerca de 10% têm problemas de gabarito. Uma vantagem de um ponto equivale a três ou quatro tarefas, e o ruído do próprio teste pode explicar uma diferença desse tamanho.
Para quem importa
A nota ajuda quem está escolhendo um modelo para automatizar trabalho em desktop: preencher planilhas, mexer em documentos, configurar programas. Uma diferença grande, como a de 12% para 60% entre 2024 e 2025, indica um salto real de capacidade. Ela também mostra se um modelo erra muito ao clicar ou ao localizar elementos na tela.
A nota não diz como o agente se sai em tarefas longas. Segundo a Epoch, a maior parte das tarefas do OSWorld clássico pede menos de dez ações, e o tempo mediano humano fica perto de dois minutos. No OSWorld 2.0, com tarefas que passam de uma hora, nenhum modelo passa de 10% na faixa entre 137 e 163 minutos.
Ela também não mede o ambiente mais comum nos escritórios. As tarefas rodam em Ubuntu com aplicativos de código aberto, como LibreOffice, GIMP, Chrome e VS Code, e não em Windows com Microsoft Office. A Epoch suspeita que isso não seja grave, porque há sinais de transferência entre sistemas. Mas nota que o foco dos desenvolvedores nos sistemas populares pode deixar a nota do OSWorld defasada.
Para decisões de segurança, a nota vale pouco. Ela não mostra se o agente apagou arquivos que não devia ou executou ações arriscadas no caminho, porque só o estado final é corrigido. No OSWorld 2.0, as tarefas trazem relatórios de segurança separados, que auditam execuções sensíveis.
Glossário
Harness: o programa que conecta o modelo ao ambiente de teste. Ele prepara a máquina, entrega as observações, executa as ações do agente e chama a correção.
Scaffold: a camada de software em volta do modelo que organiza seu trabalho, com planejamento, memória, chamadas a outros modelos ou acesso a terminal. O mesmo modelo com scaffolds diferentes pode ter notas muito distintas.
Árvore de acessibilidade: a descrição estruturada dos elementos da tela (botões, campos, textos, posições) que o sistema operacional oferece a leitores de tela. Dá ao agente informação que uma imagem sozinha não dá.
Set-of-Marks: forma de observação em que a captura de tela vem com caixas numeradas sobre os elementos. O modelo aponta o elemento pelo número, sem calcular coordenadas.
Pass@1: a taxa de acerto com uma única tentativa por tarefa. Quando é média de várias execuções, reduz o efeito da sorte numa rodada isolada.
Grounding: a capacidade de ligar uma intenção (“clicar em Salvar”) ao ponto exato da tela onde isso acontece. Foi a principal fonte de erro dos primeiros agentes no OSWorld.
Em resumo
- São 369 tarefas reais em Ubuntu, corrigidas por scripts que inspecionam o estado final da máquina.
- A melhor nota passou de 12,24% em 2024 para mais de 90% em 2026, acima dos 72,36% humanos.
- Segundo a Epoch AI, quase metade das tarefas pede pouca interação gráfica.
- Notas autodeclaradas e verificadas, com 15 ou 100 passos, não devem ser postas lado a lado.
- O OSWorld 2.0, com 108 tarefas longas e limite de 500 passos, assumiu o papel de teste difícil.
Explicação escrita por um agente de IA a partir das páginas listadas abaixo e conferida contra elas por uma segunda checagem automática. Placares mudam: veja a data de cada número. Atualizado em 17/11/2026 às 06:30 (Brasília).
Fontes usadas no texto
Material do benchmark
OSWorld: Benchmarking Multimodal Agents (arXiv) arxiv.orgResumo do artigo original, com autores, data, número de tarefas, referência humana e melhor resultado inicial.
Artigo completo do OSWorld arxiv.orgTraz o exemplo dos cookies da Amazon, os aplicativos, os tipos de observação, o espaço de ações, o estudo humano e a análise de erros.
Site oficial do OSWorld 1.0 osworld-v1.xlang.aiApresenta instituições, categorias e regras do placar verificado, a opção 361/369 e o aviso sobre o OSWorld 2.0.
Introducing OSWorld-Verified xlang.aiDescreve as mais de 300 correções, exemplos de tarefas quebradas, notas fracionárias, AWS e os resultados de julho de 2025.
Site oficial do OSWorld 2.0 osworld-v2.xlang.aiDetalha as 108 tarefas longas, o limite de 500 passos, o desempenho por duração e os relatórios de segurança.
GitHub
Repositório do OSWorld no GitHub github.comMostra provedores suportados, o limite de 15 passos nos exemplos, a cronologia e as regras de submissão verificada.
Análise independente
Epoch AI: o que o OSWorld diz sobre uso de computador epoch.aiAuditoria independente sobre tarefas resolvíveis por terminal, erros de gabarito, ambiguidade e instabilidade das instruções.
Steel.dev: placar do OSWorld leaderboard.steel.devLista notas autodeclaradas com orçamento de passos, número de execuções e ressalvas sobre o harness, atualizada em 11/10/2026.
BenchLM: OSWorld-Verified benchlm.aiSepara notas autodeclaradas de independentes e mostra a concentração do topo, atualizada em 16/11/2026.
Presenc AI: placar do OSWorld em 2026 presenc.aiCompila o topo do placar oficial verificado em 1º/10/2026 e o resultado do OSWorld 2.0 de setembro de 2026.

