O SkillEvaluator, framework de código aberto da NVIDIA, avalia skills de agentes de IA, as pastas de instruções e arquivos que guiam o trabalho de um agente. Ele verifica qualidade e segurança, detecta sobreposição e mede se a skill melhora o resultado das tarefas. O repositório está em alta no GitHub e soma 3.060 estrelas, 873 delas ganhas hoje.
O que é e que problema resolve
O projeto, escrito em Python, trata skills e plugins conforme a especificação Agent Skills. Segundo o projeto, a ideia é dar às equipes evidências sobre uma skill antes de colocá-la em fluxos de trabalho com agentes.
A avaliação é escalonada: a equipe pode começar pela checagem da própria skill e, depois, comparar o comportamento do agente com e sem ela. O projeto integra o pipeline NVIDIA Verified Skills.
Como funciona
O Tier 1 valida estrutura, segurança e compatibilidade com harnesses de agentes. Combina checagens estáticas com verificações opcionais por modelo de linguagem e usa o SkillSpector para varredura de segurança. Se um scanner não roda, o resultado fica marcado como incompleto.
O Tier 2 procura sobreposição de orientações dentro de uma skill ou entre skills de um catálogo, usando embeddings e chat. O Tier 3 mede o efeito da skill em tarefas reais, em ambientes isolados com o framework Harbor. Cada etapa roda de forma independente.
Segundo a documentação, é possível usar a ferramenta pela linha de comando, em CI (GitHub ou GitLab) ou instalada como skill em agentes como Claude Code e Codex.
Como começar e o que é preciso
A instalação exige Python 3.12 a 3.14 e usa pip ou uv. A checagem estática de qualidade dispensa chave de API, GPU e Docker. Segundo o README, ela gera uma nota de 0 a 100, com aprovação a partir de 70 por padrão.
Para rodar as três etapas, o projeto pede um provedor de modelos, scanners de segurança configurados e Docker para o sandbox. O README cita chaves gratuitas do NVIDIA Build para prototipagem, destinadas a membros elegíveis do NVIDIA Developer Program e sujeitas a regras de acesso e limites de uso.
Maturidade e cuidados ao adotar
O repositório foi criado em 24 de junho de 2026, tem licença Apache-2.0, 435 forks e commit enviado em 17 de novembro. A versão 0.9.0 saiu há poucos dias, segundo o agregador lavx.hu. Veículos como TokenPost e Blockchain News noticiaram a alta de estrelas.
A NVIDIA classifica o projeto como experimental, com suporte da comunidade, sem SLA e sem suporte empresarial. O README avisa que a instalação baixa software de terceiros, cujas licenças devem ser revisadas, e que uso de modelos e de sandbox gerenciado pode gerar cobranças.
Pontos-chave
- Avalia skills e também plugins de agentes
- O harness check verifica se o agente carrega a skill, sem chave de modelo nem execução do agente, mas exige instalação pelo código-fonte do GitHub
- Tier 3 gera, por padrão, um caso de teste básico a partir da própria skill (autopilot), com cobertura limitada
- O README cita um artigo científico e um blog da NVIDIA Developer, e pede que usuários registrem a versão ao citar o projeto
Texto escrito por IA a partir das reportagens e páginas listadas abaixo e checado contra elas por uma segunda revisão automática. Atualizado em 17/11/2026 às 06:15 (Brasília).
Fontes usadas no texto
Anúncio oficial
Site do projeto SkillEvaluator docs.nvidia.comDocumentação oficial descreve as três etapas, a licença Apache-2.0 e o status experimental.
Notícia
NVIDIA/SkillEvaluator Gains Momentum on GitHub with 953 Stars in 24 Hours Blockchain News · 2026-11-16Relata a alta de estrelas e resume as etapas do framework.
NVIDIA/SkillEvaluator: Checks and evaluations for AI agent skills news.lavx.hu · 2026-11-16Descreve o problema que o projeto resolve, o funcionamento das etapas e a versão 0.9.0.
NVIDIA’s SkillEvaluator Adds 953 GitHub Stars in 24 Hours www.tokenpost.com · 2026-11-17Confirma a alta no GitHub e as formas de uso, incluindo CI, Claude Code e Codex.
GitHub
NVIDIA/SkillEvaluator no GitHub GitHub · 2026-11-17README traz requisitos, instalação, suporte experimental e avisos sobre software de terceiros e custos.
