Blog › GitHub em alta

GitHub em alta · 17/11/2026

SkillEvaluator, da NVIDIA, avalia qualidade e segurança de skills de agentes de IA

Framework de código aberto em três etapas checa skills de agentes e compara execuções com e sem elas; repositório passa de 3 mil estrelas.

Repercussão moderada 5 fontes Atualizado em 17/11/2026 às 06:15 (Brasília)
Imagem de divulgação do SkillEvaluator
Imagem: cartão do repositório · GitHub

O SkillEvaluator, framework de código aberto da NVIDIA, avalia skills de agentes de IA, as pastas de instruções e arquivos que guiam o trabalho de um agente. Ele verifica qualidade e segurança, detecta sobreposição e mede se a skill melhora o resultado das tarefas. O repositório está em alta no GitHub e soma 3.060 estrelas, 873 delas ganhas hoje.

O que é e que problema resolve

O projeto, escrito em Python, trata skills e plugins conforme a especificação Agent Skills. Segundo o projeto, a ideia é dar às equipes evidências sobre uma skill antes de colocá-la em fluxos de trabalho com agentes.

A avaliação é escalonada: a equipe pode começar pela checagem da própria skill e, depois, comparar o comportamento do agente com e sem ela. O projeto integra o pipeline NVIDIA Verified Skills.

Como funciona

O Tier 1 valida estrutura, segurança e compatibilidade com harnesses de agentes. Combina checagens estáticas com verificações opcionais por modelo de linguagem e usa o SkillSpector para varredura de segurança. Se um scanner não roda, o resultado fica marcado como incompleto.

O Tier 2 procura sobreposição de orientações dentro de uma skill ou entre skills de um catálogo, usando embeddings e chat. O Tier 3 mede o efeito da skill em tarefas reais, em ambientes isolados com o framework Harbor. Cada etapa roda de forma independente.

Segundo a documentação, é possível usar a ferramenta pela linha de comando, em CI (GitHub ou GitLab) ou instalada como skill em agentes como Claude Code e Codex.

Como começar e o que é preciso

A instalação exige Python 3.12 a 3.14 e usa pip ou uv. A checagem estática de qualidade dispensa chave de API, GPU e Docker. Segundo o README, ela gera uma nota de 0 a 100, com aprovação a partir de 70 por padrão.

Para rodar as três etapas, o projeto pede um provedor de modelos, scanners de segurança configurados e Docker para o sandbox. O README cita chaves gratuitas do NVIDIA Build para prototipagem, destinadas a membros elegíveis do NVIDIA Developer Program e sujeitas a regras de acesso e limites de uso.

Maturidade e cuidados ao adotar

O repositório foi criado em 24 de junho de 2026, tem licença Apache-2.0, 435 forks e commit enviado em 17 de novembro. A versão 0.9.0 saiu há poucos dias, segundo o agregador lavx.hu. Veículos como TokenPost e Blockchain News noticiaram a alta de estrelas.

A NVIDIA classifica o projeto como experimental, com suporte da comunidade, sem SLA e sem suporte empresarial. O README avisa que a instalação baixa software de terceiros, cujas licenças devem ser revisadas, e que uso de modelos e de sandbox gerenciado pode gerar cobranças.

Pontos-chave

  • Avalia skills e também plugins de agentes
  • O harness check verifica se o agente carrega a skill, sem chave de modelo nem execução do agente, mas exige instalação pelo código-fonte do GitHub
  • Tier 3 gera, por padrão, um caso de teste básico a partir da própria skill (autopilot), com cobertura limitada
  • O README cita um artigo científico e um blog da NVIDIA Developer, e pede que usuários registrem a versão ao citar o projeto

Texto escrito por IA a partir das reportagens e páginas listadas abaixo e checado contra elas por uma segunda revisão automática. Atualizado em 17/11/2026 às 06:15 (Brasília).

Outras publicações