Em benchmarks de agentes, o harness move a nota tanto quanto o modelo, às vezes mais. A palavra tem dois sentidos: o agent harness (o scaffold em volta do modelo, que precisa ser divulgado) e o eval harness (o runner do teste, que fica constante). Zhang et al. (arXiv, maio de 2026) mostram que ele costuma pesar mais que o próprio modelo em tarefas longas.
Duas coisas chamadas 'harness'
Antes de comparar notas, separe as duas coisas que chamam de 'harness'. O agent harness (ou scaffold) é o código, os prompts, as ferramentas e o loop em volta do modelo, tudo o que o agente usa pra de fato executar a tarefa. O eval harness é outra coisa: é o rig de teste que roda o benchmark e pontua, tipo o Docker runner do SWE-bench ou o lm-evaluation-harness da EleutherAI. Um você projeta pra melhorar o resultado. O outro tem que ficar fixo pra comparação valer. Confundir os dois quebra qualquer comparação, porque você não sabe se a nota mudou por causa do modelo, do scaffold ou do rig.
O mesmo modelo, notas diferentes
A prova de que o scaffold move a nota veio em número. A LangChain rodou o mesmo modelo, gpt-5.2-codex, no Terminal Bench 2.0 e, mudando só o harness, saiu do top 30 para o top 5: de 52.8 para 66.5, um ganho de 13.7 pontos (17 de fevereiro de 2026). Mesmo modelo, scaffold diferente, resultado materialmente diferente. E não é caso isolado. Segundo a Scale e a Digital Applied, na variante Pro do SWE-bench o scaffold sozinho responde por cerca de 5.2 pontos de variação, e swings de 10 a 20 pontos são atribuídos ao harness. Esses números são deles, não medição nossa.
Os dois sentidos, lado a lado
| Termo | O que é | No benchmark |
|---|---|---|
| Agent harness (scaffold) | Código, prompts, ferramentas e loop em volta do modelo que o agente usa pra executar a tarefa | Muda a nota; precisa ser divulgado pra comparação valer |
| Eval harness | O rig de teste que roda o benchmark e pontua (Docker runner do SWE-bench, lm-evaluation-harness da EleutherAI) | Precisa ficar constante entre os modelos comparados |
| Modelo | Os pesos que geram os tokens | Uma das variáveis, não a única; o scaffold pode superá-la em tarefas longas |
| Terminal-Bench 2.0 | Benchmark de tarefas de terminal e engenharia (tbench.ai) | Onde a LangChain mudou só o harness e subiu 13.7 pontos |
| SWE-bench | Benchmark de resolução de issues reais do GitHub (SWE-bench/SWE-bench) | Na variante Pro, o scaffold sozinho responde por cerca de 5.2 pontos de variação (Scale, Digital Applied) |
Por que leaderboards enganam
Se o harness move tanto a nota, comparar dois modelos sem divulgar o harness não diz muita coisa. É o argumento de Zhang et al. em 'Stop Comparing LLM Agents Without Disclosing the Harness' (arXiv, 7 de maio de 2026): em tarefas de horizonte longo, o harness é 'often more influential than the underlying language model', e comparações de leaderboard sem divulgar o harness são 'incomplete and potentially misleading'. Na prática, quando ler que o modelo A ganhou do B, pergunte se o eval harness era o mesmo e qual agent harness cada um usou. Se isso não estiver na tabela, a comparação não isola o modelo.
O que o benchmark ensina pra quem constrói
A lição é prática. Se o harness move a nota, o harness é onde você investe engenharia, não só na escolha do modelo. É esse o trabalho da Capiva. A camada de código a gente resolve com o capivaOS, o harness open-source sobre o Claude Code. E pra entender a disciplina inteira, do modelo ao harness operacional, o ponto de partida é O que é um AI Harness.
Perguntas frequentes
Por que o mesmo modelo tira notas diferentes em benchmarks?▼
Porque o agent harness (o scaffold) em volta dele muda. Com os mesmos pesos, um scaffold melhor lê melhor o repositório, usa ferramentas mais afiadas e se corrige mais. A LangChain mostrou isso: mesmo gpt-5.2-codex, harness diferente, 13.7 pontos a mais no Terminal Bench 2.0.
Quais são os dois sentidos de 'harness' em benchmark?▼
O agent harness (ou scaffold) é o que o agente usa pra executar a tarefa: código, prompts, ferramentas, loop. O eval harness é o rig que roda o teste e pontua. O primeiro muda a nota e precisa ser divulgado; o segundo precisa ficar constante pra comparação ser justa. Confundir os dois quebra qualquer comparação.
O que é um eval harness?▼
É a infraestrutura que executa o benchmark e calcula a nota. Exemplos: o Docker runner do SWE-bench, que roda as issues reais e checa se o patch passa nos testes, e o lm-evaluation-harness da EleutherAI. Ele tem que ser idêntico entre os modelos comparados, senão você mede o rig, não o modelo.
Quanto o harness muda a nota?▼
Depende da tarefa, mas o efeito é grande. A LangChain teve +13.7 pontos no Terminal Bench 2.0 só trocando o harness. Segundo a Scale e a Digital Applied, na variante Pro do SWE-bench o scaffold sozinho responde por cerca de 5.2 pontos de variação, e swings de 10 a 20 pontos são atribuídos ao harness.
Como comparar agentes de forma justa?▼
Mantenha o eval harness constante, divulgue o agent harness de cada um e reporte os dois. Zhang et al. argumentam que comparações de leaderboard sem divulgar o harness são incompletas e potencialmente enganosas. Sem essa divulgação, a diferença de nota pode ser do scaffold, não do modelo.
O harness importa mais que o modelo?▼
Em tarefas de horizonte longo, Zhang et al. dizem que o harness é frequentemente mais influente que o modelo. Não é sempre, e o modelo continua contando. O ponto é que você não consegue isolar o modelo sem fixar o harness. Os dois são variáveis; em tarefas longas, o scaffold costuma dominar.
Iguale o eval harness, divulgue o agent harness. Sem isso, a nota não fala do modelo, fala do scaffold.