Avaliação de agentes de IA: como medir a qualidade da operação antes de escalar
Se você já botou um agente de IA pra rodar dentro da operação de marketing, provavelmente instalou junto algum painel pra acompanhar o que ele faz. Log de execução, histórico de chamadas de ferramenta, custo por rodada. O painel acende, os números aparecem, e mesmo assim continua sem resposta a única pergunta que importa: o que esse agente entregou ontem estava bom? A avaliação de agentes de IA é a disciplina que responde isso, e é justamente a parte que quase todo time pula.
O relatório State of AI Agents 2026, da LangChain, com 1.340 respostas coletadas entre 18 de novembro e 2 de dezembro de 2025, mostra o tamanho do buraco com clareza. 89% das equipes já implementaram observabilidade nos seus agentes. Só 52,4% rodam avaliação offline e 37,3% rodam avaliação online. Quase todo mundo consegue ver o que o agente fez. Metade consegue dizer se aquilo prestava.
Aqui na Hipercode a gente opera squads de agentes todo dia, em contas de clientes reais, e essa foi a lição mais cara que a gente aprendeu: agente sem gabarito não escala. Este artigo mostra o que medir, com que frequência, e como montar o seu primeiro conjunto de avaliação sem virar um projeto de engenharia de seis meses.
O que a avaliação de agentes de IA mede de verdade
Observabilidade responde “o que aconteceu”. Ela te dá o rastro: o agente recebeu esse pedido, chamou essa ferramenta, gastou tantos tokens, devolveu esse texto. É informação útil e barata de coletar, e por isso 89% das equipes já têm.
Avaliação responde outra coisa: “isso estava certo”. Para responder, você precisa de um gabarito, ou seja, de um critério externo que diga o que seria uma boa resposta naquele caso. Isso custa trabalho humano na montagem e é por isso que a adoção cai tanto.
A confusão entre as duas coisas gera um efeito perverso na operação. O time olha um painel cheio de gráficos verdes e conclui que o agente está saudável, quando o painel só está dizendo que ele rodou sem quebrar. Um agente que produz copy fora do tom da marca em 30% das vezes aparece no painel exatamente igual a um agente que acerta sempre.
Quase todo mundo instrumenta o agente, metade avalia
Os números da LangChain deixam a distância explícita quando você coloca as quatro práticas lado a lado.
Dado
A adoção despenca quando sai do monitoramento e entra na avaliação
% das equipes que praticam cada item, 1.340 respostas, campo entre 18/11 e 02/12/2025
Vale reparar num detalhe do mesmo estudo: entre quem já tem agente em produção, a observabilidade sobe pra 94% e o tracing completo pra 71,5%. Instrumentar virou padrão de mercado. Avaliar continua sendo opcional na cabeça da maioria.
Isso não acontece por falta de dor. Na mesma pesquisa, a barreira número um pra colocar agente em produção é qualidade, citada por 32% (acurácia, consistência, relevância). Latência vem em segundo, com 20%. O problema que mais trava é exatamente o que menos gente mede.
Os quatro sinais que a gente acompanha em cada agente
Você não precisa de trinta métricas. Precisa de quatro, olhadas com frequência. É esse conjunto que a gente usa nas squads da Hipercode e que costuma dar conta da maior parte dos problemas reais.
Acerto da tarefa
O agente fez o que foi pedido? Parece básico e é onde mais falha aparece. Um agente de pauta que devolve cinco temas quando o briefing pedia três já errou a tarefa, mesmo que os cinco temas sejam bons. Meça como taxa: de 20 execuções, quantas cumpriram o pedido inteiro.
Uso correto das ferramentas
Em agente que chama API, planilha, CRM ou busca, boa parte das falhas mora na escolha da ferramenta e nos parâmetros que ele passa. Um agente que resolve a pergunta certa com a fonte errada produz uma resposta plausível e falsa, que é o pior tipo de erro porque ninguém desconfia dela. Esse sinal você tira direto do tracing que já tem.
Aderência à marca e ao briefing
Aqui mora o critério que separa conteúdo publicável de rascunho. Tom de voz, termos proibidos, formato, tamanho, presença dos elementos obrigatórios. É um critério objetivo e checável, desde que você tenha escrito a regra em algum lugar antes. Se a regra só existe na cabeça de alguém, não dá pra avaliar nem pra delegar.
Custo e tempo por entrega
Um agente que acerta muito e consome caro demais não sobrevive ao segundo mês. Acompanhe custo por entrega aceita, e não custo por execução. A diferença importa: se metade do que sai é descartado, o custo real por peça publicada é o dobro do que o painel mostra. Esse é o mesmo raciocínio que a gente usa pra medir ROI de IA no marketing.
Avaliação offline e avaliação online cumprem papéis diferentes
As duas aparecem na pesquisa como práticas separadas porque servem a momentos diferentes do ciclo. Confundir uma com a outra é o erro mais comum de quem começa agora.
Offline: o conjunto de casos que roda antes de subir
É um pacote fixo de casos de teste com resultado esperado. Você monta uma vez, roda toda vez que mexe no prompt, na ferramenta ou no modelo, e compara. Serve pra responder se a mudança melhorou ou piorou, antes que ela chegue no cliente.
Trinta casos bem escolhidos já entregam quase todo o valor. Pegue as vinte situações mais frequentes da operação e as dez que já deram problema. Esse é o seu conjunto inicial.
Online: o que você observa com o agente rodando
É a medição sobre o tráfego real, no dia a dia, com dados que você não previu. Serve pra pegar o caso que não estava no conjunto offline e a degradação lenta que aparece quando o mundo muda: cliente novo, produto novo, versão nova do modelo.
Só 37,3% das equipes fazem isso, e é justamente onde o piloto morre. O agente passa em todos os testes e depois encosta na realidade, que tem uma cauda de casos estranhos muito maior que qualquer conjunto de teste. A gente detalhou esse ponto no artigo sobre como escalar agentes de IA sem travar no piloto.
Como montar seu primeiro conjunto de avaliação em uma semana
Dá pra ter uma avaliação de agentes de IA funcionando com cinco dias de trabalho parcial. O roteiro abaixo é o que a gente aplica quando entra numa operação que já tem agente rodando sem gabarito nenhum.
Dias 1 e 2: escrever o critério
Antes de medir, escreva o que é uma boa entrega para aquele agente específico. Um documento curto, de uma página, com os itens obrigatórios, os itens proibidos e três exemplos de saída aprovada. Esse documento é o gabarito e ele vale mais que qualquer ferramenta que você comprar depois.
Dia 3: montar os 30 casos
Puxe do histórico as execuções reais dos últimos trinta dias. Selecione vinte casos comuns e dez casos difíceis. Para cada um, anote a entrada e o que seria uma resposta aceitável. Planilha resolve, não precisa de plataforma.
Dia 4: rodar a linha de base
Passe os 30 casos pelo agente do jeito que ele está hoje e pontue cada saída pelos quatro sinais. Você vai terminar o dia com um número, e é a primeira vez que a operação tem um número que significa alguma coisa. Sem essa linha de base, qualquer ajuste depois é palpite.
Dia 5: definir o corte e a cadência
Escolha a nota mínima pra considerar o agente liberado e defina quando o conjunto roda de novo. A gente usa uma regra simples: roda a cada mudança de prompt e uma vez por semana no automático. Amarre isso à governança do agente, definindo quem aprova quando a nota cai.
Revisão humana e LLM como juiz: onde cada um entra
Quando o assunto é pontuar a saída, a pesquisa da LangChain mostra dois métodos dominando: revisão humana, usada por 59,8% das equipes, e LLM como juiz, usado por 53,3%. As métricas clássicas de processamento de linguagem, tipo ROUGE e BLEU, praticamente sumiram, porque não capturam o que importa numa entrega de marketing.
Na prática a gente combina os dois com uma divisão de trabalho clara. O LLM como juiz cuida do que é checável por regra: formato, tamanho, presença dos elementos obrigatórios, termos banidos, links exigidos. Isso roda em segundos e cobre a maior parte do volume.
A revisão humana entra no que exige julgamento: se o argumento se sustenta, se o exemplo é bom, se o texto soa como a marca. É mais lenta e mais cara, então você aplica por amostragem, numa fatia fixa das entregas, e sempre nos casos de maior exposição.
Um juiz automático que você nunca auditou é só mais um agente sem avaliação. Faça revisão humana de uma amostra das notas que o LLM deu, senão você troca um ponto cego por outro.
O preço de não medir
A conta de pular a avaliação chega depois, e chega em forma de projeto cancelado. A Gartner projeta que mais de 40% dos projetos de IA agêntica serão cancelados até o fim de 2027, com base numa enquete com mais de 3.400 organizações que já investem na tecnologia. Os motivos citados são custo escalando, valor de negócio pouco claro e controles de risco insuficientes. Os três melhoram quando existe medição, porque é a medição que transforma percepção em evidência na hora de defender o orçamento.
Fontes: LangChain, State of AI Agents 2026, Gartner, junho de 2025 e Forrester, The State Of AI Inside US Marketing Agencies 2026.
Os dois últimos números vêm do estudo da Forrester publicado em junho de 2026 e explicam por que o assunto trava dentro de agência. Enquanto 90% das agências americanas já usam IA generativa e metade já usa IA agêntica na execução, 61% ainda classificam IA como custo do negócio. Faltando medição, a IA nunca sai da coluna de despesa e entra na coluna de capacidade vendável, porque ninguém consegue provar o que ela entrega.
Onde a avaliação de agentes de IA entra na arquitetura da squad
Uma coisa muda bastante quando você sai de um agente e vai pra vários agentes trabalhando em sequência: o erro passa a se propagar. Se o agente de pesquisa entrega um dado furado, o agente de redação escreve um texto redondo em cima de um dado furado, e o agente de revisão aprova porque o texto está redondo. Ninguém mentiu em nenhuma etapa e mesmo assim a saída está errada.
Por isso a gente avalia por etapa, e não só no fim. Cada agente da squad tem seu próprio conjunto de casos e sua própria nota de corte, e a passagem de bastão entre eles é um ponto de checagem explícito. É a mesma lógica de handoff que a gente descreveu no artigo sobre arquitetura de agentes pra marketing: fronteira entre agentes é onde a qualidade vaza.
Do ponto de vista de desenho, isso empurra você pra squads menores e mais especializadas. Agente com escopo estreito é mais fácil de avaliar, porque o gabarito fica óbvio. Agente que faz tudo é praticamente impossível de pontuar, já que não existe uma resposta certa clara pra comparar.
Por onde começar essa semana
Escolha o agente que hoje gera mais retrabalho na sua operação. Não o mais novo nem o mais bonito, o que mais dá dor de cabeça na revisão. Escreva a página de critério, junte 30 casos do histórico e rode a linha de base. Em uma semana você sai do achismo e passa a ter um número pra discutir.
Depois disso, a avaliação de agentes de IA vira rotina e deixa de ser projeto. Roda a cada mudança, roda semanalmente no automático, e a nota entra na mesma reunião onde você olha os outros indicadores da operação. É esse hábito que separa quem tem agente rodando de quem tem agente confiável.
Na Hipercode a gente monta e opera essas squads dentro da operação de marketing dos clientes, com critério escrito e medição desde o primeiro dia. Se quiser ver como a gente estrutura isso na prática, ou trazer seus agentes atuais pra um diagnóstico de qualidade, fale com a gente e a gente monta o primeiro conjunto de avaliação junto com o seu time.