Como avaliar agentes de IA: conjuntos de testes, avaliadores e verificações de regressão

Por trás de todo grande produto de IA existe um processo sólido de avaliação de agentes de IA, conhecido como evals, que detecta erros cedo e garante o funcionamento adequado do agente. As evals são essenciais para agentes de IA que executam ações de alto risco, como reembolsos em nome de alguém.

Criar esse processo exige algum conhecimento técnico e habilidades de análise de dados. Mas não é nem de longe tão assustador ou inacessível quanto pode parecer. Para ajudar você a começar, reunimos seis etapas práticas para avaliar agentes de IA e os equívocos comuns que comprometem o processo.

O que significa avaliar um agente de IA?

Avaliar um agente de IA significa analisar seu desempenho na execução correta de tarefas e verificar se suas decisões atendem aos requisitos da organização. Na prática, as avaliações de agentes de IA, ou evals, são métricas específicas que ajudam as organizações a determinar se o agente funciona de forma confiável o suficiente para a função pretendida.

Pense em um agente de compras de IA em uma fábrica que verifica o estoque de peças de reposição e prepara solicitações de reabastecimento. Se uma peça aprovada estiver indisponível ou as informações do fornecedor estiverem desatualizadas, o agente vai sinalizar o problema ou recomendar um substituto não aprovado?

E, se você alterar o prompt de sistema dele para corrigir esse problema, como saber se não introduziu outro?

Sem um processo de avaliação, os gerentes de produto ficam basicamente tentando adivinhar. Assim, as evals oferecem um sinal de feedback para medir o desempenho, identificar problemas recorrentes e testar mudanças com mais confiança.

Dito isso, uma avaliação de agente pode examinar vários aspectos de uma execução:

• A qualidade do resultado final
• As informações que o agente usou
• As ferramentas que ele chamou
• Se ele seguiu as regras que regem seu comportamento

Métricas comuns de avaliação de agentes de IA

As evals trabalham com dados qualitativos e quantitativos. A avaliação qualitativa ajuda você a entender o que está acontecendo e por quê, incluindo a revisão manual das decisões do agente. A avaliação quantitativa transforma essas observações em sinais mensuráveis, como contar a frequência de modos de falha específicos ou calcular taxas de sucesso das tarefas.

Veja a lista das métricas fundamentais de avaliação de agentes de IA:

• O sucesso da tarefa mede se o agente alcançou o resultado pretendido; geralmente é medido pela porcentagem de execuções que produzem resultados válidos.
• A correção das ações mede se o agente usou as ferramentas de forma adequada, selecionou argumentos válidos e respeitou as permissões.
• A qualidade da resposta avalia se o resultado final é preciso, completo e útil. Ela pode incluir a correção factual, a adesão às instruções e se o agente fundamenta suas decisões nas informações disponíveis.
• A confiabilidade mede a consistência em tentativas repetidas, entradas variadas e casos extremos.
• Custo e latência medem os recursos necessários para alcançar um resultado bem-sucedido, incluindo tempo de execução, consumo de tokens e chamadas de ferramentas.

Dependendo do que você está medindo, as evals podem avaliar o desempenho de ponta a ponta de um agente, sua trajetória de execução ou componentes individuais, como chamadas de ferramentas e etapas de recuperação.

Etapa 1: Defina como é uma execução bem-sucedida do agente

Primeiro, descreva explicitamente o que o agente deve realizar — os requisitos do produto. Parece óbvio, mas pode ser surpreendentemente difícil. Existe até um nome para isso: a lacuna de especificação.

Veja como abordar isso, segundo Andrey Khomutov, nosso cientista de dados sênior:

“Comece com duas perguntas: “O que contaria como fazer o trabalho?” e “O que tornaria inaceitável uma execução aparentemente bem-sucedida?”

No caso dos agentes, do ponto de vista técnico, isso significa verificar tanto o resultado quanto a forma como os agentes chegaram até ele.”

Um agente pode produzir a resposta correta acessando um gabarito vazado ou realizar ações não autorizadas enquanto conclui a tarefa. Khomutov ressalta que o vazamento de respostas e as ações inseguras durante as avaliações são motivos concretos para não julgar apenas a resposta final.

“Espero que a inspeção de trajetória se torne uma parte padrão dos conjuntos de evals de agentes, em vez de algo que fazemos apenas quando um resultado parece suspeito”, acrescenta ele.

Em seguida, envolva um especialista no domínio para validar seus critérios de sucesso. Pessoas com conhecimento prático do domínio conseguem dizer se as condições que definimos para um agente de IA refletem um resultado bem-sucedido.

Etapa 2. Crie um conjunto de testes a partir de tarefas e falhas reais

Examine o comportamento real do agente para entender como é um bom e um mau desempenho. Resista à tentação de começar gerando dezenas de testes com base apenas no que você acha que pode dar errado.

Hamel Husain, engenheiro de ML na Parlance Lab, e Shreya Shankar, pesquisadora de sistemas de ML e de evals de IA aplicada, recomendam começar pela análise de erros, uma técnica emprestada do machine learning e da ciência de dados. O processo começa com a análise qualitativa dos rastros de execução do agente — registros que mostram a entrada do usuário, as chamadas de ferramentas, as informações recuperadas e a saída do agente.

1. Revise rastros individuais e anote os erros (codificação aberta). Peça a um especialista no domínio que inspecione as execuções do agente e escreva observações curtas sobre o que deu errado. Concentre-se no primeiro erro significativo.
2. Agrupe as observações em modos de falha (codificação axial). Quando tiver anotações suficientes, use um LLM para sugerir categorias para erros semelhantes. Elas podem incluir recomendações de peças incompatíveis, recuperação imprecisa de dados de estoque e falhas na transferência para atendimento humano.
3. Conte as ocorrências. Atribua cada observação a uma categoria e, em seguida, use uma planilha ou tabela dinâmica para calcular com que frequência cada modo de falha aparece.
4. Priorize o que resolver, considerando tanto a frequência quanto a gravidade.
5. Transforme falhas importantes em casos de teste. Salve a entrada relevante, as condições iniciais, o resultado esperado e os critérios de avaliação para que o agente possa ser testado novamente no mesmo cenário.

Quantos rastros você deve examinar? Cerca de 100, mas não há um número mágico. Pare antes se atingir a saturação teórica: o ponto em que revisar rastros adicionais deixa de revelar novos padrões de falha significativos.

Ainda não lançou o aplicativo? Exemplos sintéticos podem ajudar a criar um conjunto de testes inicial, mas dados reais de usuários devem orientá-lo assim que estiverem disponíveis.

O uso de benchmarks na avaliação de agentes de IA

Além de criar seus próprios casos de teste, você pode usar coleções existentes de tarefas de avaliação padronizadas, conhecidas como benchmarks, para avaliar as capacidades do agente.

Mas os benchmarks não são infalíveis. As auditorias do SWE-bench, as análises de benchmarks da Epoch AI e as respostas corretas inicialmente rejeitadas no TheoPhysEval mostram como tarefas ou respostas esperadas com falhas podem distorcer os resultados da avaliação.

Como aconselha Khomutov, escolha benchmarks atualizados e relevantes para o seu domínio e investigue aprovações ou falhas inesperadas antes de tratar as pontuações como evidência confiável do desempenho do agente.

Etapa 3. Execute o agente em um ambiente de teste reproduzível

Um ambiente de teste reproduzível é uma configuração controlada na qual você pode executar um agente de IA com os mesmos casos de teste, sob as mesmas condições iniciais, e comparar os resultados. Isso inclui uma pasta de casos de teste, um script Python que executa o agente ou um conjunto de verificações que avaliam os resultados.

Você pode começar armazenando entradas representativas como arquivos JSON e usando um script Python para executar o fluxo de trabalho do agente e verificar as saídas com asserções. Para o agente de estoque da nossa fábrica, um ambiente de teste reproduzível poderia ser assim:

Expandir

Para configurar um ambiente de teste reproduzível, siga estas etapas:

1. Salve entradas representativas. Armazene eventos reais ou casos de teste na mesma estrutura que o seu aplicativo recebe em produção. No nosso cenário, você salvaria como arquivo JSON uma solicitação de manutenção contendo o ID da máquina, a peça de reposição necessária e a data da manutenção, junto com um snapshot dos dados de estoque e de peças aprovadas.
2. Execute o fluxo de trabalho. Passe cada entrada pelo agente, incluindo as etapas de recuperação, as chamadas de ferramentas e a geração de respostas.
3. Registre o resultado e o rastro. Capture a saída final e as ações intermediárias relevantes (como consultas ao estoque) para ver não apenas se o agente falhou, mas onde.
4. Repita os casos com base na gravidade da falha, na frequência e na dificuldade de corrigir o problema. Aplicações de LLM são não determinísticas (podem produzir resultados diferentes a partir de entradas idênticas), então uma execução bem-sucedida não garante que a próxima também será. Informe a proporção de tentativas bem-sucedidas e inspecione as falhas.

Para isso, Khomutov recomenda medir o pass@1 (com que frequência o agente tem sucesso em uma única tentativa) e o pass@k (a probabilidade de ter sucesso pelo menos uma vez em um número especificado de tentativas). Ao informar o pass@k, especifique o número de tentativas, já que produzir uma resposta correta entre várias não significa que o agente sabe qual escolher.

À medida que seu aplicativo cresce, use um framework de testes como o pytest para organizar e executar os testes e considere armazenar grandes conjuntos de dados de teste e resultados em um banco de dados.

Etapa 4. Escolha o avaliador certo para cada verificação

Um avaliador (em inglês, grader, também chamado frequentemente de evaluator) é um mecanismo — um trecho de código, um LLM orientado por uma rubrica de avaliação ou um revisor humano — que verifica a saída ou a ação de um agente com base em um critério definido. O avaliador retorna um julgamento de aprovado/reprovado e uma explicação que identifica as evidências relevantes.

Observação: Uma rubrica de avaliação é um conjunto de critérios e instruções que define o que conta como um resultado correto ou aceitável.

O tipo de avaliador ideal depende do que você está tentando verificar. Veja como as três abordagens se comparam:

Às vezes, diferentes aspectos de uma mesma execução podem exigir métodos de avaliação distintos, então pode ser necessário combinar avaliadores.

Como combinar avaliadores?

Pergunte-se: “O resultado pode ser verificado com base em uma regra conhecida ou em um valor esperado, ou exige um julgamento semelhante ao humano?”

• Se você puder verificar o resultado com exatidão, comece com um avaliador baseado em código. Avaliadores baseados em código também podem verificar saídas estruturadas, valores de campos válidos, argumentos de ferramentas ou o estado final de um banco de dados.
• Se a verificação exigir interpretação do contexto, use LLM como juiz.
• Use revisores humanos para decisões específicas do domínio ou controversas.

Importante! Um avaliador baseado em LLM pode interpretar mal as evidências ou aplicar uma rubrica incorretamente. Por isso, ele precisa de uma etapa de avaliação adicional: a calibração com base em julgamentos humanos.

Calibre o avaliador baseado em LLM comparando-o com julgamentos humanos.

Basicamente, a calibração exige que um especialista no domínio avalie execuções reais do agente. Em seguida, o especialista compara seus julgamentos com os do LLM e refina a rubrica de avaliação com base nas divergências.

Veja um processo de calibração do avaliador em cinco etapas:

1. Colete exemplos de entradas, saídas e rastros relevantes do agente.
2. Peça a um especialista no domínio que avalie, de forma independente, se cada exemplo atende ao critério de avaliação.
3. Execute o avaliador baseado em LLM nesses exemplos.
4. Compare os julgamentos humanos com os do modelo.
5. Investigue as divergências e refine a rubrica do avaliador antes de testá-lo em novos exemplos.

Khomutov também ressalta a importância de testar separadamente a consistência do avaliador baseado em LLM:

“Forneça a ele exatamente a mesma execução salva e os mesmos arquivos várias vezes, sem executar o agente novamente. Isso permite separar a variação no trabalho do agente da variação na avaliação.”

Se a mesma saída receber veredictos diferentes, não presuma que toda mudança de pontuação vem do agente. Em vez disso, examine uma matriz de confusão que mostre quando o avaliador identificou erros corretamente, quando deixou de identificá-los ou quando sinalizou saídas aceitáveis de forma incorreta.

A revisão humana continua essencial para estabelecer julgamentos de referência, resolver casos controversos e descobrir novos modos de falha que os avaliadores existentes não foram projetados para detectar.

Etapa 5. Compare versões e execute verificações de regressão

Suponha que a análise de erros revele que seu agente de estoque recomenda com frequência peças de reposição não aprovadas. Você modifica o prompt de sistema dele para exigir uma verificação explícita de compatibilidade. O caso que falhava originalmente agora é aprovado. Mas como saber se a mudança não afetou outras tarefas?

É aí que entram os testes de regressão.

Os testes de regressão consistem em executar novamente casos de teste que já haviam sido aprovados depois de alterar o prompt, o modelo ou o fluxo de trabalho de um agente, para garantir que a mudança não introduziu novas falhas.

1. Reproduza a falha original usando uma entrada salva do conjunto de testes.
2. Faça uma alteração direcionada no prompt, no modelo ou no fluxo de trabalho.
3. Execute novamente o teste que falhou para verificar se o problema foi resolvido.
4. Execute os outros testes para verificar se a alteração não comprometeu comportamentos que antes funcionavam corretamente.
5. Analise os resultados e investigue quaisquer novas falhas.

Compare a versão de referência e a versão atualizada do agente usando os mesmos casos de teste e critérios de avaliação para obter resultados precisos.

Etapa 6: Monitore o desempenho do agente de IA em produção

A avaliação de agentes não termina depois que você implanta sua aplicação. Como explicam Husain e Shankar, os mesmos avaliadores usados durante o desenvolvimento também podem ser executados com dados reais de produção para medir o desempenho do agente ao longo do tempo.

Isso é conhecido como avaliação online e faz parte de um processo mais amplo de monitoramento em produção que ajuda a identificar falhas recorrentes e até então desconhecidas.

O processo é iterativo e envolve quatro atividades complementares:

• Execute juízes LLM calibrados em rastreamentos de produção. Selecione amostras de interações reais do agente e aplique os avaliadores que você já validou em comparação com julgamentos humanos.
• Acompanhe as taxas de falha ao longo do tempo. Use as categorias de falha definidas durante a análise de erros para quantificar problemas recorrentes.
• Continue revisando os rastreamentos manualmente. Avaliadores automatizados só detectam os problemas para os quais foram projetados. Inspecione manualmente amostras de interações reais do agente para descobrir novos erros ou solicitações incomuns dos usuários.
• Use testes A/B para medir resultados de negócio (somente quando fizer sentido). Compare diferentes prompts, modelos ou fluxos de trabalho usando métricas como conclusão de tarefas, satisfação do usuário e tempo de resolução. O processo ajuda a determinar se uma mudança melhora a experiência real do produto, indo além da aprovação em testes individuais.

Uma observação importante: as evals não precisam ser lapidadas à perfeição. Basta que sejam boas o suficiente para melhorar seu produto.

Equívocos comuns na avaliação de agentes de IA

• Evals são apenas testes unitários. Não são: testes unitários são verificações pequenas e automatizadas que representam apenas uma parte da avaliação. As evals também envolvem análise qualitativa de erros, julgamentos humanos, monitoramento em produção e experimentos para medir a qualidade da aplicação.
• Uma plataforma de avaliação pode fazer tudo por você. Ferramentas prontas podem automatizar algumas verificações, mas não conseguem determinar quais modos de falha (tipos de erros ou comportamentos indesejados do agente) são relevantes para o seu produto.
• Você pode deixar um LLM avaliar tudo. Essa é uma grande falácia. A análise de erros conduzida por pessoas e a calibração dos avaliadores continuam essenciais, já que os LLMs não têm o contexto de negócio necessário para descobrir todos os problemas.
• Testes A/B ou simplesmente usar o agente substituem as evals. Incorreto. Os testes A/B podem mostrar qual versão tem melhor desempenho nas métricas selecionadas, mas não conseguem, por si sós, explicar os problemas subjacentes.

Perguntas frequentes sobre avaliação de agentes de IA

1. Qual é a diferença entre avaliação de agentes de IA e avaliação de LLMs?

A avaliação de LLMs mede o desempenho de um modelo de linguagem em uma determinada tarefa, como responder a uma pergunta, resumir um documento ou extrair informações. A avaliação de agentes de IA analisa um sistema que executa de forma autônoma várias etapas para concluir uma tarefa.

Diferentemente de uma avaliação típica de LLMs, a avaliação de agentes examina tanto o resultado final quanto a sequência de ações executadas para alcançá-lo, incluindo chamadas de ferramentas, decisões e conformidade com regras predefinidas.

2. Principais métricas para avaliação de agentes de IA

As métricas de avaliação de agentes de IA se dividem em duas grandes categorias:

• Métricas de desempenho técnico: Taxa de sucesso das tarefas, correção das ações, qualidade das respostas, confiabilidade (pass@1 e pass@k), latência, uso de tokens e custo por tarefa bem-sucedida.
• Métricas de negócio e de experiência do usuário: Satisfação do cliente (CSAT), taxa de resolução de problemas, taxa de escalonamento, taxa de conversão, tempo de conclusão de tarefas e outros resultados específicos da função do agente.

Por exemplo, um agente de atendimento ao cliente pode ser avaliado pela resolução bem-sucedida de problemas e pela satisfação do cliente, enquanto um agente de compras com IA pode ser medido pela precisão das solicitações de reposição, pelas taxas de aprovação e pelo tempo do ciclo de compras.

As métricas certas devem refletir o grau de confiabilidade do desempenho do agente e se o trabalho dele melhora os resultados de negócio.

3. Quais são as melhores ferramentas para avaliar agentes de IA?

Entre as opções mais comuns estão:

• Frameworks de teste: Asserções em Python e o pytest são úteis para executar casos de teste repetíveis e verificar condições exatas, como se um agente selecionou a ferramenta correta ou retornou um ID de peça válido.
• Frameworks de avaliação de agentes de IA: O DeepEval e o kit de ferramentas agent-eval do Google oferecem suporte a avaliações mais complexas, incluindo rastreamentos de execução, avaliadores baseados em LLM e testes de regressão automatizados.
• Plataformas de avaliação e observabilidade: LangSmith, Arize Phoenix e MLflow ajudam as equipes a inspecionar o comportamento dos agentes, gerenciar conjuntos de dados de avaliação, comparar versões de agentes e monitorar o desempenho em produção.

4. Como automatizar as avaliações de agentes de IA?

Você pode automatizar as avaliações de agentes de IA criando testes repetíveis, aplicando avaliadores automatizados e integrando essas verificações aos fluxos de trabalho de desenvolvimento e produção:

1. Crie um conjunto de dados de avaliação: Reúna tarefas representativas dos usuários, resultados esperados, falhas conhecidas e rastreamentos de execução do agente. Inclua casos extremos, como chamadas de ferramentas com falha, informações ausentes e ações não autorizadas.
2. Automatize a execução e a avaliação dos testes: Use frameworks como pytest ou DeepEval para executar casos de teste e aplicar verificações baseadas em código ou avaliadores LLM. Valide os avaliadores LLM comparando-os com julgamentos humanos antes de confiar nas pontuações deles.
3. Integre as avaliações ao CI/CD: Execute novamente, de forma automática, os testes de regressão sempre que os desenvolvedores atualizarem os prompts, os modelos, as ferramentas ou o fluxo de trabalho de um agente. Compare os resultados com uma linha de base e estabeleça limites de qualidade que impeçam lançamentos quando verificações críticas falharem.
4. Aplique avaliadores calibrados a amostras de rastreamentos de produção, acompanhe as taxas de falha e outras métricas de desempenho e investigue novos erros por meio de revisão manual.