Como avaliar agentes de IA: conjuntos de testes, avaliadores e verificações de regressão

Por trás de cada grande produto de IA está um processo robusto de avaliação de agentes de IA, conhecido como evals, que deteta erros precocemente e garante o bom funcionamento do agente. As evals são essenciais para agentes de IA que executam ações de alto risco, como reembolsos em nome de alguém.

Construir esse processo exige alguns conhecimentos técnicos e competências de análise de dados. Mas não é nem de longe tão assustador ou inacessível como pode parecer. Para o ajudar a começar, apresentamos seis passos práticos para avaliar agentes de IA e os equívocos comuns que comprometem o processo.

O que significa avaliar um agente de IA?

Avaliar um agente de IA significa aferir o seu desempenho na execução correta de tarefas e se as suas decisões cumprem os requisitos da organização. Em termos práticos, as avaliações de agentes de IA, ou evals, são métricas específicas que ajudam as organizações a determinar se o agente funciona de forma suficientemente fiável para a função a que se destina.

Pense num agente de compras de IA numa fábrica que verifica o inventário de peças sobresselentes e prepara pedidos de reposição. Se uma peça aprovada não estiver disponível ou as informações do fornecedor estiverem desatualizadas, o agente vai sinalizar o problema ou recomendar um substituto não aprovado?

E se alterar o prompt de sistema para corrigir esse problema, como sabe que não introduziu outro?

Sem um processo de avaliação, os gestores de produto ficam basicamente a adivinhar. Assim, as evals fornecem um sinal de feedback para medir o desempenho, identificar problemas recorrentes e testar alterações com maior confiança.

Dito isto, uma avaliação de agentes pode examinar vários aspetos de uma execução:

• A qualidade do resultado final
• As informações que o agente utilizou
• As ferramentas que chamou
• Se cumpriu as regras que regem o seu comportamento

Métricas comuns de avaliação de agentes de IA

As evals funcionam com dados qualitativos e quantitativos. A avaliação qualitativa ajuda a perceber o que está a acontecer e porquê, incluindo a revisão manual das decisões do agente. A avaliação quantitativa transforma essas observações em sinais mensuráveis, como contar a frequência de modos de falha específicos ou calcular taxas de sucesso das tarefas.

Eis a lista das métricas fundamentais de avaliação de agentes de IA:

• O sucesso da tarefa mede se o agente alcançou o resultado pretendido; normalmente, é medido pela percentagem de execuções que produzem resultados válidos.
• A correção das ações mede se o agente utilizou as ferramentas de forma adequada, selecionou argumentos válidos e respeitou as permissões.
• A qualidade da resposta avalia se o resultado final é preciso, completo e útil. Pode incluir a exatidão factual, o cumprimento das instruções e se o agente fundamenta as suas decisões com as informações disponíveis.
• A fiabilidade mede a consistência ao longo de tentativas repetidas, entradas variadas e casos-limite.
• O custo e a latência medem os recursos necessários para alcançar um resultado bem-sucedido, incluindo o tempo de execução, o consumo de tokens e as chamadas a ferramentas.

Consoante o que estiver a medir, as evals podem avaliar o desempenho ponta a ponta de um agente, a sua trajetória de execução ou componentes individuais, como chamadas a ferramentas e passos de recuperação de informação.

Passo 1: Defina como é uma execução bem-sucedida do agente

Primeiro, descreva explicitamente o que o agente deve alcançar — os requisitos do produto. Parece óbvio, mas pode ser surpreendentemente difícil. Existe até um nome para isso: a lacuna de especificação.

Eis como abordar a questão, segundo Andrey Khomutov, o nosso cientista de dados sénior:

“Comece com duas perguntas: “O que contaria como fazer o trabalho?” e “O que tornaria inaceitável uma execução aparentemente bem-sucedida?”

No caso dos agentes, do ponto de vista técnico, isso significa verificar tanto o resultado como a forma como os agentes lá chegaram.”

Um agente pode produzir a resposta correta acedendo a uma chave de respostas divulgada indevidamente ou realizar ações não autorizadas enquanto conclui a tarefa. Khomutov salienta que a fuga de respostas e as ações inseguras durante as avaliações são razões concretas para não julgar apenas a resposta final.

“Espero que a inspeção da trajetória se torne uma componente habitual dos conjuntos de evals de agentes, em vez de algo que fazemos apenas quando um resultado parece suspeito”, acrescenta.

Em seguida, envolva um especialista na área para validar os seus critérios de sucesso. Quem tem conhecimento prático da área consegue dizer se as condições que definimos para um agente de IA refletem um resultado bem-sucedido.

Passo 2. Crie um conjunto de testes a partir de tarefas e falhas reais

Examine o comportamento real do agente para perceber como é um bom e um mau desempenho. Resista à tentação de começar por gerar dezenas de testes baseados apenas no que acha que pode correr mal.

Hamel Husain, engenheiro de ML na Parlance Lab, e Shreya Shankar, investigadora de sistemas de ML e de evals de IA aplicada, recomendam começar pela análise de erros, uma técnica oriunda da aprendizagem automática e da ciência de dados. O processo começa com a análise qualitativa dos rastreios de execução do agente — registos que mostram a entrada do utilizador, as chamadas a ferramentas, as informações recuperadas e o resultado do agente.

1. Reveja rastreios individuais e anote os erros (codificação aberta). Peça a um especialista na área que inspecione as execuções do agente e escreva observações curtas sobre o que correu mal. Concentre-se no primeiro erro significativo.
2. Agrupe as observações em modos de falha (codificação axial). Quando tiver notas suficientes, utilize um LLM para sugerir categorias para erros semelhantes. Estas podem incluir recomendações de peças incompatíveis, obtenção imprecisa de dados de inventário e falhas na transferência para um operador humano.
3. Conte as ocorrências. Atribua cada observação a uma categoria e, em seguida, utilize uma folha de cálculo ou uma tabela dinâmica para calcular a frequência com que cada modo de falha surge.
4. Defina o que corrigir primeiro, tendo em conta a frequência e a gravidade.
5. Transforme as falhas importantes em casos de teste. Guarde a entrada relevante, as condições iniciais, o resultado esperado e os critérios de classificação para que o agente possa voltar a ser testado no mesmo cenário.

Quantos rastreios deve examinar? Cerca de 100, mas não existe um número mágico. Pare mais cedo quando atingir a saturação teórica: o ponto em que a revisão de rastreios adicionais deixa de revelar novos padrões de falha significativos.

Ainda não lançou a aplicação? Exemplos sintéticos podem ajudar a criar um conjunto de testes inicial, embora os dados reais dos utilizadores devam alimentá-lo assim que estiverem disponíveis.

A utilização de benchmarks na avaliação de agentes de IA

Além de criar os seus próprios casos de teste, pode utilizar coleções existentes de tarefas de avaliação padronizadas, conhecidas como benchmarks, para avaliar as capacidades dos agentes.

Mas os benchmarks não são infalíveis. As auditorias ao SWE-bench, as análises de benchmarks da Epoch AI e as respostas corretas inicialmente rejeitadas no TheoPhysEval ilustram como tarefas ou respostas esperadas com falhas podem distorcer os resultados da avaliação.

Como aconselha Khomutov, escolha benchmarks atualizados e relevantes para a sua área e investigue sucessos ou falhas surpreendentes antes de tratar as pontuações como prova fiável do desempenho do agente.

Passo 3. Execute o agente num ambiente de teste reproduzível

Um ambiente de teste reproduzível é uma configuração controlada em que pode executar um agente de IA com os mesmos casos de teste, nas mesmas condições iniciais, e comparar os resultados. Isto inclui uma pasta de casos de teste, um script Python que executa o agente ou um conjunto de verificações que avaliam os resultados.

Pode começar por guardar entradas representativas como ficheiros JSON e utilizar um script Python para executar o fluxo de trabalho do agente e verificar os resultados com asserções. Para o agente de inventário da nossa fábrica, um ambiente de teste reproduzível poderia ter este aspeto:

Expandir

Para configurar um ambiente de teste reproduzível, siga estes passos:

1. Guarde entradas representativas. Armazene eventos reais ou casos de teste com a mesma estrutura que a sua aplicação recebe em produção. No nosso cenário, guardaria um pedido de manutenção com o ID da máquina, a peça sobresselente necessária e a data de manutenção como ficheiro JSON, juntamente com um instantâneo dos dados de inventário e de peças aprovadas.
2. Execute o fluxo de trabalho. Passe cada entrada pelo agente, incluindo os passos de recuperação de informação, as chamadas a ferramentas e a geração de respostas.
3. Registe o resultado e o rastreio. Capture o resultado final e as ações intermédias relevantes (como consultas ao inventário) para conseguir ver não só se o agente falhou, mas também onde.
4. Repita os casos com base na gravidade e frequência das falhas e na dificuldade de corrigir o problema. As aplicações de LLM são não determinísticas (podem produzir resultados diferentes a partir de entradas idênticas), pelo que uma execução bem-sucedida não garante que a seguinte também o seja. Indique a proporção de tentativas bem-sucedidas e inspecione as falhas.

Para este último ponto, Khomutov aconselha medir o pass@1 (a frequência com que o agente tem sucesso numa única tentativa) e o pass@k (a probabilidade de ter sucesso pelo menos uma vez ao longo de um número especificado de tentativas). Se indicar o pass@k, especifique o número de tentativas, uma vez que produzir uma resposta correta entre várias não significa que o agente saiba qual escolher.

À medida que a sua aplicação cresce, utilize uma framework de testes como o pytest para organizar e executar testes, e considere armazenar grandes conjuntos de dados de teste e resultados numa base de dados.

Passo 4. Escolha o classificador certo para cada verificação

Um classificador (também frequentemente chamado avaliador) é um mecanismo — seja um excerto de código, um LLM orientado por uma grelha de classificação ou um revisor humano — que verifica o resultado ou a ação de um agente face a um critério definido. Um classificador devolve um veredicto de aprovação/reprovação e uma explicação que identifica as provas relevantes.

Informação: Uma grelha de classificação é um conjunto de critérios e instruções que define o que conta como um resultado correto ou aceitável.

O tipo de classificador certo depende do que pretende verificar. Eis como as três abordagens se comparam:

Por vezes, diferentes aspetos da mesma execução podem exigir métodos de avaliação diferentes, pelo que poderá ter de combinar classificadores.

Como combinar classificadores?

Pergunte: “O resultado pode ser verificado face a uma regra conhecida ou a um valor esperado, ou exige um juízo semelhante ao de um humano?”

• Se conseguir verificar o resultado com exatidão, comece com um classificador baseado em código. Os classificadores baseados em código também podem verificar resultados estruturados, valores de campos válidos, argumentos de ferramentas ou o estado final de uma base de dados.
• Se a verificação exigir a interpretação do contexto, utilize um LLM como juiz.
• Recorra a revisores humanos para decisões específicas da área ou contestadas.

Importante! Um classificador LLM pode interpretar mal as provas ou aplicar uma grelha incorretamente. Por isso, precisa de um passo de avaliação adicional: a calibração face a juízos humanos.

Calibre o classificador LLM face a juízos humanos.

Essencialmente, a calibração exige que um especialista na área avalie execuções reais do agente. Em seguida, o especialista compara os seus juízos com os do LLM e aperfeiçoa a grelha de classificação com base nas divergências.

Eis um processo de calibração do classificador em cinco passos:

1. Recolha exemplos de entradas, resultados e rastreios relevantes do agente.
2. Peça a um especialista na área que avalie de forma independente se cada exemplo cumpre o critério de avaliação.
3. Execute o classificador LLM sobre esses exemplos.
4. Compare os juízos humanos com os do modelo.
5. Investigue as divergências e aperfeiçoe a grelha do classificador antes de o testar com novos exemplos.

Khomutov sublinha também a importância de testar separadamente a consistência do classificador LLM:

“Forneça-lhe exatamente a mesma execução guardada e os mesmos ficheiros várias vezes, sem voltar a executar o agente. Isso permite separar a variação no trabalho do agente da variação na classificação.”

Se o mesmo resultado receber veredictos diferentes, não presuma que todas as alterações de pontuação vêm do agente. Em vez disso, analise uma matriz de confusão que mostre quando o classificador identificou corretamente os erros, quando os deixou escapar ou quando assinalou incorretamente resultados aceitáveis.

A revisão humana continua a ser essencial para estabelecer juízos de referência, resolver casos contestados e descobrir novos modos de falha que os classificadores existentes não foram concebidos para detetar.

Passo 5. Compare versões e execute verificações de regressão

Suponha que a análise de erros revele que o seu agente de inventário recomenda frequentemente peças de substituição não aprovadas. Altera o prompt de sistema para exigir uma verificação explícita de compatibilidade. O caso que falhava originalmente passa agora. Mas como sabe que a alteração não afetou outras tarefas?

É aí que entram os testes de regressão.

Os testes de regressão consistem em voltar a executar casos de teste anteriormente bem-sucedidos após alterar o prompt, o modelo ou o fluxo de trabalho de um agente, para garantir que a alteração não introduziu novas falhas.

1. Reproduza a falha original utilizando uma entrada guardada do conjunto de testes.
2. Faça uma alteração direcionada ao prompt, ao modelo ou ao fluxo de trabalho.
3. Volte a executar o teste que falhou para verificar se o problema foi resolvido.
4. Execute os restantes testes para verificar se a alteração não comprometeu comportamentos que antes funcionavam corretamente.
5. Analise os resultados e investigue quaisquer novas falhas.

Compare o agente de referência com o agente atualizado, utilizando os mesmos casos de teste e critérios de avaliação, para obter resultados precisos.

Passo 6: Monitorizar o desempenho do agente de IA em produção

A avaliação de agentes não termina depois de implementar a sua aplicação. Como explicam Husain e Shankar, os mesmos avaliadores que utiliza durante o desenvolvimento também podem ser executados com dados reais de produção para medir o desempenho do seu agente ao longo do tempo.

Isto é conhecido como avaliação online e faz parte de um processo mais amplo de monitorização em produção que ajuda a descobrir falhas recorrentes e até então desconhecidas.

O processo é iterativo e envolve quatro atividades complementares:

• Execute juízes LLM calibrados em registos de execução de produção. Recolha amostras de interações reais do agente e aplique os avaliadores que já validou em comparação com juízos humanos.
• Acompanhe as taxas de falha ao longo do tempo. Utilize as categorias de falha definidas durante a análise de erros para quantificar problemas recorrentes.
• Continue a rever manualmente os registos de execução. Os avaliadores automáticos só detetam os problemas para os quais foram concebidos. Inspecione manualmente amostras de interações reais do agente para descobrir novos erros ou pedidos invulgares dos utilizadores.
• Utilize testes A/B para medir resultados de negócio (apenas quando for adequado). Compare diferentes prompts, modelos ou fluxos de trabalho através de métricas como a conclusão de tarefas, a satisfação dos utilizadores e o tempo de resolução. Este processo ajuda a determinar se uma alteração melhora a experiência real do produto, para além de passar em testes individuais.

Uma nota importante: as avaliações não têm de ser aperfeiçoadas ao máximo. Basta que sejam suficientemente boas para melhorar o seu produto.

Equívocos comuns na avaliação de agentes de IA

• As avaliações são apenas testes unitários. Não são: os testes unitários são verificações pequenas e automatizadas que constituem apenas uma parte da avaliação. As avaliações envolvem também análise qualitativa de erros, juízos humanos, monitorização em produção e experiências para medir a qualidade da aplicação.
• Uma plataforma de avaliação pode fazer tudo por si. As ferramentas prontas a usar podem automatizar algumas verificações, mas não conseguem determinar quais os modos de falha (tipos de erros ou comportamentos indesejados do agente) que são relevantes para o seu produto.
• Pode deixar que um LLM avalie tudo. Trata-se de uma grande falácia. A análise de erros conduzida por pessoas e a calibração dos avaliadores continuam a ser essenciais, uma vez que os LLM não têm o contexto de negócio necessário para descobrir todos os problemas.
• Os testes A/B, ou a simples utilização do agente, substituem as avaliações. Errado. Os testes A/B podem mostrar qual a versão com melhor desempenho nas métricas selecionadas, mas não conseguem, por si só, explicar os problemas subjacentes.

Perguntas frequentes sobre a avaliação de agentes de IA

1. Qual é a diferença entre a avaliação de agentes de IA e a avaliação de LLM?

A avaliação de LLM mede o desempenho de um modelo de linguagem numa determinada tarefa, como responder a uma pergunta, resumir um documento ou extrair informação. A avaliação de agentes de IA avalia um sistema que executa, de forma autónoma, vários passos para concluir uma tarefa.

Ao contrário de uma avaliação de LLM típica, a avaliação de agentes examina tanto o resultado final como a sequência de ações realizadas para o alcançar, incluindo chamadas a ferramentas, decisões e cumprimento de regras predefinidas.

2. Principais métricas para a avaliação de agentes de IA

As métricas de avaliação de agentes de IA dividem-se em duas grandes categorias:

• Métricas de desempenho técnico: Taxa de sucesso das tarefas, correção das ações, qualidade das respostas, fiabilidade (pass@1 e pass@k), latência, utilização de tokens e custo por tarefa bem-sucedida.
• Métricas de negócio e de experiência do utilizador: Satisfação do cliente (CSAT), taxa de resolução de problemas, taxa de escalamento, taxa de conversão, tempo de conclusão de tarefas e outros resultados específicos da função do agente.

Por exemplo, um agente de apoio ao cliente pode ser avaliado pela resolução bem-sucedida de problemas e pela satisfação do cliente, enquanto um agente de compras de IA pode ser medido pela precisão dos pedidos de reposição, pelas taxas de aprovação e pelo tempo do ciclo de aprovisionamento.

As métricas certas devem refletir tanto a fiabilidade com que o agente funciona como a medida em que o seu trabalho melhora os resultados de negócio.

3. Quais são as melhores ferramentas para avaliar agentes de IA?

As opções mais comuns incluem:

• Frameworks de testes: As asserções de Python e o pytest são úteis para executar casos de teste repetíveis e verificar condições exatas, por exemplo, se um agente selecionou a ferramenta correta ou devolveu um ID de peça válido.
• Frameworks de avaliação de agentes de IA: O DeepEval e o agent-eval toolkit da Google permitem realizar avaliações mais complexas, incluindo registos de execução, avaliadores baseados em LLM e testes de regressão automatizados.
• Plataformas de avaliação e observabilidade: O LangSmith, o Arize Phoenix e o MLflow ajudam as equipas a inspecionar o comportamento dos agentes, gerir conjuntos de dados de avaliação, comparar versões de agentes e monitorizar o desempenho em produção.

4. Como automatizar as avaliações de agentes de IA?

Pode automatizar as avaliações de agentes de IA criando testes repetíveis, aplicando avaliadores automáticos e integrando essas verificações nos fluxos de trabalho de desenvolvimento e de produção:

1. Crie um conjunto de dados de avaliação: Recolha tarefas representativas dos utilizadores, resultados esperados, falhas conhecidas e registos de execução do agente. Inclua casos extremos, como chamadas a ferramentas falhadas, informação em falta e ações não autorizadas.
2. Automatize a execução e a classificação dos testes: Utilize frameworks como o pytest ou o DeepEval para executar casos de teste e aplicar verificações baseadas em código ou avaliadores LLM. Valide os avaliadores LLM em comparação com juízos humanos antes de confiar nas respetivas pontuações.
3. Integre as avaliações no CI/CD: Volte a executar automaticamente os testes de regressão sempre que os programadores atualizarem os prompts, os modelos, as ferramentas ou o fluxo de trabalho de um agente. Compare os resultados com uma referência e defina limiares de qualidade que impeçam lançamentos quando falharem verificações críticas.
4. Aplique avaliadores calibrados a amostras de registos de execução de produção, acompanhe as taxas de falha e outras métricas de desempenho e investigue novos erros através de revisão manual.