Engenharia de harness: o que é e como funciona

O que significa engenharia de harness

Engenharia de harness é o trabalho de construir o harness de uma ferramenta de IA, ou seja, todas as partes da ferramenta, exceto o modelo de IA.

O modelo é o sistema de IA, treinado com grandes volumes de texto para conseguir ler e escrever linguagem. Exemplos de modelos de IA incluem o GPT, da OpenAI, o Claude, da Anthropic, e o Gemini, do Google.

Sozinho, um modelo só consegue receber texto (e, às vezes, imagens ou áudio) e responder com texto. Ele não consegue se lembrar de conversas anteriores, buscar informações atualizadas nem executar código. Por isso, precisa de um harness que gerencie quais informações o modelo recebe, quais apps ele pode usar, o que ele tem permissão para fazer e como o trabalho dele é verificado.

Até um assistente de chat básico precisa de um harness. O modelo esquece cada interação assim que responde, então o harness mantém um registro da conversa. Se alguém pergunta sobre Paris e depois emenda com "qual é a população dela?", o harness envia as duas perguntas juntas ao modelo. É assim que o modelo sabe que "dela" se refere a Paris.

A engenharia de harness é um dos motivos pelos quais duas ferramentas criadas com base no mesmo modelo podem ter desempenhos tão diferentes. Por exemplo, em um teste independente, pesquisadores mantiveram o mesmo modelo (GPT5) e mudaram apenas o harness, e a pontuação do modelo em um teste de programação variou em até 11%.

Desenvolvedores de modelos de IA, como a Anthropic e a OpenAI, criam harnesses para os próprios produtos de IA, como o Claude Code e o Codex. E as empresas que criam produtos de IA projetam harnesses para os modelos subjacentes que escolhem. As pessoas que usam ferramentas de IA também moldam parte do harness. Muitas ferramentas permitem que elas adicionem instruções permanentes, conectem apps e escolham quais ações precisam da aprovação delas antes que a ferramenta prossiga.

Engenharia de harness para agentes de IA

Toda ferramenta de IA tem um harness, mas a engenharia de harness se torna especialmente importante ao trabalhar com agentes de IA. Os agentes realizam tarefas de várias etapas por conta própria, como pesquisar concorrentes e reunir as descobertas em uma planilha, e o harness executa cada etapa. Por isso, se o harness cometer um erro, como buscar os preços do ano passado, isso também afetará as etapas seguintes.

A maioria dos harnesses de agentes tem seis partes principais:

1. O loop do agente

Expandir

O loop do agente é um código dentro do harness que mantém a tarefa avançando, uma etapa de cada vez.

O modelo de IA decide qual é a próxima etapa necessária para concluir a tarefa e escreve uma chamada de ferramenta: uma solicitação curta que indica uma ferramenta do harness, como a busca na web, e o que a ferramenta deve fazer.

O harness identifica a solicitação, executa a busca e adiciona os resultados ao que o modelo consegue ver. O modelo os lê e decide o que fazer em seguida.

2. Gerenciamento de contexto

Um modelo aprende conhecimentos gerais durante o treinamento, mas esse conhecimento para na data em que o treinamento terminou. Ele não inclui nada específico da tarefa em questão, como os arquivos de uma empresa, as notícias do dia ou o que foi dito antes na conversa.

Para tudo isso, o modelo depende da janela de contexto: o texto que o harness fornece a ele antes de cada resposta, como as instruções, a consulta, a conversa até o momento e os resultados de busca.

A janela só comporta uma quantidade fixa de texto. E, mesmo antes de a janela encher, os modelos às vezes deixam passar informações enterradas no meio de entradas longas.

Por isso, o harness cuida do gerenciamento de contexto e seleciona apenas as informações de que cada etapa precisa. Por exemplo, se a tarefa for comparar os preços de cinco concorrentes, o harness pode incluir a página de preços de cada empresa em vez do site inteiro. Em tarefas longas, o harness também pode substituir o registro detalhado das etapas anteriores por um resumo curto, para que o modelo acompanhe o que já fez sem que esse histórico ocupe toda a janela.

3. Ferramentas

Ferramentas são códigos que executam as ações que o modelo solicita. Cada ferramenta lida com um tipo de ação, como buscar na web, abrir e ler uma página da web, executar código ou editar um arquivo. Quando o modelo escreve uma chamada de ferramenta, o harness a repassa para a ferramenta certa e retorna o resultado.

Muitos harnesses também incluem conectores, que são ferramentas que ligam o agente a um app específico, como e-mail, agenda ou um drive compartilhado, usando o acesso que uma pessoa concedeu. Com um conector de agenda, por exemplo, um agente pode verificar a disponibilidade de alguém antes de sugerir um horário de reunião.

4. Memória

Memória são informações armazenadas que passam de uma sessão para a próxima. O harness salva notas curtas durante uma sessão, como as preferências de uma pessoa ou o andamento de um projeto. No início da sessão seguinte, o harness adiciona essas notas à janela de contexto, para que o modelo as leia antes de ler a nova consulta. É assim que um agente pode, por exemplo, retomar um relatório semanal de onde parou em vez de começar do zero novamente.

5. Permissões

Permissões são regras sobre o que um agente pode acessar e fazer. As regras de acesso definem quais arquivos, apps ou sites ele pode abrir. As regras de aprovação definem quais ações precisam aguardar o aval de uma pessoa, como enviar uma mensagem ou fazer uma compra.

A empresa que cria o agente configura algumas dessas regras no código do harness. Depois, os administradores de uma organização podem adicionar as próprias regras, e cada usuário pode escolher, por exemplo, quais contas conectar.

6. Verificação

A verificação é um código que confere o trabalho do agente antes que ele chegue a uma pessoa. Ela usa dois tipos de checagem:

• Regras fixas, que são testes específicos que passam ou falham da mesma forma todas as vezes, como confirmar que cada número de um relatório aparece em um documento que o agente realmente leu.
• Uma revisão feita por outro modelo de IA, que lê o trabalho e o avalia. Ela pode identificar problemas difíceis de transformar em regra, como um resumo que deixa de fora um ponto importante.

Nenhuma checagem isolada identifica tudo, por isso os harnesses geralmente combinam os dois tipos. Quando uma checagem encontra um problema, o harness adiciona uma descrição dele à janela de contexto do modelo e envia a tarefa de volta pelo loop do agente. O modelo corrige o problema e tenta novamente, então muitos erros são corrigidos antes que o usuário veja o resultado.

Exemplos de engenharia de harness

Preparação para uma reunião com cliente

Tarefa: Um gerente de contas pede a um agente que prepare um briefing para a reunião de amanhã com um cliente, abordando as questões em aberto e um rascunho de pauta.

O que o harness faz:

• Por meio de um conector de e-mail, o agente busca na caixa de entrada do gerente as mensagens trocadas com o cliente.
• As permissões deixam que ele leia e-mails, mas não envie nenhum.
• O gerenciamento de contexto repassa ao modelo apenas as mensagens dos últimos três meses com esse cliente, e não a caixa de entrada inteira.
• O loop do agente executa várias rodadas de busca e leitura, e o modelo agrupa o que encontra em questões em aberto.
• Em seguida, a verificação confere se cada questão do briefing remete a um e-mail real.

Resultado possível: O gerente recebe um briefing de uma página em que cada ponto pode ser rastreado até o e-mail de origem.

Atualização de um relatório mensal de vendas

Tarefa: Um líder de operações pede a um agente que atualize o relatório mensal de vendas com os números deste mês.

O que o harness faz:

• A memória carrega as notas da sessão do mês passado, incluindo o formato do relatório e o pedido do líder para arredondar os números para o milhar mais próximo.
• Uma ferramenta de arquivos abre a planilha de vendas no drive compartilhado da equipe.
• As permissões deixam o agente editar o rascunho do relatório, mas não a planilha de origem, para que os números originais não sejam alterados por engano.
• A verificação confere se os totais do relatório batem com os da planilha.

Resultado possível: O relatório chega no mesmo formato do mês passado, sem que o usuário precise explicá-lo de novo.

Organização de uma caixa de entrada compartilhada

Tarefa: Uma equipe de suporte pede a um agente que organize por assunto as solicitações recebidas pela manhã e redija respostas para as mais comuns.

O que o harness faz:

• O loop do agente percorre a caixa de entrada uma mensagem de cada vez.
• Para cada uma, o modelo escolhe um marcador de assunto, e o harness o aplica por meio do conector de e-mail.
• No início da tarefa, o harness adiciona à janela de contexto os templates de resposta aprovados pela equipe como referência, para que o modelo baseie cada rascunho em um template.
• Uma regra de aprovação mantém cada resposta como rascunho até que alguém da equipe a revise e envie.

Resultado possível: A equipe começa o dia com as solicitações organizadas e as respostas aguardando revisão.

Correção de um bug em um site

Tarefa: Um desenvolvedor pede a um agente de programação que corrija um bug que impede o funcionamento de um botão de finalização de compra.

O que o harness faz:

• O agente trabalha em um sandbox, uma cópia isolada do código em que as alterações dele não podem afetar o site em produção.
• Uma ferramenta de código permite que o modelo leia e edite arquivos.
• Após cada alteração, a verificação executa os testes automatizados do projeto.
• Todas as falhas voltam para o modelo como novas informações.

Resultado possível: O agente continua ajustando a correção até que os testes passem. Depois, o desenvolvedor revisa a alteração antes de ela entrar no ar.

Engenharia de harness vs. engenharia de prompt vs. engenharia de contexto

Engenharia de prompt é o trabalho de criar e otimizar uma única consulta. Engenharia de contexto é o trabalho de gerenciar tudo o que o modelo vê. Engenharia de harness é o processo de projetar e aprimorar todo o sistema dentro do qual o modelo trabalha.

Como os usuários podem influenciar um harness de IA

A maior parte do harness de um agente vem da empresa que cria o agente, mas muitos produtos de IA permitem que os usuários ajustem parte dele por meio de configurações como instruções personalizadas, apps conectados e aprovações.

Os usuários podem moldar o harness de um agente e melhorar os resultados dele de quatro formas:

1. Instruções permanentes

Instruções permanentes são notas que uma pessoa escreve uma única vez para que o harness possa adicioná-las à janela de contexto no início de cada tarefa. Vale a pena configurá-las para tudo o que a pessoa, de outra forma, repetiria consulta após consulta: quem ela é e o que faz, como prefere que os textos sejam escritos ou as regras de um trabalho recorrente, como o relatório mensal de um cliente.

Muitos produtos de IA oferecem instruções permanentes em dois níveis. As instruções para a conta inteira servem para o que vale em qualquer trabalho, como preferências de ortografia. As instruções de projeto servem para um único cliente ou fluxo de trabalho, para que as orientações de um não passem para outro.

As instruções permanentes funcionam da mesma forma em assistentes de chat e em agentes, mas os agentes dependem mais delas. Em um chat, a pessoa pode corrigir a IA depois de cada resposta. Um agente pode realizar muitas etapas antes que alguém veja o trabalho dele, então as instruções dadas de antemão são uma das poucas formas de orientá-lo ao longo do caminho.

Como escrever instruções permanentes eficazes

• Comece com uma instrução curta, como: "Sou gerente de marketing em uma empresa de software. Escreva em linguagem simples, mantenha os resumos com menos de 200 palavras e use a ortografia do português brasileiro."
• Complemente as instruções quando a IA cometer um erro. Se a IA continuar arredondando números que a equipe precisa que sejam exatos, adicione uma linha avisando isso.
• Seja específico nas instruções: "Informe os números exatos, nunca arredondados" funciona melhor do que "Seja preciso".
• Mantenha a lista curta e remova as linhas que deixarem de ser úteis, já que cada linha ocupa espaço na janela de contexto.

2. Apps conectados

Os apps conectados ligam um produto de IA às ferramentas que a pessoa já usa, como e-mail, agenda ou um drive compartilhado. Depois que um app é conectado, a IA pode trabalhar com as informações da própria pessoa, e não só com o que é colado no chat.

Vale a pena configurar conexões quando uma tarefa depende de informações que ficam nesses apps, como preparar o briefing de uma reunião a partir de conversas por e-mail ou resumir documentos de um drive compartilhado.

Como conectar apps com segurança

• Conecte apenas os apps de que a tarefa precisa, já que cada conexão cria mais uma oportunidade de erro.
• Escolha o acesso somente leitura quando ele estiver disponível. Por exemplo, um agente que prepara briefings de reuniões precisa ler e-mails, não enviá-los.
• Defina as conexões por projeto quando o produto permitir. No Perplexity, por exemplo, é possível escolher quais conectores cada projeto usa.
• Lembre-se de desconectar os apps que não estiverem mais em uso.

3. Configurações de aprovação

As configurações de aprovação definem quais ações precisam aguardar o aval de uma pessoa antes que a IA prossiga. Algumas aprovações já vêm integradas ao produto, e alguns produtos permitem escolher quais outras ações precisam de aprovação.

Como definir regras de aprovação

• Exija aprovação para ações que não podem ser desfeitas, como enviar uma mensagem, fazer uma compra ou excluir um arquivo.
• Mantenha a lista de aprovações curta. Se um agente pedir autorização a cada pequeno passo, as pessoas começam a aprovar sem ler.

4. Padrões e verificações

A maioria dos produtos de IA já vem com alguns padrões integrados. O Perplexity, por exemplo, inclui citações nas respostas para que cada afirmação possa ser verificada. Os padrões definidos pelo usuário acrescentam o que um produto não tem como saber sozinho, como o formato de relatório preferido de uma equipe.

Como definir padrões para o trabalho da IA

• Forneça um template para trabalhos recorrentes, para que a IA tenha uma estrutura fixa a ser preenchida.
• Compartilhe um exemplo de trabalho anterior de que a equipe gostou, para que a IA possa reproduzir o tom e o nível de detalhe.
• Peça o link da fonte ao lado de cada número.
• Revise os primeiros resultados com atenção e transforme as falhas recorrentes em uma nova instrução permanente.

Como a Perplexity aborda os harnesses de agentes

O Perplexity Computer funciona com um harness agnóstico em relação a modelos, que reúne mais de 20 modelos avançados em um único sistema. Ele divide cada tarefa em subtarefas, distribui essas subtarefas para subagentes (agentes separados que cuidam de uma parte cada) e encaminha cada parte do trabalho para o modelo mais adequado a ela.

Saiba como configurar instruções, arquivos e conectores no guia de projetos do Perplexity.

Perguntas frequentes

O que é um engenheiro de harness?

Um engenheiro de harness projeta e mantém o sistema que permite a um modelo de IA realizar trabalhos de forma confiável. Isso pode significar adicionar uma nova ferramenta para o agente usar, descobrir por que um agente continua cometendo o mesmo erro ou reforçar as verificações que ele executa antes de concluir uma tarefa. Não é um cargo padrão, embora isso possa mudar. Esse trabalho costuma ser feito por engenheiros de software em empresas de IA ou em equipes que desenvolvem agentes. Na indústria de manufatura, o mesmo nome em inglês (harness engineer) designa quem projeta chicotes elétricos, os feixes de cabos dentro de carros e máquinas.

O que é um harness de agente?

Um harness de agente geralmente designa tudo o que há em um agente de IA além do próprio modelo. Isso inclui o código que executa o loop do agente, gerencia o contexto, realiza as chamadas de ferramentas, armazena a memória, aplica as permissões e verifica o trabalho do agente antes que ele chegue a uma pessoa.

Toda ferramenta de IA tem um harness?

Sim. Até um assistente de chat básico depende de um harness para acompanhar a conversa, já que o modelo não se lembra sozinho das mensagens anteriores.

Os desenvolvedores também podem usar um modelo enviando solicitações a ele a partir do próprio software por meio de uma API (uma conexão que permite que um programa envie solicitações a outro). Nesse caso, o próprio código do desenvolvedor faz o trabalho do harness.

Modelos melhores vão tornar os harnesses desnecessários?

Modelos melhores podem precisar de menos orientação passo a passo, então parte do que os harnesses fazem hoje pode diminuir. Mas um modelo, sozinho, apenas transforma texto em texto. Ele não tem conexão com a internet nem acesso a outros apps. Acessar arquivos, executar ações e aplicar regras de aprovação são coisas que acontecem no software ao redor do modelo, então é provável que esse trabalho continue com o harness, por mais capazes que os modelos se tornem.