Engenharia de harness: o que é e como funciona

O que significa a engenharia de harness

A engenharia de harness é o trabalho de construir o harness de uma ferramenta de IA, ou seja, todas as partes da ferramenta exceto o modelo de IA.

O modelo é o sistema de IA, treinado com grandes volumes de texto para conseguir ler e escrever linguagem. Exemplos de modelos de IA incluem o GPT da OpenAI, o Claude da Anthropic ou o Gemini da Google.

Por si só, um modelo apenas consegue receber texto (e, por vezes, imagens ou áudio) e responder com texto. Não consegue lembrar-se de conversas anteriores, procurar informação atual nem executar código. Por isso, precisa de um harness que gira a informação que o modelo recebe, as aplicações que pode utilizar, o que lhe é permitido fazer e a forma como o seu trabalho é verificado.

Até um assistente de chat básico precisa de um harness. O modelo esquece cada interação assim que responde, por isso o harness guarda um registo da conversa. Se alguém perguntar sobre Paris e depois acrescentar «qual é a sua população?», o harness envia as duas perguntas ao modelo em conjunto. É assim que o modelo sabe que «sua» se refere a Paris.

A engenharia de harness é uma das razões pelas quais duas ferramentas baseadas no mesmo modelo podem ter desempenhos tão diferentes. Por exemplo, num teste independente, os investigadores mantiveram o mesmo modelo (GPT5) e alteraram apenas o harness, e a pontuação do modelo num teste de programação variou até 11%.

Os criadores de modelos de IA, como a Anthropic e a OpenAI, constroem harnesses para os seus próprios produtos de IA, como o Claude Code e o Codex. E as empresas que criam produtos de IA concebem harnesses para os modelos subjacentes que escolhem. As pessoas que utilizam ferramentas de IA também moldam parte do harness. Muitas ferramentas permitem-lhes adicionar instruções permanentes, ligar aplicações e escolher que ações precisam da sua aprovação antes de a ferramenta avançar.

Engenharia de harness para agentes de IA

Todas as ferramentas de IA têm um harness, mas a engenharia de harness torna-se particularmente importante quando se trabalha com agentes de IA. Os agentes realizam tarefas com vários passos de forma autónoma, como pesquisar a concorrência e colocar as conclusões numa folha de cálculo, e o harness executa cada passo. Por isso, se o harness cometer um erro, como obter os preços do ano passado, isso afetará também os restantes passos.

A maioria dos harnesses de agentes tem seis partes principais:

1. O ciclo do agente

Expandir

O ciclo do agente é o código, dentro do harness, que faz a tarefa avançar, um passo de cada vez.

O modelo de IA decide qual o próximo passo necessário para concluir a tarefa e escreve uma chamada de ferramenta: um pedido curto que indica uma ferramenta do harness, como a pesquisa na web, e o que essa ferramenta deve fazer.

O harness deteta o pedido, executa a pesquisa e acrescenta os resultados ao que o modelo consegue ver. O modelo lê-os e decide o que fazer a seguir.

2. Gestão do contexto

Um modelo aprende conhecimentos gerais durante o treino, mas esse conhecimento termina na data em que o treino acabou. Não inclui nada específico da tarefa em questão, como os ficheiros de uma empresa, as notícias do dia ou o que foi dito anteriormente na conversa.

Para tudo isso, o modelo depende da sua janela de contexto: o texto que o harness lhe fornece antes de cada resposta, como as suas instruções, a consulta, a conversa até ao momento e os resultados de pesquisa.

A janela só comporta uma quantidade fixa de texto. E, mesmo antes de a janela ficar cheia, os modelos, por vezes, não detetam informação escondida a meio de entradas longas.

Por isso, o harness trata da gestão do contexto e escolhe apenas a informação de que cada passo precisa. Por exemplo, se a tarefa for comparar os preços de cinco concorrentes, o harness pode incluir a página de preços de cada empresa em vez do site completo. Em tarefas longas, o harness também pode substituir o registo detalhado dos passos anteriores por um breve resumo, para que o modelo saiba o que já fez sem que esse histórico encha a janela.

3. Ferramentas

As ferramentas são código que executa as ações pedidas pelo modelo. Cada ferramenta trata de um tipo de ação, como pesquisar na web, abrir e ler uma página web, executar código ou editar um ficheiro. Quando o modelo escreve uma chamada de ferramenta, o harness encaminha-a para a ferramenta certa e devolve o resultado.

Muitos harnesses incluem também conectores, que são ferramentas que ligam o agente a uma aplicação específica, como o e-mail, um calendário ou uma unidade partilhada, utilizando o acesso que uma pessoa concedeu. Com um conector de calendário, por exemplo, um agente pode verificar a disponibilidade de alguém antes de sugerir uma hora para uma reunião.

4. Memória

A memória é informação armazenada que transita de uma sessão para a seguinte. O harness guarda notas curtas durante uma sessão, como as preferências de uma pessoa ou o ponto em que um projeto se encontra. No início da sessão seguinte, o harness adiciona essas notas à janela de contexto, para que o modelo as leia antes de ler a nova consulta. É assim que um agente pode, por exemplo, retomar um relatório semanal onde o deixou, em vez de recomeçar do início.

5. Permissões

As permissões são regras sobre aquilo a que um agente pode aceder e o que pode fazer. As regras de acesso definem que ficheiros, aplicações ou sites pode abrir. As regras de aprovação definem que ações têm de aguardar a aprovação de uma pessoa, como enviar uma mensagem ou fazer uma compra.

A empresa que cria o agente define algumas destas regras no código do harness. Depois, os administradores de uma organização podem adicionar as suas próprias regras, e cada utilizador pode escolher, por exemplo, que contas ligar.

6. Verificação

A verificação é código que analisa o trabalho do agente antes de este chegar a uma pessoa. Utiliza dois tipos de verificações:

• Regras fixas, que são testes específicos que passam ou falham sempre da mesma forma, como confirmar que todos os números de um relatório aparecem num documento que o agente efetivamente leu.
• Uma revisão feita por outro modelo de IA, que lê o trabalho e o avalia. Pode detetar problemas difíceis de transformar numa regra, como um resumo que omite um ponto importante.

Nenhuma verificação deteta tudo, por isso os harnesses costumam combinar os dois tipos. Quando uma verificação encontra um problema, o harness acrescenta uma descrição do mesmo à janela de contexto do modelo e envia a tarefa de volta pelo ciclo do agente. O modelo corrige o problema e tenta novamente, pelo que muitos erros são corrigidos antes de o utilizador ver o resultado.

Exemplos de engenharia de harness

Preparar uma reunião com um cliente

Tarefa: Um gestor de conta pede a um agente que prepare um briefing para a reunião de amanhã com um cliente, abrangendo as questões pendentes e uma proposta de ordem de trabalhos.

O que o harness faz:

• Através de um conector de e-mail, o agente procura na caixa de entrada do gestor as mensagens trocadas com o cliente.
• As permissões permitem-lhe ler e-mails, mas não enviar nenhum.
• A gestão do contexto passa ao modelo apenas as mensagens dos últimos três meses com esse cliente, e não toda a caixa de entrada.
• O ciclo do agente executa várias rondas de pesquisa e leitura, e o modelo agrupa o que encontra em questões pendentes.
• Em seguida, a verificação confirma que cada questão do briefing remete para um e-mail real.

Resultado possível: O gestor recebe um briefing de uma página em que cada ponto pode ser rastreado até ao e-mail de origem.

Atualizar um relatório mensal de vendas

Tarefa: Um responsável de operações pede a um agente que atualize o relatório mensal de vendas com os números deste mês.

O que o harness faz:

• A memória carrega notas da sessão do mês passado, incluindo o formato do relatório e o pedido do responsável para arredondar os números ao milhar mais próximo.
• Uma ferramenta de ficheiros abre a folha de cálculo de vendas na unidade partilhada da equipa.
• As permissões permitem ao agente editar o rascunho do relatório, mas não a folha de cálculo de origem, para que os números originais não possam ser alterados por engano.
• A verificação confirma que os totais do relatório correspondem aos da folha de cálculo.

Resultado possível: O relatório chega no mesmo formato que o do mês passado, sem que o utilizador tenha de o explicar novamente.

Organizar uma caixa de entrada partilhada

Tarefa: Uma equipa de apoio pede a um agente que organize por tema os pedidos recebidos durante a manhã e que redija respostas para os mais comuns.

O que o harness faz:

• O ciclo do agente percorre a caixa de entrada uma mensagem de cada vez.
• Para cada uma, o modelo escolhe uma etiqueta de tema e o harness aplica-a através do conector de e-mail.
• No início da tarefa, o harness adiciona à janela de contexto as respostas-tipo aprovadas pela equipa, como guias, para que o modelo baseie cada rascunho numa delas.
• Uma regra de aprovação mantém cada resposta como rascunho até que alguém da equipa a reveja e envie.

Resultado possível: A equipa começa o dia com os pedidos organizados e as respostas à espera de revisão.

Corrigir um erro num site

Tarefa: Um programador pede a um agente de programação que corrija um erro que impede o funcionamento de um botão de finalização de compra.

O que o harness faz:

• O agente trabalha numa sandbox, uma cópia isolada do código onde as suas alterações não podem afetar o site em produção.
• Uma ferramenta de código permite ao modelo ler e editar ficheiros.
• Após cada alteração, a verificação executa os testes automatizados do projeto.
• Quaisquer falhas regressam ao modelo como nova informação.

Resultado possível: O agente continua a ajustar a correção até os testes passarem. Em seguida, o programador revê a alteração antes de esta entrar em produção.

Engenharia de harness vs. engenharia de prompts vs. engenharia de contexto

A engenharia de prompts é o trabalho de construir e otimizar uma única consulta. A engenharia de contexto é o trabalho de gerir tudo o que o modelo vê. A engenharia de harness é o processo de conceber e melhorar todo o sistema dentro do qual o modelo funciona.

Como os utilizadores podem influenciar um harness de IA

A maior parte de um harness de agente vem da empresa que cria o agente, mas muitos produtos de IA permitem aos utilizadores ajustar parte dele através de definições como instruções personalizadas, aplicações ligadas e aprovações.

Os utilizadores podem moldar um harness de agente, e melhorar os resultados do agente, de quatro formas:

1. Instruções permanentes

As instruções permanentes são notas que uma pessoa escreve uma única vez, para que o harness as possa adicionar à janela de contexto no início de cada tarefa. Vale a pena configurá-las para tudo o que, de outra forma, uma pessoa repetiria consulta após consulta: quem é e o que faz, como gosta que o trabalho seja redigido ou as regras de uma tarefa recorrente, como o relatório mensal de um cliente.

Muitos produtos de IA oferecem instruções permanentes a dois níveis. As instruções para toda a conta são adequadas para aspetos que se aplicam a todo o trabalho, como preferências ortográficas. As instruções de projeto são adequadas para um único cliente ou fluxo de trabalho, para que as orientações de um não passem para outro.

As instruções permanentes funcionam da mesma forma em assistentes de chat e em agentes, mas os agentes dependem mais delas. Num chat, uma pessoa pode corrigir a IA após cada resposta. Um agente pode dar muitos passos antes de alguém ver o seu trabalho, por isso as instruções dadas logo à partida são uma das poucas formas de o orientar pelo caminho.

Como escrever instruções permanentes eficazes

• Comece com uma instrução curta, como: «Sou gestor de marketing numa empresa de software. Escreve em linguagem simples, mantém os resumos abaixo das 200 palavras e usa a ortografia do português europeu.»
• Acrescente instruções quando a IA cometer um erro. Se a IA continuar a arredondar números que a equipa precisa de ter exatos, acrescente uma linha a indicá-lo.
• Torne as instruções específicas: «Indica os números exatos, nunca arredondados» é melhor do que «Sê rigoroso».
• Mantenha a lista curta e remova as linhas quando deixarem de ser úteis, já que cada linha ocupa espaço na janela de contexto.

2. Aplicações ligadas

As aplicações ligadas associam um produto de IA às ferramentas que uma pessoa já utiliza, como o e-mail, um calendário ou uma unidade partilhada. Depois de uma aplicação estar ligada, a IA pode trabalhar com a informação da própria pessoa, em vez de apenas com o que é colado no chat.

Vale a pena configurar ligações quando uma tarefa depende de informação que se encontra nessas aplicações, como preparar um briefing de reunião a partir de conversas de e-mail ou resumir documentos numa unidade partilhada.

Como ligar aplicações em segurança

• Ligue apenas as aplicações de que uma tarefa precisa, já que cada ligação acrescenta mais uma oportunidade de erro.
• Escolha o acesso só de leitura quando estiver disponível. Por exemplo, um agente que prepara briefings de reuniões precisa de ler e-mails, não de os enviar.
• Defina as ligações por projeto quando o produto o permitir. No Perplexity, por exemplo, é possível escolher que conectores cada projeto utiliza.
• Lembre-se de desligar as aplicações que já não utiliza.

3. Definições de aprovação

As definições de aprovação determinam que ações têm de aguardar a aprovação de uma pessoa antes de a IA avançar. Algumas aprovações estão integradas no produto, e alguns produtos permitem escolher que outras ações a exigem.

Como definir regras de aprovação

• Exija aprovação para ações que não podem ser desfeitas, como enviar uma mensagem, fazer uma compra ou eliminar um ficheiro.
• Mantenha a lista de aprovações curta. Se um agente pedir aprovação para cada pequeno passo, as pessoas começam a aprovar sem ler.

4. Padrões e verificações

A maioria dos produtos de IA já vem com alguns padrões incorporados. O Perplexity, por exemplo, inclui citações nas suas respostas para que cada afirmação possa ser verificada. Os padrões definidos pelo utilizador acrescentam aquilo que um produto não consegue saber por si só, como o formato de relatório preferido de uma equipa.

Como definir padrões para o trabalho feito pela IA

• Forneça um modelo de documento para tarefas recorrentes, para que a IA tenha uma estrutura fixa a preencher.
• Partilhe um exemplo de trabalho anterior de que a equipa gostou, para que a IA consiga reproduzir o tom e o nível de detalhe.
• Peça uma ligação para a fonte ao lado de cada número.
• Analise atentamente os primeiros resultados e transforme quaisquer lacunas recorrentes numa nova instrução permanente.

Como o Perplexity aborda os harnesses de agentes

O Perplexity Computer funciona com um harness agnóstico em relação aos modelos, que reúne mais de 20 modelos avançados num único sistema. Divide cada tarefa em subtarefas, entrega-as a subagentes (agentes separados que se encarregam, cada um, de uma parte) e encaminha cada parte do trabalho para o modelo mais adequado.

Saiba como configurar instruções, ficheiros e conectores no guia dos projetos do Perplexity.

Perguntas frequentes

O que é um engenheiro de harness?

Um engenheiro de harness concebe e mantém o sistema que permite a um modelo de IA realizar trabalho fiável. Isso pode significar adicionar uma nova ferramenta para o agente utilizar, descobrir por que razão um agente continua a cometer o mesmo erro ou reforçar as verificações que executa antes de concluir uma tarefa. Não é um cargo convencional, embora isso possa mudar. Normalmente, este trabalho é feito por engenheiros de software em empresas de IA ou em equipas que desenvolvem agentes. Na indústria transformadora, o mesmo título em inglês designa quem concebe cablagens (wire harnesses), os feixes de cabos no interior de automóveis e máquinas.

O que é um harness de agente?

Um harness de agente costuma designar tudo o que existe num agente de IA além do próprio modelo. Isso inclui o código que executa o ciclo do agente, gere o contexto, efetua as chamadas a ferramentas, armazena a memória, aplica as permissões e verifica o trabalho do agente antes de este chegar a uma pessoa.

Todas as ferramentas de IA têm um harness?

Sim. Até um assistente de chat básico depende de um harness para acompanhar a conversa, uma vez que o modelo, por si só, não se lembra das mensagens anteriores.

Os programadores também podem utilizar um modelo ao enviar-lhe pedidos a partir do seu próprio software através de uma API (uma ligação que permite a um programa enviar pedidos a outro). Nesse caso, é o código do próprio programador que faz o trabalho do harness.

Modelos melhores vão tornar os harnesses desnecessários?

Modelos melhores poderão precisar de menos orientação passo a passo, pelo que parte do que os harnesses fazem hoje poderá diminuir. No entanto, um modelo, por si só, apenas transforma texto em texto. Não tem ligação à internet nem acesso a outras aplicações. Aceder a ficheiros, executar ações e aplicar regras de aprovação são tarefas que acontecem no software que rodeia o modelo, pelo que é provável que esse trabalho continue a caber ao harness, por mais capazes que os modelos se tornem.