Harness-Engineering: Was es ist und wie es funktioniert

Was Harness-Engineering bedeutet

Harness-Engineering bezeichnet die Entwicklung des Harness eines KI-Tools, also aller Bestandteile des Tools außer dem KI-Modell.

Das Modell ist das KI-System, das mit großen Textmengen trainiert wurde, damit es Sprache lesen und schreiben kann. Beispiele für KI-Modelle sind GPT von OpenAI, Claude von Anthropic oder Gemini von Google.

Für sich allein kann ein Modell nur Text (und manchmal Bilder oder Audio) aufnehmen und Text zurückgeben. Es kann sich nicht an frühere Unterhaltungen erinnern, keine aktuellen Informationen abrufen und keinen Code ausführen. Deshalb braucht es ein Harness, das steuert, welche Informationen das Modell erhält, welche Apps es nutzen kann, was es tun darf und wie seine Arbeit überprüft wird.

Selbst ein einfacher Chat-Assistent braucht ein Harness. Das Modell vergisst jeden Austausch, sobald es geantwortet hat, deshalb speichert das Harness den Verlauf der Unterhaltung. Fragt jemand nach Paris und hakt dann mit „Wie viele Einwohner hat es?“ nach, schickt das Harness beide Fragen zusammen an das Modell. So weiß das Modell, dass sich „es“ auf Paris bezieht.

Harness-Engineering ist einer der Gründe, warum zwei Tools, die auf demselben Modell basieren, so unterschiedlich abschneiden können. In einem unabhängigen Test behielten Forschende beispielsweise das Modell (GPT5) bei und änderten nur das Harness – dadurch veränderte sich das Ergebnis des Modells in einem Coding-Test um bis zu 11 %.

KI-Modellentwickler wie Anthropic und OpenAI bauen Harnesses für ihre eigenen KI-Produkte, etwa Claude Code und Codex. Und Unternehmen, die KI-Produkte entwickeln, gestalten Harnesses für die zugrunde liegenden Modelle, für die sie sich entscheiden. Auch die Nutzer von KI-Tools gestalten einen Teil des Harness mit. Bei vielen Tools können sie dauerhafte Anweisungen hinzufügen, Apps verbinden und festlegen, welche Aktionen ihre Genehmigung erfordern, bevor das Tool fortfährt.

Harness-Engineering für KI-Agenten

Jedes KI-Tool hat ein Harness, doch Harness-Engineering wird besonders wichtig, wenn man mit KI-Agenten arbeitet. Agenten erledigen mehrstufige Aufgaben selbstständig, etwa die Recherche zu Wettbewerbern und das Übertragen der Ergebnisse in eine Tabelle, und das Harness führt jeden Schritt aus. Macht das Harness also einen Fehler und ruft zum Beispiel die Preise des Vorjahres ab, wirkt sich das auch auf alle weiteren Schritte aus.

Die meisten Agent-Harnesses bestehen aus sechs Hauptbestandteilen:

1. Die Agent-Schleife

Vergrößern

Die Agent-Schleife ist Code innerhalb des Harness, der eine Aufgabe Schritt für Schritt vorantreibt.

Das KI-Modell entscheidet, welcher Schritt als Nächstes nötig ist, um die Aufgabe zu erledigen, und schreibt einen Tool-Aufruf: eine kurze Anfrage, die ein Tool im Harness benennt, etwa die Websuche, und angibt, was das Tool tun soll.

Das Harness erkennt die Anfrage, führt die Suche aus und fügt die Ergebnisse zu dem hinzu, was das Modell sehen kann. Das Modell liest sie und entscheidet, was als Nächstes zu tun ist.

2. Kontextmanagement

Ein Modell eignet sich während des Trainings Allgemeinwissen an, doch dieses Wissen endet mit dem Datum, an dem das Training abgeschlossen wurde. Es umfasst nichts, was speziell die jeweilige Aufgabe betrifft, etwa die Dateien eines Unternehmens, die heutigen Nachrichten oder das, was zuvor in der Unterhaltung gesagt wurde.

Für all das ist das Modell auf sein Kontextfenster angewiesen: den Text, den das Harness ihm vor jeder Antwort übergibt, etwa seine Anweisungen, die Anfrage, die bisherige Unterhaltung und Suchergebnisse.

Das Fenster fasst nur eine begrenzte Menge an Text. Und selbst bevor das Fenster voll ist, übersehen Modelle manchmal Informationen, die mitten in langen Eingaben versteckt sind.

Deshalb übernimmt das Harness das Kontextmanagement und wählt nur die Informationen aus, die der jeweilige Schritt benötigt. Sollen beispielsweise die Preise von fünf Wettbewerbern verglichen werden, nimmt das Harness unter Umständen nur die Preisseite jedes Unternehmens auf statt der gesamten Website. Bei langen Aufgaben kann das Harness außerdem das detaillierte Protokoll früherer Schritte durch eine kurze Zusammenfassung ersetzen. So behält das Modell den Überblick darüber, was es bereits erledigt hat, ohne dass dieser Verlauf das Fenster füllt.

3. Tools

Tools sind Code, der die vom Modell angeforderten Aktionen ausführt. Jedes Tool übernimmt eine Art von Aktion, etwa das Durchsuchen des Webs, das Öffnen und Lesen einer Webseite, das Ausführen von Code oder das Bearbeiten einer Datei. Wenn das Modell einen Tool-Aufruf schreibt, leitet das Harness ihn an das richtige Tool weiter und gibt das Ergebnis zurück.

Viele Harnesses enthalten außerdem Konnektoren. Das sind Tools, die den Agenten über einen von einer Person gewährten Zugriff mit einer bestimmten App verbinden, etwa einem E-Mail-Postfach, einem Kalender oder einem freigegebenen Laufwerk. Mit einem Kalender-Konnektor kann ein Agent zum Beispiel die Verfügbarkeit einer Person prüfen, bevor er einen Termin vorschlägt.

4. Gedächtnis

Das Gedächtnis besteht aus gespeicherten Informationen, die von einer Sitzung in die nächste übernommen werden. Das Harness speichert während einer Sitzung kurze Notizen, etwa zu den Vorlieben einer Person oder zum Stand eines Projekts. Zu Beginn der nächsten Sitzung fügt das Harness diese Notizen dem Kontextfenster hinzu, sodass das Modell sie liest, bevor es die neue Anfrage liest. So kann ein Agent beispielsweise einen Wochenbericht dort fortsetzen, wo er aufgehört hat, statt wieder von vorn zu beginnen.

5. Berechtigungen

Berechtigungen sind Regeln dafür, worauf ein Agent zugreifen und was er tun darf. Zugriffsregeln legen fest, welche Dateien, Apps oder Websites er öffnen kann. Genehmigungsregeln legen fest, welche Aktionen auf die Freigabe einer Person warten müssen, etwa das Senden einer Nachricht oder ein Kauf.

Das Unternehmen, das den Agenten entwickelt, legt einige dieser Regeln im Code des Harness fest. Danach können die Administratoren einer Organisation eigene Regeln hinzufügen, und einzelne Nutzer können beispielsweise auswählen, welche Konten sie verbinden möchten.

6. Verifizierung

Die Verifizierung ist Code, der die Arbeit des Agenten überprüft, bevor sie bei einer Person ankommt. Sie nutzt zwei Arten von Prüfungen:

• Feste Regeln: konkrete Tests, die bei jeder Ausführung gleich ausfallen – bestanden oder nicht bestanden –, etwa die Prüfung, ob jede Zahl in einem Bericht in einem Dokument vorkommt, das der Agent tatsächlich gelesen hat.
• Eine Überprüfung durch ein anderes KI-Modell, das die Arbeit liest und bewertet. Es kann Probleme erkennen, die sich nur schwer in eine Regel fassen lassen, etwa eine Zusammenfassung, in der ein wichtiger Punkt fehlt.

Keine einzelne Prüfung erkennt alles, deshalb kombinieren Harnesses in der Regel beide Arten. Findet eine Prüfung ein Problem, fügt das Harness dem Kontextfenster des Modells eine Beschreibung davon hinzu und schickt die Aufgabe erneut durch die Agent-Schleife. Das Modell behebt das Problem und versucht es noch einmal, sodass viele Fehler korrigiert werden, bevor der Nutzer das Ergebnis sieht.

Beispiele für Harness-Engineering

Vorbereitung auf einen Kundentermin

Aufgabe: Ein Account Manager bittet einen Agenten, für das morgige Meeting mit einem Kunden ein Briefing mit den offenen Punkten und einem Entwurf der Tagesordnung vorzubereiten.

Was das Harness tut:

• Über einen E-Mail-Konnektor durchsucht der Agent den Posteingang des Managers nach E-Mails mit dem Kunden.
• Die Berechtigungen erlauben ihm, E-Mails zu lesen, aber nicht zu senden.
• Das Kontextmanagement übergibt dem Modell nur die Nachrichten der letzten drei Monate mit diesem Kunden, nicht den gesamten Posteingang.
• Die Agent-Schleife durchläuft mehrere Runden aus Suchen und Lesen, und das Modell fasst seine Funde zu offenen Punkten zusammen.
• Die Verifizierung prüft anschließend, ob jeder Punkt im Briefing auf eine tatsächlich vorhandene E-Mail verweist.

Mögliches Ergebnis: Der Manager erhält ein einseitiges Briefing, in dem sich jeder Punkt auf die zugehörige E-Mail zurückführen lässt.

Aktualisierung eines monatlichen Vertriebsberichts

Aufgabe: Die Leitung des Operations-Teams bittet einen Agenten, den monatlichen Vertriebsbericht mit den Zahlen dieses Monats zu aktualisieren.

Was das Harness tut:

• Das Gedächtnis lädt Notizen aus der Sitzung des Vormonats, darunter das Format des Berichts und den Wunsch der Leitung, Zahlen auf volle Tausend zu runden.
• Ein Datei-Tool öffnet die Vertriebstabelle auf dem freigegebenen Laufwerk des Teams.
• Die Berechtigungen erlauben dem Agenten, den Berichtsentwurf zu bearbeiten, nicht aber die Quelltabelle, sodass die ursprünglichen Zahlen nicht versehentlich geändert werden können.
• Die Verifizierung prüft, ob die Summen im Bericht mit der Tabelle übereinstimmen.

Mögliches Ergebnis: Der Bericht liegt im selben Format vor wie im Vormonat, ohne dass der Nutzer es erneut erklären muss.

Sortieren eines gemeinsamen Posteingangs

Aufgabe: Ein Support-Team bittet einen Agenten, die am Morgen eingegangenen Anfragen nach Thema zu sortieren und Antwortentwürfe für die häufigen Anfragen zu verfassen.

Was das Harness tut:

• Die Agent-Schleife arbeitet den Posteingang Nachricht für Nachricht ab.
• Für jede Nachricht wählt das Modell ein Themenlabel, und das Harness weist es über den E-Mail-Konnektor zu.
• Zu Beginn der Aufgabe fügt das Harness die freigegebenen Antwortvorlagen des Teams als Leitfaden dem Kontextfenster hinzu, sodass das Modell jeden Entwurf auf eine Vorlage stützt.
• Eine Genehmigungsregel hält jede Antwort als Entwurf zurück, bis jemand aus dem Team sie prüft und sendet.

Mögliches Ergebnis: Das Team beginnt den Tag mit sortierten Anfragen und Antworten, die auf ihre Prüfung warten.

Beheben eines Fehlers auf einer Website

Aufgabe: Ein Entwickler bittet einen Coding-Agenten, einen Fehler zu beheben, durch den eine Checkout-Schaltfläche nicht funktioniert.

Was das Harness tut:

• Der Agent arbeitet in einer Sandbox, einer isolierten Kopie des Codes, in der sich seine Änderungen nicht auf die Live-Website auswirken können.
• Ein Code-Tool ermöglicht es dem Modell, Dateien zu lesen und zu bearbeiten.
• Nach jeder Änderung führt die Verifizierung die automatisierten Tests des Projekts aus.
• Etwaige Fehlschläge werden dem Modell als neue Informationen zurückgemeldet.

Mögliches Ergebnis: Der Agent passt seine Korrektur so lange an, bis die Tests bestanden sind. Anschließend prüft der Entwickler die Änderung, bevor sie live geht.

Harness-Engineering vs. Prompt-Engineering vs. Context-Engineering

Prompt-Engineering bezeichnet das Erstellen und Optimieren einer einzelnen Anfrage. Context-Engineering bezeichnet die Steuerung von allem, was das Modell sieht. Harness-Engineering ist der Prozess, das gesamte System zu gestalten und zu verbessern, in dem das Modell arbeitet.

Wie Nutzer ein KI-Harness beeinflussen können

Der Großteil eines Agent-Harness stammt von dem Unternehmen, das den Agenten entwickelt, doch bei vielen KI-Produkten können Nutzer einen Teil davon über Einstellungen wie benutzerdefinierte Anweisungen, verbundene Apps und Genehmigungen anpassen.

Nutzer können ein Agent-Harness auf vier Arten mitgestalten und so die Ergebnisse des Agenten verbessern:

1. Dauerhafte Anweisungen

Dauerhafte Anweisungen sind Notizen, die eine Person einmal verfasst, damit das Harness sie zu Beginn jeder Aufgabe dem Kontextfenster hinzufügen kann. Es lohnt sich, sie für alles einzurichten, was man sonst in jeder Anfrage aufs Neue wiederholen würde: wer man ist und was man macht, wie Texte geschrieben sein sollen oder welche Regeln für eine wiederkehrende Aufgabe wie den Monatsbericht für einen Kunden gelten.

Viele KI-Produkte bieten dauerhafte Anweisungen auf zwei Ebenen an. Kontoweite Anweisungen eignen sich für alles, was für die gesamte Arbeit gilt, etwa Vorlieben bei der Rechtschreibung. Projektanweisungen eignen sich für einen einzelnen Kunden oder Workflow, sodass Vorgaben für den einen nicht auf einen anderen übertragen werden.

Dauerhafte Anweisungen funktionieren bei Chat-Assistenten und Agenten auf dieselbe Weise, doch Agenten sind stärker auf sie angewiesen. In einem Chat kann eine Person die KI nach jeder Antwort korrigieren. Ein Agent führt unter Umständen viele Schritte aus, bevor jemand seine Arbeit sieht – vorab gegebene Anweisungen sind daher eine der wenigen Möglichkeiten, ihn unterwegs zu steuern.

So schreiben Sie wirksame dauerhafte Anweisungen

• Beginnen Sie mit einer kurzen Anweisung, zum Beispiel: „Ich bin Marketingmanager bei einem Softwareunternehmen. Schreibe in einfachem, verständlichem Englisch, halte Zusammenfassungen unter 200 Wörtern und verwende US-amerikanische Rechtschreibung.“
• Ergänzen Sie sie, wenn die KI einen Fehler macht. Rundet die KI immer wieder Zahlen, die das Team exakt braucht, fügen Sie eine entsprechende Zeile hinzu.
• Formulieren Sie Anweisungen konkret: „Gib exakte Zahlen an, niemals gerundet“ ist besser als „Sei genau“.
• Halten Sie die Liste kurz und entfernen Sie Zeilen, sobald sie nicht mehr nützlich sind, denn jede Zeile belegt Platz im Kontextfenster.

2. Verbundene Apps

Verbundene Apps verknüpfen ein KI-Produkt mit den Tools, die eine Person bereits nutzt, etwa einem E-Mail-Postfach, einem Kalender oder einem freigegebenen Laufwerk. Sobald eine App verbunden ist, kann die KI mit den eigenen Informationen einer Person arbeiten statt nur mit dem, was in den Chat eingefügt wird.

Verbindungen lohnen sich, wenn eine Aufgabe auf Informationen angewiesen ist, die in diesen Apps liegen, etwa wenn ein Meeting-Briefing aus E-Mail-Threads erstellt oder Dokumente auf einem freigegebenen Laufwerk zusammengefasst werden sollen.

So verbinden Sie Apps sicher

• Verbinden Sie nur die Apps, die eine Aufgabe benötigt, denn jede Verbindung schafft eine weitere Fehlerquelle.
• Wählen Sie reinen Lesezugriff, wo er angeboten wird. Ein Agent, der Meeting-Briefings vorbereitet, muss E-Mails beispielsweise lesen, aber nicht senden können.
• Legen Sie Verbindungen pro Projekt fest, sofern das Produkt dies zulässt. In Perplexity können Nutzer zum Beispiel auswählen, welche Konnektoren jedes Projekt verwendet.
• Denken Sie daran, Apps zu trennen, die nicht mehr verwendet werden.

3. Genehmigungseinstellungen

Genehmigungseinstellungen legen fest, welche Aktionen auf die Freigabe einer Person warten müssen, bevor die KI fortfährt. Manche Genehmigungen sind fest im Produkt integriert, und bei manchen Produkten können Nutzer auswählen, für welche weiteren Aktionen eine Genehmigung erforderlich ist.

So legen Sie Genehmigungsregeln fest

• Verlangen Sie eine Genehmigung für Aktionen, die sich nicht rückgängig machen lassen, etwa das Senden einer Nachricht, einen Kauf oder das Löschen einer Datei.
• Halten Sie die Liste der Genehmigungen kurz. Wenn ein Agent bei jedem kleinen Schritt um Freigabe bittet, erteilen die Leute sie irgendwann, ohne überhaupt zu lesen.

4. Standards und Prüfungen

Die meisten KI-Produkte bringen bereits einige Standards mit. Perplexity etwa versieht seine Antworten mit Quellenangaben, sodass sich jede Aussage überprüfen lässt. Von Nutzern festgelegte Standards ergänzen, was ein Produkt nicht von sich aus wissen kann, etwa das bevorzugte Berichtsformat eines Teams.

So legen Sie Standards für die Arbeit der KI fest

• Stellen Sie für wiederkehrende Aufgaben eine Vorlage bereit, damit die KI eine feste Struktur hat, die sie ausfüllen kann.
• Teilen Sie ein Beispiel einer früheren Arbeit, die dem Team gefallen hat, damit die KI Tonfall und Detailgrad daran ausrichten kann.
• Verlangen Sie zu jeder Zahl einen Link zur Quelle.
• Prüfen Sie die ersten Ergebnisse genau und machen Sie aus wiederkehrenden Lücken eine neue dauerhafte Anweisung.

Wie Perplexity an Agent-Harnesses herangeht

Perplexity Computer läuft auf einem modellunabhängigen Harness, das über 20 fortschrittliche Modelle in einem System vereint. Es zerlegt jede Aufgabe in Teilaufgaben, übergibt diese an Subagenten (separate Agenten, die jeweils einen Teil übernehmen) und leitet jeden Arbeitsschritt an ein Modell weiter, das sich dafür eignet.

Im Leitfaden zu Perplexity-Projekten erfahren Sie, wie Sie Anweisungen, Dateien und Konnektoren einrichten.

Häufig gestellte Fragen

Was ist ein Harness-Engineer?

Ein Harness-Engineer entwirft und pflegt das System, mit dem ein KI-Modell zuverlässig arbeiten kann. Dazu kann gehören, ein neues Tool hinzuzufügen, das der Agent nutzen kann, herauszufinden, warum ein Agent immer wieder denselben Fehler macht, oder die Prüfungen zu verschärfen, die er vor dem Abschluss einer Aufgabe durchführt. Eine gängige Berufsbezeichnung ist das nicht, auch wenn sich das ändern könnte. Die Arbeit übernehmen in der Regel Softwareentwickler bei KI-Unternehmen oder in Teams, die Agenten entwickeln. In der Fertigungsindustrie bezeichnet derselbe Titel jemanden, der Kabelbäume entwirft, also die gebündelten Kabel in Autos und Maschinen.

Was ist ein Agent-Harness?

Mit einem Agent-Harness ist in der Regel alles in einem KI-Agenten gemeint, was nicht das Modell selbst ist. Dazu gehört der Code, der die Agent-Schleife ausführt, den Kontext verwaltet, Tool-Aufrufe abarbeitet, Gedächtnisinhalte speichert, Berechtigungen durchsetzt und die Arbeit des Agenten überprüft, bevor sie bei einer Person ankommt.

Hat jedes KI-Tool ein Harness?

Ja. Selbst ein einfacher Chat-Assistent ist auf ein Harness angewiesen, um den Verlauf der Unterhaltung festzuhalten, da sich das Modell von sich aus nicht an frühere Nachrichten erinnert.

Entwickler können ein Modell auch nutzen, indem sie aus ihrer eigenen Software über eine API (eine Verbindung, über die ein Programm Anfragen an ein anderes senden kann) Anfragen an das Modell senden. In diesem Fall übernimmt der eigene Code des Entwicklers die Aufgabe des Harness.

Machen bessere Modelle Harnesses überflüssig?

Bessere Modelle benötigen womöglich weniger schrittweise Anleitung, sodass der Umfang dessen, was Harnesses heute leisten, abnehmen könnte. Doch für sich allein wandelt ein Modell nur Text in Text um. Es hat keine Internetverbindung und keinen Zugriff auf andere Apps. Der Zugriff auf Dateien, das Ausführen von Aktionen und das Durchsetzen von Genehmigungsregeln finden in der Software rund um das Modell statt. Diese Arbeit dürfte daher beim Harness bleiben, ganz gleich, wie leistungsfähig Modelle werden.