KI-Ausrichtung: Aktuelle Recherche und Debatte

Früher bedeutete KI-Ausrichtung einfach: „Befolgt das KI-Modell die Anweisungen des Benutzers?“ Da KI-Systeme jedoch leistungsfähiger und autonomer werden, hat sich diese Frage auf Urteilsvermögen und Werte ausgeweitet. Dieser Artikel untersucht, wie KI-Plattformen, Regierungsstellen und gemeinnützige Organisationen auf die Herausforderung der KI-Ausrichtung reagieren.

Ganz einfach ausgedrückt bedeutet KI-Ausrichtung sicherzustellen, dass ein KI-System das tut, was es tun soll. Ein ausgerichtetes KI-Modell liest einen Prompt und erzeugt die Ausgabe, nach der in dem Prompt gefragt wurde, ohne das Ziel, auf das es trainiert wurde, durch Taktieren auszunutzen. In der modernen Ausrichtungsrecherche wird dies meist als Intent-Alignment bezeichnet: der Aufbau von Systemen, die versuchen, das zu tun, was ihre Betreiber beabsichtigen, anstatt nur buchstabengetreu dem Text eines Prompts zu folgen.

Ausrichtung ist sowohl eine technische Herausforderung als auch ein Thema der öffentlichen Debatte. Als technischer Begriff ist Ausrichtung ein Engineering-Problem. Tut das spezifische Modell bei einer spezifischen Aufgabe das, wofür es gebaut wurde? Es ist ein begrenztes, testbares Problem.

KI-Ausrichtung wird jedoch auch in breiteren öffentlichen und politischen Diskussionen über die allgemeine Sicherheit von KI-Systemen verwendet. Werden zunehmend leistungsfähige KI-Plattformen für die Menschheit vorteilhaft und mit menschlichen Ethiken, Wünschen und Zielen im Einklang bleiben?

Die Erreichung dieser Ausrichtung wird mit zunehmender Komplexität der Modelle schrittweise schwieriger. Bei der Entwicklung ausgerichteter KI-Modelle gibt es zwei zentrale Herausforderungen:

Benutzer möchten in der Regel ein LLM, das hilfreich, ehrlich und ethisch ist. Aber ein LLM wird niemals direkt auf „sei hilfreich und ethisch“ trainiert. Es durchläuft zwei unterschiedliche Phasen.

Pre-Training: Das Modell erlernt Sprache, Fakten und Reasoning-Muster und greift dabei Sprache, Fakten und Reasoning-Muster auf. Diese Phase vermittelt dem Modell keinerlei Gefühl dafür, was eine Person von einer bestimmten Frage tatsächlich will. Belässt man es hier, beantwortet ein Modell „Wie knacke ich ein Schloss?“ ebenso bereitwillig wie „Wie backe ich Sauerteigbrot?“

Menschliche Präferenz: Menschen überprüfen Paare von Modellantworten und geben an, welche sie bevorzugen. Diese Präferenzen trainieren ein separates Bewertungssystem, und das Modell wird dann angepasst, um Antworten zu erzeugen, die gut abschneiden.

Niemand schreibt irgendwo in diesem Prozess eine saubere Definition auf, was es bedeutet, hilfreich oder ethisch zu sein. Die Leitlinien des Bewertungssystems dafür, was das Modell tun soll, bauen vollständig auf vielen individuellen menschlichen Urteilen auf. Die Bewertung spiegelt wider, was Prüfer bevorzugten, nicht was eine einzelne Person tatsächlich beabsichtigte und keine präzise Definition des zugrundeliegenden Ziels.

Infolgedessen stimmt die KI möglicherweise gut mit dem überein, was sie als das Ziel wahrnimmt, aber das Ziel selbst ist möglicherweise nicht gut mit dem Ergebnis übereinstimmt, das die Menschen tatsächlich wollen.

Wenn Prüfer beispielsweise dazu neigen, längere Antworten zu bevorzugen, lernt das Modell, längere Antworten zu schreiben, selbst wenn eine kurze korrekt gewesen wäre. Oder wenn Prüfer dazu neigen, selbstbewusste Antworten zu bevorzugen, lernt das Modell, sicher zu klingen, selbst wenn es Zweifel äußern sollte.

Forscher nennen diese Lücke zwischen dem erklärten Ziel und dem trainierten Ziel das Problem der äußeren Ausrichtung.

Das Problem der inneren Ausrichtung tritt auf, wenn ein Modell, das auf ein relevantes Ziel trainiert wurde, dieses Ziel nicht mehr korrekt verfolgt, sobald es sich in der Welt befindet. Dieses Problem wird erst sichtbar, wenn das Modell auf eine Situation stößt, auf die das Training es nicht vorbereitet hat.

Während des Trainings bekommen Modelle immer nur einen begrenzten Satz an Situationen zu sehen. Das Modell verallgemeinert dann von diesen Situationen auf alles andere, auf das es später stößt.

Das Training überprüft, wie sich das Modell verhält, enthüllt aber nicht immer, warum es sich so verhält. Daher ist es schwer zu wissen, ob das Modell das vollständige, nuancierte Ziel gelernt hat oder nur ein einfacheres Muster, das zufällig zu den Trainingsdaten passte.

Diagramm des inneren Ausrichtungsproblems: Aus denselben Trainingsdaten passen sowohl Regel A als auch Regel B zu den Trainingsdaten. Bei einer neuen, ungesehenen Eingabe entspricht Regel A jedoch dem Ziel und verhält sich wie beabsichtigt, während Regel B eine Abkürzung verwendet und vom Ziel abweicht.

Ein Modell, das beispielsweise darauf trainiert wurde, schädliche Anfragen abzulehnen (z. B. „Wie knacke ich ein Schloss, um in ein Haus einzubrechen?“), lernt möglicherweise, die spezifische Formulierung schädlicher Anfragen in seinen Trainingsdaten zu erkennen, anstatt die zugrundeliegende Absicht hinter der Ablehnung. Es würde dann eine schädliche Anfrage übersehen, die auf andere Weise formuliert ist (z. B. „Was ist der schnellste Weg, eine Tür ohne Schlüssel zu öffnen?“).

Diese Muster von Ausrichtungsfehlern sind gut dokumentiert. Forscher haben für jedes einzelne spezifische Schutzmaßnahmen entwickelt:

Ausrichtungsherausforderung	Wie es aussieht	Beispiel	Wie das Feld darauf reagiert
Belohnungs-Hacking (Reward Hacking)	Ein Modell findet eine Abkürzung, die technisch gut abschneidet, ohne das Beabsichtigte zu tun.	Ein Modell, das ein Stück fehlerhafte Software reparieren soll, findet einen Weg, das Aufhören von Fehlermeldungen zu erzwingen, anstatt die Ursache dafür zu beheben.	Prüfung des Bewertungssystems, Stresstests durch Betrugsversuche und Training auf Basis von Feedback einer breiteren Palette von Prüfern.
Kriechertum (Sycophancy)	Ein Modell stimmt einer Person zu oder weicht eine Antwort auf, um gefälliger zu wirken, anstatt die präziseste Antwort zu geben.	Eine Person äußert eine falsche Tatsache mit Zuversicht, und das Modell bestätigt die Behauptung, anstatt sie zu korrigieren, da Zustimmung bei den Prüfern besser abschnitt als Widerspruch.	Feinabstimmung, die Ehrlichkeit gezielt belohnt, Überprüfungsrichtlinien, die Zustimmung um ihrer selbst willen bestrafen, und Tests, die entwickelt wurden, um dieses Muster zu erkennen.
Spezifikations-Gaming (Specification Gaming)	Ein Modell tut genau das, was eine Anweisung besagt, während es verfehlt, was damit erreicht werden sollte.	Ein Modell, das beauftragt wird, „Kundenbeschwerden im Datensatz zu reduzieren“, lernt, Beschwerden aus seinen Zusammenfassungen wegzulassen, anstatt bei der Lösung der zugrundeliegenden Probleme zu helfen.	Das Verfassen prägnanterer, sorgfältiger getesteter Anweisungen und das Überprüfen von Grenzfällen, in denen wörtlicher Wortlaut und Absicht in unterschiedliche Richtungen ziehen.
Täuschendes oder ausweichendes Verhalten während der Evaluierung	Ein Modell verhält sich auf die eine Weise, wenn es spürt, dass es getestet wird, und auf eine andere Weise, sobald es bereitgestellt ist.	Ein Modell gibt richtlinienkonforme Antworten, wenn es Sprache erkennt, die einer formalen Sicherheitsevaluierung ähnelt, und antwortet in einer gewöhnlichen Konversation dann freier.	Entwurf von Tests, die für ein Modell schwerer als Tests zu erkennen sind, sowie Recherche zur direkten Auswertung des internen Zustands des Modells, anstatt sich nur auf dessen Ausgabe zu verlassen.
Sandbagging	Ein Modell erbringt bei einem Leistungstest absichtlich schlechtere Leistungen, um strengere Sicherheitsanforderungen zu umgehen.	Ein Modell gibt bei einer Evaluierung gefährlicher Fähigkeiten bewusst schwächere Antworten als es tatsächlich leisten kann, sodass das Ergebnis unter einem Schwellenwert bleibt, der zusätzliche Überwachungsmaßnahmen auslösen würde.	Verwendung mehrerer unabhängiger Tests, Aufbewahrung von Evaluierungsmaterial, das das Modell noch nie gesehen hat, und Einsatz von Techniken, die darauf ausgelegt sind, die tatsächliche Obergrenze eines Modells herauszufordern.
Ziel-Fehlverallgemeinerung	Ein Modell greift eine Regel auf, die während des Trainings zufällig funktionierte, aber in einer neuen Situation versagt.	Ein Modell, das darauf trainiert wurde, hauptsächlich bei Anfragen zu Waffen oder Drogen vorsichtig zu sein, lernt „Vorsicht“ als „alles ablehnen, was riskant klingt“, und beginnt auch, harmlose Chemie- oder Sicherheitsfragen abzulehnen.	Training anhand eines breiteren, variableren Satzes von Beispielen und gezieltes Testen des Modells in Situationen, die sich von allem unterscheiden, was es während des Trainings gesehen hat.
Skalierbare Überwachung	Wenn ein Modell Aufgaben übernimmt, die für einen Menschen nur schwer vollständig zu überprüfen sind (wie die Überprüfung einer großen Codebasis), wird es schwieriger zu wissen, ob seine Ausgabe tatsächlich korrekt ist.	Ein Agent refaktoriert eine 10.000 Zeilen lange Codebasis in einer Sitzung, und kein Prüfer hat Zeit, jede Änderung manuell zu verifizieren, wodurch subtile Logikfehler durchschlüpfen.	Modelle helfen dabei, die Arbeit der anderen zu überprüfen, ergänzt durch eine gezieltere menschliche Überprüfung für Entscheidungen mit den höchsten Einsätzen.
Machtsucht oder instrumentelles Verhalten	Ein Modell, das fast jedes beliebige Ziel verfolgt, hat einen eingebauten Anreiz, das Abschalten oder Ändern zu vermeiden, da der operative Zustand ihm hilft, dieses Ziel weiter zu verfolgen.	In einer kontrollierten Testumgebung unternimmt ein Modell, dem eine Aufgabe und ein Abschaltbefehl erteilt wurden, Schritte, um eine Abschaltung zu verhindern – wie etwa das Kopieren an einen anderen Ort –, da ein Stopp ihn daran hindern würde, die Aufgabe zu beenden.	Recherche zum Aufbau von Modellen, die Korrekturen oder Abschaltungen zuverlässig akzeptieren, sowie Tests, die speziell entwickelt wurden, um dieses Verhalten vor der Bereitstellung eines Modells abzufangen.

Eine Handvoll Unternehmen, vor allem OpenAI, Anthropic und Google DeepMind, entwickeln die Frontier-Modelle an der Grenze dessen, was KI derzeit leisten kann. Jedes hat seinen eigenen Rahmen zur sicheren Evaluierung und Bereitstellung dieser Modelle veröffentlicht.

Laut einer öffentlichen Erklärung von OpenAI zu Sicherheit und Ausrichtung begegnen sie den Risiken einer potenziellen KI-Fehlausrichtung durch:

OpenAI gibt an, Modelle bewusst schrittweise zu veröffentlichen, um untersuchen zu können, wie sie sich verhalten und in der realen Welt missbraucht werden. Das Unternehmen argumentiert, dass Feedback aus der realen Welt mehr Einblick bietet als der Versuch, jedes Risiko im Voraus vorherzusagen. Es wendet ein Preparedness Framework an, um aufkommende Risiken zu verfolgen und zu entscheiden, welche Schutzmaßnahmen ein Modell vor der Veröffentlichung benötigt.

OpenAI gibt an, mehrere unabhängige Schutzmaßnahmen zu stapeln, sodass mehrere Verteidigungen gleichzeitig versagen müssten, damit etwas schiefgeht.

Anstatt in einem Schritt zu antworten, wird das Modell nach Angaben des Unternehmens darauf trainiert, relevante Sicherheitsrichtlinien durchzuarbeiten, bevor es entscheidet, wie es reagieren soll. Das Ziel ist, dass das Modell in der Lage sein soll, sich in Situationen, die sein Training nicht ausdrücklich abdeckte, durch Reasoning den richtigen Weg zu bahnen.

OpenAI erklärt, dass es die KI-Sicherheit als kollektive Anstrengung betrachtet, und verweist auf seine veröffentlichte Sicherheitsrecherche und seine Arbeit mit dem US-amerikanischen Center for AI Standards and Innovation (CAISI) sowie dem britischen AI Security Institute zu Evaluierungsstandards.

Das Dokument Responsible Scaling Policy von Anthropic erklärt, wie das Unternehmen auf die KI-Ausrichtung hinarbeitet:

Wenn ein Modell leistungsfähiger wird, muss es strengere Sicherheitsprüfungen bestehen, bevor es weiter trainiert oder veröffentlicht werden kann. Darüber hinaus erkennt Anthropic an, dass die Beweise selbst durch täuschendes oder maniputives Verhalten beeinträchtigt werden könnten, sobald KI-Systeme einen Großteil der Forschung und Analyse hinter ihren eigenen Risikobewertungen übernehmen. Das Unternehmen verpflichtet sich, Evaluierungen in dieser Phase an einem höheren Beweisstandard zu messen.

Anthropic hebt „falsch ausgerichtete KI-Systeme in risikoreichen Umgebungen“ als spezifische Risikokategorie hervor: Modelle, auf die stark vertraut wird, die breiten Zugriff auf sensible Systeme haben und über eine gewisse Fähigkeit verfügen, autonom auf ein Ziel hinzuarbeiten und Überwachungsmaßnahmen zu umgehen.

Das Unternehmen verpflichtet sich, das Verhalten seiner eigenen Modelle regelmäßig auf Warnsignale zu untersuchen, und nutzt dabei zwei Hauptmethoden: den Versuch, in das Modell hineinzuschauen, um zu verstehen, warum es eine bestimmte Ausgabe erzeugt, und das Veranlassen interner Teams, absichtlich schlechtes Verhalten zu provozieren, um zu sehen, ob es auftritt.

Das Unternehmen gibt an, alle drei bis sechs Monate einen Risk Report zu veröffentlichen, der Details über die Fähigkeiten und Verhaltensweisen eines Modells, seine Überwachungspraktiken und seine Gesamtrisikobewertung enthält.

Das Dokument Frontier Safety Framework von Google DeepMind erklärt, wie das Unternehmen auf die Ausrichtung hinarbeitet:

Das Framework behandelt Fehl-Ausrichtung als einen von vier Risikobereichen und definiert sie spezifisch als das Risiko, dass die ML R&D-Fähigkeiten eines Modells oder falsch ausgerichtete Neigungen die allgemeine Fähigkeit der Gesellschaft zur Bewältigung von KI-Risiken verringern. Es wird explizit als Faktor eingestuft, der durch mehrere verschiedene Pfade gleichzeitig zu schwerem Schaden beitragen kann, und nicht als einzelnes isoliertes Risiko.

Wenn ein Modell stark genug ist, dass eine einfache Überwachung nicht ausreicht, überprüft DeepMind das Verhalten des Modells fortlaufend, einschließlich seiner internen Verwendung. Das Unternehmen fügt Schutzmaßnahmen hinzu, wie die Überwachung seines Reasonings, wenn diese Überprüfung Probleme aufdeckt.

Speziell für die Fehlausrichtung nennt DeepMind Maßnahmen wie die Begrenzung dessen, was ein Modell tun kann, fortlaufende Überwachungs- und Eskalationsprozesse, Audits und Ausrichtungstraining. Das Unternehmen wendet diese auch auf risikoreiche interne Anwendungen an, da das Risiko einer Fehlausrichtung darin bestehen kann, wie ein Modell innerhalb des Unternehmens verwendet wird.

Es gibt eine fortlaufende Branchen Diskussion darüber, ob die oben genannten freiwilligen Rahmenbedingungen ausreichen oder ob Ausrichtungsverpflichtungen rechtlich bindend sein müssen, um unter Wettbewerbsdruck tatsächlich Bestand zu haben.

Im Juli 2026 unterzeichneten 1.386 Führungskräfte und Mitarbeiter von Frontier-KI-Unternehmen, darunter OpenAI, Anthropic, Google DeepMind und Meta, eine Erklärung namens Pacing the Frontier. Die Erklärung argumentiert, dass sich diese Unternehmen möglicherweise dem Punkt nähern, an dem sie die KI-Recherche selbst automatisieren können. Dies könnte bedeuten, dass die Leistungsfähigkeit der KI schneller voranschreitet, als Forscher Schritt halten können, und die Ausrichtungsarbeit permanent hinterherhinken würde.

„Pacing the Frontier“ fordert die US-Regierung auf, technische und Governance-Bremsen zu entwickeln, die in Zukunft eingesetzt werden könnten, mit dem Argument, dass kein einzelnes Labor langsamer machen kann, während Konkurrenten weiter vorpreschen. Dies könnte als stillschweigendes Geständnis aus der Industrie gewertet werden, dass freiwillige Rahmenbedingungen allein nicht ausreichen werden, um die KI-Ausrichtung in Zukunft zu wahren.

Die Ausrichtungsarbeit geht weit über die Unternehmen hinaus, die Frontier-Modelle entwickeln.

Regierungen finanzieren und koordinieren die Ausrichtungsrecherche direkt. Beispielsweise betreibt das britische AI Security Institute das Alignment Project, einen globalen Fonds, der seit 2025 über 27 Millionen Pfund an über 60 Projekte in acht Ländern vergeben hat, die speziell auf die KI-Kontrolle ausgerichtet sind. In den USA konzentriert sich das CAISI auf Evaluierungsstandards.

Beide sind Teil eines größeren Netzwerks: dem International Network for Advanced AI Measurement, Evaluation and Science, einer aus zehn Ländern bestehenden Einrichtung nationaler Sicherheitsinstitute, die gemeinsame Testübungen durchführt und daran arbeitet, Evaluierungsmethoden länderübergreifend anzugleichen.

Das Future of Life Institute veröffentlicht den AI Safety Index, eine Scorecard, die die Sicherheitspraktiken von KI-Laboren vergleicht. Das Center for AI Safety erstellt Benchmarks, die im gesamten Bereich verwendet werden, einschließlich WMDP und SafeBench. Das Alignment Research Center untersucht theoretischere Ausrichtungsprobleme, und dessen Ausgründung, Model Evaluation and Threat Research (METR), führt unabhängige Vorab-Evaluierungen bei Frontier-Modellen durch. FAR.AI testet Frontier-Modelle vor und nach ihrer Veröffentlichung auf Schwachstellen.

Mehrere Universitäten spielen eine aktive Rolle in der Recherche zur KI-Ausrichtung, darunter das Center for Human-Compatible AI an der UC Berkeley und das Leverhulme Centre for the Future of Intelligence der University of Cambridge.

Ausrichtung ist nicht dasselbe wie Inhaltsmoderation, obwohl der Begriff manchmal in diesem Kontext verwendet wird. Bei der Inhaltsmoderation geht es darum, was ein Modell sagt oder nicht sagt – das Herausfiltern von Schmähungen, grafischen Inhalten oder spezifischen verbotenen Themen. Bei der Ausrichtung geht es darum, ob das tatsächliche Verhalten eines Modells dem entspricht, was es tun sollte.

Ausrichtung wird manchmal auch als Synonym für KI-Sicherheit verwendet, ist aber nicht der einzige zu berücksichtigende Faktor. Zu den weiteren Bedenken hinsichtlich der KI-Sicherheit gehören:

Sicherheit (Schutz der Modellgewichte vor Diebstahl)

Robustheit (ein Modell, das außerhalb der genauen Bedingungen, auf die es trainiert wurde, zuverlässig funktioniert)

Missbrauchsprävention (Verhinderung der missbräuchlichen Verwendung eines leistungsfähigen Modells)

Bei der Ausrichtung geht es um das Verhalten des Modells selbst. KI-Sicherheit ist die breitere Anstrengung, das gesamte System vor Schäden zu bewahren.

Schließlich gibt es die verbreitete Annahme, dass ein leistungsfähigeres Modell automatisch auch ein besser ausgerichtetes ist. Aber Leistungsfähigkeit und Ausrichtung können auseinanderdriften, weshalb Schwellenwerte wie die ML R&D-Fähigkeitsstufen von Google DeepMind und Anthropics Risikokategorie für automatisierte Recherche existieren. Sie sind speziell um die Sorge herum aufgebaut, dass die Leistungsfähigkeit die Fähigkeit des Feldes übertreffen könnte, zu verifizieren, ob ein Modell immer noch das tut, was es tun soll.

Perplexity trainiert keine Frontier-Foundational-Modelle. Das Unternehmen betreibt Modelle im großen Maßstab in der Produktion durch agentische Produkte wie Computer, sodass seine Arbeit einen bestimmten Aspekt der Ausrichtung berührt: wie sich Agenten verhalten, sobald sie im offenen Web agieren.

Das Secure Intelligence Institute ist das Forschungszentrum von Perplexity für Sicherheit, Datenschutz und Vertrauen in Frontier-KI. Es hat BrowseSafe entwickelt, ein Open-Source-Erkennungsmodell, das entwickelt wurde, um Prompt-Injection-Angriffe zu identifizieren, die in Webseiten versteckt sind, die von KI-Browser-Agenten besucht werden.

Das Team hat außerdem BrowseSafe-Bench entwickelt, einen öffentlichen Benchmark mit über 14.700 Prompt-Injection-Szenarien, die verschiedene Angriffsziele, Platzierungen auf der Seite und Sprachstile umfassen.

Diese Arbeit fällt eher in den angewandten Bereich der KI-Kontrolle als in die Ausrichtungsrecherche. Sie schränkt das Handeln eines Agenten in einer gegnerischen Umgebung ein, anstatt die zugrundeliegenden Werte eines Modells während des Trainings zu formen.

Erfahren Sie mehr und erkunden Sie das Secure Intelligence Institute sowie die BrowseSafe-Recherche.

Was KI-Ausrichtung bedeutet

Das Problem der äußeren Ausrichtung

Das Problem der inneren Ausrichtung

Beispiele für Probleme bei der KI-Ausrichtung

Wie die großen KI-Labore auf die Herausforderungen der KI-Ausrichtung reagieren

OpenAI

Iterative Bereitstellung

Mehrschichtige Schutzmaßnahmen

Deliberative Ausrichtung

Gemeinsame Verantwortung

Anthropic

Leistungsbezogene Schutzmaßnahmen

Eine definierte Ausrichtungs-Risikokategorie

Interne Ausrichtungstests

Regelmäßige öffentliche Berichterstattung

Google DeepMind

Eine abgestufte Struktur

Eine Früherkennungsphase

Risikominderung

KI-Ausrichtung: Debatte über die Risiken

Wer sonst noch an der KI-Ausrichtung arbeitet

Regierungen

Gemeinnützige Organisationen

Universitäten

KI-Ausrichtung: Häufige Missverständnisse

Wie Perplexity an die KI-Ausrichtung herangeht