Architekturentwurf und Evaluierung einer KI-first Such-API

Der Aufbau einer skalierbaren, KI-orientierten Such-API stellt einzigartige Forschungsherausforderungen an der Schnittstelle von Information Retrieval, KI und Systemdesign dar. Im Gegensatz zu herkömmlichen Diensten, die mit begrenzten Daten arbeiten, muss eine Such-API kontinuierlich Milliarden von Dokumenten indexieren, die Suchintention über Sprachen und Domänen hinweg verstehen und relevante Ergebnisse innerhalb von Millisekunden bereitstellen. In einer Welt von KI-Agenten muss eine Such-API zudem den den Entwicklermodellen bereitgestellten Kontext sorgfältig kuratieren, um sicherzustellen, dass diese Modelle optimal funktionieren und möglichst präzise Informationen einbeziehen. Eine effektive Kontext-Konstruktion erfordert, dass die API nicht nur die Relevanz auf Dokumentebene erfasst, sondern auch die einzelnen Abschnitte und Textpassagen der Dokumente als eigenständige Einheiten erster Klasse behandelt.

In diesem Artikel stellen wir den Entwurf und die Evaluierung der Perplexity Search API vor. Zunächst untersuchen wir die Architektur und die zentralen technischen Entscheidungen hinter unserer Produktions-Suchinfrastruktur, die täglich 200 Millionen Suchanfragen verarbeitet. Unsere Architektur kombiniert hybride Abrufmechanismen, mehrstufige Ranking-Pipelines, verteilte Indexierung und dynamisches Parsing durch ein sich selbst verbesserndes Modul zum Inhaltsverständnis.

Anschließend beschreiben wir unseren Ansatz zur empirischen Bewertung der Such-API-Leistung durch ein neu quelloffenes Evaluierungs-Framework. Durch umfassendes Benchmarking im Vergleich zu bestehenden kommerziellen APIs zeigen wir eine branchenführende Leistung sowohl in Bezug auf Qualität als auch Latenz. Die Perplexity Search API ist ab heute für Entwickler weltweit verfügbar.

[Finden Sie search_evals auf GitHub]

Entwicklung eines für KI-Modelle optimierten Suchsystems

Seit unserer Gründung war uns klar, dass robuste Suchfunktionen entscheidend sein würden, um die kategorieprägenden KI-Produkte zu ermöglichen, die wir veröffentlichen wollten. Ursprünglich hofften wir, dass diese Fähigkeiten bereits in einer öffentlich verfügbaren Form existierten. Wir experimentierten mit dem Portfolio der Ende 2022 verfügbaren Such-APIs, und die allererste Version der Antwortmaschine von Perplexity integrierte tatsächlich einige dieser Angebote. Konkret analysierten wir Benutzeranfragen, formulierten Anfragen an diese APIs und sammelten die Ergebnisse als Kontext für unsere nachgelagerte Generierungs-Pipeline.

Da die Nutzer jedoch in Scharen zu Perplexity kamen, erkannten wir schnell, dass diese APIs mit unserem Wachstum nicht skalieren würden. Die Preise, auf die wir stießen, waren exorbitant; ein führender API-Anbieter berechnete 200 USD pro tausend Abfragen. Aber noch gravierender war, dass diese Legacy-APIs einfach nicht für die neuen Retrieval-Paradigmen konzipiert waren, die von modernen KI-Systemen eingeführt wurden.

Vergrößern

Für den Anfang waren die Anforderungs- und Antwortformate dieser Legacy-APIs für eine Welt konzipiert, in der Menschen die ausschließlichen Konsumenten von Suchergebnissen waren. Folglich priorisierten diese APIs Ergebnisse auf Dokumentebene, unter Ausschluss feinerer Informationen, die durch untergeordnete Dokumenteinheiten enthüllt wurden. Der Erfolg eines KI-Modells hängt von der Qualität und Kompaktheit des bereitgestellten Kontexts ab, und wir sahen aus erster Hand, wie zu breit gefasster Abruf KI-Modelle entgleisen lassen kann, unabhängig davon, wie relevant die abgerufenen Dokumente als Ganzes erscheinen mögen. Unsere Versuche, Präzision in unpräzise Ergebnisse zu zwängen, waren nur von begrenztem Erfolg gekrönt.

Wir beobachteten zudem, dass die Legacy-APIs entweder zu veraltet oder zu langsam waren. Unabhängig entwickelte Such-APIs stützten sich auf Indizes, die unvollständig und zu selten aktualisiert waren. Scraping-basierte APIs, wie die verschiedenen inoffiziellen SERP-APIs für die Google-Suche, profitierten von einem umfassenderen Index, boten jedoch aufgrund der Ineffizienz, die mit der Abfrage einer Drittanbieter-Suchmaschine einhergeht, eine inakzeptabel hohe Latenz. Hohe Latenz machte die APIs für benutzerorientierte Anwendungen ungeeignet, während Veralterung die Ergebnismengen für jedes KI-System unbrauchbar machte, das darauf hoffte, genau und vertrauenswürdig zu sein.

Schließlich beobachteten wir, wie sich das KI-Ökosystem zwischen lexikalischer und semantischer Suche aufspaltete, wobei Systeme entstanden, die übermäßig für die eine oder andere Modalität optimiert waren. Wir sahen den Aufstieg von Vektor-Datenbanken, die nicht einmal einfache boolesche Filter ausreichend unterstützen konnten. Herkömmliche Such-Backends schnitten nur geringfügig besser ab, mit primitiver Unterstützung für die semantischen Ranking- und Abrufmöglichkeiten, die durch KI erschlossen wurden.

Als wir erkannten, dass die weitere Verbesserung von Perplexity den Aufbau unserer eigenen dedizierten Suchinfrastruktur erfordern würde, destillierten wir unsere Beobachtungen in drei Hauptkriterien:

Vollständigkeit, Aktualität und Geschwindigkeit: Der Suchindex muss umfassend, ständig aktualisiert und auf Echtzeit-Latenz ausgelegt sein.

Fein granuliertes Inhaltsverständnis: Die Sprödigkeit von KI-Modellen und begrenzte Kontextfenster erfordern, dass Suchergebnisse auf der granularsten Ebene präsentiert und gerankt werden.

Hybrider Abruf und Ranking: Sowohl die Abruf- als auch die Ranking-Pipelines müssen lexikalische und semantische Signale einbeziehen, damit die Ergebnisse für KI nützlich sind.

Vergrößern

Infrastruktur für Crawling und Indexierung

Der Betrieb im Maßstab von Perplexity erfordert eine Infrastruktur, die das Web umfassend abbilden und auf seine ständige Entwicklung reagieren kann. Unser Suchindex verfolgt über 200 Milliarden einzigartige URLs, mit der Kapazität, viele hunderte Milliarden mehr zu verfolgen.

Sicherzustellen, dass unser Index einen ausreichend umfassenden Teil des Internets abdeckt und dass jedes Dokument den neuesten Stand widerspiegelt, ist eine schwierige Aufgabe. Es besteht eine inhärente Spannung zwischen Vollständigkeit und Aktualität: Bei einem festen Indexierungsbudget müssen Aktualisierungsoperationen für bestehende Seiten mit Indexierungsoperationen für neue, unbesuchte Seiten konkurrieren. Wir gleichen diese Spannung durch eine Kombination aus Skalierung (die die Optimierungsbeschränkung durch Erhöhung des Indexierungsbudgets lockert) und ML-gesteuerter Priorisierung aus (die sicherstellt, dass jede Indexierungsoperation für den Index als Ganzes maximal wertvoll ist).

Wir haben einen Index- und Crawling-Apparat im Exabyte-Maßstab aufgebaut, der horizontal mit Größe und Abfragevolumen skaliert. Die Crawler- und Indexierungsflotten von Perplexity umfassen zusammen zehntausende CPUs und hunderte Terabytes an RAM, mit beträchtlichem Spielraum für weitere Skalierung. Wir kombinieren diese Recheninfrastruktur mit einem Gleichgewicht aus kaltem und warmem Speicher. Wir verwenden sowohl gelernte Modelle als auch abgestimmte Heuristiken, um zu bestimmen, welche Dokumente „heiß“ gehalten werden sollen, wobei Dokumente aus maßgeblichen Domänen, Dokumente zu unterrepräsentierten Themen und andere Kategorien mit überdurchschnittlichem Potenzial zur Bereicherung unseres Index priorisiert werden.

Diese Infrastruktur ermöglicht es Perplexity, zehntausende Indexierungsoperationen pro Sekunde zu verarbeiten. Aber selbst mit diesem relativ großzügigen Budget ist der Maßstab des Internets viel zu gewaltig, um jede einzelne URL häufig und wiederkehrend zu indexieren. Hier kommt ML ins Spiel. Wir trainieren ein ML-Modell, um vorherzusagen, ob eine gegebene Kandidaten-URL indexiert werden muss. Das Trainingsziel ist darauf ausgelegt, sicherzustellen, dass wir unsere Indexierungsentscheidung sowohl an der Wichtigkeit als auch an der wahrscheinlichen Aktualisierungshäufigkeit der spezifischen URL kalibrieren. Wir verlassen uns auch auf ML, um uns genau mitzuteilen, wann die Indexierungsoperation geplant werden soll. Für Websites mit routinemäßigen Veröffentlichungs- und Aktualisierungszyklen ermöglicht uns dies, Operationen auf den Zeitpunkt zu verschieben, an dem sie wahrscheinlich am nützlichsten sind. Durch die kontinuierliche Verfeinerung dieser ML-Modelle sind wir in der Lage, einen Index aufrechtzuerhalten, der sowohl in Bezug auf Vollständigkeit als auch Aktualität den Anforderungen entspricht.

Obwohl unsere Crawling-Infrastruktur leicht horizontal skaliert, sind wir uns bewusst, dass Website-Betreiber mit unterschiedlichen technischen Einschränkungen konfrontiert sind. Wir achten darauf, eine vorhersehbare und überschaubare Anzahl von Anfragen an jede gegebene Domäne aufrechtzuerhalten. PerplexityBot, unser Such-Crawler, hält sich an explizite Limits, die in robots.txt-Dateien festgelegt sind, oder bei Fehlen domänenspezifischer Limits an branchenübliche Normen bezüglich der Anfrageraten. Wir passen unser Crawling-Verhalten auch an, wenn wir eine Nichtverfügbarkeit der Website feststellen. Unser verteiltes System ist darauf ausgelegt, diese Limits selbst über zehntausende gleichzeitige Operationen hinweg durchzusetzen.

Sich selbst verbesserndes Inhaltsverständnis im Internet-Maßstab

Selbst mit einem der größten und aktuellsten Suchindizes der Welt hängt die Ergebnisqualität jeder Abfrage vom Verständnis unseres Systems für den Inhalt jedes Dokuments ab. Hier stehen wir vor einer grundlegenden Herausforderung: Das Web ist ein unordentlicher Ort. Kein fester Satz von Parsing-Regeln kann die unendliche Vielfalt an Layouts, Strukturen und Stilen bewältigen, die im gesamten Internet zu finden sind.

Wir haben diese Herausforderung gelöst, indem wir ein Modul zum Inhaltsverständnis entwickelt haben, das Websites parst und semantisch bedeutsame Inhalte mithilfe dynamischer Regelsätze extrahiert. Eine Website, die reich an gut strukturierten Daten in Listen- oder Tabellenform ist, kann von formelhafteren Parsing- und Extraktionsregeln profitieren, während eine andere Website, die hauptsächlich frei formulierbare nutzergenerierte Inhalte enthält, einen lockereren Regelsatz erfordern kann. Da das Web über kurze Zeiträume hinweg meist statisch ist, stellen wir fest, dass die Lebensdauer einer gegebenen Regel relativ lang ist. Aber da sich Websites im Laufe der Zeit weiterentwickeln und wir mehr über die besten Wege zur Informationsgewinnung erfahren, erfordern auch unsere Regelsätze eine kontinuierliche Pflege.

Um diese dynamische Anpassung zu erleichtern, wenden wir uns (natürlich) der KI zu. Im Maßstab von Perplexity beobachten wir einen unglaublich reichhaltigen Querschnitt des Webs, während wir stündlich Millionen von Benutzeranfragen bedienen. Dies bildet die Grundlage für eine iterative Selbstverbesserungsschleife. Wir beobachten das Parsing-Verhalten und die extrahierten Ausgaben unserer aktuellen Regelsätze über unser Abfrage-Universum hinweg. Anschließend verwenden wir moderne LLMs, um die Leistung über zwei Hauptdimensionen zu bewerten:

Vollständigkeit: Unser Index sollte so viele semantisch bedeutsame Inhalte wie möglich erhalten, während eine fehlerhafte Extraktion von nicht informativen oder unsinnigen Inhalten vermieden wird.

Qualität: Unser Index stützt sich auf Inhalte, die in Substanz und Form von hoher Qualität sind. Informationen sollten auf eine Weise erfasst werden, die die ursprüngliche Inhaltsstruktur und das Layout bewahrt.

Beachten Sie, dass Vollständigkeit und Qualität eine weitere inhärente Spannung darstellen: Eine manuelle Optimierung auf Qualität ist möglich, aber die resultierenden Parsing-Regeln könnten kritische Inhalte nicht erfassen. Ebenso könnten wir permissive Regeln manuell codieren, die eine minimale Filterung auf den Rohinhalt anwenden, was die Vollständigkeit verbessern könnte, aber auf Kosten der Qualität. Deshalb wenden wir uns der KI-gesteuerten Selbstverbesserung zu, um unseren Regelsatz auf eine Weise zu entwickeln, die beide Ziele gleichzeitig auf domänenadaptive Weise optimieren kann.

Konkret formuliert unser System nach jeder LLM-gesteuerten Bewertung der Parsing-Leistung eine Reihe von vorgeschlagenen Änderungen am Regelsatz, um die bedeutendsten Fehlerklassen anzugehen. Diese Regelsätze durchlaufen eine weitere Validierung, wonach wir die neue Version in unserem Indexer bereitstellen. Da Verbesserungen in der Parsing- und Extraktionslogik nur zukünftigen Indexierungsoperationen zugutekommen können, sind unsere Investitionen in ML-optimierte Reindexierung besonders wichtig: Die kontinuierliche Aktualisierung von Dokumenten mit hohem Datenverkehr unter Verwendung der neuesten Version dieser Logik sorgt für eine enge Selbstverbesserungsschleife.

Diese Regeln sind nicht nur für die grundlegende Parsing-Leistung wichtig, sondern auch für die Segmentierung in untergeordnete Dokumenteinheiten. Wenn es um moderne LLMs geht, ist jedes Token des Kontextes kostbar. Eine große Menge an Vorarbeiten hat dokumentiert, wie die Leistung von LLMs mit der Zunahme der Kontextgröße und der Verschmutzung des Kontexts mit irrelevanten Informationen abnimmt. Ein gut strukturiertes, umfassendes Parsing ermöglicht es uns, Dokumente in in sich geschlossene Passagen zu zerlegen, von denen jede zum Zeitpunkt der Abfrage individuell abgerufen und gerankt werden kann.

Abruf- und Ranking-Pipeline

Moderne Suche erfordert die Sicherstellung von sowohl Vollständigkeit als auch Relevanz unter einem knappen Latenzbudget. Die Abruf- und Ranking-Pipeline von Perplexity erreicht dies durch eine mehrstufige Architektur, die Ergebnisse mit einer Reihe zunehmend ausgefeilter Module schrittweise verfeinert. Wir lösen potenzielle Engpässe, indem wir alle möglichen Engpässe maximal horizontal skalieren.

Die Pipeline beginnt mit dem Abruf aus unserem Index. Wir erzwingen keine Wahl zwischen lexikalischem und semantischem Abruf. Vielmehr fragen wir den Suchindex über beide Modalitäten ab und führen die Ergebnisse zu einer hybriden Kandidatenmenge zusammen. In dieser Phase hat Vollständigkeit Vorrang vor Präzision – nachfolgende Stufen der Pipeline werden auf Präzision optimieren.

Die Pipeline wird mit Vorfilterungsstufen fortgesetzt, in denen wir grundlegende Heuristiken und Erstfilter anwenden, um eindeutig nicht reagierende oder veraltete Inhalte aus der Kandidatenmenge zu entfernen.

Anschließend setzen wir mehrere Stufen eines zunehmend fortgeschrittenen Rankings ein. Frühere Stufen stützen sich auf lexikalische und einbettungsbasierte Scorer, die auf Geschwindigkeit optimiert sind. Während die Kandidatenmenge schrittweise verkleinert wird, verwenden wir dann leistungsfähigere Cross-Encoder-Reranker-Modelle, um die endgültige Formung der Ergebnismenge durchzuführen. Dank unserer zahlreichen Investitionen in die Inferenzleistung sind wir in der Lage, modernste Modellarchitekturen für diese späteren Stufen zu nutzen und gleichzeitig die allgemeine Ranking-Latenz niedrig zu halten.

Während dieser gesamten Pipeline rufen wir Ergebnisse sowohl auf Dokument- als auch auf Unter-Dokumentebene ab und bewerten sie. Wie oben erörtert, erfordert KI eine sorgfältige Kontext-Konstruktion. Unsere Pipeline ist darauf ausgelegt, dem Modell die atomarsten Einheiten wie möglich bereitzustellen, sodass nachgelagerte Konsumenten diese präzisen Einheiten integrieren können, ohne irrelevanten Kontext aus anderen Teilen der Quelldokumente einzubeziehen.

Die Sicherstellung hoher Qualität in jeder Phase dieser Pipeline ist nur durch Co-Design mit dem Produktportfolio von Perplexity möglich. Jedes Detail des Ranking-Stacks ist darauf ausgelegt, das reichhaltige Signal zu nutzen, das durch die Millionen von Benutzeranfragen erzeugt wird, die wir jede Stunde des Tages bedienen. Die überwiegende Mehrheit dieses Signals ist automatisiert, wobei jede generierte Perplexity-Antwort einen empirischen Datenpunkt zur Suchqualität liefert, wie er in einem Live-Agenten-Workflow verwendet wird. Wir kombinieren KI-gesteuerte Bewertungen mit direktem menschlichem Feedback, um die Trainingsdaten für unsere Einbettungs- und Ranking-Modelle weit über das hinaus anzureichern, was jeder manuell erstellte Datensatz bieten kann.

Diese Synergie zwischen Suche und Produkt ist einzigartig für Perplexity. Legacy-Suchmaschinen sind auf das grobe Signal beschränkt, das durch Blue-Link-Telemetrie bereitgestellt wird. Neuere Suchangebote haben versucht, einige dieser KI-orientierten Konzepte zu implementieren, aber ihnen fehlen reale Umgebungen, die die Suchqualität validieren und die Fülle an Signalen liefern können, die für schnelle Verbesserungsschleifen erforderlich sind. Wir haben das Glück, die fehlende Zutat zu haben: ein Live-Testgelände für Suchqualität, angetrieben von modernen LLMs und kontinuierlich von Millionen neugieriger Nutzer weltweit auf die Probe gestellt.

Etablierung einer neuen Grenze für Qualität und Leistung

Nachdem wir die Perplexity Search API und das SDK entwickelt hatten, um unsere Suchinfrastruktur Entwicklern weltweit zugänglich zu machen, wollten wir verstehen, wie die verschiedenen kommerziellen API-Angebote bei realen KI-Anwendungsfällen abschneiden. Es ist üblich geworden, KI-Modelle selbst zu evaluieren, aber wir brauchten eine Variation dieses Musters: die Qualität von Such-APIs zu bewerten, wenn sie von KI-Modellen aufgerufen werden.

Zuerst haben wir uns im Open-Source-Ökosystem umgesehen, um den Stand der Technik zu verstehen. Wir fanden viele der Schlüsselkomponenten für eine rigorose Evaluierung, aber kein Framework, das diese Komponenten in eine Plug-and-Play-Benchmarking-Lösung integrierte. Wir haben uns daher daran gemacht, ein Evaluierungs-Framework zu entwickeln, das nicht nur von Perplexity, sondern von jedem Forscher oder Entwickler verwendet werden kann, der Such-APIs benchen möchte.

Mit diesem Evaluierungs-Framework haben wir die Perplexity Search API rigoros neben anderen Angeboten gebenchmarkt. Die Optimierung der Suchleistung ist komplex, mit vielen nuancierten Kompromissen zwischen Qualität und Geschwindigkeit. Zum Vorteil der Entwickler haben wir festgestellt, dass die Perplexity Search API einen neuen Stand der Technik für Qualität und Latenz setzt. Entwickler müssen sich nicht länger zwischen dem Aufbau blitzschneller Anwendungen und der Sicherstellung hochwertiger Ergebnisse entscheiden: Mit Perplexity können sie beides haben.

Vergrößern

Entwurf zuverlässiger Evaluierungen für Agenten-Such-Workflows

Wir begannen mit der Definition von drei Leitprinzipien für unser Evaluierungs-Framework:

Spektrum der Komplexität: Das Evaluierungs-Framework sollte die Leistung bei sowohl einfachen als auch komplexen Agenten-KI-Anwendungsfällen messen.

Neutralität: Das Evaluierungs-Framework sollte alle APIs auf einer gleichberechtigten Grundlage bewerten.

Einfachheit: Obwohl bestimmte Anwendungsfälle komplex sein mögen, sollte das Framework selbst so einfach wie möglich sein, damit andere es verstehen, die Ergebnisse reproduzieren und das Framework mit minimalem Aufwand erweitern können.

Unser leichtgewichtiges Evaluierungs-Framework, search_evals, erreicht diese Ziele durch ein einfaches modulares Design. Wir haben zwei KI-Agenten-Harnesses entwickelt, um sowohl klassische Single-Shot-Suchanwendungsfälle als auch fortgeschrittene Agenten-Workflows (beispielhaft für verschiedene „vertiefte Recherche“-Produkte, die auf dem Verbrauchermarkt weit verbreitet sind) zu erfassen. Beide Harnesses wurden auf eine einfache Weise implementiert, die wenig Raum für versteckte Vorteile lässt.

Um unsere Evaluierungen voranzutreiben, haben wir vier Benchmarks übernommen: SimpleQA und FRAMES für die einstufige Suche sowie BrowseComp und HLE für vertiefte Recherche. Zusammen bieten diese Benchmarks gut anerkannte Maßstäbe für Wissensagenten. Gemäß der etablierten Konvention benoten wir alle Benchmarks unter Verwendung der gleichen Prompt-Klassifikator-Methodik, die in der ursprünglichen Arbeit verwendet wurde. Die genauen Benchmark-Implementierungen (einschließlich der Bewerter-Logik) können in unserem GitHub-Repo überprüft werden.

Wir haben das Framework mit Blick auf Reproduzierbarkeit und Erweiterbarkeit entworfen. Sowohl die Aufgaben-Scores als auch die zugrunde liegenden Agenten-Ausgaben werden bei jedem Durchlauf gespeichert. Zusätzliche Harnesses, Benchmarks und Such-API-Angebote können leicht integriert werden. Forscher und Entwickler können unsere GitHub-Dokumentation lesen, um weitere Informationen zur Erweiterung des Frameworks für Ihre spezifischen Anforderungen zu erhalten.

Evaluierungsergebnisse

Mit diesem Evaluierungs-Framework ausgerüstet, haben wir uns daran gemacht, unsere Search API im Vergleich zu anderen API-Angeboten zu bewerten. Über alle getesteten Benchmarks hinweg steht Perplexity als sowohl schnellste als auch qualitativ hochwertigste API auf dem Markt da.

Vergrößern

Wir haben festgestellt, dass sich unsere oben beschriebenen Investitionen in Index-, Abruf- und Ranking-Effizienz reichlich ausgezahlt haben. Die mittlere Latenz von Perplexity liegt bei 358 ms, über 150 ms vor dem zweitschnellsten Anbieter. Die Latenz im 95. Perzentil bleibt bequem unter 800 ms. Mit den langen TTFT-Metriken (Time-to-First-Token) der modernen Front-End-Modelle zählt jede Millisekunde, um begeisternde Benutzererlebnisse zu schaffen. Wir haben die letzten zwei Jahre damit verbracht, die Latenz für unsere eigenen Benutzer zu optimieren, und wir freuen uns, dass dieselben Investitionen nun auch der Entwickler-Community zugutekommen.

Such-API-Latenz

(Anfragen initiiert von AWS us-east-1)

Suchanfrage-API-Latenz-Perzentile für Anfragen, die aus AWS us-east-1 initiiert wurden.

* Viele Such-API-Anbieter verwenden SERP-Scraping als Grundlage für ihre Ergebnisse. Um die Leistung solcher Ansätze zu erfassen, verwenden wir eine repräsentative Google SERP-basierte API, die von Tavily angeboten wird.

Dieser Geschwindigkeitsvorteil geht nicht auf Kosten der Qualität. Die Perplexity Search API liefert modernste Leistung sowohl bei einstufiger Suche als auch bei vertiefter Recherche. Bei jedem getesteten Benchmark führt Perplexity die Gruppe bei der Bereitstellung hochwertiger Ergebnisse an, die KI-Workflows unterschiedlicher Komplexität antreiben können. Der Abstand zwischen Perplexity und der besten Alternative ist bei SimpleQA und HLE besonders ausgeprägt, was darauf hindeutet, dass diese Ergebnisse über das gesamte Spektrum der Aufgabenkomplexität hinweg robust sind.

Vergrößern

Wie bei der Latenz fließt unsere Führung bei der Suchqualität aus unserer Führung beim Aufbau begeisternder, hochfrequentierter KI-Produkte. Unsere Millionen von Nutzern verwenden Perplexity, um ihre Neugier zu jedem erdenklichen Thema zu befriedigen, und die daraus resultierenden Qualitäts- und Relevanzsignale ermöglichen es unseren Suchmodellen, sich mit jeder vergehenden Stunde zu verbessern.

Such-API-Qualitäts-Benchmarks

Qualitätswerte der Such-API auf SimpleQA, FRAMES, BrowseComp und HLE.

Wir stehen noch am Anfang der KI-nativen Suchmaschinen, und die Kunst und Wissenschaft der Messung wird sich zweifellos weiterentwickeln. Wir laden die Community ein, durch die Entwicklung rigoroser und kreativer Methoden zur Evaluierung von Suchmaschinen im Zeitalter der KI-Agenten beizutragen.

Der Baustein für das nächste Kapitel der KI

Die Zukunft von Agentensystemen und intelligenten Assistenten wird von der Verfügbarkeit reichhaltiger programmatischer Schnittstellen zum kollektiven Wissen der Welt abhängen. Die heutigen Legacy-Suchmaschinen haben bei etwa 10¹⁰ Anfragen pro Tag eine Marktsättigung erreicht, eine Zahl, die wahrscheinlich ihren Höhepunkt überschritten hat. Die nächste Generation von Such- und Abrufsystemen wird um Größenordnungen mehr Anfragen verarbeiten, da ein ständig wachsendes Universum von KI-Agenten auf sie für präzise Echtzeitinformationen angewiesen ist.

Unsere bisherigen Bemühungen haben uns als die schnellste und leistungsfähigste Suchmaschine positioniert, die über API zugänglich ist. Aber es wird noch ehrgeizigere Innovationen brauchen, um das nächste Kapitel der KI zu befeuern. Wie skalieren wir diese Systeme effizient angesichts der ständig wachsenden Nachfrage? Wie können diese Suchsysteme angesichts neuartiger Ansätze für Kontext-Konstruktion und Post-Training optimiert werden? Und wie bewältigen wir die allgegenwärtige Spannung zwischen Vollständigkeit, Aktualität und Latenz? Dies sind offene Fragen, für deren Bewältigung Perplexity aufgrund unserer Kombination aus Produktpräsenz, Skalierung und technischem Talent einzigartig positioniert ist.

Zitieren

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}