Architecting and evaluating an AI-first Search API

Vytvoření škálovatelného vyhledávacího API zaměřeného na AI představuje jedinečné výzkumné výzvy na průniku vyhledávání informací, AI a návrhu systémů. Na rozdíl od tradičních služeb, které pracují s omezenými daty, musí vyhledávací API neustále indexovat miliardy dokumentů, chápat záměr dotazu napříč jazyky a doménami a během milisekund poskytovat relevantní výsledky. Ve světě agentů s AI musí vyhledávací API také pečlivě kurátorovat kontext poskytovaný modelům vývojářů, aby byla zajištěna jejich optimální výkonnost a maximálně přesné informace. Efektivní inženýrství kontextu vyžaduje, aby API nejen zachycovalo relevanci na úrovni dokumentů, ale aby s jednotlivými sekcemi a úseky dokumentů zacházelo jako s plnohodnotnými jednotkami.

V tomto článku představujeme návrh a vyhodnocení rozhraní Perplexity Search API. Nejprve zkoumáme architekturu a klíčová technická rozhodnutí, která stojí za naší produkční vyhledávací infrastrukturou zpracovávající 200 milionů dotazů denně. Naše architektura kombinuje hybridní mechanismy vyhledávání, vícestupňové rankingové pipeline, distribuované indexování a dynamické parsování prostřednictvím modulu pro porozumění obsahu, který se sám zdokonaluje.

Následně popisujeme náš přístup k empirickému vyhodnocení výkonu vyhledávacího API pomocí nově open-source frameworku pro hodnocení. Pomocí komplexního srovnávání s existujícími komerčními rozhraními API demonstrujeme špičkový výkon v oblasti kvality i latence. Rozhraní Perplexity Search API je od dnešního dne k dispozici vývojářům po celém světě.

[Najít search_evals na GitHubu]

Vytvoření vyhledávacího systému optimalizovaného pro modely AI

Od našeho založení jsme si byli vědomi toho, že robustní schopnosti vyhledávání budou klíčové pro vytvoření špičkových produktů s AI, které jsme chtěli uvést na trh. Původně jsme doufali, že tyto funkce již existují ve veřejně dostupné formě. Experimentovali jsme s portfoliem vyhledávacích API dostupných koncem roku 2022 a zcela první verze vyhledávače Perplexity vlastně některé z těchto nabídek obsahovala. Konkrétně jsme analyzovali uživatelské dotazy, formulovali a odesílali požadavky na tato API a shromažďovali výsledky jako kontext pro náš navazující generativní pipeline.

Když se však uživatelé začali hrnout do služby Perplexity, rychle jsme si uvědomili, že tato API nebudou škálovat s naším růstem. Cínové ceny, se kterými jsme se setkali, byly přemrštěné, přičemž jeden přední poskytovatel API si účtoval 200 dolarů za tisíc dotazů. Fatálnější však bylo, že tato starší API nebyla navržena pro nové paradigma vyhledávání, které přinesly moderní systémy AI.

Zvětšit

Pro začátek byly formáty požadavků a odpovědí těchto starších API navrženy pro svět, kde by lidé byli výhradními spotřebiteli výsledků vyhledávání. V důsledku toho tato API upřednostňovala výsledky na úrovni dokumentů, s výjimkou jemnějších informací odhalených poddokumentovými jednotkami. Úspěch modelu AI závisí na kvalitě a kompaktnosti poskytovaného kontextu a my jsme na vlastní kůži viděli, jak příliš široké vyhledávání může vykolejit modely AI, bez ohledu na to, jak moc se vyhledané dokumenty jako celek mohou zdát relevantní. Naše pokusy vnutit přesnost nepřesným výsledkům se setkaly s omezeným úspěchem.

Také jsme si všimli, že starší API byla buď příliš zastaralá, nebo příliš pomalá. Nezávisle vyvinutá vyhledávací API spoléhala na indexy, které byly neúplné a příliš zřídka aktualizované. API založená na scrapování, jako jsou různé neoficiální SERP API pro Google Search, těžila z komplexnějšího indexu, ale nabízela nepřijatelně vysokou latenci kvůli neefektivitě vlastní dotazování vyhledávače třetí strany. Vysoká latence činila API nevhodnými pro uživatelsky zaměřené aplikace, zatímco zastaralost činila sady výsledků nepoužitelnými pro jakýkoli systém AI, který doufal, že bude přesný a důvěryhodný.

Nakonec jsme sledovali, jak se ekosystém AI rozděluje na lexikální a sémantické vyhledávání a objevují se systémy, které byly nadměrně optimalizovány pro jednu modalitu na úkor druhé. Viděli jsme rozmach vektorových databází, které nedokázaly adekvátně podpořit ani jednoduché booleovské filtry. Tradiční vyhledávací backends si vedly o nic lépe s primitivní podporou sémantického řazení a příležitostí k vyhledávání, které AI odemkla.

Když jsme si uvědomili, že vylepšení služby Perplexity bude vyžadovat vybudování vlastní vyhrazené vyhledávací infrastruktury, shrnuli jsme naše pozorování do tří klíčových kritérií:

Úplnost, aktuálnost a rychlost: vyhledávací index musí být komplexní, neustále aktualizovaný a navržený pro latenci v reálném čase.

Jemnozrnné porozumění obsahu: křehkost modelů AI a omezená okna kontextu vyžadují, aby výsledky vyhledávání byly prezentovány a řazeny na co nejpodrobnější možné úrovni.

Hybridní vyhledávání a řazení: pipeline pro vyhledávání i řazení musí obsahovat lexikální a sémantické signály, aby výsledky byly pro AI užitečné.

Zvětšit

Infrastruktura pro procházení a indexování

Provoz v měřítku Perplexity vyžaduje infrastrukturu, která dokáže komplexně zmapovat web a reagovat na jeho neustálý vývoj. Náš vyhledávací index sleduje přes 200 miliard unikátních URL adres s kapacitou sledovat mnoho stovek miliard dalších.

Zajištění toho, že náš index pokrývá dostatečně komplexní část internetu a že každý dokument odráží nejnovější stav, je obtížný úkol. Mezi úplností a aktuálností existuje vnitřní napětí: pro pevný rozpočet na indexování musí operace obnovení existujících stránek konkurovat operacím indexování nových navštívených stránek. Toto napětí vyvažujeme kombinací škálování (které zmírňuje optimalizační omezení zvýšením rozpočtu na indexování) a upřednostňování řízeného strojovým učením (které zajišťuje, že každá operace indexování má pro index jako celek maximální hodnotu).

Vybudovali jsme index a indexovací aparát v řádu exabytů, který se horizontálně škáluje s velikostí i objemem dotazů. Prohlížeče a indexovací flotily Perplexity dohromady zahrnují desítky tisíc procesorů a stovky terabajtů paměti RAM s značnou rezervou pro další škálování. Tuto výpočetní infrastrukturu propojujeme s rovnováhou mezi studeným a teplým úložištěm. Využíváme jak naučené modely, tak vyladěné heuristiky k určení, které dokumenty by měly zůstat horké, přičemž upřednostňujeme dokumenty z autoritativních domén, dokumenty týkající se nedostatečně pokrytých témat a další kategorie s obrovským potenciálem obohatit náš index.

Tato infrastruktura umožňuje službě Perplexity zpracovat desítky tisíc operací indexování za sekundu. Ale i s tímto relativně štědrým rozpočtem je rozsah internetu příliš obrovský na to, aby bylo možné indexovat každou jednotlivou URL adresu na frekventované a opakující se bázi. Tady přichází na řadu strojové učení. Trénujeme model strojového učení, který předpovídá, zda je třeba indexovat danou kandidátskou URL adresu. Tréninkový cíl je navržen tak, aby zajistil, že kalibrujeme naše rozhodnutí o indexování jak na důležitost, tak na pravděpodobnou frekvenci aktualizací konkrétní URL adresy. Spoléháme se také na strojové učení, které nám přesně sdělí, kdy naplánovat operaci indexování. Pro weby s rutinním publikováním a cykly obnovování nám to umožňuje odložit operace na okamžik, kdy budou pravděpodobně nejužitečnější. Neustálým vylepšováním těchto modelů strojového učení dokážeme udržovat index, který splňuje požadavky na úplnost i aktuálnost.

Ačkoli se naše infrastruktura pro procházení snadno horizontálně škáluje, uvědomujeme si, že provozovatelé webů čelí různým technickým omezením. Dbáme na to, abychom udržovali předvídatelnou a zvládnutelnou frekvenci požadavků na jakoukoli danou doménu. PerplexityBot, náš vyhledávací crawler, dodržuje explicitní limity stanovené v souborech robots.txt nebo v případě absence limitů specifikovaných doménou normy obvyklé v odvětví týkající se frekvence požadavků. Upravujeme také naše chování při procházení, když zjistíme nedostupnost webu. Náš distribuovaný systém je navržen tak, aby tyto limity vynucoval i napříč desítkami tisíc souběžných operací.

Porozumění obsahu, které se samo zdokonaluje v internetovém měřítku

Dokonce i s jedním z největších a nejaktuálnějších vyhledávacích indexů na planetě závisí kvalita výsledků každého dotazu na tom, jak náš systém rozumí obsahu každého dokumentu. Zde čelíme zásadní výzvě: web je nepřehledné místo. Žádná pevná sada pravidel pro parsování nedokáže zpracovat nekonečnou rozmanitost rozvržení, struktur a stylů nacházejících se na celém internetu.

Tuto výzvu jsme vyřešili vývojem modulu pro porozumění obsahu, který analyzuje webové stránky a extrahuje sémanticky smysluplný obsah pomocí dynamických sad pravidel. Webová stránka s množstvím dobře strukturovaných dat ve formě seznamů nebo tabulek může těžit z formalizovanějších pravidel parsování a extrakce, zatímco jiná webová stránka obsahující převážně volně formátovaný uživatelský obsah může vyžadovat volnější sadu pravidel. Protože je web v krátkých časových rámcích většinou statický, zjišťujeme, že životnost daného pravidla je poměrně dlouhá. Jak se však weby v průběhu času vyvíjejí a jak se dozvídáme více o nejlepších způsobech extrakce informací, naše sady pravidel vyžadují také neustálou údržbu.

K usnadnění této dynamické adaptace se obracíme (samozřejmě) k AI. V měřítku Perplexity pozorujeme v průběhu obsluhy milionů uživatelských dotazů každou hodinu neuvěřitelně bohatý průřez webem. To tvoří základ pro iterativní smyčku vlastního zdokonalování. Pozorujeme chování parsování a extrahované výstupy našich současných sad pravidel v celém našem vesmíru dotazů. Poté využíváme špičkové jazykové modely (LLM) k posouzení výkonu ve dvou hlavních dimenzích:

Úplnost: náš index by měl přijímat co nejvíce sémanticky smysluplného obsahu a zároveň se vyhnout nadbytečné extrakci neinformativních nebo nesmyslných materiálů.

Kvalita: náš index spoléhá na vysoce kvalitní obsah jak po stránce obsahové, tak formální. Informace by měly být zachyceny způsobem, který zachovává původní strukturu a rozvržení obsahu.

Všimněte si, že úplnost a kvalita představují další vnitřní napětí: ruční optimalizace pro kvalitu je možná, ale výsledná pravidla parsování nemusí zachytit kritický obsah. Stejně tak bychom mohli ručně naprogramovat tolerantní pravidla, která aplikují minimální filtrování na surový obsah, což by mohlo zlepšit úplnost, ale na úkor kvality. Proto se obracíme na vlastní zdokonalování řízené AI, abychom vyvinuli naši sadu pravidel způsobem, který dokáže optimalizovat pro obojí najednou způsobem přizpůsobeným doméně.

Konkrétně po každém hodnocení výkonu parsování řízeném LLM formuluje náš systém sadu navrhovaných změn sady pravidel pro řešení nejvýznamnějších tříd chyb. Tyto sady pravidel procházejí dalším ověřením, po kterém nasadíme novou verzi do našeho indexeru. Vzhledem k tomu, že vylepšení logiky parsování a extrakce mohou prospět pouze budoucím operacím indexování, jsou naše investice do reindexace optimalizované pomocí strojového učení obzvláště důležité: neustálé obnovování dokumentů s vysokou návštěvností pomocí nejnovější verze této logiky zajišťuje úzkou smyčku vlastního zdokonalování.

Tato pravidla jsou důležitá nejen pro základní výkon parsování, ale také pro segmentaci na poddokumentové jednotky. Pokud jde o špičkové LLM, každý token kontextu je vzácný. Rozsáhlé předchozí práce zdokumentovaly, jak se výkon LLM zhoršuje se zvětšující se velikostí kontextu a znečištěním kontextu irelevantními informacemi. Mít dobře strukturované a komplexní parsování nám umožňuje rozložit dokumenty na samostatné úseky, z nichž každý lze v době dotazu individuálně vyhledat a seřadit.

Pipeline pro vyhledávání a řazení

Moderní vyhledávání vyžaduje zajištění jak úplnosti, tak relevance při dodržení přísného rozpočtu na latenci. Pipeline pro vyhledávání a řazení ve službě Perplexity toho dosahuje prostřednictvím vícestupňové architektury, která postupně zpřesňuje výsledky pomocí řady stále sofistikovanějších modulů. Potenciální úzká hrdla řešíme horizontálním škálováním jakýchkoliv potenciálních míst udušení v maximální možné míře.

Pipeline začíná vyhledáváním z našeho indexu. Nenutíme k volbě mezi lexikálním a sémantickým vyhledáváním. Místo toho se dotazujeme na vyhledávací index pomocí obou modalit a slučujeme výsledky do hybridní sady kandidátů. V této fázi má priorita přednost před přesností – pozdější fáze pipeline budou optimalizovat pro přesnost.

Pipeline pokračuje fázemi předběžného filtrování, ve kterých aplikujeme základní heuristiky a prvotní filtry k odstranění jasně nereaktivního nebo zastaralého obsahu ze sady kandidátů.

Poté využíváme několik fází postupně pokročilého řazení. Dřívější fáze spoléhají na lexikální bodovače a bodovače založené na vnořeních optimalizované pro rychlost. Jak se sada kandidátů postupně zmenšuje, používáme výkonnější modely pro přerazení pomocí křížového kodéru k provedení konečného tvarování sady výsledků. Díky našim četným investicím do výkonu inference můžeme využít nejmodernější architektury modelů pro tyto pozdější fáze a zároveň udržet celkovou latenci řazení na nízké úrovni.

Během této pipeline získáváme a bodujeme výsledky jak na úrovni dokumentů, tak poddokumentů. Jak bylo diskutováno výše, AI vyžaduje pečlivé inženýrství kontextu. Naše pipeline je navržena tak, aby modelům poskytovala co nejatomárnější možné jednotky, takže následní spotřebitelé mohou tyto přesné jednotky začlenit, aniž by tahali irelevantní kontext odjinud ze zdrojových dokumentů.

Zajištění vysoké kvality v každé fázi této pipeline je možné pouze prostřednictvím společného návrhu s portfoliem produktů Perplexity. Každý detail řadícího zásobníku je navržen tak, aby využíval bohatý signál produkovaný miliony uživatelských požadavků, které obsluhujeme každou hodinu dne. Naprostá většina tohoto signálu je automatizovaná, přičemž každá vygenerovaná odpověď Perplexity poskytuje empirický datový bod o kvalitě vyhledávání při použití v živém pracovním postupu agenta. Hodnocení řízená AI kombinujeme s živou zpětnou vazbou od uživatelů, abychom obohatili tréninková data pro naše modely vnořování a řazení daleko za hranice toho, co může nabídnout jakákoli ručně zkonstruovaná datová sada.

Tato synergie mezi vyhledáváním a produktem je pro Perplexity jedinečná. Starší vyhledávače jsou omezeny na hrubý signál poskytovaný telemetrií modrých odkazů. Novější vyhledávací nabídky se pokusily implementovat některé z těchto konceptů zaměřených na AI, ale chybí jim prostředí reálného světa, které by mohlo ověřit kvalitu vyhledávání a poskytnout bohatost signálu potřebnou pro rychlé smyčky vylepšování. Máme to štěstí, že máme chybějící přísadu: živou zkušební půdu pro kvalitu vyhledávání, poháněnou špičkovými LLM a neustále testovanou v boji miliony zvědavých uživatelů po celém světě.

Stanovení nové hranice pro kvalitu a výkon

Po vytvoření Perplexity Search API a SDK, abychom zpřístupnili naši vyhledávací infrastrukturu vývojářům po celém světě, jsme chtěli zjistit, jak si různé komerční nabídky API vedou v případech použití AI v reálném světě. Stalo se běžným vyhodnocovat samotné modely AI, ale potřebovali jsme obměnu tohoto vzorce: vyhodnotit kvalitu vyhledávacích API při vyvolání modely AI.

Nejprve jsme se obrátili na open-source ekosystém, abychom pochopili dosavadní stav techniky. Našli jsme mnoho klíčových přísad pro rigorózní hodnocení, ale žádný framework, který by tyto přísady integroval do řešení srovnávacích testů typu plug-and-play. Proto jsme se vydali vyvinout framework pro hodnocení, který by mohla používat nejen společnost Perplexity, ale každý výzkumník nebo vývojář, který chce provést srovnávací testy vyhledávacích API.

Pomocí tohoto hodnotícího frameworku jsme rigorózně srovnali Perplexity Search API s dalšími nabídkami. Optimalizace výkonu vyhledávání je složitá, s mnoha jemnými kompromisy mezi kvalitou a rychlostí. Pro vývojáře je to výhra, protože jsme zjistili, že Perplexity Search API stanovuje nový standard pro kvalitu i latenci. Vývojáři již nemusí volit mezi budováním bleskově rychlých aplikací a zajištěním vysoce kvalitních výsledků: s Perplexity mohou mít obojí.

Zvětšit

Navrhování spolehlivých hodnocení pro pracovní postupy vyhledávání agentů

Začali jsme definováním tří hlavních zásad pro náš hodnotící framework:

Spektrum složitosti: hodnotící framework by měl měřit výkon jak u přímočarých, tak u složitých případů použití agentní AI.

Neutralita: hodnotící framework by měl hodnotit všechna API za stejných podmínek.

Jednoduchost: ačkoli některé případy použití mohou být složité, samotný framework by měl být co nejjednodušší, aby mu ostatní mohli porozumět, reprodukovat výsledky a rozšířit framework s minimální námahou.

Náš lehký hodnotící framework search_evals dosahuje těchto cílů prostřednictvím jednoduchého modulárního designu. Vyvinuli jsme dva nástroje pro AI agenty, abychom zachytili jak klasické případy použití jednorázového vyhledávání, tak pokročilé pracovní postupy agentů (příkladem jsou různé produkty „hloubkového výzkumu“, které jsou široce dostupné na spotřebitelském trhu). Oba nástroje byly implementovány přímočarým způsobem, který ponechává jen malý prostor pro skrytou výhodu.

K řízení našich hodnocení jsme přijali čtyři srovnávací testy: SimpleQA a FRAMES pro jednokrokové vyhledávání spolu s BrowseComp a HLE pro hloubkový výzkum. Dohromady tyto srovnávací testy poskytují dobře přijímaná měřítka pro agenty znalostí. Podle zavedené konvence hodnotíme všechny srovnávací testy pomocí stejné metodiky klasifikátoru s výzvou použitou v původní práci. Přesné implementace srovnávacích testů (včetně logiky hodnotitele) lze prohlédnout v našem repozitáři na GitHubu.

Framework jsme navrhli s ohledem na reprodukovatelnost a rozšiřitelnost. Skóre na úrovni úkolů i podkladové výstupy agentů jsou uloženy s každým spuštěním. Další nástroje, srovnávací testy a nabídky vyhledávacích API lze snadno integrovat. Výzkumníci a vývojáři si mohou přečíst dokumentaci na GitHubu, kde najdou další informace o rozšíření frameworku tak, aby vyhovoval vašim přesným potřebám.

Výsledky hodnocení

Vybaveni tímto hodnotícím frameworkem jsme se vydali posoudit naše Search API v porovnání s jinými nabídkami API. Napříč všemi testovanými srovnávacími testy stojí Perplexity jako nejrychlejší a nejkvalitativnější API na trhu.

Zvětšit

Zjistili jsme, že naše výše popsané investice do efektivity indexu, vyhledávání a řazení se bohatě vyplatily. Medián latence Perplexity se zastavuje na hodnotě 358 ms, což je o více než 150 ms před druhým nejrychlejším poskytovatelem. Latence na 95. percentilu zůstává pohodlně pod 800 ms. S dlouhými metrikami TTFT (čas do prvního tokenu) dnešních špičkových modelů záleží na každé milisekundě při vytváření příjemných uživatelských zážitků. Strávili jsme poslední dva roky optimalizací latence pro naše vlastní uživatele a jsme rádi, že tyto stejné investice nyní prospějí i komunitě vývojářů.

Latence Search API

(požadavky inicializované z AWS us-east-1)

Percentily latence Search API pro požadavky iniciované z AWS us-east-1.

* Mnoho dodavatelů vyhledávacích API používá scrapování SERP jako základ pro své výsledky. Abychom zachytili výkon takových přístupů, používáme reprezentativní API založené na Google SERP, které nabízí společnost Tavily.

Tato výhoda v rychlosti není na úkor kvality. Perplexity Search API poskytuje špičkový výkon v nastavení jednokrokového vyhledávání i hloubkového výzkumu. V každém testovaném srovnávacím testu vede Perplexity v poskytování vysoce kvalitních výsledků, které mohou pohánět pracovní postupy AI různé složitosti. Rozdíl mezi Perplexity a nejlepší alternativou je obzvláště výrazný u SimpleQA a HLE, což naznačuje, že tyto výsledky jsou robustní napříč spektrem složitosti úkolů.

Zvětšit

Stejně jako u latence, naše vedoucí postavení v kvalitě vyhledávání plyne z našeho vedoucího postavení v budování nádherných, vysoce navštěvovaných produktů s AI. Naše miliony uživatelů používají Perplexity k uspokojení své zvědavosti na každé představitelné téma a výsledné signály kvality a relevance umožňují našim vyhledávacím modelům zlepšovat se s každou uplynulou hodinou.

Srovnávací testy kvality Search API

Skóre kvality Search API na SimpleQA, FRAMES, BrowseComp a HLE.

Jsme stále v počátcích vyhledávačů nativních pro AI a umění a věda měření se bezpochyby vyvine. Vyzýváme komunitu, aby přispěla vývojem rigorózních a kreativních metod pro hodnocení vyhledávačů ve věku agentů AI.

Stavební kámen pro další kapitolu AI

Budoucnost agentních systémů a inteligentních asistentů bude záviset na dostupnosti bohatých programových rozhraní do kolektivního vědění světa. Dnešní starší vyhledávače dosáhly nasycení v používání na zhruba 10¹⁰ dotazech za den, což je číslo, které pravděpodobně dosáhlo vrcholu. Další generace vyhledávacích a rešeršních systémů bude obsluhovat o řády více požadavků, protože stále rostoucí vesmír agentů AI na ně spoléhá kvůli přesným informacím v reálném čase.

Naše dosavadní úsilí nás postavilo do pozice nejrychlejšího a nejvýkonnějšího vyhledávače přístupného prostřednictvím API. K tomu, abychom podpořili další kapitolu AI, však bude potřeba ještě ambicióznější inovace. Jak efektivně škálovat tyto systémy tváří v tvář stále rostoucí poptávce? Jak lze tyto vyhledávací systémy optimalizovat s ohledem na nové přístupy k inženýrství kontextu a dodatečnému tréninku? A jak se orientovat v neustále přítomném napětí mezi úplností, aktuálností a latencí? To jsou otevřené otázky, které společnost Perplexity má díky naší kombinaci produktové stopy, rozsahu a technického talentu jedinečnou pozici k řešení.

Citace

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}