Projektowanie i ocenianie wyszukiwarki zorientowanej na AI

Budowa skalowalnego, zorientowanego na sztuczną inteligencję interfejsu API wyszukiwania stanowi wyjątkowe wyzwanie badawcze na styku wyszukiwania informacji, sztucznej inteligencji i projektowania systemów. W przeciwieństwie do tradycyjnych usług działających na ograniczonych zbiorach danych, interfejs API wyszukiwania musi nieustannie indeksować miliardy dokumentów, rozumieć intencje zapytań w różnych językach i domenach oraz dostarczać istotne wyniki w ciągu milisekund. W świecie agentów AI interfejs API wyszukiwania musi również starannie dobierać kontekst dostarczany modelom deweloperów, aby zapewnić ich optymalne działanie i uwzględnienie jak najdokładniejszych informacji. Skuteczna inżynieria kontekstu wymaga od API nie tylko przechwytywania trafności na poziomie dokumentu, ale także traktowania poszczególnych sekcji i fragmentów dokumentów jako odrębnych, pełnowartościowych jednostek.

W niniejszym artykule przedstawiamy projekt i ocenę interfejsu Perplexity Search API. Najpierw badamy architekturę i kluczowe decyzje techniczne stojące za naszą produkcyjną infrastrukturą wyszukiwania, która przetwarza 200 milionów zapytań dziennie. Nasza architektura łączy hybrydowe mechanizmy wyszukiwania, wieloetapowe potoki rankingowe, indeksowanie rozproszone oraz dynamiczne parsowanie za pośrednictwem samodoskonalącego się modułu rozumienia treści.

Następnie opisujemy nasze podejście do empirycznej oceny wydajności interfejsu API wyszukiwania za pomocą nowo udostępnionego frameworka ewaluacyjnego. Dzięki kompleksowym testom porównawczym obok istniejących komercyjnych interfejsów API demonstrujemy najwyższą wydajność zarówno pod względem jakości, jak i opóźnień. Perplexity Search API jest dostępne dla deweloperów na całym świecie od dzisiaj.

[Znajdź search_evals na GitHub]

Budowa systemu wyszukiwania zoptymalizowanego pod kątem modeli AI

Od momentu powstania wiedzieliśmy, że solidne możliwości wyszukiwania będą miały kluczowe znaczenie dla umożliwienia tworzenia definiujących kategorię produktów opartych na sztucznej inteligencji, które chcieliśmy wprowadzić na rynek. Początkowo mieliśmy nadzieję, że takie możliwości już istnieją w ogólnodostępnej formie. Eksperymentowaliśmy z portfolio interfejsów API wyszukiwania dostępnych pod koniec 2022 roku, a pierwsza wersja silnika odpowiedzi Perplexity faktycznie zawierała niektóre z tych ofert. W szczególności analizowaliśmy zapytania użytkowników, formułowaliśmy i wysyłaliśmy zapytania do tych interfejsów API oraz gromadziliśmy wyniki jako kontekst dla naszego potoku generowania danych.

Jednakże, gdy użytkownicy zaczęli masowo korzystać z Perplexity, szybko zdaliśmy sobie sprawę, że te interfejsy API nie będą skalowalne wraz z naszym rozwojem. Ceny, z którymi się spotkaliśmy, były wygórowane, a jeden z czołowych dostawców API pobierał 200 dolarów za tysiąc zapytań. Co gorsza, te starsze interfejsy API po prostu nie zostały zaprojektowane dla nowych paradygmatów wyszukiwania wprowadzonych przez pionierskie systemy AI.

Powiększ

Na początek, formaty zapytań i odpowiedzi tych starszych interfejsów API zostały zaprojektowane dla świata, w którym ludzie byliby wyłącznymi odbiorcami wyników wyszukiwania. W rezultacie interfejsy te traktowały priorytetowo wyniki na poziomie całego dokumentu, z wyłączeniem bardziej szczegółowych informacji ujawnianych przez pod-jednostki dokumentu. Sukces modelu AI zależy od jakości i zwięzłości dostarczonego kontekstu, a my na własnej skórze przekonaliśmy się, jak zbyt szerokie wyszukiwanie może zniweczyć działanie modeli AI, niezależnie od tego, jak bardzo pobrane dokumenty jako całość mogły wydawać się istotne. Nasze próby wymuszenia precyzji na niedokładnych wynikach odniosły ograniczony sukces.

Zauważyliśmy również, że starsze interfejsy API były albo przestarzałe, albo zbyt wolne. Niezależnie opracowane interfejsy API wyszukiwania opierały się na indeksach, które były niekompletne i zbyt rzadko aktualizowane. Interfejsy oparte na scrapingu, takie jak różne nieoficjalne interfejsy API SERP dla wyszukiwarki Google, korzystały z bardziej kompleksowego indeksu, ale oferowały niedopuszczalnie wysokie opóźnienia ze względu na nieefektywność nieodłącznie związaną z odpytywaniem zewnętrznej wyszukiwarki. Wysokie opóźnienia sprawiały, że interfejsy API były nieprzydatne w aplikacjach przeznaczonych dla użytkowników, a nieaktualność czyniła zestawy wyników bezużytecznymi dla każdego systemu AI, który miał być dokładny i godny zaufania.

Wreszcie zaobserwowaliśmy, że ekosystem AI rozwidla się między wyszukiwanie leksykalne a semantyczne, przy czym powstawały systemy, które były nadmiernie zoptymalizowane pod kątem jednej modalności kosztem drugiej. Widzieliśmy rozwój baz danych wektorowych, które nie mogły odpowiednio obsłużyć nawet prostych filtrów logicznych. Tradycyjne backendy wyszukiwania wypadały niewiele lepiej, oferując prymitywne wsparcie dla możliwości rankingu semantycznego i wyszukiwania odblokowanych przez AI.

Gdy zrozumieliśmy, że uczynienie Perplexity jeszcze lepszym będzie wymagało zbudowania własnej dedykowanej infrastruktury wyszukiwania, skrystalizowaliśmy nasze obserwacje w trzy kluczowe kryteria:

Kompletność, świeżość i szybkość: indeks wyszukiwania musi być kompleksowy, stale aktualizowany i zaprojektowany z myślą o opóźnieniach w czasie rzeczywistym.

Szczegółowe rozumienie treści: kruchość modeli AI i ograniczone okna kontekstowe wymagają, aby wyniki wyszukiwania były prezentowane i oceniane na możliwie najbardziej szczegółowym poziomie.

Hybrydowe wyszukiwanie i ranking: zarówno potoki wyszukiwania, jak i rankingowe muszą uwzględniać sygnały leksykalne i semantyczne, aby wyniki były przydatne dla sztucznej inteligencji.

Powiększ

Infrastruktura indeksowania i przeszukiwania

Działanie na skalę Perplexity wymaga infrastruktury, która potrafi kompleksowo mapować sieć i reagować na jej ciągłą ewolucję. Nasz indeks wyszukiwania śledzi ponad 200 miliardów unikalnych adresów URL, z możliwością śledzenia wielu setek miliardów kolejnych.

Zapewnienie, że nasz indeks obejmuje wystarczająco kompleksowy zakres internetu i że każdy dokument odzwierciedla najnowszy stan, jest trudnym wyczynem. Istnieje nieodłączne napięcie między kompletnością a świeżością: przy ustalonym budżecie indeksowania, operacje odświeżania istniejących stron muszą konkurować z operacjami indeksowania nowych, nieodwiedzonych stron. Równoważymy to napięcie poprzez połączenie skalowania (które łagodzi ograniczenie optymalizacji poprzez zwiększenie budżetu indeksowania) i priorytetyzacji opartej na uczeniu maszynowym (która zapewnia, że każda operacja indeksowania jest maksymalnie cenna dla indeksu jako całości).

Zbudowaliśmy indeks i aparat przeszukujący na skalę eksabajtową, który skaluje się horyzontalnie zarówno pod względem rozmiaru, jak i liczby zapytań. Floty crawlerów i indeksowania Perplexity obejmują łącznie dziesiątki tysięcy procesorów i setki terabajtów pamięci RAM, z dużym zapasem do dalszego skalowania. Łączymy tę infrastrukturę obliczeniową z równowagą między pamięcią masową zimną a ciepłą. Używamy zarówno wyuczonych modeli, jak i dostrojonych heurystyk, aby określić, które dokumenty powinny być przechowywane jako gorące, priorytetowo traktując dokumenty z autorytatywnych domen, dokumenty dotyczące słabo pokrytych tematów oraz inne kategorie o ogromnym potencjale wzbogacenia naszego indeksu.

Ta infrastruktura umożliwia Perplexity przetwarzanie dziesiątek tysięcy operacji indeksowania na sekundę. Jednak nawet przy tak stosunkowo hojnym budżecie, skala internetu jest zbyt ogromna, aby często i regularnie indeksować każdy adres URL. Tutaj wkracza uczenie maszynowe. Trenujemy model ML, aby przewidzieć, czy dany kandydat na adres URL wymaga zaindeksowania. Cel treningowy jest tak sformułowany, aby zapewnić kalibrację decyzji o indeksowaniu zarówno pod kątem ważności, jak i prawdopodobnej częstotliwości aktualizacji konkretnego adresu URL. Polegamy również na ML, aby precyzyjnie wskazał, kiedy zaplanować operację indeksowania. W przypadku witryn z rutynowym harmonogramem publikacji i odświeżania, pozwala nam to odroczyć operacje do momentu, w którym prawdopodobnie będą najbardziej użyteczne. Dzięki ciągłemu doskonaleniu tych modeli ML jesteśmy w stanie utrzymać indeks, który spełnia wymagania zarówno pod względem kompletności, jak i świeżości.

Chociaż nasza infrastruktura przeszukująca łatwo skaluje się horyzontalnie, jesteśmy świadomi, że operatorzy witryn stoją przed różnymi ograniczeniami technicznymi. Dbamy o utrzymanie przewidywalnego i możliwego do zarządzania tempa zapytań do dowolnej domeny. PerplexityBot, nasz crawler wyszukiwania, przestrzega wyraźnych limitów określonych w plikach robots.txt lub, w przypadku braku limitów określonych przez domenę, standardowych norm branżowych dotyczących szybkości zapytań. Dostosowujemy również nasze zachowanie podczas przeszukiwania, gdy wykryjemy niedostępność witryny. Nasz rozproszony system jest tak zaprojektowany, aby egzekwować te limity nawet przy dziesiątkach tysięcy jednoczesnych operacji.

Samodoskonalące się rozumienie treści na skalę internetową

Nawet przy jednym z największych i najświeższych indeksów wyszukiwania na planecie, jakość wyników każdego zapytania zależy od tego, jak nasz system rozumie treść każdego dokumentu. Tutaj stajemy przed fundamentalnym wyzwaniem: sieć jest chaotycznym miejscem. Żaden stały zestaw reguł parsowania nie jest w stanie obsłużyć nieskończonej różnorodności układów, struktur i stylów spotykanych w całym internecie.

Rozwiązaliśmy to wyzwanie, opracowując moduł rozumienia treści, który analizuje strony internetowe i wyodrębnia semantycznie istotne treści za pomocą dynamicznych zestawów reguł. Witryna zawierająca dużo dobrze ustrukturyzowanych danych w formie list lub tabel może skorzystać z bardziej schematycznych reguł parsowania i ekstrakcji, podczas gdy inna witryna, zawierająca głównie treść generowaną przez użytkowników w formie dowolnej, może wymagać luźniejszego zestawu reguł. Ponieważ sieć jest w dużej mierze statyczna w krótkich odstępach czasu, stwierdzamy, że żywotność danej reguły jest stosunkowo długa. Jednak w miarę jak witryny ewoluują w czasie i w miarę jak dowiadujemy się więcej o najlepszych sposobach wyodrębniania informacji, nasze zestawy reguł również wymagają ciągłej pielęgnacji.

Aby ułatwić tę dynamiczną adaptację, zwracamy się (oczywiście) ku sztucznej inteligencji. Na skalę Perplexity obserwujemy niezwykle bogaty przekrój sieci w trakcie obsługi milionów zapytań użytkowników co godzinę. Stanowi to fundament iteracyjnej pętli samodoskonalenia. Obserwujemy zachowanie parsowania i wyodrębnione wyniki naszych obecnych zestawów reguł w całym naszym wszechświecie zapytań. Następnie używamy zaawansowanych modeli LLM do oceny wydajności w dwóch głównych wymiarach:

Kompletność: nasz indeks powinien otrzymywać jak najwięcej semantycznie istotnych treści, przy jednoczesnym unikaniu niepożądanej ekstrakcji nieinformatywnej lub bezsensownej materii.

Jakość: nasz indeks opiera się na treściach wysokiej jakości, zarówno pod względem substancji, jak i formy. Informacje powinny być przechwytywane w sposób, który zachowuje oryginalną strukturę i układ treści.

Należy zauważyć, że kompletność i jakość prezentują kolejne nieodłączne napięcie: ręczna optymalizacja pod kątem jakości jest możliwa, ale wynikowe reguły parsowania mogą nie uchwycić krytycznej treści. Podobnie moglibyśmy ręcznie zakodować permisywne reguły, które stosują minimalne filtrowanie do surowej treści, co mogłoby poprawić kompletność, ale kosztem jakości. Dlatego zwracamy się ku samodoskonaleniu napędzanemu przez AI, aby rozwijać nasze zestawy reguł w sposób, który może optymalizować oba te elementy jednocześnie, w sposób adaptacyjny dla domeny.

Konkretnie, po każdej ocenie wydajności parsowania opartej na modelu LLM, nasz system formułuje zestaw proponowanych zmian w zestawie reguł, aby zaadresować najistotniejsze klasy błędów. Zestawy te podlegają dalszej walidacji, po czym wdrażamy nową wersję do naszego indeksatora. Biorąc pod uwagę, że ulepszenia w logice parsowania i ekstrakcji mogą przynieść korzyści tylko przyszłym operacjom indeksowania, nasze inwestycje w reindeksowanie zoptymalizowane pod kątem ML są szczególnie ważne: ciągłe odświeżanie dokumentów o dużym ruchu przy użyciu najnowszej wersji tej logiki zapewnia ścisłą pętlę samodoskonalenia.

Reguły te mają znaczenie nie tylko dla podstawowej wydajności parsowania, ale także dla segmentacji na pod-jednostki dokumentów. Jeśli chodzi o zaawansowane modele LLM, każdy token kontekstu jest cenny. Wiele wcześniejszych prac udokumentowało, jak wydajność LLM pogarsza się wraz ze wzrostem rozmiaru kontekstu i zanieczyszczeniem kontekstu nieistotnymi informacjami. Posiadanie dobrze ustrukturyzowanego, kompleksowego parsowania pozwala nam rozkładać dokumenty na samodzielne fragmenty, z których każdy może być indywidualnie pobierany i oceniany w czasie zapytania.

Potok wyszukiwania i rankingu

Nowoczesne wyszukiwanie wymaga zapewnienia zarówno kompletności, jak i trafności przy zachowaniu ścisłego budżetu opóźnień. Potok wyszukiwania i rankingu Perplexity osiąga to dzięki wieloetapowej architekturze, która stopniowo udoskonala wyniki za pomocą serii coraz bardziej wyrafinowanych modułów. Rozwiązujemy potencjalne wąskie gardła poprzez horyzontalne skalowanie wszelkich punktów krytycznych w maksymalnym możliwym zakresie.

Potok rozpoczyna się od pobrania wyników z naszego indeksu. Nie wymuszamy wyboru między wyszukiwaniem leksykalnym a semantycznym. Zamiast tego odpytujemy indeks wyszukiwania przy użyciu obu modalności i łączymy wyniki w hybrydowy zestaw kandydatów. Na tym etapie priorytetem jest kompletność ponad precyzję - kolejne etapy potoku będą zoptymalizowane pod kątem precyzji.

Potok kontynuuje etapy wstępnego filtrowania, w których stosujemy podstawowe heurystyki i pierwsze filtry w celu usunięcia z zestawu kandydatów treści wyraźnie nieodpowiednich lub nieaktualnych.

Następnie stosujemy wiele etapów coraz bardziej zaawansowanego rankingu. Wcześniejsze etapy opierają się na punktacjach leksykalnych i opartych na osadzeniach (embeddings), zoptymalizowanych pod kątem szybkości. W miarę stopniowego zawężania zestawu kandydatów, używamy potężniejszych modeli rerankera typu cross-encoder do ostatecznego kształtowania zestawu wyników. Dzięki licznym inwestycjom w wydajność wnioskowania, jesteśmy w stanie wykorzystać najnowocześniejsze architektury modeli na tych późniejszych etapach, utrzymując ogólne opóźnienie rankingu na niskim poziomie.

W całym tym potoku pobieramy i oceniamy wyniki zarówno na poziomie dokumentu, jak i pod-dokumentów. Jak omówiono powyżej, AI wymaga starannej inżynierii kontekstu. Nasz potok został zaprojektowany tak, aby udostępniać modelowi jak najbardziej atomowe jednostki, aby odbiorcy końcowi mogli włączyć te precyzyjne jednostki bez pobierania nieistotnego kontekstu z innych miejsc w dokumentach źródłowych.

Zapewnienie wysokiej jakości na każdym etapie tego potoku jest możliwe tylko dzięki wspólnemu projektowaniu z portfolio produktów Perplexity. Każdy szczegół stosu rankingowego został zaprojektowany tak, aby wykorzystać bogaty sygnał wytwarzany przez miliony zapytań użytkowników, które obsługujemy każdego dnia. Zdecydowana większość tego sygnału jest zautomatyzowana, a każda wygenerowana odpowiedź Perplexity dostarcza empirycznego punktu danych dotyczącego jakości wyszukiwania, wykorzystywanego w żywym przepływie pracy agenta. Łączymy oceny oparte na sztucznej inteligencji z informacjami zwrotnymi od ludzi, aby wzbogacić dane treningowe dla naszych modeli osadzania i rankingu znacznie bardziej, niż może to zaoferować jakikolwiek ręcznie skonstruowany zestaw danych.

Ta synergia między wyszukiwaniem a produktem jest unikalna dla Perplexity. Starsze wyszukiwarki ograniczają się do surowego sygnału dostarczanego przez telemetrię niebieskich linków. Nowsze oferty wyszukiwania próbowały wdrożyć niektóre z tych koncepcji zorientowanych na AI, ale brakuje im rzeczywistych środowisk, które mogłyby zweryfikować jakość wyszukiwania i zapewnić bogactwo sygnału potrzebne do szybkich pętli poprawy. Mamy szczęście, że posiadamy brakujący składnik: żywy poligon doświadczalny dla jakości wyszukiwania, zasilany przez zaawansowane modele LLM i stale testowany w warunkach bojowych przez miliony ciekawskich użytkowników na całym świecie.

Ustanowienie nowej granicy jakości i wydajności

Po zbudowaniu Perplexity Search API i SDK, aby udostępnić naszą infrastrukturę wyszukiwania programistom na całym świecie, chcieliśmy zrozumieć, jak różne komercyjne oferty API sprawdzają się w rzeczywistych zastosowaniach AI. Stało się powszechne ocenianie samych modeli AI, ale potrzebowaliśmy zwrotu w tym wzorcu: oceny jakości interfejsów API wyszukiwania wywoływanych przez modele AI.

Najpierw zwróciliśmy się ku ekosystemowi open-source, aby zrozumieć dotychczasowe osiągnięcia. Znaleźliśmy wiele kluczowych składników do rygorystycznej oceny, ale żaden framework nie integrował tych składników w rozwiązanie typu plug-and-play do testów porównawczych. Dlatego postanowiliśmy opracować framework ewaluacyjny, który mógłby być używany nie tylko przez Perplexity, ale przez każdego badacza lub programistę starającego się porównać interfejsy API wyszukiwania.

Korzystając z tego frameworka ewaluacyjnego, rygorystycznie przetestowaliśmy Perplexity Search API wraz z innymi ofertami. Optymalizacja wydajności wyszukiwania jest złożona, z wieloma niuansowymi kompromisami między jakością a szybkością. Z korzyścią dla programistów odkryliśmy, że Perplexity Search API wyznacza nowy standard zarówno pod względem jakości, jak i opóźnień. Programiści nie muszą już wybierać między budowaniem błyskawicznie szybkich aplikacji a zapewnianiem wysokiej jakości wyników: dzięki Perplexity mogą mieć oba.

Powiększ

Projektowanie niezawodnych ewaluacji dla agentowych przepływów pracy wyszukiwania

Zaczęliśmy od zdefiniowania trzech przewodnich zasad dla naszego frameworka ewaluacyjnego:

Spektrum złożoności: framework ewaluacyjny powinien mierzyć wydajność zarówno w prostych, jak i złożonych przypadkach użycia agentów AI.

Neutralność: framework ewaluacyjny powinien oceniać wszystkie interfejsy API na równych zasadach.

Prostota: chociaż niektóre przypadki użycia mogą być złożone, sam framework powinien być tak prosty, jak to tylko możliwe, aby inni mogli go zrozumieć, powielić wyniki i rozszerzyć framework przy minimalnym wysiłku.

Nasz lekki framework ewaluacyjny, search_evals, osiąga te cele dzięki prostej, modułowej konstrukcji. Opracowaliśmy dwa systemy agentów AI, aby uchwycić zarówno klasyczne przypadki użycia wyszukiwania typu single-shot, jak i zaawansowane przepływy pracy agentów (przykładem są różne produkty typu „dogłębne badania” szeroko dostępne na rynku konsumenckim). Oba systemy zostały wdrożone w prosty sposób, który pozostawia niewiele miejsca na ukrytą przewagę.

Aby napędzać nasze ewaluacje, przyjęliśmy cztery testy porównawcze: SimpleQA i FRAMES dla wyszukiwania jednostopniowego, wraz z BrowseComp i HLE dla dogłębnych badań. Łącznie te benchmarki stanowią powszechnie akceptowane punkty odniesienia dla agentów wiedzy. Zgodnie z ustaloną konwencją, oceniamy wszystkie benchmarki, używając tej samej metodologii klasyfikatora z monitami, która została użyta w oryginalnej pracy. Precyzyjne implementacje benchmarków (w tym logikę oceniania) można przejrzeć w naszym repozytorium GitHub.

Zaprojektowaliśmy framework z myślą o powtarzalności i rozszerzalności. Zarówno wyniki na poziomie zadania, jak i bazowe wyniki działania agenta są przechowywane przy każdym uruchomieniu. Dodatkowe systemy, benchmarki i oferty API wyszukiwania można łatwo zintegrować. Naukowcy i programiści mogą przeczytać naszą dokumentację GitHub docs, aby uzyskać więcej informacji na temat rozszerzania frameworka w celu zaspokojenia swoich precyzyjnych potrzeb.

Wyniki ewaluacji

Wyposażeni w ten framework ewaluacyjny, przystąpiliśmy do oceny naszego Search API w porównaniu z innymi ofertami API. We wszystkich przetestowanych benchmarkach Perplexity wyróżnia się jako najszybszy i najwyższej jakości interfejs API na rynku.

Powiększ

Odkryliśmy, że nasze opisane powyżej inwestycje w wydajność indeksu, wyszukiwania i rankingu opłaciły się z nawiązką. Mediana opóźnienia Perplexity wynosi 358 ms, o ponad 150 ms wyprzedzając drugiego pod względem szybkości dostawcę. Opóźnienie na 95. percentylu utrzymuje się komfortowo poniżej 800 ms. Przy długich metrykach TTFT (czas do pierwszego tokena) dzisiejszych zaawansowanych modeli, każda milisekunda ma znaczenie w tworzeniu zachwycających doświadczeń użytkownika. Spędziliśmy ostatnie dwa lata na optymalizacji opóźnień dla naszych użytkowników i cieszymy się, że te same inwestycje przyniosą teraz korzyści również społeczności programistów.

Opóźnienie Search API

(żądania inicjowane z AWS us-east-1)

Percentyle opóźnienia Search API dla żądań inicjowanych z AWS us-east-1.

* Wielu dostawców API wyszukiwania wykorzystuje scraping SERP jako podstawę swoich wyników. Aby uchwycić wydajność takich podejść, używamy reprezentatywnego API opartego na Google SERP, oferowanego przez Tavily.

Ta przewaga prędkości nie odbywa się kosztem jakości. Perplexity Search API zapewnia najwyższą wydajność zarówno w wyszukiwaniu jednostopniowym, jak i w ustawieniach dogłębnych badań. W każdym przetestowanym benchmarku Perplexity przoduje w dostarczaniu wysokiej jakości wyników, które mogą zasilać przepływy pracy AI o różnym stopniu złożoności. Margines między Perplexity a najlepszą alternatywą jest szczególnie wyraźny w SimpleQA i HLE, co wskazuje, że wyniki te są odporne w całym spektrum złożoności zadań.

Powiększ

Podobnie jak w przypadku opóźnień, nasze przywództwo w jakości wyszukiwania wynika z naszego przywództwa w budowaniu zachwycających, wysoce uczęszczanych produktów AI. Miliony naszych użytkowników korzystają z Perplexity, aby zaspokoić swoją ciekawość w każdym możliwym temacie, a wynikające z tego sygnały jakości i trafności pozwalają naszym modelom wyszukiwania poprawiać się z każdą godziną.

Benchmarki jakości Search API

Wyniki jakości Search API w SimpleQA, FRAMES, BrowseComp i HLE.

Jesteśmy wciąż na wczesnym etapie wyszukiwarek natywnych dla AI, a sztuka i nauka pomiaru z pewnością będą ewoluować. Zapraszamy społeczność do wniesienia wkładu poprzez opracowywanie rygorystycznych i kreatywnych metod oceny wyszukiwarek w erze agentów AI.

Budulec dla następnego rozdziału AI

Przyszłość systemów agentowych i inteligentnych asystentów będzie zależeć od dostępności bogatych interfejsów programistycznych do zbiorowej wiedzy świata. Dzisiejsze starsze wyszukiwarki nasyciły swoje wykorzystanie na poziomie około 10¹⁰ zapytań dziennie, liczba ta prawdopodobnie osiągnęła swój szczyt. Następna generacja systemów wyszukiwania i odzyskiwania danych będzie obsługiwać o rzędy wielkości więcej żądań, ponieważ stale rosnący wszechświat agentów AI polega na nich w kwestii dokładnych informacji w czasie rzeczywistym.

Nasze dotychczasowe wysiłki ustawiły nas jako najszybszą, najbardziej wydajną wyszukiwarkę dostępną przez API. Ale jeszcze bardziej ambitne innowacje będą potrzebne, abyśmy mogli napędzać kolejny rozdział AI. Jak wydajnie skalować te systemy w obliczu ciągle rosnącego popytu? W jaki sposób te systemy wyszukiwania mogą być zoptymalizowane w świetle nowych podejść do inżynierii kontekstu i post-treningu? I jak nawigować między wszechobecnym napięciem między kompletnością, aktualnością a opóźnieniem? Są to otwarte pytania, z którymi Perplexity, dzięki naszej kombinacji śladu produktowego, skali i talentu technicznego, jest w wyjątkowej pozycji, aby się zmierzyć.

Cytowanie

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}