Tehisintellektile esmatähtsa otsingu-API arhitektuur ja hindamine

Skaleeritava tehisintellektile orienteeritud otsingu-API loomine esitab ainulaadseid uurimisprobleeme, mis asuvad teabeotsingu, tehisintellekti ja süsteemidisaini ristumiskohas. Erinevalt traditsioonilistest teenustest, mis töötlevad piiratud andmeid, peab otsingu-API pidevalt indekseerima miljardeid dokumente, mõistma päringu kavatsust eri keeltest ja domeenidest ning tooma asjakohased tulemused esile millisekundite jooksul. Tehisintellekti agentide maailmas peab otsingu-API hoolikalt kureerima ka arendajate mudelitele antavat konteksti, tagamaks, et need mudelid töötavad optimaalselt ja kaasavad võimalikult täpset teavet. Tõhus kontekstitehnööria nõuab, et API ei kajastaks ainult dokumendi tasemel asjakohasust, vaid käsitleks dokumentide üksikuid jaotisi ja lõike esmatähtsate ühikutena.

Selles artiklis esitleme Perplexity Search API disaini ja hindamist. Kõigepealt uurime arhitektuuri ja peamisi tehnilisi otsuseid meie tootmistasemel otsinguinfrastruktuuri taga, mis töötleb 200 miljonit päringut päevas. Meie arhitektuur ühendab hübriidotsingu mehhanismid, mitmeetapilised järjestustorud, hajutatud indekseerimise ja dünaamilise parsimise iseõppiva sisu mõistmise mooduli kaudu.

Seejärel kirjeldame oma lähenemist otsingu-API jõudluse empiirilisele hindamisele uue avatud lähtekoodiga hindamisraamistiku abil. Põhjalike võrdlustestide kaudu koos olemasolevate kommerts-API-dega demonstreerime tipptasemel jõudlust nii kvaliteedi kui ka latentsuse osas. Perplexity Search API on arendajatele üle maailma saadaval alates Tänasest.

[Leia search_evals GitHubist]

Tehisintellekti mudelite jaoks optimeeritud otsingusüsteemi ehitamine

Alates oma asutamisest mõistsime, et tugevad otsinguvõimalused on kriitilise tähtsusega, et võimaldada luua kategooriat defineerivaid tehisintellekti tooteid, mida soovisime turule tuua. Algselt lootsime, et need võimalused on avalikult saadaval juba olemas. Katsetasime 2022. aasta lõpus saadaolevate otsingu-API-de portfelliga ja Perplexity vastusemootori kõige esimene versioon kasutas tegelikult mõnda neist lahendustest. Täpsemalt analüüsisime kasutajate päringuid, koostasime ja saatsime taotlused nendele API-dele ning kogusime tulemused kontekstina oma allavoolu genereerimistoru jaoks.

Kuna aga kasutajad valgusid Perplexitysse, mõistsime kiiresti, et need API-d ei skaleeru koos meie kasvuga. Meie ette tulnud hinnad olid üüratud – üks juhtiv API pakkuja küsis 200 dollarit tuhande päringu eest. Mis veelgi hullem, need pärand-API-d polnud lihtsalt loodud uute otsinguparadigmade jaoks, mida piiripealsed tehisintellektisüsteemid tutvustasid.

Suurenda

Alustuseks olid nende pärand-API-de päringu- ja vastusevormingud loodud maailma jaoks, kus inimesed oleksid otsingutulemuste eksklusiivsed tarbijad. Seetõttu seadsid need API-d esikohale dokumenditaseme tulemused, jättes tähelepanuta alamdokumendi üksuste kaudu avalduva peenema teabe. Tehisintellekti mudeli edukus sõltub esitatud konteksti kvaliteedist ja kompaktsusest ning me nägime oma silmaga, kuidas liiga lai otsing võib tehisintellekti mudelid rööbastelt maha lüüa, olenemata sellest, kui asjakohased otsitud dokumendid tervikuna tunduda võivad. Meie katsetel suruda ebatäpsetele tulemustele peale täpsust oli piiratud edu.

Samuti märkasime, et pärand-API-d olid kas liiga aegunud või liiga aeglased. Iseseisvalt välja töötatud otsingu-API-d toetusid indeksitele, mis olid puudulikud ja liiga harva värskendatud. Veebikraapimisel põhinevad API-d, nagu Google'i otsingu erinevad mitteametlikud SERP API-d, said kasu põhjalikumast indeksist, kuid pakkusid vastuvõetamatult suurt latentsust kolmanda osapoole otsingumootorile päringu tegemisest tuleneva olemusliku ebatõhususe tõttu. Suur latentsus tegi API-d kasutajale suunatud rakenduste jaoks sobimatuks, samas kui aegunud olemus muutis tulemuste kogumid kasutuskõlbmatuks iga tehisintellektisüsteemi jaoks, mis lootis olla täpne ja usaldusväärne.

Lõpuks märkasime, kuidas tehisintellekti ökosüsteem jagunes leksikaalse ja semantilise otsingu vahel ning esile kerkisid süsteemid, mis olid ühe modaalsuse kasuks üleoptimeeritud. Nägime vektorandmebaaside esiletõusu, mis ei suutnud adekvaatselt toetada isegi lihtsaid tõeväärtusfiltreid (boolean filters). Traditsioonilised otsingu taustsüsteemid ei toiminud palju paremini, pakkudes primitiivset tuge tehisintellekti avatud semantilise järjestamise ja otsingu võimalustele.

Kui saime aru, et Perplexity veelgi paremaks muutmine nõuab meie enda spetsiaalse otsinguinfrastruktuuri ülesehitamist, võtsime oma tähelepanekud kokku kolmeks peamiseks kriteeriumiks:

Täielikkus, värskus ja kiirus: otsinguindeks peab olema kõikehõlmav, pidevalt uuendatav ja loodud reaalajas latentsuse jaoks.

Sisu peeneteraline mõistmine: tehisintellekti mudeli rabedus ja piiratud kontekstiaknad nõuavad, et otsingutulemused esitataks ja järjestataks võimalikult detailsel tasemel.

Hübriidne otsing ja järjestamine: nii otsingu- kui ka järjestamistorud peavad tulemuste tehisintellekti jaoks kasulikuks muutmiseks sisaldama leksikaalseid ja semantilisi signaale.

Suurenda

Veebikraapimise ja indekseerimise infrastruktuur

Perplexity skaalal tegutsemine nõuab infrastruktuuri, mis suudab veebi põhjalikult kaardistada ja reageerida selle pidevale arengule. Meie otsinguindeks jälgib üle 200 miljardi unikaalse URL-i ning sellel on võimekus jälgida veel mitusada miljardit.

Tagamine, et meie indeks katab piisavalt laia osa internetist ja et iga dokument peegeldab viimast seisu, on keeruline saavutus. Täielikkuse ja värskuse vahel valitseb olemuslik pinge: fikseeritud indekseerimise eelarve puhul peavad olemasolevate lehtede värskendustoimingud konkureerima uute külastamata lehtede indekseerimistoimingutega. Tasakaalustame seda pinget skaleerimise (mis leevendab optimeerimispiirangut, suurendades indekseerimise eelarvet) ja masinõppel põhineva prioriseerimise kombinatsiooniga (mis tagab, et iga indekseerimistoiming on indeksi kui terviku jaoks maksimaalselt väärtuslik).

Oleme ehitanud eksabaidi skaalas indeksi ja veebikraapimise aparaadi, mis skaleerub horisontaalselt nii mahu kui ka päringute arvuga. Perplexity veebikraapimise ja indekseerimise parved koosnevad kokku kümnest tuhandest protsessorist (CPU) ja sadadest terabaitidest muutmälust (RAM), jättes märkimisväärse varu edasiseks skaleerimiseks. Me ühendame selle arvutusinfrastruktuuri külma ja sooja salvestusruumi tasakaaluga. Kasutame nii õpitud mudeleid kui ka häälestatud heuristikat, et määrata, milliseid dokumente tuleks hoida kuumana, seades esikohale autoriteetsete domeenide dokumendid, ebapiisavalt kajastatud teemasid käsitlevad dokumendid ja muud kategooriad, millel on ülemõõtmeline potentsiaal meie indeksit rikastada.

See infrastruktuur võimaldab Perplexityl töödelda kümneid tuhandeid indekseerimistoiminguid sekundis. Kuid isegi selle suhteliselt suuremeelse eelarve juures on interneti mastaap liiga tohutu, et iga üksikut URL-i sagedaselt ja korduvalt indekseerida. Siin tulebki mängu masinõpe. Treenime masinõppe mudelit, et ennustada, kas mõnda antud URL-i kandidaati on vaja indekseerida. Treeningu eesmärk on loodud tagama, et kalibreerime oma indekseerimisotsuse nii konkreetse URL-i olulisuse kui ka tõenäolise värskendussageduse järgi. Samuti tugineme masinõppele, et öelda täpselt, millal indekseerimistoiming planeerida. Saitide puhul, millel on rutiinsed avaldamis- ja värskendustsüklid, võimaldab see lükata toimingud edasi ajapunkti, mil need on tõenäoliselt kõige kasulikumad. Nende masinõppemudelite pideva täiustamise kaudu suudame säilitada indeksi, mis vastab nõuetele nii täielikkuse kui ka värskuse osas.

Kuigi meie veebikraapimise infrastruktuur skaleerub horisontaalselt lihtsalt, oleme teadlikud, et veebisaitide haldajad seisavad silmitsi erinevate tehniliste piirangutega. Hoolitseme selle eest, et säilitada prognoositav ja hallatav päringute määr igale konkreetsele domeenile. PerplexityBot, meie otsingu veebikraapija, järgib selgesõnalisi piiranguid, mis on sätestatud robots.txt failides, või domeenipõhiste piirangute puudumisel tööstusharu standardseid norme päringumäärade kohta. Kohandame oma veebikraapimise käitumist ka siis, kui tuvastame saidi kättesaamatuse. Meie hajutatud süsteem on üles ehitatud nii, et neid piiranguid jõustatakse isegi kümnete tuhandete samaaegsete toimingute korral.

Iseõppiv sisu mõistmine interneti skaalal

Isegi ühe planeedi suurima ja värskeima otsinguindeksiga sõltub iga päringu tulemuse kvaliteet meie süsteemi arusaamast iga dokumendi sisust. Siin seisame silmitsi põhilise väljakutsega: veeb on segane koht. Ükski fikseeritud parsimisreeglite komplekt ei suuda toime tulla paigutuste, struktuuride ja stiilide lõputu mitmekesisusega, mida leidub kogu internetis.

Lahendasime selle väljakutse, töötades välja sisu mõistmise mooduli, mis parsib veebisaite ja eraldab semantiliselt tähendusrikast sisu dünaamiliste reegistikute abil. Hästi struktureeritud andmetega loendi- või tabelivormingus veebisait võib saada kasu valemipärasematest parsimise ja eraldamise reeglitest, samas kui teine veebisait, mis sisaldab peamiselt vabas vormis kasutaja loodud sisu, võib vajada vabamat reegistikku. Kuna veeb on lühikese aja jooksul enamasti staatiline, leiame, et antud reegli eluea pikkus on suhteliselt pikk. Kuid saitide arenedes aja jooksul ja teabe eraldamise parimate viiside õppimisel vajavad meie reegistikud samuti pidevat korrastamist.

Selle dünaamilise kohandumise hõlbustamiseks pöördume (loomulikult) tehisintellekti poole. Perplexity skaalal täheldame miljonite kasutajapäringute teenindamisel tunnis veebi uskumatult rikkalikku ristlõiget. See moodustab aluse iteratiivsele iseõppimise tsüklile. Jälgime oma praeguste reegistikute parsimiskäitumist ja eraldatud väljundeid meie päringute universumis. Seejärel kasutame tipptasemel keelemudeleid (LLM-e), et hinnata jõudlust kahes peamises dimensioonis:

Täielikkus: meie indeks peaks saama võimalikult palju semantiliselt tähendusrikast sisu, vältides samal ajal informatsioonitu või absurdse materjali ebaolulist eraldamist.

Kvaliteet: meie indeks tugineb sisule, mis on kvaliteetne nii sisult kui ka vormilt. Teave tuleks hõivata viisil, mis säilitab algse sisu struktuuri ja paigutuse.

Pange tähele, et täielikkus ja kvaliteet loovad veel ühe olemusliku pinge: kvaliteedi käsitsi optimeerimine on võimalik, kuid sellest tulenevad parsimisreeglid ei pruugi kriitilist sisu hõlmata. Samamoodi võiksime käsitsi koodida lubavaid reegleid, mis rakendavad toorsisule minimaalset filtreerimist, mis võib parandada täielikkust, kuid kvaliteedi arvelt. Seetõttu pöördume tehisintellektil põhineva iseõppimise poole, et arendada oma reegistikku viisil, mis suudab domeeniga kohanduval viisil optimeerida mõlemat korraga.

Konkreetselt – pärast iga keelemudelil põhinevat parsimisjõudluse hindamist koostab meie süsteem kavandatud reeglistiku muudatuste komplekti, et tegeleda kõige olulisemate veaklassidega. Need reegistikud läbivad edasise valideerimise, mille järel juurutame uue versiooni oma indekseerijasse. Arvestades, et parsimise ja eraldamise loogika täiustused saavad kasuks tulla ainult tulevastele indekseerimistoimingutele, on meie investeeringud masinõppega optimeeritud ümberindekseerimisse eriti olulised: suure liiklusega dokumentide pidev värskendamine selle loogika uusimat versiooni kasutades tagab tiheda iseõppimise tsükli.

Need reeglid on olulised mitte ainult baastaseme parsimisjõudluse jaoks, vaid ka alamdokumendi üksusteks segmenteerimiseks. Mis puudutab tipptasemel keelemudeleid (LLM-e), siis iga konteksti tunne on väärtuslik. Suur hulk varasemat tööd on dokumenteerinud, kuidas keelemudeli jõudlus halveneb koos konteksti suuruse suurenemisega ja konteksti reostumisega ebaolulise teabega. Hästi struktureeritud ja põhjalik parsimine võimaldab meil lagundada dokumendid eraldiseisvateks lõikudeks, millest igaühte saab päringu tegemise ajal eraldi otsida ja järjestada.

Otsingu- ja järjestamistoru

Kaasaegne otsing nõuab nii täielikkuse kui ka asjakohasuse tagamist range latentsuse eelarve piires. Perplexity otsingu- ja järjestamistoru saavutab selle mitmeetapilise arhitektuuri kaudu, mis täpsustab tulemusi järk-järgult üha keerukamate moodulite seeriaga. Lahendame võimalikud pudelikaelad, skaleerides kõik võimalikud kitsaskohad horisontaalselt maksimaalsel võimalikul määral.

Toru algab otsinguga meie indeksist. Me ei sunni valikut leksikaalse ja semantilise otsingu vahel. Pigem teeme otsinguindeksile päringu mõlema modaalsuse kaudu ja ühendame tulemused hübriidseks kandidaatide hulgaks. Selles etapis on prioriteet põhjalikkusel täpsuse ees – toru järgmised etapid optimeerivad täpsuse.

Toru jätkub eelfiltreerimise etappidega, milles rakendame põhiheuristikat ja esimese ringi filtreid, et eemaldada kandidaatide hulgast selgelt mittereageeriv või aegunud sisu.

Seejärel kasutame mitut astmeliselt arenenud järjestamise etappi. Varasemad etapid toetuvad kiirusele optimeeritud leksikaalsetele ja manustamispõhistele hindajatele. Kuna kandidaatide hulk väheneb järk-järgult, kasutame tulemuste hulgu lõplikuks vormimiseks võimsamaid ristkodeerija (cross-encoder) ümberjärjestamise mudeleid. Tänu arvukatele investeeringutele järelduse jõudlusesse saame nende hilisemate etappide jaoks ära kasutada tipptasemel mudeliarhitektuure, hoides samal ajal üldise järjestamise latentsuse madalal.

Kogu selle toru vältis me otsime ja hindame tulemusi nii dokumendi kui ka alamdokumendi tasemel. Nagu eelpool arutatud, nõuab tehisintellekt hoolikat kontekstitehnööriat. Meie toru on loodud selleks, et tuua mudelini võimalikult Aatomilised üksused, nii et allavoolu tarbijad saaksid neid täpseid üksusi lisada ilma lähtedokumentide mujalt pärit ebaolulist konteksti sisse tõmbamata.

Kõrge kvaliteedi tagamine selle toru igas etapis on võimalik ainult koostöös Perplexity toodete portfelliga. Järjestamisstahvi iga detail on loodud selleks, et kasutada ära rikkalikku signaali, mida toodavad miljonid kasutajapäringud, mida teenindame igal päeva tunnil. Valdav enamik sellest signaalist on automatiseeritud, kusjuures iga genereeritud Perplexity vastus pakub empiirilise andmepunkti otsingukvaliteedi kohta, mida kasutatakse elavas agendistlikus töövoos. Ühendame tehisintellektil põhinevad hindamised reaalajas inimeste tagasisidega, et rikastada meie manustamis- ja järjestamismudelite treeningandmeid palju rohkem, kui ükski käsitsi loodud andmestik pakkuda suudab.

See sünergia otsingu ja toote vahel on Perplexityle omane. Pärand-otsingumootorid piirduvad sinise lingi telemeetria pakutava jämeda signaaliga. Uuemad otsingupakkumised on püüdnud rakendada mõningaid neist tehisintellektile orienteeritud kontseptsioonidest, kuid neil puuduvad reaalse maailma keskkonnad, mis suudavad otsingukvaliteeti valideerida ja pakkuda kiireteks täiustustsükliteks vajalikku signaali rikkust. Meil on õnn omada puuduvat koostisosa: reaalajas katsepolügoni otsingukvaliteedi jaoks, mida toidavad tipptasemel keelemudelid (LLM-id) ja mida testivad pidevalt miljonid uudishimulikud kasutajad üle maailma.

Uue piiri kehtestamine kvaliteedile ja jõudlusele

Pärast Perplexity Search API ja SDK loomist, et teha meie otsinguinfrastruktuur kättesaadavaks arendajatele üle maailma, soovisime mõista, kuidas erinevad kommerts-API pakkumised reaalsete tehisintellekti kasutusjuhtude puhul mõõtu annavad. Tehisintellekti mudelite endi hindamine on muutunud tavapäraseks, kuid vajasime sellele mustrile vimkat: hinnata otsingu-API-de kvaliteeti, kui tehisintellekti mudelid neid kutsuvad.

Vaatasime esmalt avatud lähtekoodiga ökosüsteemi poole, et mõista varasemat kogemust. Leidsime ranged hindamise jaoks palju peamisi koostisosi, kuid mitte ühtegi raamistikku, mis integreeriks need koostisosad kasutusvalmis võrdlustesti lahenduseks. Seetõttu asusime välja töötama hindamisraamistikku, mida saaks kasutada mitte ainult Perplexity, vaid iga teadlane või arendaja, kes soovib otsingu-API-de võrdlusteste teha.

Selle hindamisraamistiku abil tegime Perplexity Search API-le koos teiste pakkumistega ranged võrdlustestid. Otsingu jõudluse optimeerimine on keeruline, kvaliteedi ja kiiruse vahel on palju nüansirikkaid kompromisse. Arendajate võiduna leidsime, et Perplexity Search API seab uue tipptaseme nii kvaliteedi kui ka latentsuse osas. Arendajad ei pea enam valima ülikiirete rakenduste ehitamise ja kvaliteetsete tulemuste tagamise vahel: Perplexityga saavad nad mõlemad.

Suurenda

Usaldusväärsete hindamiste kujundamine agentiliste otsinguvoogude jaoks

Alustasime oma hindamisraamistiku jaoks kolme juhtpõhimõtte määratlemisest:

Keerukuse spekter: hindamisraamistik peaks mõõtma jõudlust nii lihtsate kui ka keerukate agentiliste tehisintellekti kasutusjuhtude puhul.

Neutraalsus: hindamisraamistik peaks hindama kõiki API-sid võrdsetel alustel.

Lihtsus: kuigi teatud kasutusjuhtud võivad olla keerulised, peaks raamistik ise olema võimalikult lihtne, et teised saaksid sellest aru, tulemusi reprodutseerida ja raamistikku minimaalse vaevaga laiendada.

Meie kergekaaluline hindamisraamistik search_evals saavutab need eesmärgid lihtsa modulaarse disaini kaudu. Arendasime kaks tehisintellekti agendi rakendust, et hõlmata nii klassikalisi ühekordseid otsingu kasutusjuhtumeid kui ka täiustatud agentilisi töövooge (mida ilmestavad erinevad tarbijaturul laialdaselt saadaval olevad põhjaliku uuringu tooted). Mõlemad rakendused viidi ellu lihtsal viisil, mis jätab vähe ruumi varjatud eeliste jaoks.

Oma hindamiste läbiviimiseks võtsime kasutusele neli võrdlustesti: SimpleQA ja FRAMES üheastmelise otsingu jaoks ning BrowseComp ja HLE põhjaliku uuringu jaoks. Kokku pakuvad need võrdlustestid teadmistepõhiste agentide jaoks hästi aktsepteeritud mõõdupuid. Järgides vakiinunud tava, hindame kõiki võrdlusteste sama vihjega klassifikaatori metoodikat kasutades, mida kasutati originaaltöös. Täpseid võrdlustesti rakendusi (sh hindaja loogikat) saab vaadata meie GitHubi repos.

Kujundasime raamistiku reprodutseeritavust ja laiendatavust silmas pidades. Iga käivitamisega salvestatakse nii ülesande taseme skoorid kui ka aluseks olevad agendi väljundid. Täiendavaid rakendusi, võrdlusteste ja otsingu-API pakkumisi saab hõlpsasti integreerida. Teadlased ja arendajad saavad lugeda meie GitHubi dokumentatsiooni, et saada lisateavet raamistiku laiendamise kohta teie täpsete vajaduste rahuldamiseks.

Hindamistulemused

Selle hindamisraamistikuga relvastatuna asusime hindama oma Search API-t võrdluses teiste API pakkumistega. Kõigi testitud võrdlustestide lõikes on Perplexity turul nii kiireim kui ka kõrgeima kvaliteediga API.

Suurenda

Leidsime, et meie ülaltoodud investeeringud indeksi, otsingu ja järjestamise tõhususse tasusid end kuhjaga ära. Perplexity mediaanlatentsus on 358 ms, mis on üle 150 ms ees suuruselt teisest kiireimast pakkujast. 95. protsentiili latentsus püsib mugavalt alla 800 ms. Arvestades tänapäevaste tipptasemel mudelite pika TTFT (esimese žetooni saamise aja) mõõdikuid, loeb meeldivate kasutajakogemuste loomisel iga millisekund. Oleme viimased kaks aastat kulutanud oma kasutajate latentsuse optimeerimisele ja meil on hea meel, et samad investeeringud tulevad nüüd kasuks ka arendajate kogukonnale.

Otsingu-API latentsus

(päringud algatatud AWS us-east-1 kaudu)

AWS us-east-1-st algatatud päringute puhul Search API latentsuse protsentiilid.

* Paljud otsingu-API müüjad kasutavad oma tulemuste alusena SERP-i kraapimist. Selliste lähenemisviiside jõudluse jäädvustamiseks kasutame Tavily pakutavat esinduslikku Google'i SERP-põhist API-t.

See kiiruse eelis ei tule kvaliteedi arvelt. Perplexity Search API annab tipptasemel jõudluse nii üheastmelise otsingu kui ka põhjaliku uuringu seadetes. Igal testitud võrdlustestil on Perplexity liider kõrge kvaliteediga tulemuste pakkumisel, mis suudavad toita erineva keerukusega tehisintellekti töövooge. Perplexity ja parima alternatiivi vaheline erinevus on eriti ilmne SimpleQA ja HLE puhul, mis näitab, et need tulemused on tugevad kogu ülesande keerukuse spektri ulatuses.

Suurenda

Nagu latentsuse puhulgi, tuleneb meie juhtpositsioon otsingukvaliteedis meie juhtpositsioonist meeldivate, suure liiklusega tehisintellekti toodete ehitamisel. Meie miljonid kasutajad kasutavad Perplexityt oma uudishimu rahuldamiseks igal mõeldaval teemal ning tulemuseks olevad kvaliteedi- ja asjakohasussignaalid võimaldavad meie otsingumudelitel iga mööduva tunniga paraneda.

Otsingu-API kvaliteedi võrdlustestid

Search API kvaliteediskoorid SimpleQA-s, FRAMES-is, BrowseCompis ja HLE-s.

Oleme tehisintellekti-omaste otsingumootorite alguspäevil ning mõõtmise kunst ja teadus arenevad kahtlemata edasi. Kutsume kogukonda üles andma oma panust, töötades välja rangeid ja loomingulisi meetodeid otsingumootorite hindamiseks tehisintellekti agentide ajastul.

Tehisintellekti järgmise peatüki ehituskivi

Agentiliste süsteemide ja intelligentsete assistentide tulevik sõltub rikaste programmeeritavate liideste kättesaadavusest maailma kollektiivsetesse teadmistesse. Tänased pärand-otsingumootorid on saavutanud kasutusmahuna ligikaudu 10¹⁰ päringut päevas – näitaja, mis on tõenäoliselt tipu saavutanud. Otsingu- ja otsingusüsteemide järgmine põlvkond teenindab suurusjärgu võrra rohkem päringuid, kuna üha kasvav tehisintellekti agentide universum tugineb neile täpse reaalajas teabe saamiseks.

Meie senised pingutused on positsioneerinud meid API kaudu juurdepääsetava kiireima ja parima jõudlusega otsingumootorina. Kuid tehisintellekti järgmise peatüki kütusega varustamiseks läheb vaja veelgi ambitsioonikamat innovatsiooni. Kuidas neid süsteeme üha kasvava nõudluse tingimustes tõhusalt skaleerida? Kuidas saaks neid otsingusüsteeme optimeerida kontekstitehnööria ja treeningjärgsete uudsete lähenemiste valguses? Ja kuidas me navigeerime täielikkuse, värskuse ja latentsuse vahelises igaveses pinges? Need on lahtised küsimused, mille lahendamiseks on Perplexity oma tootejalajälje, skaala ja tehnilise talendi kombinatsiooniga ainulaadses positsioonis.

Tsitaat

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}