Að hanna og meta gervigreindarmiðað leitar-API
Að smíða sveigjanlegt leitar-API sem sinnir 200 milljónum fyrirspurna á dag með tvinni og samhengishönnun fyrir gervigreindarlíkön
Að smíða sveigjanlegt leitar-API sem miðar að gervigreind kynnir til sögunnar einstakar rannsóknarutkorpur á mótum upplýsingaleitar, gervigreindar og kerfishönnunar. Ólíkt hefðbundnum þjónustuþáttum sem starfa á afmörkuðum gögnum þarf leitar-API að skrá milljarða skjala í sífellu, skilja fyrirætlanir fyrirspurna á milli tungumála og sviða, og skila viðeigandi niðurstöðum á örfáum millisekúndum. Í heimi gervigreindarmiðlara þarf leitar-API einnig að velja vandlega úr samhengið sem veitt er líkönum hívinnsluforritara til að tryggja að þau líkön standi sig sem best og innihaldi sem nákvæmastar upplýsingar. Skilvirk samhengishönnun krefst þess að API-ið taki ekki aðeins til sín viðeigandi gögn á skjalastigi, heldur meðhöndli einstaka hluta og svið skjala sem sjálfstæðar grunneiningar.
Í þessari grein kynnum við hönnun og mat á Perplexity leitar-API. Fyrst könnum við arkitektúrinn og lykilákvarðanir í tæknimálum á bak við framleiðslutengda leitaraðstöðu okkar sem vinnur úr 200 milljónum fyrirspurna á dag. Arkitektúr okkar sameinar tvinnleitarbúnað, röðunarkerfi í mörgum þrepum, dreifða skráningu og dýnamíska þáttun í gegnum sjálfbætandi einingu til að skilja efni.
Við lýsum því næst nálgun okkar við að meta árangur leitar-API með hagnýtum hætti með nýju opnu matsumhverfi. Með yfirgripsmiklum samanburði við núverandi viðskiptaleg API sýnum við fram á afburðaárangur í bæði gæðum og seinkun. Perplexity leitar-API er aðgengilegt fyrir forritara um allan heim frá og með deginum í dag.
[Finndu search_evals á GitHub]
Að smíða leitarkerfi sem er fínstillt fyrir gervigreindarlíkön
Allt frá stofnun okkar gerðum við sér grein fyrir því að öflugir leitarmöguleikar yrðu mikilvægir til að gera okkur kleift að gefa út þær flokksmótandi gervigreindarvörur sem okkur langaði til. Upphaflega vonuðum viðst að þessir möguleikar væru þegar til staðar á opinberu formi. Við gerðum tilraunir með safn leitar-API sem var í boði seint á árri 2022 og fyrsta útgáfa af svörunarvél Perplexity innihélt í raun nokkrar af þessum lausnum. Nánar tiltekið greindum við fyrirspurnir notenda, útbuggum og sendum beiðnir í þessi API og söfnuðum niðurstöðunum sem samhengi fyrir síðari kynslóðarleiðslu okkar.
Hins vegar, þar sem notendur streymdu að Perplexity, gerðum við okkur fljótt grein fyrir því að þessi API myndu ekki skila þeim skalanleika sem þyrfti til að fylgja vexti okkar. Verðin sem við rákumst á voru úr hófi fram, þar sem einn helsti veitandi API innheimti 200 dollara á þúsund fyrirspurnir. En enn hrikalegra var að þessi eldri API voru einfaldament ekki hönnuð fyrir nýju endurheimtaraðferðirnar sem kynntar voru til sögunnar af fremstu gervigreindarkerfum.
Til að byrja með voru beiðni- og svarsnið þessara eldri API hönnuð fyrir heim þar sem menn væru einu notendurnir af leitarniðurstöðum. Fyrir vikið settu þessi API niðurstöður á skjalastigi í öndvegi, að undanskildum nákvæmari upplýsingum sem komu í ljós með undirskjaleiningum. Árangur gervigreindarlíkans veltur á gæðum og samþjöppun þess samhengis sem veitt er, og við sáum af eigin raun hvernig of víðtæk endurheimt gátur eyðilagt gervigreindarlíkön, óháð því hversu mikilvæg skjalfestu gögnin í heild sinni virtust vera. Tilraunir okkar til að troða nákvæmni inn í ónákvæmar niðurstöður skiluðu takmörkuðum árangri.
Við tókum einnig eftir því að eldri API voru annað hvort of úrelt eða of hæg. Sjálfstætt þróuð leit-API treystu á vísitölur sem voru ófullkomnar og uppfærðar of sjaldan. Skrapbætt API, svo sem hin ýmsu óopinberu SERP API fyrir Google Search, höfðu gagn af yfirgripsmeiri vísitölu en buðu upp á óásættanlega mikla seinkun vegna óskilvirkni sem fylgir því að senda fyrirspurn í leitarkerfi þriðja aðila. Mikil seinkun gerði API óhentug fyrir notendamiðuð forrit, en úrelding gerði niðurstöðusöfnin ónothæf fyrir öll gervigreindarkerfi sem vonuðust til að vera nákvæm og áreiðanleg.
Að lokum fylgdumst við með því að gervigreindarvistkerfið skiptist í tvennt á milli orðaleitar og merkingaleitar, þar sem kerfi urðu til sem voru of fínstillt fyrir einn hátt fram yfir annan. Við sáum uppgang vektorgagnagrunna sem gátu ekki stutt einu sinni einfaldar rökfræðilegar síur með fullnægjandi hætti. Hefðbundnir leitargrunnar stóðu sig ekki mikið betur, með frumstæðum stuðningi við merkingarlega röðun og endurheimtarmöguleika sem gervigreind opnaði á.
Þegar við gerðum okkur grein fyrir því að til að gera Perplexity enn betri þyrfti að byggja upp okkar eigin sértæku leitaraðstöðu, drógum við athuganir okkar saman í þrjú meginviðmið:
Heilleiki, ferskleiki og hraði: leitvísitalan verður að vera yfirgripsmikil, stöðugt uppfærð og hönnuð fyrir rauntímaseinkun.
Fínkornaður efniskilningur: stökkleiki gervigreindarlíkana og takmörkuð samhengisgluggar krefjast þess að leitarniðurstöður séu kynntar og raðað á sem fínasta stigi.
Tvinningendurheimt og röðun: bæði endurheimtar- og röðunarleiðslurnar verða að samþætta orðfræðileg og merkingarfræðileg merki til að niðurstöðurnar nýtist gervigreind.
Vefskráningar- og vísitöluaðstaða
Að starfa á mælikvarða Perplexity krefst innviða sem geta kortlagt vefinn í heild sinni og brugðist við stöðugri þróun hans. Leitarvísitala okkar rekur yfir 200 milljarða einstakra vefslóða, með afkastagetu til að fylgjast með mörgum hundruðum milljarða til viðbótar.
Það er erfitt verk að tryggja að vísitala okkar nái yfir nægilega yfirgripsmikinn hluta internetsins og að hvert skjal endurspegli nýjasta ástandið. Það er til staðar innbyggð spenna á milli heilleika og ferskleika: fyrir fast fjármagn til vísitölugerðar verða endurnýjunaraðgerðir fyrir fyrirliggjandi síður að keppa við vísitölugerðaraðgerðir fyrir nýjar ósóttar síður. Við náum jafnvægi á þessari spennu með blöndu af mælikvarðabreytingu (sem slakar á fínstillingarþvinguninni með því að auka vísitölufjárveitinguna) og forgangsröðun sem knúin er áfram af vélnámi (sem tryggir að hver vísitöluaðgerð sé sem verðmætust fyrir vísitöluna í heild sinni).
Við höfum byggt upp vísitölu og vafraáhöld á exabætta mælikvarða sem stækka lárétt með bæði stærð og fyrirspurnamagni. Vafra- og vísitöluhlutar Perplexity samanstanda sameiginlega af tugum þúsunda örgjörva og hundruðum terabæyta af vinnsluminni, með töluverðu svigrúmi til frekari stækkunar. Við samþættum þessa tölvuinnviði með jafnvægi á milli köldu og hlýju geymsluplássi. Við notum bæði lærð líkön og stillt leitarhegðun til að ákvarða hvaða skjöl eigi að halda heitum, þar sem forgangsraðað er skjölum frá valdsmiklum lénsþjónum, skjölum sem varða vanefnd efni og öðrum flokkum með gríðarlegan möguleika til að auðga vísitölu okkar.
Þessi innviður gerir Perplexity kleift aðvinna úr tugum þúsunda vísitöluaðgerða á sekúndu. En jafnvel með þessu tiltölulega örlátum fjármagni er mælikvarði internetsins alltént of víðfeðmur til að skrá hverja einustu vefslóð með tíðum og endurteknum hætti. Þar kemur vélnámið til sögunnar. Við þjálfum vélrænni líkan til að spá fyrir um hvort gefin umsækjandi vefslóð þurfi að vera skráð. Þjálfunarmarkmiðið er smíðað til að tryggja að við stillum vísitöluákvörðun okkar að bæði mikilvægi og líklegri uppfærslutíðni tiltekinnar vefslóðar. Við treystum einnig á vélnám til að segja okkur nákvæmlega hvenær eigi að tímasetja vísitöluaðgerðina. Fyrir síður með venjubundna útgáfu- og endurnýjunartakta gerir þetta okkur kleift að fresta aðgerðum þar til þær eru líklegastar til að nýtast best. Með stöðugri endurbót á þessum vélrænni líkönum getum við viðhaldið vísitölu sem stendst kröfur um bæði heilleika og ferskleika.
Þó að vafrainnviðir okkar stækki auðveldlega lárétt, erum við meðvituð um að vefsvæðastjórar standa frammi fyrir mismunandi tæknilegum þvingunum. Við gætum þess að viðhalda fyrirsjáanlegum og stjórnanlegum fjölda beiðna til hvaða léns sem er. PerplexityBot, leitvafri okkar, fer eftir skýrum takmörkunum sem settar eru fram í robots.txt skrám, eða ef engar takmarkanir eru tilgreindar á léni, stöðlum í iðnaði varðandi beiðnitíðni. Við stillum einnig vafrahegðun okkar þegar við finnum fyrir ótiltækum vefsvæðum. Dreifkerfi okkar er hannað til að framfylgja þessum takmörkunum jafnvel yfir tugi þúsunda samtímis aðgerða.
Sjálfbætandi efniskilningur á internetsmælikvarða
Jafnvel með eina stærstu og ferskustu leitvísitölu á plánetunni veltur niðurstöðugæði hverrar fyrirspurnar á skilningi kerfis okkar á efni hvers skjals. Hér stöndum við frammi fyrir grundvallaráskorun: vefurinn er sóðalegur staður. Ekkert fast sett af þáttunarreglum getur ráðið við óendanlegt úrval af uppsetningum, byggingum og stílum sem finnast um allt internetið.
Við leystum þessa áskorun með því að þróa efniskilningseiningu sem þáttar vefsíður og dregur út merkingarlega þýðingarmikið efni með dýnamískum reglusettum. Vefsíða sem er þung af vel skipulögðum gögnum á lista- eða töfluformi gæti haft gagn af formfastari þáttunar- og útdráttarreglum, á meðan önnur vefsíða sem einkum inniheldur ókeypis notendaskapað efni gæti þurft lausara reglusett. Vegna þess að vefurinn er að mestu leyti kyrrstæður yfir stutt tímabil finnum við að líftími tiltekinnar reglu er tiltölulega langur. En þegar vefsvæði þróast með tímanum og þegar við lærum meira um bestu leiðirnar til að draga út upplýsingar, þurfa reglusettin okkar einnig stöðugrar umhirðu.
Til að auðvelda þessa dýnamísku aðlögun snúum við okkur (auðvitað) að gervigreind. Á mælikvarða Perplexity fylgjumst við með ótrúlega ríkulegum þversniði af vefnum við að þjónusta milljónir fyrirspurna notenda á klukkustundu. Þetta myndar grunninn að endurtekningu á sjálfbætingarferli. Við fylgjumst með þáttunarhegðun og útdregnum úttökum núverandi reglusetta okkar þvert á fyrirspurnasvið okkar. Við notum síðan fremstu stór tungumálalíkön (LLM) til að meta áframmistöðu yfir tvær meginvíddir:
Heilleiki: vísitala okkar ætti að taka við eins miklu merkingarlega þýðingarmiklu efni og mögulegt er, á meðan komið er í veg fyrir óþarfa útdrátt á upplýsingalítlu eða fjarstæðukenndu efni.
Gæði: vísitala okkar treystir á efni sem er hágæða í bæði efni og formi. Upplýsingum ætti að vera safnað saman á þann hátt að upprunaleg uppsetning og útlit efnisins varðveitist.
Taktu eftir því að heilleiki og gæði kynna aðra innbyggða spennu: það er hægt að fínstilla gæði handvirkt, en þær þáttunarreglur sem fást gætu mistekist að ná utan um mikilvægt efni. Að sama skapi gætum við handskrifað leyfilegar reglur sem beita lágmarks síun á hráefnið, sem gæti bætt heilleikann en á kostnað gæða. Þess vegna snúum við okkur að sjálfbætingu knúinni áfram af gervigreind til að þróa reglusettið okkar á þann hátt sem getur fínstillt fyrir hvort tveggja í einu á lénsaðlögunarhæfan hátt.
Nánar tiltekið, eftir hverju mati á þáttunarframmistöðu sem stýrt er af LLM, útbýr kerfi okkar sett af tillögum að breytingum á reglusetti til að takast á við stærstu villuflokkana. Þessi reglusett gangast undir frekari staðfestingu, í kjölfar þess sem við innleiðum nýju útgáfuna í vísitöluna okkar. Þar sem endurbætur á þáttunar- og útdráttarrökfræði geta einungis nýst framtíðarvísitöluaðgerðum eru fjárfestingar okkar í vélnámsfínstilltri endurvísitölugerð sérstaklega mikilvægar: að endurnýja stöðugt skjöl með mikla umferð með því að nota nýjustu útgáfu þessarar rökfræði tryggir þétt sjálfbætingarferli.
Þessar reglur skipta ekki aðeins máli fyrir grunnþáttunarframmistöðu heldur einnig fyrir skiptingu í undirskjaleiningar. Þegar kemur að fremstu LLM er hver táknmynd samhengis dýrmæt. Mikill fjöldi fyrri verkefna hefur skráð hvernig afköst LLM versna með aukningu á samhengisstærð og mengun samhengis af óviðkomandi upplýsingum. Að hafa vel skipulagða, yfirgripsmikla þáttun gerir okkur kleift að brytja skjöl niður í sjálfbær svið, sem hver um sig er hægt að endurheimta og raða stakri á fyrirspurnartíma.
Endurheimtar- og röðunarleiðsla
Nútímaleg leit krefst þess að tryggja bæði heilleika og mikilvægi undir þröngum seinkunarfjárhagsáætlun. Endurheimtar- og röðunarleiðsla Perplexity nær þessu í gegnum fjölþrepa arkitektúr sem fínstillir niðurstöður skref fyrir skref með röð af sífellt þróaðri einingum. Við leysum hugsanlega flöskuhálsar með því að stækka hvers kyns flöskuhálsar lárétt að því marki sem mest má verða.
Leiðslan hefst á endurheimt úr vísitölu okkar. Við neyðum engan til að velja á milli orðaleitar og merkingarleitar. Frekar sendum við fyrirspurn í leitvísitöluna í gegnum báða máta og sameinum niðurstöðurnar í tvinnumtakaúrval. Á þessu stigi er forgangsatriðið yfirgripssemi umfram nákvæmni - síðari þrep leiðslunnar munu fínstilla fyrir nákvæmni.
Leiðslan heldur áfram með forsíunarþrepum, þar sem við beitum undirstöðuleitarhegðun og fyrstu síum til að fjarlægja augljóslega óviðkomandi eða úrelt efni úr umsækjendasettinu.
Við notum síðan margvísleg þrep af sífellt þróaðri röðun. Fyrri þrep treysta á orðfræðileg og innfellingartengd stigatæki sem eru fínstillt fyrir hraða. Þegar umsækjendasettið er smám saman þrengt notum við síðan öflugri þverkóðara raðara líkön til að framkvæma lokamótun niðurstöðusafnsins. Þökk sé hinum mörgu fjárfestingum okkar í afköstum ályktunar getum við nýtt okkur nýjustu líkanaarkitektúr fyrir þessi síðari þrep á meðan heildarseinkun röðunar er haldið lágri.
Í gegnum þessa leiðslu endurheimtum við og gefum einkunn fyrir niðurstöður á bæði skjala- og undirskjalastigi. Eins og rætt er um hér að ofan krefst gervigreind vandaðrar samhengishönnunar. Leiðsla okkar er hönnuð til að draga fram sem stakastar einingar fyrir líkanið, þannig að síðari notendur geti samþætt þær nákvæmu einingar án þess að draga inn óviðkomandi samhengi annars staðar frá í upprunaskjölunum.
Að tryggja hágæði í gegnum hvert þrep þessarar leiðslu er eingöngu mögulegt með samönnun við vörusafn Perplexity. Hvert smáatriði í röðunarstaflanum er hannað til að nýta ríkuleg merki sem framleidd eru af milljónum notendabeiðna sem við þjónustum á hverri klukkustundu dagsins. Langflest þessara merkja eru sjálfvirk, þar sem hvert myndað Perplexity svar veitir hagnýtan gagnapunkt um leitargæði eins og þau eru notuð í lifandi gervigreindarverkflæði. Við sameinum gervigreindarmiðuð mat með lifandi viðbrögðum manna til að auðga þjálfunargögnin fyrir innfellingar- og röðunarlíkön okkar langt umfram það sem nokkru handvirkt smíðuðu gagnasetti er kleift að bjóða upp á.
Þessi samvirkni á milli leitar og vöru er einber fyrir Perplexity. Eldri leitavélar takmarkast við gróf merki sem fást frá bláum krkjumælingum. Nýrri leitartilboð hafa reynt að útfæra sumar af þessum gervigreindarmiðuðu hugmyndum, en þau skortir raunheim umhverfi sem geta staðfest leitargæði og veitt þá ríkulegu merki sem þarf fyrir hraðar endurbótaferla. Við erum heppin að hafa þann þátt sem vantar: lifandi prófunarvöll fyrir leitargæði, knúinn áfram af fremstu LLM og stöðugt bardagaprófaður af milljónumur forvitinna notenda um allan heim.
Að koma á nýjum mörgum fyrir gæði og afköst
Eftir að hafa byggt Perplexity Search API og SDK til að gera leitaraðstöðu okkar aðgengilega fyrir forritara um allan heim, langaði okkur til að skilja hvernig hin ýmsu viðskiptalegu API-tilboð stóðu sig í raunverulegum gervigreindartilvikum. Það er orðið algengt að meta gervigreindarlíkön sjálf, en við þurftum snúning á þessu mynstri: að meta gæði leitaraðgerða þegar þær eru kallaðar fram af gervigreindarlíkönum.
Við leituðum fyrst til opna vistkerfisins til að skilja fyrri verk. Við fundum marga af lykilþáttum fyrir stranga mat, en ekkert umhverfi sem samþætti þessa þætti í mátunartilbúna lausn fyrir viðmiðunarmælingar. Við lögðum því upp með að þróa matsumhverfi sem gæti verið notað ekki aðeins af Perplexity, heldur af hvaða rannsakanda eða forritara sem leitar eftir því að miða leitaraðgerðir.
Með þessu matsumhverfi bárum við Perplexity Search API saman við aðrar lausnir með ströngum hætti. Fínstilling leitarárangurs er flókin, með mörgum blæbrigðafyllstum málamiðlunum á milli gæða og hraða. Í sigri fyrir forritara komust við að því að Perplexity Search API setur nýjan staðal fyrir bæði gæði og seinkun. Forritarar þurfa ekki lengur að velja á milli þess að byggja eldhröð forrit og tryggja hágæði niðurstaðna: með Perplexity geta þeir fengið hvort tveggja.
Að hanna áreiðanlegt mat fyrir gervigreindarverkflæði
Við byrjuðum á því að skilgreina þrjár leiðbeinandi reglur fyrir matsumhverfi okkar:
Róðir flókins: matsumhverfið ætti að mæla afköst í bæði einföldum og flóknum gervigreindartilvikum.
Hlutleysi: matsumhverfið ætti að meta öll API á jafnréttisgrundvelli.
Einfaldleiki: þó að ákveðin tilvik gætu verið flókin, ætti umhverfið sjálft að vera eins einfalt og mögulegt er svo að aðrir geti skilið það, endurskapað niðurstöðurnar og útvíkkað umhverfið með lágmarks leiðindum.
Léttur matsumhverfi okkar, search_evals, nær þessum markmiðum með einfaldri mátuðum hönnun. Við þróuðum tvö gervigreindarmiðlaraharness til að ná utan um bæði klassísk leitatilvik með einni tilraun og háþróað gervigreindarverkflæði (sem lýst er með ýmsum „ítarlegum rannsóknum“ vörum sem eru víða fáanlegar á neytendamarkaði). Bæði harness voru útfærð á einfaldan hátt sem skilur eftir lítið svigrúm fyrir faldar forskot.
Til að keyra mat okkar tókum við upp fjögur viðmið: SimpleQA og FRAMES fyrir einstök leitsskref, ásamt BrowseComp og HLE fyrir ítarleg rannsókn. Saman veita þessi viðmið vel viðurkennda mælikvarða fyrir þekkingarmiðlara. Í samræmi við fastsettar venjur gefum við öllum viðmiðum einkunn með sömu flokkunaraðferðinni sem notuð var í upprunalegu verki. Nákvæmar viðmiðunarútfærslur (þ.á.m. einkunnaverktækni) má skoða í GitHub-geymslu okkar.
Við hönnuðum umhverfið með endurskapanleika og útvíkkun í huga. Bæði stig á verkefnastigi og undirliggjandi gervigreindarútgáfur eru geymd með hverri keyrslu. Hægt er að samþætta frekari harness, viðmið og leitaraðgerðir auðveldlega. Rannsakendur og forritarar geta lesið GitHub skjölin okkar til að fá frekari upplýsingar um hvernig á að útvíkka umhverfið til að bregðast við þínum nákvæmu þörfum.
Matsniðurstöður
Vopnaðir þessu matsumhverfi lögðum við upp með að meta Search API okkar í samanburði við önnur API-tilboð. Yfir allar prófaðar viðmiðanir stendur Perplexity sem bæði fljótasta og hágæða API á markaðnum.
Við komumst að því að fjárfestingar okkar sem lýst er hér að ofan í vísitölu, endurheimt og röðunarvirkni skiluðu sér ríkulega. Miðgildi seinkunartíma Perplexity er 358ms, yfir 150ms á undan næstfljótasta veitunni. Seinkun á 95. prósentuhóp heldur sér þægilega undir 800ms. Með löngum TTFT-mælingum (tími að fyrsta tákni) á núverandi fremstu líkönum skiptir hver millisekúnda máli við að skapa skemmtilega notendaupplifun. Við höfum eytt síðustu tveimur árum í að fínstilla seinkun fyrir okkar eigin notendur, og við erum ánægð með að sömu fjárfestingar muni nú nýtast forritarasamfélaginu líka.
Seinkun leitar-API
(beiðnir hafnar frá AWS us-east-1)
p50 | p75 | p90 | p95 | |
Perplexity | 358ms | 443ms | 604ms | 763ms |
Exa | 1375ms | 1499ms | 1798ms | 2188ms |
Brave | 513ms | 637ms | 728ms | 808ms |
SERP-byggt* | 1342ms | 1586ms | 1743ms | 1790ms |
Leit API-töfðaprósentur fyrir beiðnir sem hafnar eru frá AWS us-east-1.
* Margir leitaraðilar nota SERP-skrap sem grundvöll fyrir niðurstöður sínar. Til að ná fram afköstum slíkra nálgana notum við dæmigerða Google SERP-byggða API sem Tavily býður upp á.
Þessi hraðaforskot kemur ekki á kostnað gæða. Perplexity Search API skilar afburðaárangri í bæði eins skrefs leit og ítarlegum rannsóknarstillingum. Á hverri prófaðri viðmiðun leiðir Perplexity flokkinn í að veita hágæða niðurstöður sem geta knúið gervigreindarverkflæði af mismunandi flóknu tagi. Munurinn á Perplexity og besta valkostinum er sérstaklega áberandi á SimpleQA og HLE, sem gefur til kynna að þessar niðurstöður séu traustar þvert á litróf verkefnaflækju.
Eins og með seinkun stafar forysta okkar í leitargæðum af forystu okkar í að byggja upp skemmtilegar, háumferðar gervigreindarvörur. Milljónir notenda okkar nota Perplexity til að fullnægja forvitni sinni um öll hugsanleg efni, og þau gæða- og mikilvægismerki sem fást leyfa leitarlíkönum okkar að batna með hverri klukkustundinni sem líður.
Gæðaviðmið leitaraðgerða
Eins skrefs leit | Ítarleg rannsókn | |||
SimpleQA | FRAMES | BrowseComp | HLE | |
Perplexity | .930 | .453 | .371 | .288 |
Exa | .781 | .399 | .265 | .242 |
Brave | .822 | .320 | .221 | .191 |
SERP-byggt* | .890 | .437 | .348 | .248 |
Leit API-gæðaeinkunnir á SimpleQA, FRAMES, BrowseComp og HLE.
Við erum enn á frumdögum gervigreindarmiðaðra leitvéla, og list og vísindi mælinga mun án efa þróast. Við bjóðum samfélaginu að leggja sitt af mörkum með því að þróa strangar og skapandi aðferðir til að meta leitvélar á tímum gervigreindarmiðlara.
Byggingareiningin fyrir næsta kafla gervigreindar
Framtíð gervigreindarkerfa og greindra aðstoðarmanna mun velta á framboði á ríkulegum forritunarviðmótum inn í sameiginlega þekkingu heimsins. Núverandi eldri leitavélar hafa náð hámarki í notkun við um það bil 10¹⁰ fyrirspurnir á dag, tala sem hefur líklega náð hámarki. Næsta kynslóð leitar- og endurheimtukerfa mun þjónusta margfalt fleiri beiðnir, þar sem sífellt stækkandi alheimur gervigreindarmiðlara treystir á þær fyrir nákvæmar rauntímaupplýsingar.
Viðleitni okkar hingað til hefur staðsett okkur sem fljótustu, afkastamestu leitvél sem er aðgengileg í gegnum API. En enn metnaðarfyllri nýsköpunar verður þörf til að við getum knúið næsta kafla gervigreindar. Hvernig skölum við þessi kerfi á skilvirkan hátt frammi fyrir sívaxandi eftirspurn? Hvernig er hægt að fínstilla þessi leitarkerfi í ljósi nýrra nálgana við samhengishönnun og eftirþjálfun? Og hvernig siglum við í gegnum sífellda spennu á milli heilleika, nýlegra gilda og seinkunar? Þetta eru opnar spurningar sem Perplexity, með blöndu okkar af vöruslóð, mælikvarða og tæknilegu hæfileikaefni, er í einstakri stöðu til að takast á við.
Tilvitnun
@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
title = {{Architecting and evaluating an AI-first Search API}},
date = {2025-09-25},
url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}