Paieškos API: geresnis išgavimas, dinaminiai vertinimai

Mūsų paieškos API ištraukų kokybė buvo optimizuota pagal du matmenis: svarbą ir dydį.

Rugsėjį paskelbėme techninę Perplexity paieškos API architekto apžvalgą ir išleidome „search_evals“ – mūsų atvirojo kodo vertinimo sistemą, skirtą paieškos API vertinimui agentų darbo eigos procesuose. Nuo tada didžiausios investicijos buvo skirtos ištraukų kokybei, kuri buvo optimizuojama pagal du matmenis: svarbą ir dydį. Tinkamo turinio grąžinimas tinkamu kiekiu tiesiogiai lemia atsakymų tikslumą ir prieigos taškų (token) efektyvumą. Tam pasiekti prireikė sukurti naujas išgavimo, intervalų lygmens žymėjimo ir vertinimo sistemas, iš kurių pastebiausia yra intervalų žymėjimo konvejeris, nustatantis, kurios pirminio dokumento dalys atitinka tam tikrą užklausą.

Ištraukų vertinimas intervalų lygmeniu

Siekdami sistemingai pagerinti ištraukas, sukūrėme naują vertinimo sistemą. Konkrečiai užklausai ir dokumentui sistema nustato ir pažymi dokumento intervalus pagal jų ryšį su užklausą: „gyvybiškai svarbūs“ intervalai, kurie turi būti įtraukti į ištrauką, įvairios „nesvarbių“ intervalų klasės, kurios turi būti pašalintos, dublikatai ir kitos kategorijos. Šis intervalų lygmens žymėjimas leidžia įvertinti ištraukų kokybę tokiu tikslumu, koks anksčiau nebuvo įmanomas, matuojant tiek tai, kas buvo teisingai įtraukta, tiek tai, kas buvo teisingai praleista.

Praktikoje šie patobulinimai leidžia generuoti mažesnes ištraukas, kurios yra labiau susijusios su užklausa. Mūsų save tobulinantis turinio supratimo konvejeris dabar apdoroja platesnį struktūrizuotų duomenų formatų spektrą, įskaitant lenteles, įdėtuosius sąrašus ir dinamiškai generuojamą turinį, kurio ankstesnės taisyklių rinkiniai negalėjo patikimai išanalizuoti.

Šie patobulinimai atsirado iš mūsų pačių gamybinių sistemų. Kadangi mūsų vidiniai tyrimai paskatino ištraukų svarbos ir dydžio gerinimą, vidiniai vertinimai atskleidė, kad mažesni turinio biudžetai po kokybės patobulinimų serijos iš tikrųjų pateikia tikslesnius rezultatus. Atlikome tam tikrus numatytųjų konfigūracijų pakeitimus, kad atspindėtume savo išvadas, sumažindami atsakymo duomenų dydį ir delsą bei pateikdami daugiau naudingo turinio vienam rezultatui. Kūrėjams mažesnės, labiau susijusios ištraukos tiesiogiai reiškia mažesnes prieigos taškų (token) sąnaudas ir geresnį konteksto valdymą tolesniems dideliems kalbos modeliams (LLM).

SEAL: laiko atžvilgiu jautrios paieškos vertinimas

SEAL vertinimo sistema tikrina, ar paieškos sistema gali atsakyti į klausimus, kurių teisingas atsakymas laikui bėgant keičiasi. Norint patikimai atsakyti, reikalingas realaus laiko rodyklės šviežumas, išmanesnis ištraukų išgavimas iš įvairių nuolat atnaujinamų duomenų šaltinių ir analizė, galinti nustatyti dabartinę vertę, o ne istorinę.

Kai paleidome „search_evals“ su vasario 22 d. SEAL leidiniu, naudodami „Claude Sonnet 4.5“, „Perplexity“ rezultatai pagerėjo, o kitų tiekėjų rezultatai „SEAL-Hard“ teste sumažėjo:

Išplėtėme savo „search_evals“ sistemą, įtraukdami SEAL kartu su vertinimais, apie kuriuos pranešėme rugsėjo mėnesio įraše. Atnaujintus rezultatus ir metodiką galite rasti atnaujintoje saugykloje „GitHub“ platformoje.

Kelių užklausų palaikymas

Dabar API vienoje užklausoje palaiko iki 5 užklausų. Rezultatai grąžinami sugrupuoti pagal užklausas ta pačia tvarka, kuria buvo pateikti. Tai sumažina užklausų apdorojimo ciklų skaičių programoms, kurioms reikia lygiagrečiai atlikti susijusias paieškas, pavyzdžiui, agentams, kurie padalija sudėtingą klausimą į kelias paieškos podabesias.

Išplėstinis filtravimas

Be domeno filtravimo (leidžiamų ir draudžiamų domenų sąrašai, iki 20 domenų) ir naujumo filtravimo, API dabar palaiko kalbos filtravimą pagal ISO 639-1 kodą ir regioninę paiešką pagal ISO šalies kodą. Juos galima sujungti, kad būtų galima tiksliai apibrėžti rezultatus, pavyzdžiui, apribojant rezultatus tik anglų kalba iš vokiškų domenų.

SDK ir pasiekiamumas

Python SDK (pip install perplexityai) dabar suteikia gimtąją paieškos API palaikymą kartu su agento API ir „Sonar“ API.

Visa dokumentacija pateikiama adresu docs.perplexity.ai