Search API: labāka ekstrakcija, dinamiski testi

Septembrī mēs publicējām tehnisku pārskatu par Perplexity Search API arhitektūru un laidām klajā search_evals — mūsu atvērtā pirmkoda novērtēšanas ietvaru meklēšanas API salīdzināšanai aģenta darbplūsmās. Kopš tā laika nozīmīgākie ieguldījumi ir veikti fragmentu kvalitātē, kas ir optimizēta divos virzienos: atbilstība un apjoms. Pareizā satura atgriešana pareizajā apjomā tieši nosaka turpmāko atbilžu precizitāti un tokenu efektivitāti. Darbs, lai to sasniegtu, ietvēra jaunu sistēmu izveidi ekstrakcijai, fragmentu līmeņa marķēšanai un novērtēšanai, jo īpaši fragmentu marķēšanas konveijeru, kas nosaka, kuri avota dokumenta segmenti atbilst konkrētam vaicājumam.

Fragmentu novērtēšana fragmentu līmenī

Lai sistemātiski uzlabotu fragmentus, mēs izstrādājām jaunu novērtēšanas sistēmu. Konkrētam vaicājumam un dokumentam sistēma identificē un marķē fragmentus dokumentā pēc to attiecības pret vaicājumu: "vitāli" fragmenti, kuriem jābūt iekļautiem fragmentā, dažādas "neattiecīgu" fragmentu klases, kurām jābūt izslēgtām, dublikāti un citas kategorijas. Šī fragmentu līmeņa marķēšana ļauj mums novērtēt fragmentu kvalitāti ar tādu precizitāti, kāda agrāk nebija iespējama, mērot gan to, kas tika pareizi iekļauts, gan to, kas tika pareizi izslēgts.

Praksē šie uzlabojumi ļauj mums ģenerēt mazākus fragmentus, kas ir vairāk saistīti ar vaicājumu. Mūsu pašuzlabojošais satura izpratnes konveijers tagad apstrādā plašāku strukturēto datu formātu klasi, tostarp tabulas, ligzdotus sarakstus un dinamiski renderētu saturu, ko agrākie noteikumu kopumi nespēja ticami parsēt.

Šie uzlabojumi radās no mūsu pašu ražošanas sistēmām. Tā kā mūsu iekšējie pētījumi virzīja uz priekšu fragmentu atbilstību un lielumu, iekšējie novērtējumi atklāja, ka mazāki satura budžeti pēc virknes kvalitātes uzlabojumu faktiski nodrošina precīzākus rezultātus. Mēs veicām dažas izmaiņas noklusējuma konfigurācijās, lai atspoguļotu mūsu atklājumus, samazinot atbildes datu kopas lielumu un latentumu, vienlaikus nodrošinot vairāk noderīga satura uz vienu rezultātu. Izstrādātājiem mazāki, atbilstošāki fragmenti tieši nozīmē zemākas tokenu izmaksas un labāku konteksta pārvaldību pakārtotajiem LLM.

SEAL: laika ziņā jutīgas izguves salīdzinošā testēšana

SEAL salīdzinošais tests pārbauda, vai izguves sistēma var atbildēt uz jautājumiem, kuru pareizā atbilde laika gaitā mainās. Uzticamai atbildēšanai ir nepieciešams reāllaika indeksa svaigums, gudrāka fragmentu ekstrakcija no dažādiem nepārtraukti atjauninātiem datu avotiem un parsēšana, kas var identificēt pašreizējo vērtību, nevis vēsturisko.

Kad mēs palaidām search_evals pret 22. februāra SEAL laidienu, izmantojot Claude Sonnet 4.5, Perplexity rādītāji palielinājās, savukārt citi nodrošinātāji samazinājās SEAL-Hard:

Izvērst

Mēs esam paplašinājuši savu search_evals ietvaru, iekļaujot SEAL kopā ar salīdzinošajiem testiem, par kuriem ziņots mūsu septembra ierakstā. Atjauninātie rezultāti un metodoloģija ir pieejami atjauninātajā repozitorijā vietnē GitHub.

Vairāku vaicājumu atbalsts

API tagad atbalsta līdz pat 5 vaicājumiem vienā pieprasījumā. Rezultāti tiek atgriezti grupēti pa vaicājumiem tādā pašā secībā, kādā tie tika iesniegti. Tas samazina reisu skaitu lietojumprogrammām, kurām nepieciešams paralēli izdot saistītus meklējumus, piemēram, aģentiem, kas sadala sarežģītu jautājumu vairākās izguves apakšapakšuzdevumos.

Paplašināta filtrēšana

Papildus domēna filtrēšanai (atļauto un liegto saraksts, līdz 20 domēniem) un jaunuma filtrēšanai API tagad atbalsta valodas filtrēšanu pēc ISO 639-1 koda un reģionālo meklēšanu pēc ISO valsts koda. Tos var apvienot, lai precīzi ierobežotu rezultātus, piemēram, ierobežojot tos ar angļu valodas rezultātiem no Vācijas domēniem.

SDK un pieejamība

Python SDK (pip install perplexityai) tagad nodrošina vietējo atbalstu Search API kopā ar Agent API un Sonar API.

Pilna dokumentācija atrodas docs.perplexity.ai