Search API: Extracție mai bună, benchmark-uri dinamice

Calitatea fragmentelor Search API a fost optimizată pe două dimensiuni: relevanță și dimensiune.

În septembrie, am publicat o prezentare generală tehnică a arhitecturii Perplexity Search API și am lansat search_evals, cadrul nostru de evaluare open-source pentru benchmarking-ul API-urilor de căutare în flux de lucru agentice. De atunci, cea mai semnificativă investiție a fost în calitatea fragmentelor, optimizată pe două dimensiuni: relevanță și dimensiune. Returnarea conținutului potrivit în cantitatea potrivită determină direct precizia răspunsului din aval și eficiența tokenurilor. Munca pentru a ajunge acolo a presupus construirea unor sisteme noi pentru extracție, etichetare la nivel de interval și evaluare, cel mai remarcabil fiind un flux de etichetare a intervalelor care identifică ce segmente dintr-un document sursă sunt relevante pentru o anumită interogare.

Evaluarea fragmentelor la nivel de interval

Pentru a îmbunătăți fragmentele în mod sistematic, am proiectat un nou sistem de evaluare. Pentru o interogare și un document date, sistemul identifică și etichetează intervalele din cadrul documentului în funcție de relația lor cu interogarea: intervale „vitale” care trebuie incluse în fragment, diverse clase de intervale „irelevante” care ar trebui excluse, duplicate și alte categorii. Această etichetare la nivel de interval ne permite să evaluăm calitatea fragmentelor cu un nivel de precizie care nu era posibil anterior, măsurând atât ceea ce a fost inclus corect, cât și ceea ce a fost omis corect.

În practică, aceste îmbunătățiri ne permit să generăm fragmente mai mici, care sunt mai relevante pentru interogare. Fluxul nostru de înțelegere a conținutului cu auto-îmbunătățire gestionează acum o gamă mai largă de formate de date structurate, inclusiv tabele, liste imbricate și conținut rândat dinamic pe care seturile de reguli anterioare nu reușeau să le analizeze în mod fiabil.

Aceste îmbunătățiri au apărut din propriile noastre sisteme de producție. Pe măsură ce cercetarea noastră internă a impulsionat relevanța și dimensiunea fragmentelor, evaluările interne au arătat că bugetele de conținut mai mici au produs de fapt rezultate mai precise după o serie de îmbunătățiri ale calității. Am făcut câteva modificări la configurațiile noastre implicite pentru a reflecta descoperirile noastre, reducând dimensiunea payload-ului de răspuns și latența, oferind în același timp conținut mai util per rezultat. Pentru dezvoltatori, fragmentele mai mici și mai relevante se traduc direct în costuri mai mici ale tokenurilor și o mai bună gestionare a contextului pentru LLM-urile din aval.

SEAL: evaluarea regăsirii sensibile la timp

Benchmark-ul SEAL testează dacă un sistem de regăsire poate răspunde la întrebări ale căror răspunsuri corecte se schimbă în timp. Răspunsul fiabil necesită prospețimea indexului în timp real, o extracție mai inteligentă a fragmentelor din diverse surse de date actualizate continuu și o analiză sintactică care poate identifica valoarea curentă mai degrabă decât una istorică.

Când am rulat search_evals împotriva lansării SEAL din 22 februarie folosind Claude Sonnet 4.5, scorurile Perplexity au crescut în timp ce alți furnizori au scăzut pe SEAL-Hard:

Am extins cadrul nostru search_evals pentru a include SEAL alături de benchmark-urile raportate în postarea noastră din septembrie. Rezultatele actualizate și metodologia sunt disponibile în repository-ul actualizat de pe GitHub.

Suport pentru interogări multiple

API-ul acceptă acum până la 5 interogări într-o singură cerere. Rezultatele sunt returnate grupate per interogare în aceeași ordine în care au fost trimise. Acest lucru reduce numărul de tur-retururi pentru aplicațiile care trebuie să emită căutări conexe în paralel, cum ar fi agenții care descompun o întrebare complexă în mai multe sub-sarcini de regăsire.

Filtrare extinsă

Pe lângă filtrarea pe domenii (listă albă și listă neagră, de până la 20 de domenii) și filtrarea după recență, API-ul acceptă acum filtrarea limbii după codul ISO 639-1 și căutarea regională după codul de țară ISO. Acestea pot fi combinate pentru a delimita rezultatele cu precizie, de exemplu, restricționând la rezultatele în limba engleză din domenii germane.

SDK și disponibilitate

Python SDK (pip install perplexityai) oferă acum suport nativ pentru Search API alături de Agent API și Sonar API.

Documentația completă se află la docs.perplexity.ai