Search API: Millor extracció i referències dinàmiques

Al setembre, vam publicar una visió general tècnica de l'arquitectura de l'API de cerca de Perplexity i vam llançar search_evals, el nostre entorn de treball d'avaluació de codi obert per comparar APIs de cerca en fluxos de treball d'agents. Des d'aleshores, la inversió més important s'ha centrat en la qualitat dels fragments, optimitzada al llarg de dues dimensions: rellevància i mida. Retornar el contingut correcte en la quantitat correcta determina directament la precisió de la resposta posterior i l'eficiència dels tokens. La feina per aconseguir-ho va implicar la construcció de nous sistemes d'extracció, etiquetatge a nivell de fragment i avaluació, especialment un canal d'etiquetatge de fragments que identifica quins segments d'un document font responen a una consulta determinada.

Per millorar els fragments de manera sistemàtica, hem dissenyat un nou sistema d'avaluació. Per a una consulta i un document determinats, el sistema identifica i etiqueta fragments dins del document segons la seva relació amb la consulta: fragments "vitals" que s'han d'incloure al fragment, diverses classes de fragments "irrellevants" que s'haurien d'excloure, duplicats i altres categories. Aquest etiquetatge a nivell de fragment ens permet avaluar la qualitat dels fragments amb un nivell de precisió que abans no era possible, mesurant tant el que es va incloure correctament com el que es va ometre correctament.

A la pràctica, aquestes millores ens permeten generar fragments més petits que són més rellevants per a la consulta. El nostre canal de comprensió de continguts d'autoaprenentatge ara gestiona una gamma més àmplia de formats de dades estructurades, incloent-hi taules, llistes niades i contingut renderitzat dinàmicament que els conjunts de regles anteriors no podien analitzar de manera fiable.

Aquestes millores van sorgir dels nostres propis sistemes de producció. A mesura que la nostra recerca interna impulsava la rellevància i la dimensionament dels fragments, les avaluacions internes van revelar que pressupostos de contingut més petits produïen resultats més precisos després d'una sèrie de millores de qualitat. Hem fet algunes modificacions a les nostres configuracions predeterminades per reflectir les nostres troballes, reduint la mida de la càrrega útil de resposta i la latència alhora que oferim contingut més útil per resultat. Per als desenvolupadors, els fragments més petits i rellevants es tradueixen directament en costos de tokens més baixos i una millor gestió del context per als LLM posteriors.

El punt de referència SEAL comprova si un sistema de recuperació pot respondre preguntes la resposta correcta de les quals canvia amb el temps. Respondre de manera fiable requereix la frescuresa de l'índex en temps real, una extracció de fragments més intel·ligent de diverses fonts de dades actualitzades contínuament i una anàlisi sintàctica que pugui identificar el valor actual en lloc d'un de històric.

Quan vam executar search_evals contra la versió SEAL del 22 de febrer utilitzant Claude Sonnet 4.5, les puntuacions de Perplexity van augmentar mentre que altres proveïdors van baixar a SEAL-Hard:

Hem ampliat el nostre entorn de treball search_evals per incloure SEAL juntament amb els punts de referència reportats a la nostra publicació de setembre. Els resultats actualitzats i la metodologia estan disponibles al repositori actualitzat a GitHub.

L'API ara admet fins a 5 consultes en una sola sol·licitud. Els resultats es retornen agrupats per consulta en el mateix ordre en què es van enviar. Això redueix els viatges d'anada i tornada per a les aplicacions que necessiten emetre cerques relacionades en paral·lel, com ara els agents que descomponen una pregunta complexa en múltiples subtasques de recuperació.

A més del filtratge de domini (llista blanca i llista negra, fins a 20 dominis) i el filtratge de recència, l'API ara admet el filtratge d'idiomes per codi ISO 639-1 i la cerca regional per codi de país ISO. Aquests es poden combinar per acotar amb precisió els resultats, per exemple, restringint-los a resultats en anglès de dominis alemanys.

El Python SDK (pip install perplexityai) ara ofereix suport natiu per a Search API juntament amb Agent API i Sonar API.

La documentació completa es troba a docs.perplexity.ai

Avaluació de fragments a nivell de fragment

SEAL: comparació de recuperació sensible al factor temps

Suport de consultes múltiples

Filtratge ampliat

SDK i disponibilitat