Search API: Betere extractie, dynamische benchmarks

In september hebben we een technisch overzicht gepubliceerd van de Perplexity Search API-architectuur en search_evals uitgebracht, ons open-source evaluatiekader voor het benchmarken van zoek-API's in agentische workflows. Sindsdien is de meest aanzienlijke investering gedaan in de kwaliteit van snippets, geoptimaliseerd langs twee dimensies: relevantie en omvang. Het retourneren van de juiste inhoud in de juiste hoeveelheid bepaalt direct de nauwkeurigheid van het antwoord en de token-efficiëntie. Het werk om dit te bereiken omvatte het bouwen van nieuwe systemen voor extractie, labeling op segmentniveau en evaluatie, met name een pipeline voor segment-labeling die identificeert welke delen van een brondocument responsief zijn op een gegeven query.

Om snippets systematisch te verbeteren, hebben we een nieuw evaluatiesysteem ontwikkeld. Voor een gegeven query en document identificeert en labelt het systeem segmenten binnen het document op basis van hun relatie tot de query: "essentiële" segmenten die in de snippet moeten worden opgenomen, verschillende klassen van "irrelevante" segmenten die moeten worden uitgesloten, duplicaten en andere categorieën. Deze labeling op segmentniveau stelt ons in staat om de snippet-kwaliteit te evalueren met een mate van precisie die voorheen niet mogelijk was, waarbij zowel wordt gemeten wat correct is opgenomen als wat correct is weggelaten.

In de praktijk stellen deze verbeteringen ons in staat om kleinere snippets te genereren die relevanter zijn voor de query. Onze zelfverbeterende pipeline voor inhoudsbegrip verwerkt nu een breder scala aan gestructureerde gegevensformaten, waaronder tabellen, geneste lijsten en dynamisch weergegeven inhoud die eerdere regelsets niet betrouwbaar konden ontleden.

Deze verbeteringen kwamen voort uit onze eigen productiesystemen. Terwijl ons intern onderzoek de relevantie en grootte van snippets vooruit hielp, bleek uit interne evaluaties dat kleinere inhoudsbudgetten na een reeks kwaliteitsverbeteringen daadwerkelijk nauwkeurigere resultaten opleverden. We hebben enkele wijzigingen aangebracht in onze standaardconfiguraties om onze bevindingen te weerspiegelen, waardoor de grootte en latentie van de antwoord-payload werden verminderd en tegelijkertijd nuttigere inhoud per resultaat werd geleverd. Voor ontwikkelaars vertalen kleinere, relevantere snippets zich direct in lagere token-kosten en beter contextbeheer voor downstream LLM's.

De SEAL-benchmark test of een opvragingssysteem vragen kan beantwoorden waarvan het juiste antwoord in de loop van de tijd verandert. Betrouwbare beantwoording vereist realtime index-versheid, slimmere snippet-extractie uit verschillende continu bijgewerkte gegevensbronnen en parsing die de huidige waarde kan identificeren in plaats van een historische.

Toen we search_evals uitvoerden tegen de SEAL-release van 22 februari met behulp van Claude Sonnet 4.5, stegen de Perplexity-scores terwijl andere aanbieders daalden op SEAL-Hard:

We hebben ons search_evals-kader uitgebreid met SEAL naast de benchmarks die in ons bericht van september werden vermeld. Bijgewerkte resultaten en methodologie zijn beschikbaar in de bijgewerkte repository op GitHub.

De API ondersteunt nu tot 5 queries in één verzoek. Resultaten worden gegroepeerd per query geretourneerd in dezelfde volgorde als waarin ze werden ingediend. Dit vermindert het aantal round-trips voor applicaties die parallel gerelateerde zoekopdrachten moeten uitvoeren, zoals agents die een complexe vraag opsplitsen in meerdere sub-taken voor opvraging.

Naast domeinfiltering (allowlist en denylist, tot 20 domeinen) en recentheidsfiltering, ondersteunt de API nu taalfiltering op basis van ISO 639-1-code en regionaal zoeken op basis van ISO-landcode. Deze kunnen worden gecombineerd om resultaten nauwkeurig te begrenzen, bijvoorbeeld door te beperken tot Engelstalige resultaten van Duitse domeinen.

De Python SDK (pip install perplexityai) biedt nu native ondersteuning voor Search API naast Agent API en Sonar API.

Volledige documentatie is te vinden op docs.perplexity.ai

Snippets op segmentniveau evalueren

SEAL: benchmarken van tijdgevoelige opvraging

Ondersteuning voor meerdere queries

Uitgebreide filtering

SDK en beschikbaarheid