Perplexity Sonar domineert nieuwe Search Arena-evaluatie

Perplexity Sonar-modellen claimen topposities in zoekevaluatie

Kort samengevat

  • Co #1-ranking: Sonar-Reasoning-Pro-High behaalde een Arena-score van 1136 (±21/−19), wat statistisch gezien een gedeelde eerste plaats oplevert met Google Gemini-2.5-Pro-Grounding (1142 +14/-17). In directe onderlinge vergelijkingen versloeg Sonar-Reasoning-Pro-High de Gemini-2.5-Pro-Grounding in 53% van de gevallen.
  • Sonar-dominantie: Perplexity-modellen behaalden de plaatsen 1 tot en met 4 en presteerden aanzienlijk beter dan andere geëvalueerde modellen van Google en OpenAI.
  • Redeneervoordeel: Modellen met ingebouwde redeneermogelijkheden (sonar-reasoning-pro en sonar-reasoning) scoorden hoger, in lijn met de algemene gebruikersvoorkeur voor redeneermodellen (top 3 in het klassement).
  • Zoekdiepte: Sonar-modellen voeren dieper zoekwerk uit en raadplegen gemiddeld meer bronnen; ze citeren 2 tot 3 keer meer bronnen dan vergelijkbare Gemini-modellen.

______

LM Arena heeft zojuist hun nieuwe Search Arena-klassement uitgebracht waarin met zoekopdrachten verrijkte LLM-systemen worden vergeleken op basis van menselijke voorkeur. Het Sonar-Reasoning-Pro-model van Perplexity is op een gedeelde eerste plaats geëindigd met Gemini-2.5-Pro-Grounding, waarbij de overige Sonar-modellen beter presteerden dan Gemini-2.0-Flash-Grounding en alle webzoekmodellen van OpenAI.

Benchmarking van de Search Arena

In tegenstelling tot de focus van SimpleQA op nauwe feitelijke nauwkeurigheid, evalueert LM Arena hoe modellen presteren op daadwerkelijke gebruikersvragen op het gebied van programmeren, schrijven, onderzoek en aanbevelingen. Bij Search Arena ligt de focus van de evaluatie op actuele gebeurtenissen en worden er langere, complexere opdrachten opgenomen, waarbij meer dan 10.000 stemmen op basis van menselijke voorkeur zijn verzameld voor 11 modellen. Tussen 18 maart en 13 april 2025 vroeg Search Arena gebruikers om opdrachten te geven en te selecteren welk modelantwoord beter voldeed aan hun informatiebehoeften.

Prestatieresultaten van het Sonar-model

De Sonar-modellen van Perplexity presteerden beter dan veel van de beste state-of-the-art modellen, waaronder Gemini 2.0 Flash en GPT 4o Search. Ons Sonar-Reasoning-Pro-model behaalde een score van 1136 en staat hiermee statistisch op gelijke hoogte met Gemini-2.5-Pro-Grounding (1142) op de eerste positie.

In directe onderlinge vergelijkingen versloeg Sonar-Reasoning-Pro-High de Gemini-2.5-Pro-Grounding in 53% van de gevallen.

De evaluatie van Search Arena bracht drie factoren aan het licht die sterk correleren met menselijke voorkeur:

  • Langere antwoorden (coëfficiënt 0,255, p<0,05)
  • Hoger aantal citaten (coëfficiënt 0,234, p<0,05)
  • Citaten uit bronnen van de community

Het klassement toonde een duidelijke gebruikersvoorkeur voor modellen met verbeterde redeneervaardigheden, waarbij Sonar-Reasoning-Pro en Sonar-Reasoning twee van de top drie posities innamen. Controle-experimenten bevestigden deze bevindingen en toonden aan dat wanneer er rekening werd gehouden met citaten, de modelrankings convergeerden, wat suggereert dat zoekdiepte een aanzienlijke differentiator voor prestaties is.

De Sonar-modellen van Perplexity hadden een aanzienlijk grotere zoekdiepte, waarbij ppl-sonar-pro-high 2 tot 3 keer meer bronnen citeerde dan gelijkwaardige Gemini-modellen.

Wat dit betekent voor gebruikers

Voor gebruikers van Perplexity bevestigen deze resultaten dat Sonar-modellen toonaangevende nauwkeurigheid, uitgebreide bronvermelding en antwoorden van hoge kwaliteit bieden voor een breed scala aan onderwerpen.

Gebruikers van Perplexity Pro kunnen blijven profiteren van deze best presterende modellen door Sonar in te stellen als hun standaardmodel in de instellingen. API-gebruikers hebben toegang tot deze mogelijkheden via ons Sonar API-aanbod met flexibele zoekmodi om prestaties en kostenefficiëntie in balans te houden.

Hoewel we trots zijn op deze prestatie, blijven we ons concentreren op continue verbetering. De evaluatie door Search Arena biedt waardevolle inzichten in gebruikersvoorkeuren die onze lopende ontwikkelingsinspanningen zullen sturen.

Introductie van Sonar

Sluit u op 24 april om 11.00 uur PT aan bij mede-oprichter en CTO van Perplexity, Denis Yarats, voor een overzicht van onze API. Denis geeft een overzicht van de API's van Perplexity, deelt benchmarkresultaten en bespreekt API-gebruiksscenario's.

Registreer hier.

Ga aan de slag met Sonar.