A Perplexity Sonar uralja az új Search Arena értékelést

A Perplexity Sonar modelljei az első helyeket szerezte meg a keresési értékelésben

TL;DR

  • 1. helyezés: A Sonar-Reasoning-Pro-High 1136 pontos Aréna-pontszámot (±21/−19) ért el, ezzel statisztikai döntetlent érve el az első helyen a Google Gemini-2.5-Pro-Grounding modelljével (1142 +14/-17). Közvetlen összehasonlító tesztekben a Sonar-Reasoning-Pro-High az esetek 53%-ában győzte le a Gemini-2.5-Pro-Grounding modellt.
  • Sonar dominancia: A Perplexity modellek szerezték meg az 1-4. helyeket, jelentősen felülmúlva a Google és az OpenAI többi értékelt modelljét.
  • Következtetési előny: A következtetési képességeket tartalmazó modellek (sonar-reasoning-pro és sonar-reasoning) magasabb helyezést értek el, ami összhangban van a következtetésre képes modellek esetében megfigyelt általános felhasználói preferenciával (a rangsor első 3 helyezettje).
  • Keresési mélység: A Sonar modellek mélyebb keresést végeznek, és több forrást vesznek figyelembe, átlagosan 2-3-szor több forrást hivatkozva, mint a hasonló Gemini modellek.

______

Az LM Arena most tette közzé új Search Arena rangsorát, amely az emberi preferenciák alapján hasonlítja össze a kereséssel kiegészített LLM rendszereket. A Perplexity Sonar-Reasoning-Pro modellje holtversenyben az első helyezést érte el a Gemini-2.5-Pro-Groundinggel, míg a többi Sonar modell felülmúlta a Gemini-2.0-Flash-Grounding modellt és az OpenAI összes webes keresési modelljét.

Search Arena teljesítményértékelés

Eltérően a SimpleQA szűk ténybeli pontosságra irányuló fókuszától, az LM Arena azt értékeli, hogy a modellek hogyan teljesítenek valós felhasználói lekérdezések esetén a kódolás, az írás, a kutatás és az ajánlások területén. A Search Arena értékelése az aktuális eseményekre fókuszál, és hosszabb, összetettebb promptokat tartalmaz, több mint 10 000 emberi preferencián alapuló szavazatot gyűjtve össze 11 modellen keresztül. 2025. március 18. és április 13. között a Search Arena arra kérte a felhasználókat, hogy adjanak meg promptokat, és válasszák ki, hogy melyik modell válasza elégítette ki jobban az információs igényeiket.

Sonar modell teljesítményeredmények

A Perplexity Sonar modelljei a legkiválóbb modern modellek közül is sokat felülmúltak, beleértve a Gemini 2.0 Flash és a GPT 4o Search modelleket is. Sonar-Reasoning-Pro modellünk 1136-os pontszámot ért el, így statisztikai döntetlent érve el a csúcson a Gemini-2.5-Pro-Groundinggel (1142).

Közvetlen összehasonlító tesztekben a Sonar-Reasoning-Pro-High az esetek 53%-ában győzte le a Gemini-2.5-Pro-Grounding modellt.

A Search Arena értékelése három olyan tényezőt tárt fel, amelyek szoros összefüggést mutatnak az emberi preferenciákkal:

  • Hosszabb válaszok (együttható: 0,255, p<0,05)
  • Magasabb hivatkozásszám (együttható: 0,234, p<0,05)
  • Hivatkozások a közösségi webes forrásokból

A rangsor egyértelmű felhasználói preferenciát mutatott a következtetésre képes (reasoning-enhanced) modellek iránt; a Sonar-Reasoning-Pro és a Sonar-Reasoning megszerezte az első három hely közül kettőt. A kontrollkísérletek alátámasztották ezeket a megállapításokat, és kimutatták, hogy a hivatkozások figyelembevételének kiszűrése a modellrangsorok összeolvadásához vezet, ami azt sugallja, hogy a keresési mélység jelentős teljesítménybeli megkülönböztető tényező.

A Perplexity Sonar modelljei lényegesen nagyobb keresési mélységgel rendelkeztek, a ppl-sonar-pro-high 2-3-szor több forrást hivatkozott, mint a megfelelő Gemini modellek.

Mit jelent ez a felhasználók számára?

A Perplexity felhasználói számára ezek az eredmények megerősítik, hogy a Sonar modellek kategóriájuk legjobb pontosságát, átfogó forrásmegjelölést és kiváló minőségű válaszokat biztosítanak a témák széles körében.

A Perplexity Pro felhasználói továbbra is élvezhetik ezen a legfelsőbb szinten teljesítő modellek előnyeit, ha a Sonar modellt állítják be alapértelmezett modellként a beállításokban. Az API-felhasználók a rugalmas keresési módokkal rendelkező Sonar API-ajánlatainkon keresztül érhetik el ezeket a képességeket, egyensúlyt teremtve a teljesítmény és a költséghatékonyság között.

Bár büszkék vagyunk erre az eredményre, továbbra is a folyamatos fejlesztésre fókuszálunk. A Search Arena értékelése értékes betekintést nyújt a felhasználói preferenciákba, amelyek irányt mutatnak majd a folyamatos fejlesztési törekvéseinkhez.

A Sonar bemutatása

Csatlakozzon Denis Yarats-hoz, a Perplexity társalapítójához és technológiai igazgatójához (CTO) egy API-áttekintésre április 24-én délelőtt 11 órakor (PT). Denis áttekintést nyújt a Perplexity API-jairól, megosztja a benchmark-eredményeket és az API-használati eseteket.

Regisztráljon itt.

Kezdje el a Sonar használatát.