Perplexity Sonar доминира в новата оценка на Search Arena

Накратко

• 1-во място: Sonar-Reasoning-Pro-High постигна резултат в Arena от 1136 (±21/−19), като си дели първото място с Gemini-2.5-Pro-Grounding на Google (1142 +14/-17). В директните двубои Sonar-Reasoning-Pro-High побеждава Gemini-2.5-Pro-Grounding в 53% от случаите.
• Доминация на Sonar: Моделите на Perplexity заеха от 1 до 4 място, като значително надминаха другите оценени модели от Google и OpenAI.
• Предимство в разсъжденията: Моделите, включващи възможности за разсъждение (sonar-reasoning-pro и sonar-reasoning), се класираха по-високо, което е в съответствие с общите потребителски предпочитания, наблюдавани за моделите за разсъждение (първите 3 в класацията).
• Дълбочина на търсене: Моделите Sonar извършват по-дълбоко търсене и вземат предвид повече източници, като средно цитират 2-3 пъти повече източници от сравнимите модели Gemini.

______

LM Arena току-що пусна своята нова класация Search Arena, сравняваща разширени с търсене LLM системи въз основа на потребителските предпочитания. Моделът Sonar-Reasoning-Pro на Perplexity си дели първото място с Gemini-2.5-Pro-Grounding, докато останалите модели Sonar надминават Gemini-2.0-Flash-Grounding и всички модели за уеб търсене на OpenAI.

Уголеми

Бенчмаркинг в Search Arena

За разлика от фокуса на SimpleQA върху тясната фактическа точност, LM Arena оценява как моделите се представят при реални потребителски заявки в областта на програмирането, писането, проучванията и препоръките. С Search Arena оценката се фокурира върху текущите събития и включва по-дълги и по-сложни подкани, като събира над 10 000 гласа за потребителски предпочитания в 11 модела. Между 18 март и 13 април 2025 г. Search Arena помоли потребителите да дават подкани и да избират коя реакция на модела по-добре задоволява техните информационни нужди.

Резултати от представянето на моделите Sonar

Моделите Sonar на Perplexity надминаха много от водещите съвременни модели, включително Gemini 2.0 Flash и GPT 4o Search. Нашият модел Sonar-Reasoning-Pro постигна резултат 1136, като си дели статистически първата позиция с Gemini-2.5-Pro-Grounding (1142).

Уголеми

Оценката на Search Arena разкри три фактора, които са силно свързани с потребителските предпочитания:

• По-дълги отговори (коеф. 0.255, p<0.05)
• По-голям брой цитирания (коеф. 0.234, p<0.05)
• Цитати от уеб източници на общността

Класацията показа ясни потребителски предпочитания към модели с подобрени способности за разсъждение, като Sonar-Reasoning-Pro и Sonar-Reasoning заемат две от първите три позиции. Контролните експерименти подкрепиха тези констатации, показвайки, че контролирането на цитиранията води до сближаване на ранглистата на моделите, което предполага, че дълбочината на търсенето е значителен фактор за представянето.

Уголеми

Какво означава това за потребителите

За потребителите на Perplexity тези резултати потвърждават, че моделите Sonar осигуряват най-добрата в класа си точност, изчерпателно посочване на източниците и висококачествени отговори по широк спектър от теми.

Потребителите на Perplexity Pro могат да продължат да се възползват от тези ефективни модели, като зададат Sonar за свой модел по подразбиране в настройките. Потребителите на API могат да достъпят тези възможности чрез нашите предлагани Sonar API с гъвкави режими на търсене за балансиране между производителност и ефективност на разходите

Макар че се гордеем с това постижение, оставаме фокусирани върху непрекъснатото усъвършенстване. Оценката на Search Arena предоставя ценна информация за потребителските предпочитания, която ще допринесе за нашите текущи усилия за развитие.

Уголеми

Въведение в Sonar

Присъединете се към съоснователя и главен технологичен директор на Perplexity Денис Ярац за обзор на нашия API на 24 април в 11:00 ч. тихоокеанско време. Денис ще представи преглед на API на Perplexity, ще сподели резултатите от бенчмарка и случаите на използване на API.

Регистрирайте се тук.

Започнете със Sonar.