Perplexity Sonar 在全新 Search Arena 評估中佔據主導地位

Perplexity Sonar 模型在搜尋評估中奪得榜首

簡言之

  • 並列第 1 名: Sonar-Reasoning-Pro-High的 Arena 評分為 1136(±21/−19),與 Google 的 Gemini-2.5-Pro-Grounding(1142 +14/-17)並列第一。在直接正面對決中,Sonar-Reasoning-Pro-High 有 53% 的時間勝過 Gemini-2.5-Pro-Grounding。
  • Sonar 優勢:Perplexity 模型包辦了第 1 名到第 4 名,表現顯著優於 Google 和 OpenAI 評估的其他模型。
  • 推理優勢:結合推理功能的模型(sonar-reasoning-pro 和 sonar-reasoning)排名較高,這與觀察到的使用者對推理模型的普遍偏好(排行榜前 3 名)一致。
  • 搜尋深度:Sonar 模型的搜尋更深且考慮更多來源,平均引用的來源數量是同類 Gemini 模型的 2-3 倍。

______

LM Arena 剛剛發布了其全新的 Search Arena 排行榜,根據人類偏好對搜尋增強的 LLM 系統進行比較。Perplexity 的 Sonar-Reasoning-Pro 模型與 Gemini-2.5-Pro-Grounding 並列第一,其餘的 Sonar 模型表現也超越了 Gemini-2.0-Flash-Grounding 以及 OpenAI 的所有網路搜尋模型。

Search Arena 基準測試

與 SimpleQA 專注於狹隘的事實準確性不同,LM Arena 評估模型在編程、寫作、研究和推薦等真實使用者查詢上的表現。透過 Search Arena,評估重點在於時事,並包含更長、更複雜的提示詞,在 11 個模型中收集了超過 10,000 票人類偏好投票。在 2025 年 3 月 18 日至 4 月 13 日期間,Search Arena 要求使用者輸入提示詞並選擇哪個模型的回答更能滿足他們的資訊需求。

Sonar 模型效能結果

Perplexity 的 Sonar 模型表現超越了許多頂尖的先進模型,包括 Gemini 2.0 Flash 和 GPT 4o Search。我們的 Sonar-Reasoning-Pro 模型獲得了 1136 分,在榜首位置上與 Gemini-2.5-Pro-Grounding(1142)統計並列。

在直接正面對決中,Sonar-Reasoning-Pro-High 有 53% 的時間勝過 Gemini-2.5-Pro-Grounding。

Search Arena 的評估揭示了三個與人類偏好高度相關的因素:

  • 較長的回答(係數 0.255,p<0.05)
  • 較高的引文數量(係數 0.234,p<0.05)
  • 來自社群網路來源的引文

排行榜顯示使用者明顯偏好具備推理能力的模型,Sonar-Reasoning-Pro 與 Sonar-Reasoning 佔據了前三名中的兩個位置。對照實驗強化了這些發現,表明控制引文變數會導致模型排名趨於一致,這暗示搜尋深度是影響效能顯著差異的關鍵。

Perplexity 的 Sonar 模型具備顯著更深的搜尋深度,其中 ppl-sonar-pro-high 引用的來源數量是同等 Gemini 模型的 2-3 倍。

這對使用者意味著什麼

對於 Perplexity 使用者而言,這些結果證實了 Sonar 模型在廣泛的主題上能夠提供同級最佳的準確性、全面的來源引述以及高品質的回答。

Perplexity Pro 使用者可以繼續在設定中將 Sonar 設為預設模型,從這些高效能模型中受益。API 使用者可以透過我們的 Sonar API 服務存取這些功能,並透過靈活的搜尋模式在效能和成本效益之間取得平衡

雖然我們為此成就感到自豪,但我們仍專注於持續改進。Search Arena 的評估為我們提供了關於使用者偏好的寶貴見解,這將為我們未來的開發工作提供指引。

Sonar 簡介

加入 Perplexity 共同創辦人兼技術長 Denis Yarats,參與 4 月 24 日上午 11 點(太平洋時間)舉行的 API 概覽。Denis 將介紹 Perplexity 的 API、分享基準測試結果以及 API 使用案例。

在此註冊。

開始使用 Sonar。