Perplexity Sonar domina nova avaliação da Search Arena

Modelos Perplexity Sonar conquistam os primeiros lugares em avaliação de busca

TL;DR

  • Classificação Co #1: O Sonar-Reasoning-Pro-High alcançou uma pontuação na Arena de 1136 (±21/−19), empatando estatisticamente em primeiro lugar com o Gemini-2.5-Pro-Grounding da Google (1142 +14/-17). Em confrontos diretos, o Sonar-Reasoning-Pro-High venceu o Gemini-2.5-Pro-Grounding 53% das vezes.
  • Dominância do Sonar: Os modelos da Perplexity garantiram as posições de 1 a 4, superando significativamente outros modelos avaliados da Google e da OpenAI.
  • Vantagem de Raciocínio: Os modelos que incorporam recursos de raciocínio (sonar-reasoning-pro e sonar-reasoning) obtiveram classificações mais altas, alinhando-se à preferência geral do usuário observada para modelos de raciocínio (top 3 na tabela de classificação).
  • Profundidade de Busca: Os modelos Sonar realizam buscas mais profundas e consideram mais fontes, citando em média 2 a 3 vezes mais fontes do que os modelos Gemini comparáveis.

______

A LM Arena acabou de lançar sua nova tabela de classificação da Search Arena comparando sistemas de LLM com aumento de busca com base na preferência humana. O modelo Sonar-Reasoning-Pro da Perplexity empatou em primeiro lugar com o Gemini-2.5-Pro-Grounding, com o restante dos modelos Sonar superando o Gemini-2.0-Flash-Grounding e todos os modelos de busca na web da OpenAI.

Avaliação comparativa da Search Arena

Ao contrário do foco do SimpleQA em precisão factual restrita, a LM Arena avalia o desempenho dos modelos em consultas reais de usuários em codificação, redação, pesquisa e recomendações. Com a Search Arena, a avaliação se concentra em eventos atuais e inclui prompts mais longos e complexos, coletando mais de 10.000 votos de preferência humana em 11 modelos. Entre 18 de março e 13 de abril de 2025, a Search Arena pediu aos usuários que fizessem prompts e selecionassem qual resposta do modelo satisfazia melhor suas necessidades de informação.

Resultados de desempenho do modelo Sonar

Os modelos Sonar da Perplexity superaram muitos dos principais modelos de última geração, incluindo o Gemini 2.0 Flash e o GPT 4o Search. Nosso modelo Sonar-Reasoning-Pro alcançou uma pontuação de 1136, empatando estatisticamente com o Gemini-2.5-Pro-Grounding (1142) na posição superior.

Em confrontos diretos, o Sonar-Reasoning-Pro-High venceu o Gemini-2.5-Pro-Grounding 53% das vezes.

A avaliação da Search Arena revelou três fatores que se correlacionam fortemente com a preferência humana:

  • Respostas mais longas (coef. 0,255, p<0,05)
  • Maiores contagens de citações (coef. 0,234, p<0,05)
  • Citações de fontes da web da comunidade

A tabela de classificação mostrou uma clara preferência do usuário por modelos com foco em raciocínio aprimorado, com o Sonar-Reasoning-Pro e o Sonar-Reasoning ocupando duas das três principais posições. Experimentos de controle reforçaram essas descobertas, mostrando que o controle de citações fez com que as classificações dos modelos convergissem, sugerindo que a profundidade da busca é um diferenciador de desempenho significativo.

Os modelos Sonar da Perplexity tiveram uma profundidade de busca substancialmente maior, com o ppl-sonar-pro-high citando de 2 a 3 vezes mais fontes do que os modelos Gemini equivalentes.

O que isso significa para os usuários

Para os usuários do Perplexity, esses resultados confirmam que os modelos Sonar oferecem a melhor precisão da categoria, atribuição de fontes abrangente e respostas de alta qualidade em uma ampla gama de tópicos.

Os usuários do Perplexity Pro podem continuar a se beneficiar desses modelos de alto desempenho definindo o Sonar como seu modelo padrão nas configurações. Os usuários de API podem acessar esses recursos por meio de nossas ofertas da API Sonar com modos de busca flexíveis para equilibrar desempenho e eficiência de custos

Embora estejamos orgulhosos dessa conquista, continuamos focados na melhoria contínua. A avaliação da Search Arena fornece insights valiosos sobre as preferências dos usuários que orientarão nossos esforços de desenvolvimento contínuo.

Introdução ao Sonar

Junte-se ao cofundador e CTO da Perplexity, Denis Yarats, para uma visão geral da nossa API em 24 de abril às 11h PT. Denis fornecerá uma visão geral das APIs da Perplexity, compartilhará resultados de benchmarks e casos de uso da API.

Inscreva-se aqui.

Comece a usar o Sonar.