Search API: улучшенное извлечение и динамические бенчмарки

В сентябре мы опубликовали технический обзор архитектуры Perplexity Search API и выпустили search_evals — наш фреймворк с открытым исходным кодом для сравнительного тестирования поисковых API в рабочих процессах агентов. С тех пор основные инвестиции были направлены на повышение качества сниппетов, оптимизированных по двум параметрам: релевантность и размер. Предоставление нужного контента в нужном объеме напрямую определяет точность последующих ответов и эффективность использования токенов. Работа в этом направлении включала создание новых систем для извлечения, разметки на уровне сегментов и оценки, в частности конвейера разметки сегментов, который определяет, какие части исходного документа соответствуют заданному запросу.

Для систематического улучшения сниппетов мы разработали новую систему оценки. Для заданного запроса и документа система идентифицирует и маркирует сегменты внутри документа в соответствии с их отношением к запросу: «важные» сегменты, которые должны быть включены в сниппет, различные классы «нерелевантных» сегментов, которые следует исключить, дубликаты и другие категории. Такая разметка на уровне сегментов позволяет оценивать качество сниппетов с уровнем точности, который ранее был невозможен, измеряя как то, что было корректно включено, так и то, что было корректно исключено.

На практике эти улучшения позволяют нам генерировать более компактные сниппеты, более релевантные запросу. Наш самообучающийся конвейер анализа контента теперь обрабатывает более широкий спектр форматов структурированных данных, включая таблицы, вложенные списки и динамически отображаемый контент, который предыдущие наборы правил не могли надежно распознать.

Эти улучшения стали результатом работы наших собственных производственных систем. По мере того как наши внутренние исследования способствовали повышению релевантности и оптимизации размера сниппетов, внутренняя оценка показала, что меньшие объемы контента на самом деле обеспечивают более точные результаты после ряда качественных улучшений. Мы внесли изменения в наши конфигурации по умолчанию, чтобы отразить полученные результаты, сократив размер полезной нагрузки ответа и задержку, при этом предоставляя более полезный контент на каждый результат. Для разработчиков более компактные и релевантные сниппеты означают прямую экономию токенов и улучшенное управление контекстом для последующих LLM.

Бенчмарк SEAL проверяет, может ли поисковая система отвечать на вопросы, правильный ответ на которые меняется со временем. Надежное предоставление ответов требует обеспечения актуальности индекса в реальном времени, более интеллектуального извлечения сниппетов из различных постоянно обновляемых источников данных, а также парсинга, способного определить текущее значение, а не историческое.

Когда мы запустили search_evals против релиза SEAL от 22 февраля с использованием Claude Sonnet 4.5, показатели Perplexity выросли, в то время как у других провайдеров они снизились в тесте SEAL-Hard:

Мы расширили наш фреймворк search_evals, включив в него SEAL наряду с бенчмарками, представленными в нашем сентябрьском посте. Обновленные результаты и методология доступны в обновленном репозитории на GitHub.

API теперь поддерживает до 5 запросов в рамках одного вызова. Результаты возвращаются сгруппированными по запросам в том же порядке, в котором они были отправлены. Это сокращает количество сетевых запросов для приложений, которым необходимо выполнять связанные поисковые задачи параллельно, например, для агентов, разбивающих сложный вопрос на несколько подзадач поиска.

В дополнение к фильтрации по доменам (белые и черные списки, до 20 доменов) и фильтрации по актуальности, API теперь поддерживает фильтрацию по языку (код ISO 639-1) и региональный поиск по коду страны ISO. Их можно комбинировать для точного определения области поиска, например, ограничив результаты только англоязычными материалами из немецких доменов.

Python SDK (pip install perplexityai) теперь обеспечивает нативную поддержку Search API наряду с Agent API и Sonar API.

Полная документация доступна по адресу docs.perplexity.ai

Оценка сниппетов на уровне сегментов

SEAL: сравнительное тестирование поиска, чувствительного ко времени

Поддержка нескольких запросов

Расширенная фильтрация

SDK и доступность