Search API: 더 나은 추출, 동적 벤치마크

당사의 Search API 스니펫 품질은 관련성과 크기라는 두 가지 측면에서 최적화되었습니다.

9월에 당사는 Perplexity Search API 아키텍처에 대한 기술 개요를 게시하고, 에이전트 워크플로우 내에서 검색 API를 벤치마킹하기 위한 오픈 소스 평가 프레임워크인 search_evals를 출시했습니다. 그 이후로 가장 중요한 투자는 관련성과 크기라는 두 가지 차원에서 최적화된 스니펫 품질에 집중되었습니다. 올바른 분량의 적절한 콘텐츠를 반환하는 것은 다운스트림 답변의 정확성과 토큰 효율성을 직접적으로 결정합니다. 이를 달성하기 위한 작업에는 추출, 스팬 수준 레이블링 및 평가를 위한 새로운 시스템 구축이 포함되었으며, 특히 소스 문서의 어떤 세그먼트가 주어진 쿼리에 반응하는지를 식별하는 스팬 레이블링 파이프라인이 가장 두드러집니다.

스팬 수준에서의 스니펫 평가

스니펫을 체계적으로 개선하기 위해 새로운 평가 시스템을 설계했습니다. 주어진 쿼리와 문서에 대해, 시스템은 문서 내의 스팬을 쿼리와의 관계에 따라 식별하고 레이블을 지정합니다. 스니펫에 반드시 포함되어야 하는 "필수(vital)" 스팬, 제외되어야 하는 다양한 범주의 "관련 없는(irrelevant)" 스팬, 중복 항목 및 기타 범주가 여기에 해당합니다. 이러한 스팬 수준의 레이블링을 통해 이전에 불가능했던 수준의 정밀도로 스니펫 품질을 평가하여, 정확하게 포함된 내용과 정확하게 생략된 내용을 모두 측정할 수 있게 되었습니다.

실제로 이러한 개선 사항을 통해 쿼리와 더 관련성이 높고 크기가 더 작은 스니펫을 생성할 수 있게 되었습니다. 당사의 자체 개선형 콘텐츠 이해 파이프라인은 이제 테이블, 중첩 목록 및 이전 규칙 세트로는 안정적으로 파싱할 수 없었던 동적으로 렌더링된 콘텐츠를 포함하여 더 광범위한 구조적 데이터 형식을 처리합니다.

이러한 개선 사항은 당사 자체의 프로덕션 시스템에서 도출되었습니다. 내부 연구를 통해 스니펫의 관련성과 크기가 개선됨에 따라, 일련의 품질 향상 작업 이후 더 작은 콘텐츠 예산이 실제로 더 정확한 결과를 산출한다는 사실이 내부 평가를 통해 밝혀졌습니다. 당사는 발견된 사항을 반영하여 기본 구성을 수정하였고, 결과당 더 유용한 콘텐츠를 제공하면서 응답 페이로드 크기와 대기 시간을 줄였습니다. 개발자에게 있어 더 작고 관련성 높은 스니펫은 더 낮은 토큰 비용과 다운스트림 LLM을 위한 더 나은 컨텍스트 관리로 직결됩니다.

SEAL: 시간 민감형 검색 벤치마킹

SEAL 벤치마크는 검색 시스템이 시간이 지남에 따라 정답이 변경되는 질문에 답할 수 있는지 테스트합니다. 안정적인 답변을 위해서는 실시간 인덱스 신선도, 지속적으로 업데이트되는 다양한 데이터 소스로부터의 더 스마트한 스니펫 추출, 그리고 과거 값이 아닌 현재 값을 식별할 수 있는 파싱 기능이 필요합니다.

Claude Sonnet 4.5를 사용하여 2월 22일 SEAL 릴리스에 대해 search_evals를 실행했을 때, 다른 공급업체들의 SEAL-Hard 점수는 하락한 반면 Perplexity 점수는 상승했습니다.

당사는 9월 게시물에서 보고된 벤치마크와 함께 SEAL을 포함하도록 search_evals 프레임워크를 확장했습니다. 업데이트된 결과와 방법론은 GitHub의 업데이트된 리포지토리에서 확인할 수 있습니다.

다중 쿼리 지원

이제 API는 단일 요청에서 최대 5개의 쿼리를 지원합니다. 결과는 제출된 순서대로 쿼리별로 그룹화되어 반환됩니다. 이는 복잡한 질문을 여러 검색 하위 작업으로 분해하는 에이전트와 같이 관련 검색을 병렬로 발행해야 하는 애플리케이션의 왕복 시간을 줄여줍니다.

필터링 확장

도메인 필터링(허용 목록 및 차단 목록, 최대 20개 도메인)과 최신순 필터링 외에도, 이제 API는 ISO 639-1 코드에 의한 언어 필터링과 ISO 국가 코드에 의한 지역 검색을 지원합니다. 이를 결합하여 독일 도메인의 영어 결과로만 제한하는 등 결과를 정밀하게 범위를 지정할 수 있습니다.

SDK 및 가용성

Python SDK(pip install perplexityai)는 이제 Agent API 및 Sonar API와 함께 Search API에 대한 기본 지원을 제공합니다.

전체 문서는 docs.perplexity.ai에서 확인할 수 있습니다.