단일 벡터를 넘어서는 멀티모달 임베딩

2월에 pplx-embed-v1를 출시한 이후, 우리는 새로운 세대의 임베딩 모델을 개발해 왔습니다. 지난주에는 새로운 문맥 임베딩 모델인 pplx-embed-v2-context를 소개했습니다. 오늘은 후기 상호작용 모델 모음인 pplx-embed-v2-late로 제품군을 확장합니다. 더 강력한 검색 기능과 함께, 이 모델들은 세 가지 핵심 기능을 결합한 최초의 모델입니다:

• 다중 벡터 표현. 각 입력을 하나의 벡터로 압축하는 대신, 이 모델들은 더 세밀한 쿼리-문서 비교를 위해 토큰 수준 벡터를 유지합니다. 이를 통해 쿼리의 서로 다른 부분이 문서의 서로 다른 부분과 매칭될 수 있으며, 특히 멀티모달 검색에서 유용한 세부 정보를 보존합니다.
• 텍스트와 이미지 모달리티 모두에 대한 지원. 이전 모델들의 텍스트-텍스트 검색 기능에 더해, 이 새로운 모델들은 텍스트-이미지 검색을 처리하여 OCR이나 파싱된 텍스트 없이도 렌더링된 PDF 페이지를 직접 검색할 수 있게 합니다.
• 공유 임베딩 공간. 우리는 서로 다른 품질, 지연 시간, 연산 요구를 지원하기 위해 0.6B와 9B 두 가지 모델 크기를 출시합니다. 각 모델은 독립적으로 사용할 수 있지만, 공유 임베딩 공간 덕분에 작은 모델이 더 큰 모델로 생성한 인덱스를 조회할 수 있어, 더 높은 품질의 문서 임베딩과 저렴하고 빠른 쿼리 시점 추론을 결합할 수 있습니다.

이번 신규 모델은 다양한 비전 및 텍스트 검색 벤치마크는 물론 에이전트 기반 질의응답 작업에서도 최고 수준의 성능을 달성했습니다. 특히 대표적인 시각 문서 검색 벤치마크인 ViDoRe (V3)에서 0.6B 모델은 활성 파라미터 수가 5배에 달하는 모델과 대등한 성능을 보였습니다. 두 모델 모두 Hugging Face에서 공개적으로 이용할 수 있습니다. 방법론과 평가 결과에 대한 자세한 내용은 기술 보고서에서 확인하실 수 있습니다.

단일 벡터에서 후기 상호작용으로

검색 시스템은 효율성과 쿼리와 문서 간 상호작용의 깊이 사이에서 균형을 찾아야 합니다. 밀집 임베딩 모델은 각 쿼리와 문서를 독립적으로 인코딩해, 저렴한 내적만으로 비교할 수 있게 합니다. 이를 통해 수십억 개 문서에 대한 근사 최근접 이웃(ANN) 검색이 실용적으로 가능합니다. 반대로 교차 인코더는 쿼리와 문서를 함께 처리해 더 풍부한 상호작용을 가능하게 하지만, 각 후보마다 별도의 순전파가 필요합니다. 대규모 코퍼스 전체에 이 계산을 모든 검색마다 적용하는 것은 지나치게 비용이 크므로, 교차 인코더는 일반적으로 소수의 검색된 후보를 재순위화하는 데 사용됩니다.

밀집 임베딩의 한계

전체 문서를 하나의 고정 크기 벡터로 표현하면 정보 병목이 생깁니다. 문서가 길어지고 더 많은 주제를 다룰수록, 모델은 같은 벡터 안에 더 많은 내용을 압축해야 하므로 쿼리와 관련된 모든 정보를 보존하기가 더 어려워집니다. 청킹은 이러한 압력을 줄일 수 있지만, 문서를 조각내어 함께 봐야만 의미가 통하는 정보를 분리할 수 있으며, 이는 우리의 문맥 임베딩 모델에서도 다루는 문제입니다. 이러한 병목은 이미지의 정보 밀도가 더 높은 멀티모달 환경에서 더욱 심해집니다.

단일 벡터 밀집 검색은 모든 비교를 두 벡터 간의 내적으로 축소해, 점수 함수의 표현력을 제한합니다. 임베딩 차원이 고정되어 있고 코퍼스가 충분히 크다면, 학습과 무관하게 쿼리-문서 쌍 전반의 점수 패턴 중 일부는 생성할 수 없습니다. LIMIT 벤치마크는 이러한 이론적 우려를 단일 벡터 검색에 대한 구체적인 스트레스 테스트로 바꿔 놓습니다.

후기 상호작용 검색

후기 상호작용 모델은 더 저렴한 밀집 임베딩 모델과 더 표현력이 풍부한 교차 인코더 사이의 공간을 차지합니다. 밀집 모델처럼 이들은 쿼리와 독립적으로 문서를 인코딩하므로 문서 표현을 오프라인에서 계산할 수 있습니다. 그러나 각 입력을 하나의 벡터로 줄이는 대신 여러 벡터를 유지하고, 쿼리와 문서를 비교할 때 더 풍부한 점수 함수를 사용합니다.

우리의 pplx-embed-v2-late 모델은 ColBERT 스타일 아키텍처를 사용하며, 입력의 각 토큰에 대해 128차원 임베딩을 출력합니다. 우리는 MaxSim을 사용해 쿼리-문서 쌍의 점수를 계산합니다. 각 쿼리 토큰마다 모델은 가장 높은 점수를 받은 문서 토큰을 선택하고, 토큰별 최대 유사도를 합산해 최종 점수를 만듭니다. 이를 통해 쿼리의 서로 다른 부분이 문서의 서로 다른 부분과 매칭될 수 있으며, 더 강한 토큰 일치는 점수에 더 크게 기여합니다.

확대

이 추가적인 표현력은 저장 및 후보 점수 계산 비용이 더 높다는 대가를 치릅니다. 밀집 검색은 문서당 벡터 하나를 저장하고 후보를 하나의 내적으로 점수화하는 반면, 후기 상호작용은 문서 토큰의 벡터를 저장하고 많은 토큰 간 유사도를 평가합니다. 비용은 문서 길이에 따라 증가하므로, 후기 상호작용은 하나의 벡터를 사용하는 ANN 검색과는 다른 인덱싱 및 서빙 절충안을 필요로 합니다. 그 대신 품질에 민감한 코퍼스에 더 풍부한 1단계 검색을 제공하며, 더 큰 웹 규모 검색 파이프라인의 후속 단계로도 사용할 수 있습니다.

하나의 모델, 여러 모달리티

이처럼 향상된 상호작용의 깊이는 장문 맥락, 에이전트형, 도메인 외 검색을 포함한 다양한 작업에서 매우 유용한 것으로 입증되었습니다. 이러한 차이는 멀티모달 검색에서 특히 두드러지며, ViDoRe(V3) 리더보드에서 ColPali 모델이 크게 앞서는 것으로도 나타납니다.

실제 코퍼스는 깨끗한 텍스트로만 이루어져 있지 않습니다. PDF, 슬라이드 덱, 스크린샷, 스캔한 페이지, 차트, 표의 형태로 제공됩니다. 기존 파이프라인은 이러한 문서를 파싱하고, OCR 또는 캡셔닝을 적용한 뒤, 생성된 텍스트를 검색하는데, 이는 비용이 많이 들고 손실도 큽니다. OCR 오류를 유발할 수 있고, 레이아웃, 표 구조, 그림, 공간적 관계를 버리기 때문입니다. 시각 문서 검색은 그 단계를 건너뛰고, 렌더링된 페이지를 직접 표현 공간에 투영하여 텍스트 쿼리가 이를 검색할 수 있게 합니다.

우리의 새로운 모델 제품군은 멀티모달 검색에서 다중 벡터 모델의 뛰어난 성능을 바탕으로 구축되었으며, 가장 널리 사용되는 문서 검색 벤치마크인 ViDoRe(V3)에서 소형 모델의 파레토 최전선을 끌어올립니다. 문서 렌더링이 시각 입력의 가장 흔한 형태일 것으로 예상하지만, 우리의 모델은 자연 이미지(예: 풍경 사진)에 대한 의미 기반 이미지 검색도 지원합니다.

상호 운용 가능한 모델 제품군 학습

검색은 본질적으로 비대칭적입니다. 색인과 쿼리 인코딩은 서로 다른 운영 제약을 가집니다. 색인은 오프라인에서 실행되며 병렬화할 수 있어, 계산 비용이 향후 여러 검색에 걸쳐 상각됩니다. 쿼리 인코딩은 모든 요청마다 온라인으로 실행되므로 지연 시간에 민감하고, 때로는 서빙 또는 엣지 디바이스의 제약을 받습니다. 우리의 모델 제품군은 이러한 비대칭성을 활용해, 검색 파이프라인의 각 측면에 맞게 조정된 크기를 제공합니다.

우리는 18B 교사 모델을 대조 학습으로 훈련한 뒤, 이를 9B와 0.6B 학생 모델에 각각 별도로 증류합니다. 각 학생이 교사의 순위 분포를 재현하도록만 학습하는 대신, 우리는 LEAF 스타일의 표현 증류를 사용합니다. 각 입력 토큰에 대해 학생의 출력 임베딩을 교사의 출력 임베딩과 정렬합니다. 표현 공간 증류는 이전에 밀집형 단일 벡터 모델에 사용된 바 있지만, 우리는 이를 후기 상호작용으로 확장합니다. 여기서 정렬 대상은 유지되는 각 토큰마다 하나의 벡터입니다.

그 결과, 공개된 두 체크포인트는 동일한 다중 벡터 임베딩 공간을 공유합니다. 이를 통해 교차 모델 검색이 가능해지며, 추가적인 배포 옵션을 사용할 수 있게 됩니다.

• 최고 품질: 9B 모델로 문서와 쿼리를 인코딩합니다.
• 최대 효율: 0.6B 모델로 문서와 쿼리를 인코딩하여 100% 로컬 추론을 구현합니다
• 저지연 검색: 9B 모델로 코퍼스 인덱스를 구축한 다음, 0.6B 모델로 실시간 쿼리를 인코딩하여 인덱싱 시점의 연산을 활용하면서도 쿼리를 빠르게 유지합니다.
• 로컬–클라우드 검색: 0.6B 모델을 기기에서 사용해 비공개 로컬 문서 또는 실시간 쿼리를 인코딩하고, 이러한 표현을 클라우드에 호스팅된 9B 인덱스의 결과와 비교하거나 병합합니다.

지연 시간에 민감한 환경을 위해, 우리는 0.6B 모델을 엣지 디바이스에서도 실행할 수 있는 경량 쿼리 인코더로 설계했습니다. Qwen3.5-0.8B를 출발점으로 하여, 24층 텍스트 타워를 12층으로 줄여 비임베딩 매개변수를 498M에서 240M으로 감소시켰습니다. 결과 모델은 총 5.94억 개의 매개변수를 가지지만, 명목상 크기는 서빙 비용을 과대평가합니다. 1억 개는 이미지 인코딩에 사용되고, 2.54억 개는 토큰 임베딩 테이블에 있으며 이는 런타임에 거의 영향을 주지 않기 때문입니다. 텍스트 인코딩에는 약 2.4억 개, 이미지 인코딩에는 3.4억 개의 매개변수만 활성화되어, 9B 인덱스와의 호환성을 유지하면서도 훨씬 더 작은 모델의 서빙 비용을 제공합니다.

우리는 동일한 과정을 적용해 27B 백본에서 18B 교사 모델을 구축했으며, 그 결과 교사가 제공하는 신호를 약화시키지 않으면서 증류 비용을 상당히 낮출 수 있었습니다.

다국어, 멀티모달, 오염되지 않은 학습 데이터

우리는 46개 언어의 594개 데이터셋에서 추출한 1억 8,600만 개의 쿼리-문서 쌍으로 이루어진 데이터셋으로 두 모델을 학습합니다. 이들 쌍 중 88.3%는 텍스트-텍스트, 8.3%는 텍스트-이미지, 3.4%는 텍스트-시각 문서 쌍입니다. 데이터셋 크기에 비례해 샘플링하는 대신, 각 데이터셋에 샘플링 가중치를 부여해 각각 56.5%, 30.9%, 12.6%의 더 균형 잡힌 학습 혼합을 만듭니다.

학습 데이터를 구성할 때, 우리는 평가하는 벤치마크와 관련된 데이터셋은 모두 제외하여 벤치마크 점수를 부풀리지 않으면서 결과를 충실하게 나타내고자 합니다. 이 결정에는 우리가 제외하기로 선택한 일부 데이터셋에 벤치마크의 출처가 아닌 다른 작업에서 모델 성능을 높일 수 있는 고품질 데이터가 포함되어 있다는 트레이드오프가 따릅니다. 결국 우리는 그 비용을 받아들이기로 했습니다. 신뢰할 수 있는 수치는 개발 과정에서, 그리고 모델을 비교하는 사용자에게 더 유용하기 때문입니다.

평가

우리는 텍스트, 시각 문서, 혼합 이미지, 에이전트형 검색 전반에서 두 모델을 평가합니다. 두 모델 모두 Q2D-Web과 BrowseComp+에서 평가한 기준 모델들을 능가하며, 시각 문서 검색과 MADQA에서도 강력한 결과를 달성합니다.

텍스트 검색

우리는 세 가지 벤치마크에서 텍스트-텍스트 검색을 평가합니다:

• 도메인별 벤치마크: 72개의 MTEB 스타일 작업 모음으로, 5개 도메인(금융, 법률, 건강, 대화, 기술) 전반의 55개 작업과 17개의 기타 다국어 작업으로 구성됩니다. 이 모음에는 FinQA, AILACasedocs, XLSum과 같은 작업이 포함됩니다. 앞서 설명했듯이, 이들 데이터셋은 어느 것도 우리의 학습 데이터에 포함되지 않았습니다.
• Q2D-Web: 프로덕션 검색 트래픽에서 추출한 약 7만 개의 에이전트 재구성 검색 쿼리를 1억 9,000만 개의 웹 문서 코퍼스에 대해 평가하는, 웹 규모 검색 벤치마크입니다. 이 벤치마크는 프로덕션과 유사한 쿼리와 대규모 코퍼스 덕분에, 다른 사용 가능한 검색 벤치마크보다 실제 웹 검색에 훨씬 더 가까운 환경에서 검색 성능을 측정합니다.
• ViDoRe(V3) Markdown: ViDoRe(V3)는 일반적으로 텍스트-시각 문서 검색 작업이지만, Markdown으로 파싱된 코퍼스 버전을 사용하면 텍스트 작업으로도 평가할 수 있어 이미지와 텍스트 모달리티 모두에서 정보가 풍부한 문서 검색을 평가할 수 있습니다.

우리는 Q2D-Web에서 벤치마크가 1단계 웹 검색 시나리오에 중점을 두고 있으므로 Recall@1000을 보고하는 것을 제외하면 nDCG@10으로 성능을 측정합니다. 전체 평가에서 우리는 서로 다른 크기 범주의 업계 선도 임베딩 모델과 비교합니다. 텍스트 검색에서는 nemotron-embed-8b, gemini-embedding-2, voyage-large-4, qwen3-embed-8b가 가장 강력하고 가장 널리 사용되는 밀집 경쟁 모델을 대표하며, voyage-4-nano와 qwen3-embed-0.6b는 10억 파라미터 미만의 밀집 기준 모델로 사용됩니다. 또한 TopK가 결과를 공개한 벤치마크에서는 TopK의 최근 출시 레이트 인터랙션 모델인 topk-embed-v1와도 비교합니다. ViDoRe(V3) 점수는 토큰 임베딩 폭과 일치하는 128차원에서의 모델 카드에서 가져온 것이고, Q2D-Web 점수는 우리의 리더보드에서 가져온 것입니다.

도메인별 벤치마크에서 우리의 9B 및 0.6B 모델은 각각 평균 81.3%와 78.0%를 기록합니다. 9B 모델은 우리가 평가한 모든 모델 중 최고 점수를 달성해, 차점 모델을 1.6pp 차이로 앞섭니다. 0.6B 모델은 다른 최고 점수 모델들과 경쟁력이 있으며, gemini-embedding-2보다 0.3pp 뒤질 뿐입니다. 중요한 점은, 우리는 이 벤치마크 작업의 어떤 데이터에도 학습하지 않았으므로, 도메인별 벤치마크는 우리의 임베딩 모델이 새로운 도메인으로 일반화할 수 있음을 보여준다는 것입니다.

확대

우리 0.6B 모델의 상대적 강점은 ViDoRe(V3) Markdown 작업에서 더욱 큽니다. 61.2%라는 점수는 64.7%를 기록한 우리의 9B 모델을 제외한 다른 모든 모델을 앞섭니다. 차점 외부 모델은 60.6%를 기록했고, 1B 미만 모델 중 차점인 topk-embed-v1-0.8b는 우리의 0.6B 모델보다 4.3pp 뒤졌습니다.

확대

Q2D-Web에서 관련성은 세 가지 판정 집합에서 나옵니다: 에이전트가 인용한 문서(Citation), 우리의 프로덕션 검색 시스템이 순위를 매긴 문서(Web), 그리고 둘의 합집합에 라벨이 없는 문서에 대한 LLM 판정을 더한 문서(Combined)입니다. pplx-embed-v2-late 모델 두 개 모두 세 판정 집합에서 모든 기준 모델을 선도합니다. 우리는 Combined 판정을 중점적으로 봅니다. Citation과 Web 집합은 이미 우리의 자체 시스템이 드러낸 결과에서 파생되므로 그 시스템처럼 순위를 매기는 모델에 유리하고, Combined에 추가된 LLM 판정은 어느 시스템도 검색하지 못한 문서를 포함하기 때문입니다. 해당 집합에서 우리의 9B 및 0.6B 모델은 각각 74.8%와 73.6%를 기록하며 모든 경쟁 모델을 능가했고, 이전 최고 점수 69.3%를 넘어섰습니다.

확대

시각 검색

우리의 주요 시각 검색 벤치마크는 ViDoRe(V3)의 표준 공개 서브셋으로, 코퍼스는 Markdown 변환본이 아니라 렌더링된 페이지 이미지로 구성됩니다. 우리는 두 개의 선도적인 밀집형 비전-언어 모델인 qwen3-vl-embed-8b 및 gemini-embedding-2, 그리고 topk-embed-v1의 후기 상호작용 모델과 비교합니다. 또한 Tencent의 EVIE 모델과 NVIDIA의 Nemotron ColEmbed V2 모델은 이미지 검색 작업을 위해 특별히 학습된 “vision-only” 다중 벡터 기준 모델입니다.

우리의 두 모델 모두 비전-언어 모델에서 최첨단 성능을 달성합니다. 9B 모델은 평균 65.2%를 기록해 EVIE에만 뒤처집니다. 0.6B 모델은 62.3%를 달성해 topk-embed-v1-2b를 앞서며, 외부 기준 모델 중에서는 훨씬 더 큰 EVIE와 nemotron-colembed-v2-8b에만 뒤처집니다.

확대

0.6B 모델은 모델 크기라는 맥락에서 특히 경쟁력이 높습니다. 이 모델은 동급 크기의 모든 모델보다 앞서며, 이미지 입력에 대해 활성화되는 매개변수는 340M에 불과하면서 nemotron-colembed-v2-8b보다 1.2pp 이내입니다. 우리의 모델은 토큰당 128차원 임베딩을 생성하는 반면, EVIE-4.5B는 2,048차원, EVIE-8B와 nemotron-colembed-v2-8b는 4,096차원입니다. 저장 비용의 이러한 차이는 이러한 모델을 실제로 사용할 수 있는 상황에 큰 영향을 미칠 수 있습니다.

확대

우리는 또한 위키피디아 문서의 스크린샷으로 구성된 코퍼스를 가진 벤치마크인 MIRACL-Vision과, 시각 문서와 자연 이미지를 모두 포함하는 내부 벤치마크 PPLX-Q2I에서 시각 검색을 평가합니다. PPLX-Q2I는 Perplexity의 프로덕션 이미지 검색 로그에서 구축되었으며, 이미지 검색 사용 사례의 다양성을 반영하도록 설계되었습니다. 우리는 10만 개 이미지 코퍼스를 대상으로 언어와 도메인별로 층화한 1만 개 쿼리 샘플을 사용하며, 각 쿼리의 관련 문서는 그 쿼리에 대해 제공된 이미지입니다. 기본 출력 차원( Nemotron ColEmbed 4B는 2,560, Nemotron ColEmbed 8B와 EVIE-8B는 4,096 )에서 이 크기의 코퍼스를 색인하는 것이 비현실적이었기 때문에 PPLX-Q2I에서 EVIE-8B나 Nemotron ColEmbed는 평가하지 않았습니다.

ViDoRe(V3)에서의 성능과 마찬가지로, 우리 0.6B 모델은 훨씬 더 큰 모델들과 경쟁력이 있으며, MIRACL-Vision에서 qwen3-vl-embed-8b보다 1pp 뒤질 뿐입니다. 9B 모델은 gemini-embedding-2를 제외한 모든 다른 모델보다 뛰어난 성능을 보입니다.

PPLX-Q2I에서는 우리의 두 모델 모두 qwen3-vl-embedding-8b를 9pp 이상 차이로 앞서며, 9B 모델은 gemini-embedding-2보다도 2pp 뒤질 뿐입니다. 우리의 결과는 자연 이미지와 시각 문서를 모두 포함하는 코퍼스에서도 경쟁력을 유지하므로, ViDoRe(V3)에서 효과를 발휘하는 다중 벡터 표현이 일반 이미지 검색 성능을 희생하지는 않습니다.

확대

교차 모델 검색

앞선 섹션의 결과는 각 모델이 자신이 직접 임베딩한 코퍼스를 대상으로 평가한 것입니다. 공유 임베딩 공간 덕분에 이는 필수 조건이 아닙니다. 9B 모델로 색인된 코퍼스는 0.6B 모델로 임베딩한 쿼리로 검색할 수 있습니다. 이는 대부분의 프로덕션 배포에서 사용될 것으로 예상하는 구성입니다. 색인은 코퍼스의 수명 동안 여러 검색에 걸쳐 상각되는 일회성 비용인 반면, 쿼리 임베딩은 모든 요청의 지연 시간에 민감한 경로에서 실행되기 때문입니다.

쿼리 시점에 9B 모델을 실행할 수 없는 배포는 그렇지 않으면 인덱스도 0.6B 모델로 생성하게 되므로, 대칭형 0.6B 구성이 적절한 비교 대상입니다. 우리는 앞서 사용한 72개의 도메인별 벤치마크와 ViDoRe v3 이미지 검색에서 평가합니다. 쿼리는 pplx-embed-v2-late-0.6b로 임베딩하고, 코퍼스를 임베딩하는 것만 달리합니다.

9B 모델로 인덱싱하는 것은 명백한 개선입니다. 도메인별 벤치마크에서 비대칭 구성은 평균 1.6pp 향상을 보입니다. ViDoRe v3 이미지 검색에서는 63.5%를 기록해, 양쪽 모두 0.6B 모델을 사용할 때의 62.3%보다 1.2퍼센트포인트 높습니다. 쿼리 인코딩 비용은 대칭형 0.6B 구성과 비대칭 구성 사이에서 동일합니다. 두 경우 모두 같은 0.6B 모델이 쿼리를 인코딩하기 때문이며, 추가적인 문서 인코딩 비용은 인덱싱 시점에 발생합니다.

양쪽 모두 9B 모델을 실행하는 것이 여전히 더 좋으며, 도메인별 벤치마크에서 평균 81.3%를 기록합니다. 따라서 비대칭 구성은 텍스트에서 두 모델 간 품질 차이의 대략 절반을 추가적인 쿼리 인코딩 비용 없이 회수합니다. 어떤 구성을 선택할지는 쿼리 시점에 9B 모델을 감당할 수 있는지에 달려 있으며, 그렇지 않은 경우 비대칭 설정이 그 이점의 상당 부분을 포착합니다.

확대

에이전트형 검색

에이전트형 검색은 다중 벡터 임베딩이 특히 강력한 또 다른 설정입니다. BrowseComp+에서 LLM(GPT-OSS-120B를 우리 사례로 들면)이 임베딩 모델을 사용해 복잡한 사용자 질의와 관련된 정보를 코퍼스에서 검색하고, 두 번째 LLM이 결과 답변이 정답과 일치하는지 판정합니다. 우리의 9B 모델은 64.0%의 정확도를 달성해, 다음으로 좋은 ColBERT 모델보다 4.9pp, 다음으로 좋은 밀집 모델보다 8.7pp 앞서면서도 우리 0.6B를 제외한 다른 어떤 모델보다도 적은 검색을 수행합니다. 0.6B 모델 역시 우리 제품군 밖의 모든 모델보다 앞섭니다.

확대

MADQA는 1만 8천 페이지가 넘는 800개의 이질적인 실제 PDF를 대상으로 하는 에이전트형 질의응답을 테스트하며, 일반 지식만으로는 답할 수 없는 500개의 인간 작성 질문을 포함합니다. 에이전트(우리 사례에서는 Gemini 3.5 Flash)가 테스트 중인 검색기를 사용해 컬렉션을 검색하고, 정답 정확도와 주석이 달린 증거 페이지에 대한 페이지 F1으로 평가됩니다. 우리의 9B 모델은 검색기 중 92.4% 정확도로 새로운 최고 성능을 세웠으며, 이는 Mixedbread의 검색기를 사용하는 동일한 에이전트보다 3.5pp 앞섭니다. 우리의 0.6B 모델은 90.1%에 도달합니다. 또한 우리의 검색기는 검색 시스템 내에서 메인 에이전트가 호출할 때마다 여러 번의 검색을 계획하고 실행하는 검색 서브에이전트를 사용하는 Mixedbread Agentic Search와도 경쟁력 있는 결과를 보입니다(93.4%, 우리의 신뢰 구간 내).

확대

시작하기

우리의 0.6B 및 9B 모델은 모두 Hugging Face에서 사용할 수 있으며, sentence-transformers >= 6.0.0 및 transformers >= 5.4.0. 과 바로 호환됩니다. 추가 기술 세부 정보와 전체 평가 결과는 올해 말 기술 보고서로 공개될 예정입니다.

현재 차세대 밀집(dense) 임베딩 모델을 학습하고 있으며, Perplexity API Platform에서 후기 상호작용(late-interaction), 밀집, 맥락(contextual) 임베딩 지원을 순차적으로 제공할 예정입니다.

인용

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}