pplx-embed: 웹 규모 검색을 위한 최첨단 임베딩 모델
당사는 실제 환경의 웹 규모 검색을 위해 구축된 두 가지 최첨단 텍스트 임베딩 모델인 pplx-embed-v1과 pplx-embed-context-v1을 출시합니다.
금일 당사는 실제 환경의 웹 규모 검색을 위해 구축된 최첨단 텍스트 임베딩 모델인 pplx-embed-v1 및 pplx-embed-context-v1을 출시합니다. pplx-embed-v1은 표준 밀집 텍스트 검색에 최적화되어 있으며, pplx-embed-context-v1은 주변 문서 수준의 문맥을 고려하여 구절을 임베딩합니다.
pplx-embed-v1 및 pplx-embed-context-v1 모두 0.6B 및 4B 파라미터 규모로 제공됩니다. 0.6B 모델은 경량화 및 저지연 임베딩 생성을 목표로 하며, 4B 모델은 검색 품질을 극대화합니다. 당사의 평가 결과, pplx-embed 제품군은 MTEB(다국어, v2), BERGEN, ToolRet, ConTEB를 포함한 다양한 공개 벤치마크에서 선두를 차지하고 있습니다. 또한 pplx-embed-v1은 당사 내부 웹 규모 벤치마크인 PPLXQuery2Query 및 PPLXQuery2Doc에서 업계 최고 수준의 결과를 제공합니다.
이 모델들은 INT8 및 이진 임베딩을 생성하여 FP32 대비 저장 요구 사항을 각각 4배 및 32배 절감합니다. 이러한 압축성을 통해 웹 규모의 임베딩 저장 및 검색이 훨씬 실용화되었습니다.
모델 | 차원 | 문맥 | MRL | 양자화 | 지시어 | 풀링 |
pplx-embed-v1-0.6B | 1024 | 32K | 예 | INT8/이진 | 아니요 | 평균 |
pplx-embed-v1-4B | 2560 | 32K | 예 | INT8/이진 | 아니요 | 평균 |
pplx-embed-context-v1-0.6B | 1024 | 32K | 예 | INT8/이진 | 아니요 | 평균 |
pplx-embed-context-v1-4B | 2560 | 32K | 예 | INT8/이진 | 아니요 | 평균 |
pplx-embed 모델의 차원, 컨텍스트 길이, 양자화 및 풀링 구성.
기술 보고서, Hugging Face 모델 및 API 문서를 확인하십시오.
동기
밀집 텍스트 임베딩은 질의와 문서를 공유 시맨틱 스페이스에 매핑하며, 여기서 검색은 근사 최근접 이웃 탐색으로 축소됩니다. Perplexity의 규모에서 임베딩은 검색 파이프라인의 첫 번째 단계이며, 수십억 개의 웹 페이지 중 어떤 문서가 하위 랭커 및 언어 모델에 의해 고려될지를 결정합니다.
오늘날 대부분의 선도적인 임베딩 모델은 각 토큰이 이전 토큰에만 주의를 기울일 수 있는 인과적 주의 마스킹을 갖춘 디코더 전용 LLM을 기반으로 구축되었습니다. 검색의 경우, 이는 근본적인 한계가 있습니다. 구절을 이해하려면 양방향 문맥이 필요한 경우가 많기 때문입니다. 당사는 이를 확산 기반 지속 사전 학습을 통해 해결하며, 이는 인과적 LLM을 양방향 인코더로 변환합니다. 완전한 양방향 주의는 모든 토큰 표현에 걸친 평균 풀링을 가능하게 하고 문맥 임베딩을 위한 후기 청킹(late chunking)을 지원하며, 각 청크의 임베딩은 해당 청크가 나타나는 전체 문서에 의해 정보를 제공받습니다.
웹 규모에서 FP32로 임베딩을 저장하는 것은 비용이 과도하게 발생합니다. 당사 모델은 양자화를 사후 압축 단계로 적용하는 대신, 양자화 인식 학습을 사용하여 INT8 임베딩을 네이티브 방식으로 생성함으로써 성능 저하 없이 저장 공간을 4배 줄입니다. 이진 양자화는 특히 4B 규모에서 품질 손실을 최소화하면서 저장 공간을 32배 줄입니다.
많은 현대 임베딩 모델은 모든 입력 앞에 지시어 접두사를 붙여야 합니다. 벤치마크에서는 소폭의 향상을 가져올 수 있으나, 실제 환경에서는 마찰을 유발합니다. 인덱싱 시점과 질의 시점 간의 지시어가 일치하지 않으면 검색 성능이 저하될 수 있으며, 각 사용 사례에 적합한 프롬프트를 선택하는 것 자체가 해결해야 할 또 다른 과제가 됩니다. 당사 모델은 어떠한 지시어도 요구하지 않아 통합이 간편합니다.
학습
pplx-embed-v1 및 pplx-embed-context-v1은 검색을 위해 텍스트 표현을 점진적으로 형성하는 다단계 파이프라인을 통해 학습됩니다.
지속 확산 사전 학습
당사는 사전 학습된 Qwen3 기본 모델(0.6B 및 4B)에서 시작하여, 인과적 주의 마스크를 비활성화하고 확산 노이즈 제거 목표로 학습함으로써 인과적 디코더를 양방향 인코더로 변환합니다. 왼쪽에서 오른쪽으로 토큰을 예측하는 자기회귀 모델과 달리, 확산 학습은 모델이 마스킹된 각 위치 주변의 전체 양방향 문맥을 사용하여 무작위로 마스킹된 토큰을 재구성하도록 강제합니다. 이는 대조 미세 조정이 시작될 무렵 표현이 이미 양방향 의미론을 인코딩하고 있음을 의미하며, 인과적 시작점보다 검색을 위한 더 강력한 기반을 제공합니다. 당사는 30개 언어에 걸친 약 2,500억 개의 다국어 텍스트 토큰으로 사전 학습을 진행합니다. 절제 연구에서 확산 사전 학습된 백본은 인과적 백본보다 현저히 낮은 대조 학습 손실을 달성하며, 이는 검색 작업에서 약 1% 포인트 향상으로 이어집니다.
대조 학습
사전 학습 후, 당사는 3단계의 대조 학습을 수행합니다. 쌍 학습(Pair training)은 배치 내 네거티브를 포함한 InfoNCE 손실 함수를 사용하여 질의와 문서 간의 기초적인 시맨틱 정렬을 확립합니다. 배치 크기가 클 경우, 일부 배치 내 네거티브는 실제로 포지티브와 거의 유사하므로, 당사는 유사성 기반 마스크를 적용하여 이러한 허위 네거티브가 학습 신호를 오염시키지 않도록 방지합니다. 학습은 영어 전용, 교차 언어, 완전 다국어 순으로 진행되며, 역량을 단계적으로 구축합니다. 이후 문맥 학습(Contextual training)은 청크 및 문서 수준 모두에서 시퀀스 내 및 배치 내 대조를 결합한 이중 손실을 사용하여, 문서 수준 문맥과 관련된 청크 수준 의미론을 모델에 학습시킵니다. 이 단계를 통해 pplx-embed-context-v1이 생성됩니다. 마지막으로, 하드 네거티브를 채굴하는 삼중항 학습(triplet training)은 유사하지만 관련 없는 문서 간의 경계를 세분화합니다. 최종 pplx-embed-v1은 구면 선형 보간(SLERP)을 통해 문맥 및 삼중항 체크포인트를 병합하여 얻어집니다.
네이티브 양자화
모든 대조 단계 전반에서 임베딩은 학습 및 추론 과정 모두에서 INT8로 양자화됩니다. 당사는 tanh 기반 평균 풀링 작업을 적용한 후 반올림하고, 미분 불가능한 양자화 단계를 역전파하기 위해 Straight-through 경사 추정기를 사용합니다. 이를 통해 모델은 사후 압축으로 인한 성능 저하를 겪는 대신, 처음부터 낮은 정밀도에 최적화된 표현을 학습하게 됩니다. 이진 양자화의 경우, 4B 모델은 0.6B보다 훨씬 견고합니다. 더 큰 임베딩 차원(2560 vs. 1024)이 이진화 후에도 더 많은 정보를 보존하여, 소규모 모델에서의 2~4 포인트 대비 성능 하락을 1.6% 포인트 미만으로 제한합니다.
공개 벤치마크
MTEB(다국어, v2) 검색 벤치마크에서, pplx-embed-v1-4B(INT8)은 평균 nDCG@10 69.66%를 달성하여 Qwen3-Embedding-4B(69.60%)와 대등하고 gemini-embedding-001(67.71%)을 능가하며, 임베딩당 훨씬 적은 저장 공간을 필요로 합니다. 당사의 0.6B 모델은 동일한 파라미터 규모에서 Qwen3의 대응 모델을 능가합니다.
ConTEB 벤치마크에서의 문맥 검색 성능. 좌측: 문맥화된 모델. 우측: 문맥화되지 않은 모델. pplx-embed-context-v1-4B (INT8)은 81.96점으로 가장 높은 점수를 달성했으며, 그 뒤를 이어 voyage-context-3 (79.45), pplx-embed-context-v1-0.6B (INT8, 76.53)가 기록되었습니다.
문맥 검색의 경우, pplx-embed-context-v1-4B은 평균 nDCG@10 81.96%를 기록하며 ConTEB 벤치마크에서 새로운 최첨단 성능을 확립했고, voyage-context-3(79.45%) 및 Anthropic Contextual(72.4%)을 능가했습니다. 문서 수준 의미론을 통합하는 청크 수준 표현을 학습함으로써, 당사 모델은 의미가 주변 문맥에 따라 달라지는 경우에도 올바른 구절을 검색합니다.
당사는 또한 BERGEN 벤치마크를 사용하여 종단 간 RAG에서 모델을 평가했으며, 검색된 구절을 언어 모델에 제공하여 답변을 생성합니다. pplx-embed-v1-4B은 5개의 평가된 질의응답 작업 중 4개에서 Qwen3-Embedding-4B를 능가합니다. 주목할 점은 pplx-embed-v1-0.6B가 5개 작업 중 3개에서 더 큰 모델인 Qwen3-Embedding-4B를 능가한다는 점이며, 이는 당사의 소규모 모델이 실제 RAG 설정에서 훨씬 더 큰 파라미터 규모의 경쟁 모델과 대등하거나 능가할 수 있음을 보여줍니다. 본 평가에 대한 자세한 내용은 기술 보고서를 참조하십시오.
규모에 따른 실제 검색
공개 벤치마크는 유용하지만 롱테일 질의, 노이즈가 많은 문서, 프로덕션 환경의 특징인 분포 변화 등 웹 규모 검색의 과제를 완전히 포착하지 못합니다. 실무에서 중요한 것을 측정하기 위해 당사는 10억 개 이상의 웹 페이지에서 풀링된 3천만 개 이상의 문서에 대해 평가되는 최대 115K개의 실제 질의를 포함하는 두 가지 내부 벤치마크를 구축했습니다. PPLXQuery2Query는 임베딩 모델이 실제 검색 트래픽에서 의미론적으로 동일한 질의를 식별할 수 있는지 평가하며, PPLXQuery2Doc은 3,000만 페이지 코퍼스에서의 문서 검색을 측정합니다.
PPLXQuery2Query(2.4M 코퍼스)에서 pplx-embed-v1-4B은 73.5% Recall@10을 달성하여 Qwen3-Embedding-4B(67.9%)보다 5.6% 포인트 앞섰습니다. 0.6B 모델은 71.1% Recall@10을 달성하여 BGE-M3(61.8%) 및 Qwen3-Embedding-0.6B(55.1%)를 상당히 능가합니다.
다국어 PPLXQuery2Doc 작업(30M 코퍼스)에서 pplx-embed-v1-4B은 91.7% Recall@1000을 달성했으며, 이는 Qwen3-Embedding-4B의 88.6%와 비교됩니다. 대규모 검색 깊이에서의 높은 재현율은 다단계 랭킹 파이프라인에서 1단계 검색기로 작동하는 임베딩 모델에 필수적이며, 하위 랭커로 전달되는 관련 후보 수를 최대화하는 것은 최종 결과 품질에 직접적인 영향을 미칩니다.
시작하기
모든 모델은 Hugging Face(MIT 라이선스 하에) 및 Perplexity API를 통해 제공됩니다. 당사는 Transformers, SentenceTransformers, Text Embeddings Inference, ONNX를 통한 추론을 지원합니다. 각 옵션에 대한 자세한 내용은 Hugging Face 모델 컬렉션을 참조하십시오.
포괄적인 기술 세부 정보 및 전체 평가 결과는 당사의 기술 보고서를 참조하십시오.
인용
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
date = {2026-02-26},
url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}