Q2D-Web: 대규모 1단계 리트리버 평가

오늘, 에이전틱 RAG 시스템의 검색을 평가하기 위한 비공개 벤치마크이자 공개 리더보드인 Q2D-Web(Query2Doc-Web)을 소개합니다. Q2D-Web은 기존 Q2D 벤치마크를 대규모 코퍼스, 더 큰 쿼리 세트, 그리고 더 깊은 판단 어노테이션으로 확장합니다.

Q2D-Web은 대규모 웹 검색에서 임베딩 모델을 평가하도록 구축되었습니다. 9개월간 수집된 PII가 없는 프로덕션 검색 트래픽에서 샘플링된 10개 언어의 1억 9천만 개 웹 문서와 69,721개의 에이전트 재구성 쿼리로 구성됩니다.

이 규모에서는 쿼리-문서 수준의 관련성 시그널이 불가피하게 희소합니다. 하나의 소스를 정답(ground truth)으로 취급하는 대신, 에이전트 인용, 프로덕션 웹 랭킹, 그리고 이전에 평가되지 않은 쌍에 대한 추가 LLM 판단에서 파생된 세 가지 관련성 판단 세트를 제공합니다. 여러 소스를 사용하면 단일 라벨링 파이프라인에서 오는 편향을 제한할 수 있으며, 더 깊은 어노테이션은 거짓 음성(false negative)을 줄여줍니다.

당사의 리더보드 는 일관된 인덱싱, 검색 및 스코어링 파이프라인을 사용하여 벤치마크에 대해 직접 평가된, 공개된 검색 모델의 결과를 보고합니다. 평가는 요청 양식을 통해 제출할 수 있습니다.

현실적인 검색 평가의 과제

각 쿼리에 대해 프로덕션 규모의 검색 시스템이 수십억 개의 웹 페이지로 구성된 코퍼스를 검색하여 수천 개의 후보 문서를 반환합니다. 이러한 후보는 다운스트림 시스템이 볼 수 있는 소스를 결정하며, 에이전트가 사용할 수 있는 증거를 직접 형성합니다.

따라서 이 1단계를 현실적으로 평가하려면 코퍼스의 문서 수, 평가된 쿼리 수, 쿼리당 관련성 판단 수의 세 가지 차원으로 확장되는 벤치마크가 필요합니다.

더 큰 코퍼스는 쿼리와 의미론적으로 유사하지만 요청된 정보를 제공하지 않는 문서인 하드 네거티브(hard negative)를 도입하여 벤치마크의 변별력을 높일 수 있습니다. 리트리버는 이러한 그럴듯한 일치 항목을 관련 문서와 구분해야 합니다. 아래의 하위 샘플링 실험에서 볼 수 있듯이, 알려진 관련 문서를 유지하면서 코퍼스를 축소하면 이러한 오답(distractor)이 제거되고 재현율(recall)이 부풀려질 수 있습니다.

평가된 쿼리가 많을수록 성능 추정치의 신뢰성이 높아집니다. 쿼리 세트가 작으면 벤치마크 결과가 샘플링된 쿼리에 크게 의존하므로 각 모델의 성능을 정확하게 추정하고 모델 간의 차이를 확실하게 구분하기 어려워집니다.

더 깊은 판단은 평가에서 거짓 음성을 줄여줍니다. 희소한 레이블을 사용하면 리트리버가 평가되지 않은 관련 문서를 표면화할 수 있으며, 따라서 관련 없는 것으로 잘못 집계됩니다. 이로 인해 평가의 신뢰성이 떨어집니다. MS MARCO는 정보 검색 분야의 주요 대규모 오픈 데이터셋이며 신경망 검색 모델의 개발을 구체화했습니다. 여기서 수동으로 검사한 상위 검색되었지만 라벨이 지정되지 않은 구절 중 70%는 실제로 관련이 있었습니다.

기존 벤치마크는 이러한 차원 중 하나 또는 두 개에서만 확장되는 경향이 있습니다. 웹 규모의 컬렉션은 일반적으로 평가된 쿼리가 비교적 적은 반면, 쿼리가 많은 벤치마크는 일반적으로 훨씬 작은 코퍼스와 희소한 레이블을 사용합니다. 게다가 대부분의 벤치마크는 사람이 작성한 쿼리를 사용하는 반면, 에이전틱 RAG 시스템은 문구, 구조 및 구체성이 다를 수 있는 에이전트가 재구성한 쿼리로 검색합니다.

Q2D-Web은 세 가지 차원 모두에서 확장됩니다. 결합된 판단 세트에 1억 9천만 개의 웹 문서, 69,721개의 에이전트 재구성 쿼리, 쿼리당 평균 99.6개의 긍정적 관련성 판단이 포함되어 있습니다. 가장 가까운 공개 비교 대상은 MS MARCO의 웹 규모 버전인 MS MARCO 웹 검색입니다. 여기에는 1억 9백만 개의 문서, 9,374개의 테스트 쿼리, 쿼리당 하나의 클릭 기반 긍정 레이블이 있습니다.

Q2D-Web을 만든 방법

확대

쿼리

Q2D-Web은 9개월 동안 수집된 10개 언어 및 수십 개 도메인의 23,000건의 PII가 없는 프로덕션 검색을 기반으로 구축되었습니다.

검색은 사용자의 메시지에 응답하여 에이전트가 수행하는 모든 웹 검색 도구 호출로 구성됩니다. 각 도구 호출에는 하나 이상의 쿼리가 포함됩니다. 각 쿼리는 사용자 요청, 이전 대화, 그리고 해당하는 경우 동일한 검색에서 이전에 검색된 문서를 바탕으로 재구성됩니다. 각 프로덕션 검색에는 사용자의 정보 요구를 재서술하는 하나의 기본 쿼리와, 대안적 표현, 배경 정보 또는 관련 엔티티를 탐색하는 0개 이상의 지원 쿼리가 포함됩니다. 이들은 동일한 광범위한 요청을 다루지만 서로 다른 문서가 필요할 수 있으므로, Q2D-Web은 각 쿼리를 자체적인 관련성 판단을 바탕으로 독립적으로 평가합니다.

확대

확대

포함된 모든 쿼리에 대해 엄격한 개인정보 보호 필터링을 적용합니다. 쿼리는 데이터 사용을 허용한 사용자의 것이어야 하며, perplexity-ai/pplx-pii-masking 을 사용한 PII 감지를 통해 개인 정보가 포함된 쿼리를 제외합니다. 또한 정확한 중복, 매우 짧은 쿼리, 그리고 site:나 인용된 문구와 같은 검색 연산자가 포함된 쿼리를 제거합니다.

이 벤치마크는 10개 언어를 다룹니다. 영어가 쿼리의 65.8%를 차지하며, 그 뒤를 이어 스페인어, 러시아어, 독일어, 프랑스어, 포르투갈어, 이탈리아어, 한국어, 일본어, 중국어가 있습니다. 쿼리 분포는 또한 소비재, 프로그래밍, 법률, 건강, 비즈니스, 과학, 교육, 기술, 금융, 여행, 엔터테인먼트, 정치, 지역 정보, 뉴스를 포함한 광범위한 도메인을 아우릅니다.

코퍼스

모든 쿼리에 대해 프로덕션 검색 시스템으로 상위 5,000개 문서를 검색하고 이러한 결과 세트의 합집합을 구합니다. 그런 다음 토큰 5-gram 세트의 Jaccard 유사도가 0.975 이상인 문서를 클러스터링하여 MinHash–LSH를 사용하여 코퍼스를 중복 제거합니다.

이 컬렉션은 의도적으로 무작위 웹 샘플이 아닙니다. 각 문서는 적어도 하나의 벤치마크 쿼리에 대해 그럴듯한 결과로 간주되었습니다. 이를 통해 필수 날짜, 엔티티, 버전, 수량 또는 측면이 누락되었을 수 있으나 쿼리의 주제나 언어와 일치하는 페이지인, 어렵고 조밀한 오답(distractor) 세트가 생성됩니다.

확대

판단

관련성 레이블은 대규모 환경에서 본질적으로 불완전합니다. 가능한 모든 쿼리-문서 쌍에 라벨을 지정하는 것은 불가능하며, 각 판단 소스는 서로 다른 편향을 지닙니다.

Q2D-Web은 단일 편향으로 인한 고통 없이 어노테이션 깊이를 늘리기 위해 하나의 소스를 정답으로 취급하는 대신 세 가지 관련성 세트를 사용합니다.

인용은 에이전트가 응답에서 문서를 인용할 때 해당 문서를 관련성 있는 것으로 레이블을 지정합니다. 이는 다운스트림 사용과 가장 가까운 시그널입니다. 즉, 에이전트가 주장에 대한 증거로 문서를 선택한 것입니다. 그러나 인용은 구조상 고정밀도와 저재현율을 가집니다. 에이전트에 충분한 지원이 확보되면 다른 모든 관련 페이지를 인용할 이유가 거의 없습니다.

웹 랭킹은 쿼리당 최대 50개의 문서(평균 43.1개)로 구성되며, 1단계에서는 BM25와 밀집 검색(dense retrieval)을 사용하는 내부 검색 스택으로 식별된 후 크로스 인코더 리랭킹이 수행됩니다. 이는 인용되지는 않았지만 유용한 문서를 포착합니다.

결합 + LLM 판단은 인용과 웹 랭킹의 합집합을 취한 다음, 거짓 음성의 수를 줄이는 것을 목표로 이전에 판단되지 않은 후보에 대한 LLM 판단을 추가합니다. BM25, ColBERTv2, 그리고 2025년 1월 1일 이전에 출시된 7개의 밀집 리트리버의 결과를 풀링하고, 상호 순위 융합(RRF)을 사용하여 순위를 병합하고, 판단되지 않은 상위 500개 문서를 선택한 다음, DeepSeek-V4-Flash를 사용하여 엄격한 이진 관련성 판단을 적용합니다.

이 세 가지 세트를 통해 모델 성능이 관련성 정의 방식에 따라 달라지는지 확인할 수 있습니다. 또한, 레이블 생성에 사용된 시스템과 유사한 리트리버를 유리하게 만들 수 있는 단일 라벨링 스택에 대한 의존도를 줄여줍니다.

확대

하위 샘플링: 대규모의 효율적인 평가

전체 코퍼스 평가는 비용이 많이 들고 느립니다. pplx-embed-v1-4b를 사용한 Q2D-Web에서의 단일 평가는 4,608 H200 GPU 시간이 필요하며, EmbeddingGemma-300M과 같은 소형 모델조차도 거의 200 H200 GPU 시간이 필요합니다.

평가를 실용적인 수준으로 유지하기 위해 코퍼스의 서브사ンプ링된 버전을 구축합니다.

전체 코퍼스의 동작을 반영하는 더 작은 서브코퍼스를 구축하기 위해 샘플링 전략 전반에 걸쳐 광범위한 어블레이션(ablation)을 실행했습니다. 모든 전략은 긍정적으로 판단된 모든 문서를 유지하고 오답(distractor)이 선택되는 방식만 변경합니다. 중요한 오답은 리트리버가 관련 문서보다 상위에 랭크할 가능성이 높은 오답인데, 이는 모델의 점수와 순위 내 위치를 변경하기 때문입니다.

우리는 균등 무작위 샘플링, 생성 리트리버 전반에 걸친 고정 깊이 풀링, 그리고 다양한 깊이에 걸친 쿼리별 RRF를 비교했습니다. RRF 기반 샘플링은 전체 코퍼스 문서의 31.7%만을 사용합니다. 이는 종합 판단(Combined judgments)에 따른 전체 코퍼스 모델 순위를 보존하는 동시에 절대 점수에 가깝게 유지되며, 동일한 크기의 무작위 샘플링이 12.8포인트 증가하는 것에 비해 평균 Recall@1000을 5.2포인트 증가시킵니다.

확대

이를 통해 평가 비용이 전체 코퍼스 비용의 약 3분의 1로 줄어듭니다. RRF 기반 서브코퍼스를 사용할 때 pplx-embed-v1-4b에는 약 1,500 H200 GPU 시간이 필요하고 EmbeddingGemma-300M에는 70 미만이 필요합니다.

모든 제출물은 샘플링된 서브코퍼스 버전에서 먼저 평가됩니다. 제출물은 총 파라미터 수에 따라 1B 이하와 1B 초과의 두 그룹으로 나뉩니다. 샘플링된 서브코퍼스에서 그룹 상위 10위 안에 드는 모델은 전체 코퍼스에서 평가됩니다. 그룹 내 상위 10위 밖에 랭크된 모델은 샘플링된 서브코퍼스 리더보드에만 게시됩니다.

평가 결과

평가된 모델 전반에 걸쳐 Q2D-Web은 3개의 서로 다른 관련성 세트를 통해 웹 규모에서의 검색 성능에 대한 일관된 뷰를 제공합니다. 리더보드는 이러한 상호 보완적인 뷰를 나란히 제공하여 사용자가 더 엄격한 인용 기반 레이블과 더 광범위한 관련성 판단 하에서 모델이 어떻게 수행되는지 검사할 수 있도록 합니다.

1단계 리트리버는 관련 문서를 후보 풀에 배치하기만 하면 되고 후속 리랭킹(reranking)이 최종 순서를 결정하므로, 주요 측정항목으로 Recall@1000에 초점을 맞춥니다.

확대

표 1. Citation, Web Ranking 및 Combined 관련성 세트에 걸친 13개 리트리버의 전체 코퍼스 Recall@1000 및 nDCG@10. 점수가 높을수록 좋습니다.

pplx-embed-v1-4b는 Citation(인용, 85.03), Web Ranking(웹 랭킹, 65.73), Combined(종합, 70.00)의 세 가지 판단 세트 모두에서 가장 높은 Recall@1000을 기록했습니다. Combined Recall@100 및 nDCG@10의 경우, Nemotron-3-Embed-8B(30.32 및 45.65)가 pplx-embed-v1-4b(30.17 및 44.12)보다 더 높은 점수를 기록했습니다.

동일한 모델군 내에서는 더 큰 모델일수록 Combined Recall@1000 점수가 더 높습니다. Qwen3-Embedding은 58.68(0.6B)에서 65.32(8B)로, Nemotron-3-Embed는 62.44(1B)에서 69.33(8B)로, pplx-embed-v1은 67.91(0.6B)에서 70.00(4B)으로 증가했습니다.

Perplexity 모델은 다른 모든 제출된 모델과 동일한 파이프라인을 사용하여 평가됩니다. 그러나 Q2D-Web은 Perplexity 프로덕션 트래픽에서 파생되었으므로 이러한 모델은 인스트리뷰션(in-distribution) 이점을 누릴 수 있습니다. 벤치마크의 평가 쿼리와 코퍼스는 모델 학습에서 제외되었지만, 결과는 이러한 잠재적 이점을 염두에 두고 해석해야 합니다.

리더보드에 제출하는 방법

평가를 요청하려면 평가 요청 양식을 통해 공개된 Hugging Face 모델을 제출하세요.

권장되는 쿼리 및 문서 지침 또는 접두사, 풀링(pooling), 정규화, 유사도 함수를 포함하여 모델별 추론 설정을 위해 제출된 저장소의 모델 카드를 따릅니다. 지침, 접두사, 특수 토큰을 포함한 모든 쿼리 및 문서는 모델 자체의 토크나이저를 사용하여 512개 토큰으로 잘리므로(truncate), 지원되는 컨텍스트가 길어져도 이점이 없습니다. 모델 카드가 의도된 검색 설정을 재현하기 위한 완전하고 명확한 지침을 제공하는지 확인하세요.

적격 모델은 표준 transformers 또는 sentence-transformers API를 통해 로드되어야 합니다. trust_remote_code=False로 실행되지 않는 모델은 평가 전에 커스텀 코드와 제출자에 대한 수동 검토가 필요하며, 이는 상당한 시간이 소요됩니다. 비공개 또는 게이트된 저장소는 자격이 없습니다.

방법론과 연구 결과에 대해 자세히 알아보려면 기술 보고서를 읽어보세요.

인용

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}