Incrustación contextual alén da pasaxe dourada

As incrustacións contextuais capturan o significado de cada pasaxe ou fragmento no contexto de todo o documento. O seu adestramento e avaliación adoitan asumir un único fragmento relevante por consulta, coñecido como a "pasaxe dourada". Non obstante, unha pasaxe dourada a miúdo non é suficiente na práctica. Pode conter a resposta pero carecer do contexto de apoio necesario para comprendela ou velala, deixándoa ambigua de forma illada.

Presentamos pplx-embed-v2-context-9b-preview, o noso novo modelo de incrustacións contextuais. O modelo está adestrado cun enfoque novo que usa o modelo de compresión de contexto de Perplexity como profesor. Agregamos as súas predicións a nivel de token en puntuacións de relevancia a nivel de fragmento, ensinando ao modelo de incrustacións a recuperar tanto fragmentos de resposta como o contexto de apoio en lugar dun único fragmento dourado. O modelo produce unha incrustación por fragmento sen custos de inferencia adicionais e admite incrustacións de 1024 dimensións e int8.

Atinxe resultados de vangarda en context-bench, un novo punto de referencia para a recuperación consciente do contexto creado e mantido en privado por turbopuffer, e en ConTEB, un punto de referencia público moi utilizado. O noso modelo foi desenvolvido de forma independente de context-bench e avaliado como unha submisión cega.

Context-bench consta de 2.099 consultas sobre 38.894 documentos longos en 21 dominios e avalía tres capacidades das incrustacións contextuais: desambiguación de documentos entre documentos case duplicados, recuperación de fragmentos dourados cuxo significado depende dun contexto distante e recuperación da evidencia de apoio necesaria para verificar unha resposta.

Unha vista previa do modelo está dispoñible publicamente en Hugging Face. O punto de referencia mantense de forma privada por turbopuffer para reducir o risco de contaminación do adestramento e preservar o seu valor para medir o progreso. Para solicitar unha avaliación, póñase en contacto con turbopuffer en contextbench@turbopuffer.com.

Resultados de recuperación de documentos, respostas e evidencias en context-bench — Figura 1: Answer@K, Document@K, Evidence Recall@K e All-Evidence@10 en context-bench, comparando Perplexity v2 preview 9B con Voyage Context 4, Voyage 4 Large e Perplexity context v1 4B.

Os sistemas de recuperación normalmente dividen documentos longos en fragmentos máis pequenos que se poden indexar e buscar de forma independente. A fragmentación é conveniente na práctica, pero elimina o contexto no que apareceu orixinalmente cada fragmento, creando un compromiso entre a granularidade da compresión de información e o contexto utilizado durante a codificación. Un fragmento pode referirse a unha entidade introducida anteriormente, herdar o seu significado dun título de sección ou basearse en definicións situadas noutru lugar do documento. Unha vez extraído, pode que xa non conteña suficiente información para ser emparellado de forma fiable cunha consulta. Codificar o documento enteiro como un único vector non resolve isto, xa que unha representación combinada non pode capturar fielmente todas as facetas dun documento longo.

Os modelos de incrustacións contextuais abordan esta limitación representando cada fragmento no contexto do seu contido circundante, máis habitualmente a través de fragmentación tardía: o documento códificase nun único pase e as representacións dos fragmentos agrúpanse despois, de xeito que cada vector de fragmento se calcula co documento enteiro á vista. Traballos anteriores, como ConTEB e o noso propio pplx-embed-context-v1, demostraron que as representacións de fragmentos contextualizadas melloran substancialmente a recuperación sobre fragmentos codificados de forma independente, particularmente en documentos longos.

O adestramento de modelos de incrustacións contextuais require supervisión que identifique que partes dun documento son relevantes para unha consulta dada. Un enfoque común son as anotacións de fragmentos dourados: para cada consulta, un anotador, normalmente un modelo linguístico grande (LLM), identifica o fragmento do documento que responde a esta.

O adestramento adoita combinar dúas perdas contrastivas: unha perda contrastiva a nivel de documento que contrasta o fragmento dourado con fragmentos doutros documentos, e unha perda a nivel de documento que o contrasta cos outros fragmentos do mesmo documento.

Este enfoque ten algunhas limitacións:

Só un fragmento é relevante. Trata todos os demais fragmentos do documento como un negativo, incluídos aqueles con información de apoio útil. A supervisión a nivel de documento opera no outro extremo. Identifica o documento como relevante sen especificar que fragmentos del importan. Na práctica, a relevancia adoita atoparse entre estes extremos. O fragmento portador da resposta pode depender dalgúns fragmentos de apoio que introducen unha entidade, resolven unha referencia ou proporcionan un feito complementario, mentres que o resto do documento é irrelevante. Polo tanto, o modelo debe aprender o nivel correcto de selectividade: máis amplo que un único fragmento dourado, pero máis enfocado que o documento no seu conjunto.
Supervisión groseira. Debido a que cada anotación identifica un único fragmento dourado en lugar de capturar graos de relevancia en todo o documento, proporciona sinais de adestramento limitados para a cantidade de computación gasta en producila.
Custo de escalar. Cada par de adestramento require que un LLM lea o documento e seleccione o fragmento relevante, polo que o custo da anotación crece linearmente co tamaño do conxunto de datos de adestramento e limita canto e qué tan diversos poden ser os datos de adestramento.
Sensible aos límites dos fragmentos. As etiquetas tamén están ligadas aos límites dos fragmentos utilizados durante a anotación. Unha etiqueta dourada asignada a unha xanela de tamaño de token fixo non especifica qué frases máis curtas ou párrafos máis longos son relevantes. Polo tanto, cambiar a estratexia de fragmentación, ou adestrar en múltiples fragmentacións para mellorar a robustez ante como se dividen os documentos no momento da indexación, pode requirir anotar o corpus de novo.

Abordamos as limitacións da supervisión de pasaxes de ouro destilando xuízos de relevancia a partir dun modelo de compresión de contexto consciente da consulta. Este modelo actúa como docente: le conxuntamente a consulta e o documento e asigna a cada token do documento unha puntuación de relevancia. As súas predicións ofrecen varias vantaxes para o adestramento de incrustacións contextuais:

Límites de fragmentos flexibles. As puntuacións de relevancia a nivel de token pódense agregar sobre calquera límite de fragmento elixido, o que permite que as mesmas predicións do profesor supervisen diferentes fragmentacións sen necesidade de volver anotar.
Relevancia continua. A diferenza das etiquetas binarias de fragmentos dourados, o profesor proporciona puntuacións continuas que capturan graos de relevancia que distinguen de forma natural os fragmentos portadores de respostas, o contexto de apoio e o contido irrelevante.
Menor custo de anotación. O profesor é compacto e especializado na puntuación de relevancia, o que fai que sexa moito máis barato de supervisar a escala que un LLM de propósito xeral.

Adestramos o noso modelo cunha suma ponderada dunha perda contrastiva a nivel de documento e unha perda de destilación a nivel de fragmento sobre lotes de pares de consultas e documentos. Para cada consulta, o documento emparellado serve como positivo, mentres que os documentos restantes do mesmo lote serven como negativos.

Para cada lote, seleccionamos aleatoriamente unha estratexia de fragmentación, dividimos os documentos en consecuencia e inserimos tokens separadores entre os fragmentos. A continuación, procesamos cada documento nun único pase e realizamos unha media das representacións de tokens dentro de cada fragmento para obter incrustacións de fragmentos contextuais. As consultas códificanse por separado, cunha media sobre as súas representacións de tokens. Finalmente, calculamos a semellanza de coseno entre cada incrustación de consulta e cada incrustación de fragmento do lote.

Aínda que o noso modelo de incrustacións só produce semellanzas a nivel de fragmento, podemos derivar naturalmente delas semellanzas a nivel de documento. Consideramos que un documento d é tan relevante para unha consulta q como o seu fragmento máis relevante. Esta regra de puntuación está inspirada na operación MaxSim de ColBERT, aplicada aquí aos fragmentos en lugar dos tokens.

Especificamente, dada unha consulta q cunha incrustación q e un documento d como unha lista ordenada de fragmentos c con incrustacións c, definimos a semellanza a nivel de documento como:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Dadas estas semellanzas a nivel de documento, podemos formular un obxectivo InfoNCE a nivel de documento sobre os negativos do lote.

Para unha consulta q, sexa d⁺ o seu documento relevante e 𝒟 os documentos do lote. A perda contrastiva é a seguinte, omitindo as temperaturas para facilitar a lectura:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

A perda contrastiva ensínao ao modelo qué documento é relevante para unha consulta. A perda de destilación ensínalle onde se atopa a relevancia dentro dese documento, o cal é esencial para un modelo contextual.

Durante o adestramento, pasamos cada par de consulta e documento positivo ao noso modelo de compresión de contexto, que asigna unha puntuación de relevancia a cada token do documento. Do mesmo xeito que coa puntuación a nivel de documento, derivamos a relevancia de cada fragmento a partir dos seus contidos máis relevantes. Para reducir a sensibilidade aos tokens atípicos, incluídos os dos límites dos fragmentos, definimos a relevancia a nivel de fragmento como a media das n puntuacións de tokens superiores dentro do fragmento.

Para cada consulta, aplicamos un softmax escollado segundo a temperatura ás puntuacións de relevancia a nivel de fragmento do profesor dentro do documento positivo para obter unha distribución obxectivo. Os fragmentos dos outros documentos do lote reciben unha probabilidade obxectivo cero. Adestramos o modelo de incrustacións para que coincida con este obxectivo minimizando a diverxencia KL cara adiante entre o obxectivo e a súa distribución predita sobre todos os fragmentos do lote:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Aquí, os superíndices T e S indican o profesor e o alumno, e rⱼ é a puntuación de relevancia do profesor para o fragmento cⱼ no documento positivo d⁺. A distribución obxectivo do profesor asigna unha probabilidade cero aos fragmentos de todos os demais documentos do lote.

A diferenza dunha única etiqueta de fragmento dourado, este obxectivo captura graos de relevancia. Os fragmentos de apoio reciben peso segundo as puntuacións do profesor en lugar de ser tratados como negativos, ensinando ao modelo a recuperar o contexto de apoio así como a resposta.

O noso obxectivo de adestramento combinado é unha suma ponderada da perda contrastiva a nivel de documento e a perda de destilación a nivel de fragmento. Faino unha media desta perda ponderada sobre o lote de pares de consultas e documentos.

A Figura 2 ilustra o noso enfoque de adestramento. O compresor de contexto serve como profesor só durante o adestramento. No momento da inferencia, o modelo de incrustacións produce unha incrustación contextual por fragmento, sen ningunha etapa adicional de compresión ou reordenación. O enfoque mellora a forma en que se aprenden as incrustacións contextuais sen aumentar o almacenamento do índice nin engadir latencia do modelo de profesor no momento da recuperación.

Configuración de adestramento para a destilación de incrustacións contextuais — Figura 2: A configuración de adestramento do noso modelo. O codificador contextual (estudante, esquerda) procesa documentos, cada un composto por varios fragmentos. Cada fragmento incrustase con respecto ao contexto do documento circundante. A Consulta A é unha coincidencia coñecida para o Documento A e puntúase contra os fragmentos de todos os documentos para obter semellanzas preditas. Estas puntuacións a nivel de fragmento combínanse mediante max-pooling en puntuacións a nivel de documento. Adestramos as predicións a nivel de fragmento e as predicións a nivel de documento para que coincidan coas distribucións obxectivo (dereita). O obxectivo a nivel de fragmento calcúlase no momento do adestramento como a predición do compresor de contexto dentro do documento relevante coñecido e establécese en cero dentro dos documentos irrelevantes coñecidos. A distribución obxectivo a nivel de documento establécese en one-hot no documento relevante coñecido.

Os datos de adestramento consisten en aproximadamente 430 conxuntos de datos públicos e internos de consultas e documentos que abarcas máis de 50 linguas.

Construímos conxuntos de datos de pares internos a partir de datos de produción filtrados de PII e sintetizando consultas relevantes sobre documentos longos. Para cada pase cara adiante, seleccionamos un conxunto de datos e mostramos un lote enteiro del para aumentar a dificultade dos negativos en lote e evitar a aprendizaxe de atallos. Ningún dos nosos conxuntos de datos de adestramento leva anotacións a nivel de fragmento: toda a supervisión dentro do documento provén do modelo de compresión, e non se usan datos de ConTEB para o adestramento. Ademais, non había datos de context-bench dispoñibles durante o desenvolvemento do modelo.

O modelo comeza cun modelo de recuperación ColBERT interno de 9B parámetros e produce incrustacións de 2048 dimensións a través dunha capa de proxección lineal. Marcamos os límites dos fragmentos cun token <|chunk_sep|> aprendido e formamos cada incrustación de fragmento promediando as súas incrustacións de tokens. As consultas son codificadas polo mesmo modelo, coas súas incrustacións de tokens promediadas nun único vector.

Usamos o adestramento Matryoshka para admitir incrustacións de 1024 e 2048 dimensións, e o adestramento consciente da cuantización para admitir incrustacións nativas int8. Durante o adestramento, aumentamos gradualmente a taxa de aprendizaxe, mantémola constante e despois reducímola.

O modelo publicado é unha sopa de modelos que promedia os pesos de varios puntos de control da mesma execución de adestramento.

Os puntos de referencia de recuperación contextual públicos como ConTEB comparten a premisa detrás da supervisión de fragmentos dourados: cada consulta ten un único fragmento relevante e un modelo é recompensado só por clasificar ese fragmento en primeiro lugar. Tamén heredan as súas limitacións.

Primeiro, ConTEB proba a recuperación en tarefas nas que un fragmento é ambiguo sen o seu contexto circundante. Nalgúns destas tarefas, os modelos contextuais superaron aos modelos que codifican cada fragmento de forma independente. Non obstante, non pregunta se un modelo tamén expón as outras partes do documento que fan que o fragmento sexa comprensible.

Segundo, non proba sistematicamente se se pode atopar o documento correcto cando documentos case idénticos no mesmo corpus difiren só no contexto que rodea a unha frase doutro xeito idéntica.

Ambas capacidades importan cando un axente de busca ou usuario debe comprender e verificar unha resposta a partir dunhas poucas frases recuperadas en lugar dun documento completo. Polo tanto, construímos context-bench, un punto de referencia controlado para a recuperación sobre documentos longos, deseñado para distinguir o uso do contexto do documento da calidade de recuperación xeral. Proba se as incrustacións contextuais usan información doutro lugar dun documento para admitir tres capacidades:

Desambiguación de documentos: Identificar o documento correcto entre alternativas case idénticas.
Recuperación de respostas: Recuperar fragmentos portadores de respostas cuxo significado depende de detalles noutro lugar do documento.
Recuperación de evidencias: Recuperar fragmentos de apoio que aclaran ou substancian a resposta.

Context-bench contén 2.099 consultas e 38.894 documentos. Empréganse fragmentos do tamaño dunha frase, o que resulta nun total de 2.458.072 fragmentos. As consultas abarcan 21 dominios, incluíndo presentacións corporativas, investigación clínica, viaxes, entretemento, educación, goberno, contratos legais e documentación de software.

Cada consulta está deseñada para probar unha de doce capacidades contextuais. Os documentos obxectivo principais son intencionadamente longos: 1.061 dos 1.197 documentos obxectivo principais distintos teñen polo menos 200 frases, cunha lonxitude mediana de aproximadamente 6.100 tokens. Cada consulta ten exactamente unha resposta correcta no corpus. Cando o mesmo feito se indica máis dunha vez nun documento dourado, por exemplo nunha frase de resumo e nunha fila dunha táboa, calquera desas frases acéptase como resposta.

Unha ruta de resposta é unha combinación válida dun fragmento de resposta e a evidencia de apoio necesaria para interpretala ou velala. Entre as 2.099 consultas, a ruta de resposta do documento obxectivo principal ten un grupo de evidencias para 964 consultas, dous para 735, tres ou máis para 332 e ningún para 68. As rutas de resposta válidas alternativas poden requirir diferentes grupos de evidencias.

Táboa 1: Estatísticas do punto de referencia.

Estatística	Valor
Consultas	2.099
Documentos	38.894
Fragmentos de frases	2.458.072
Lonxitude mediana do documento obxectivo principal	6.100 tokens
Dominios	21
Grupos de evidencias por consulta (ruta de resposta do documento obxectivo principal)	1: 964; 2: 735; 3+: 332; ningún: 68

Táboa 2: Doce capacidades contextuais probadas por context-bench, con exemplos ilustrativos.

Capacidade	Consulta de exemplo	Fragmento de resposta	Contexto de documento requerido
1. Identidade da entidade	Canto gastou Northlake en recompra de accións?	A empresa recomprou 12.800 millóns de dólares en accións.	A introdución identifica a Northlake como "a empresa". Un informe similar de Southlake non é relevante.
2. Período ou versión	Qué cartucho se adapta á revisión B do M40?	Instale o cartucho KC-42.	A sección de aplicabilidade indica que estas instrucións cobren a revisión B, non a revisión C.
3. Definicións ealiases	Cal foi a taxa de retirada do grupo de 15 mg?	Zeta tivo unha taxa de retirada do 12,7%.	O informe define a Zeta como o grupo de 15 mg. Sen esa definición, o fragmento non identifica o grupo solicitado.
4. Estrutura da táboa	Cal é a capacidade da batería do modelo Max?	Capacidade típica: 4.250 \| 4.700 \| 5.150.	A cabeceira da táboa establece Mini \| Base \| Max, medida en mAh. Polo tanto, a resposta é 5.150 mAh.
5. Condicións e excepcións	Canto dura a cobertura da batería para uso comercial?	A cobertura da batería dura 18 meses.	Unha introdución de sección restrinxe esta cobertura a instalacións comerciais; as instalacións domésticas teñen unha garantía diferente.
6. Referencias e pronomes	Cando se converteu Mara en vicealcaldesa?	Asumiu o cargo en 2021.	A narración anterior establece que "ela" se refire a Mara, non a Elin, que tamén se menciona.
7. Orde e posición na lista	Que canción abriu os bises?	14. Lantern Road.	Unha nota noutro lugar di que as cancións 14–16 constituíron os bises. Polo tanto, a pista 14 é a súa canción de apertura.
8. Ámbito da sección	Que lente se usou para a cinematografía da película?	Utilizouse unha lente fixa de 35 mm en todo momento.	Esta pasaxe pertence á "Fotografía principal", non á sección separada sobre fotografías publicitaria.
9. Atribución do orador	Que data de reapertura prometeu o alcalde?	Reabriremos o 12 de xuño.	A transcrición identifica o alcalde como o orador. As mesmas palabras dun contratista non establecerían a promesa do alcalde.
10. Cambios ao longo do tempo	Que período de preaviso se aplicaba despois da emenda de maio?	O período de preaviso é agora de 45 días.	O historial de emendas establece que este cambio entrou en vigor en maio, substituíndo a anterior regra de 30 días.
11. Relacións causais	Por que se detivo a bomba oeste?	Esa avería provocou o parón.	A investigación identifica "esa avería" como un coinete gripar na bomba oeste, e distínguea dunha obstrución de entrada non relacionada.
12. Significado figurativo ou interlingüístico	Figurativo: Que simboliza "a sala de inverno" no poema? Interlingüístico: Que compoñente indica a instrución en francés que o técnico debe retirar?	Figurativo: Representa o exilio, en vez dunha sala física. Interlingüístico: Retirez le capot. (Retire a cuberta.)	Figurativo: O comentario identifica "iso" como a imaxe recorrente da "sala de inverno" do poema. Interlingüístico: O glosario da guía especifica que "capot" significa a carpois protectora do motor, non a cuberta de envío.

As consultas, documentos e capacidades que se están a probar están inspirados en conversacións cos clientes de turbopuffer.

Para dar un exemplo, considere as necesidades de busca dunha empresa de xestión de propiedades. Estas empresas teñen cundos, ás veces miles de contratos de arrendamento que difiren só nos nomes dos inquilinos, as datas e algúns outros detalles clave. Unha consulta común para ese conxunto de datos podería ser "cando remata o arrendamento de 5 park avenue e cal é o aluguer actual?". Os contratos de arrendamento tamén poden ser longos e os compoñentes desambiguadores críticos que confirmarían que recuperou o documento correcto (como a data, o enderezo, o nome do inquilino, etc.) moitas veces poden estar moi lonxe da frase de resposta clave que contén a cantidade do pagamento mensual do aluguer. Na práctica, frases idénticas como "O aluguer mensual é de $X,XXX." poden aparecer en moitos documentos do corpus.

Un bo modelo de incrustacións contextuais debe usar o contexto de todo o documento para identificar o documento correcto e recuperar tanto a resposta como as súas frases de apoio. Isto permite que un usuario ou axente de busca verifique rapidamente a resposta e confirme que provén do documento correcto.

Para cada consulta, etiquetamos as frases de "resposta" e "evidencia" no documento obxectivo. Un modelo supera a nosa proba de "suficiencia do lector" se recupera unha frase de resposta xunto con polo menos unha frase de cada grupo de evidencias. Xuntas, estas frases proporcionan suficiente contexto para que un lector verifique a resposta con evidencia de apoio.

Cando os modelos de incrustacións contextuais fan isto ben, poden reducir drasticamente o número de tokens que os axentes de busca necesitan revisar, ademais de facer moito máis doado que unha persoa confirme rapidamente que localizou a resposta correcta á súa consulta orixinal sen ter que ler todo o documento.

Cada grupo de evidencias debe ser recuperado, pero calquera das alternativas dun grupo é suficiente para recuperalo. É común ver o mesmo feito indicado en varios lugares destes documentos extensos. Recuperar só unha frase de cada grupo de evidencias cumpre os criterios de suficiencia do lector e, como tal, aceptaríase como unha recuperación de evidencias perfecta.

Cada documento divídese en frases, e os mesmos límites úsanse para todos os modelos. Probánse dúas condicións para os modelos de incrustacións non contextuais: unha na que cada frase se incrusta de forma independente e outra na que o documento enteiro se incrusta como un único fragmento.

Usamos a condición a nivel de frase para medir a recuperación de respostas e a recuperación de evidencias. Proba se un modelo non contextual pode identificar a resposta correcta e a evidencia de apoio cando cada frase se incrusta sen acceso ao documento circundante. Isto é intencionadamente desafiante. En moitas consultas, a frase de resposta por si sa carece dos detalles necesarios para distinguila de frases similares noutros lugares do corpus.

Usamos a condición a nivel de documento como liña de base de recuperación de documentos. Proba se as incrustacións de frases finas proporcionan suficiente beneficio de recuperación para xustificar o seu custo de almacenamento adicional en relación co almacenamento dun vector por documento. Un índice a nivel de frase crea substancialmente máis vectores que un índice a nivel de documento, polo que debería superar a liña de base dun vector por documento para xustificar ese custo.

Todas as avaliacións usan clasificacións exhaustivas contra os 2.458.072 fragmentos. As diferenzas entre modelos reflicten, polo tanto, as representacións, non a configuración do índice. Centrámonos en tres métricas clave:

Document@K defínese como:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

onde $d^{*}$ é o documento mellor valorado en $D_q$ .

Answer@K defínese como:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

onde $C_K(q)$ é o $K$ superior de fragmentos de todo o corpus e $A_{q}$ é o conxunto de fragmentos de resposta aceptados.

Evidence Recall@K mídese dentro de $d^{*}$ do seguinte xeito: Clasifique as frases de $d^{*}$ por semellanza, elimine a frase de resposta mellor valorada e deixe que $R_K(q)$ sexa o $K$ superior que queda. Para os grupos de evidencias $G_q=\{g_1,\ldots,g_m\}$ , o grupo $g_j$ recupérase se algunha alternativa $E\in g_j$ cumpre $E\subseteq R_K(q)$ , e

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K pregunta se a contextualización permite que o documento correcto supere a irmáns e distractores que comparten o seu vocabulario.

Answer@K pregunta se a propia frase de resposta se atopa entre os fragmentos superiores.

Evidence Recall@K pregunta canto do contexto de apoio se recupera entre os K fragmentos superiores do documento correcto, despois de excluír o fragmento de resposta mellor valorado. Eliminar a resposta evita que a recuperación de evidencias conte dobre o que Answer@K xa mide, e deixa todas as ranuras $K$ para o contexto de apoio. Requerir que o documento dourado estea nos 10 primeiros documentos recuperados significa que ningún modelo recibe créditos de evidencia por un documento que non tería mostrado. Tamén informamos de All-Evidence@K, a fracción de consultas con cada grupo recuperado.

Xuntas, estas métricas descompoñen os retos aos que se enfrontan os modelos de incrustacións contextuais: atopar o documento correcto, atopar a resposta correcta e recuperar o contexto mínimo que demostra por que a resposta é correcta.

A Figura 3 ilustra as métricas co exemplo de xestión de propiedades.

Como se puntúan a recuperación de documentos, respostas e evidencias de context-bench — Figura 3: Métricas de context-bench ilustradas cunha consulta de arrendamento. Document@K proba a recuperación do documento correcto; Answer@K proba a recuperación do seu fragmento de resposta; Evidence Recall@K mide a recuperación de grupos de evidencias de apoio dentro do documento obxectivo. Neste exemplo, verificar o aluguer require tanto evidencia de enderezo como de ano de arrendamento. A recuperación de evidencias exclúe o fragmento de resposta superior e require que o documento obxectivo estea entre os 10 primeiros.

Avaliamos o noso modelo fronte a modelos de incrustacións contextuais e non contextuais en catro frontes.

As nosas bases de referencia contextuais son pplx-embed-context-v1-4B e voyage-context-4. As nosas bases de referencia non contextuais son voyage-4-large e Nemotron-3-Embed-8B-BF16 de NVIDIA, que codifican fragmentos de forma independente. O conxunto de bases de referencia varía segundo o experimento, tal como se indica en cada figura.

Comezamos con context-bench, que proba directamente as capacidades que motivan este traballo, e despois informamos dos resultados en ConTEB, o punto de referencia público estándar para incrustacións contextuais. Para comprobar que estas ganancias non se producen a costa da calidade de recuperación xeral, tamén avaliamos puntos de referencia de recuperación de documentos e fragmentos específicos de dominios que construímos a partir de conxuntos de datos públicos. Finalmente, examinamos dúas propiedades prácticas para a implementación: calidade de recuperación fronte a custos de almacenamento por vector, e sensibilidade ao tamaño de fragmento utilizado no momento da indexación. Todas as avaliacións codifican documentos de ata 32.768 tokens nun único pase.

Como se mostra na Figura 1 da introdución, a nosa vista previa lidera en Answer@K e Evidence Recall@K en cada corte informado, así como en All-Evidence@10. En K = 10, acada un 45,5% de recuperación de respostas, un 40,6% de recuperación de evidencias e un 31,1% de recuperación de todas as evidencias. Tamén lidera en Document@1 e Document@10, acadando un 15,2% e un 61,6%, respectivamente. En K = 10, a nosa vista previa supera a voyage-context-4 en 14,4 puntos porcentuais na recuperación de respostas e en 5,0 puntos na recuperación de evidencias.

O noso modelo de vista previa atinxe o nDCG@10 medio máis alto entre os modelos mostrados en ConTEB na Figura 4. Non lidera todas as tarefas: pplx-context-v1-4B obtén unha puntuación máis alta en NarrativeQA, mentres que Nemotron-3-8B obtén a puntuación máis alta en COVID-QA. Como tamén sinalaron os autores principais no artigo de ConTEB, COVID-QA inclúe principalmente emparellamentos de consultas e fragmentos que son moi extractivos e poden satisfacerse cunha simple coincidencia léxica de superficie en termos médicos técnicos. Como resultado, a comprensión do contexto é menos útil para esta tarefa e os modelos non contextuais adoitan superar aos contextuais.

nDCG a nivel de tarefa en 10 en ConTEB — Figura 4: nDCG@10 a nivel de tarefa en ConTEB na configuración de consulta a fragmento. A media é a media sen ponderar nas oito tarefas.

Máis alá dos puntos de referencia deseñados para incrustacións contextuais, avaliamos o rendemento específico de dominio do noso modelo.

A nosa suite de consulta a fragmento (Q2C) utiliza tarefas MTEB como LegalBench e FinanceBench xunto con tarefas de recuperación adicionais que seleccionamos de conxuntos de datos públicos. Dentro de cada documento relevante, un fragmento étiquetase como relevante se contén o intervalo de resposta exacto cando a tarefa proporciona un, e doutro xeito mediante un LLM que xulga a súa relevancia para a consulta. A suite de consulta a documento (Q2D) utiliza as mesmas tarefas e puntúa se se recupera o documento relevante.

O noso modelo acada a puntuación media máis alta na recuperación de fragmentos na Figura 5 e lidera nos dominios legal, técnico e sanitario. Non lidera en todos os dominios: voyage-context-4 obtén unha puntuación máis alta en finanzas e recuperación multilingüe, e Nemotron-3-8B obtén a puntuación máis alta na recuperación de conversas. Na recuperación de documentos na Figura 6, o noso modelo obtén unha puntuación lixeiramente inferior á de voyage-context-4 de media, mentres que lidera no dominio técnico. A base de referencia pplx-context-v1-4B obtén unha puntuación inferior de media en ambas as suites, o cal é coherente co feito de ter sido adestrada só no conxunto de datos de adestramento de ConTEB, o que demostra que a supervisión ligada aos fragmentos dourados dun punto de referencia se transfire mal a outros dominios.

Puntuacións de recuperación de consulta a fragmento por dominio — Figura 5: nDCG@10 medio nas tarefas de consulta a fragmento (Q2C), agrupadas por dominio. As barras de dominio son medias sen ponderar das puntuacións a nivel de tarefa nese dominio; a media xeral é unha media sen ponderar en todas as tarefas mostradas.

Puntuacións de recuperación de consulta a documento por dominio — Figura 6: Puntuación de recuperación media nas tarefas de consulta a documento (Q2D), agrupadas por dominio. Cada barra dun dominio é a media sen ponderar das súas puntuacións principais a nivel de tarefa; a media xeral é unha media sen ponderar en todas as tarefas mostradas.

Un modelo de incrustacións contextuais produce un vector por fragmento, polo que un índice construído co noso modelo contén exactamente tantos vectores como un índice convencional a nivel de fragmento coa mesma estratexia de fragmentación. A contextualización cambia o que codifica cada vector, non cantos vectores se almacenan. A pegada de almacenamento está gobernada, polo tanto, polo tamaño de cada vector. O modelo ofrece dúas formas de reducilo: truncar a incrustación de 2048 a 1024 dimensións e cuantizala a int8.

A Figura 7 mostra un compromiso favorable entre a calidade de recuperación e o almacenamento de vectores. A 1024 dimensións, as nosas incrustacións int8 usan 1 KB por vector mentres superan lixeiramente a puntuación de recuperación de fragmentos de voyage-context-4 a 2048 dimensións en float32, que usa 8 KB por vector. Aumentar o noso tamaño de incrustación a 2048 dimensións eleva aínda máis a calidade de recuperación a 2 KB por vector. Estas cifras de almacenamento refírense só aos vectores, non ao resto do índice.

Calidade de recuperación de fragmentos fronte ao almacenamento por vector — Figura 7: Calidade de recuperación de fragmentos (nDCG@10 medio) en función do almacenamento por vector. As liñas continuas denotan float32 e as liñas descontinuas denotan int8; as etiquetas indican a dimensión da incrustación.

A Figura 8 mostra só un cambio modesto na calidade de recuperación a medida que o tamaño do fragmento aumenta de 64 a 512 tokens: a puntuación media cae do 81,0% ao 79,9%, unha diminución de 1,1 puntos porcentuais. Isto suxire que o modelo segue sendo eficaz nos tamaños de fragmento probados, dándolle ás tuberías de indexación flexibilidade sobre como se dividen os documentos.

Sensibilidade ao tamaño do fragmento: puntuacións de recuperación para fragmentos de 64 a 512 tokens — Figura 8: Sensibilidade ao tamaño do fragmento do noso modelo. Cada punto é a media sen ponderar nDCG@10 en 74 tarefas MTEB, con documentos indexados no tamaño de fragmento dado.

turbopuffer mantén o corpus completo, as consultas e as etiquetas de context-bench privadas e informa dos resultados dos modelos enviados. Un punto de referencia público deste tipo convida ao adestramento directo nas súas consultas e documentos, o que o saturaría gradualmente e erosionaría o seu valor para facer un seguimento do progreso ao longo do tempo. Se desexa que o seu modelo sexa avaliado no punto de referencia, póñase en contacto con turbopuffer en contextbench@turbopuffer.com.

Unha vista previa do noso modelo está dispoñible en Hugging Face, e todos os resultados desta publicación infórmanse para esta vista previa. Estamos traballando para facer que o modelo estea dispoñible a través da API de Perplexity e para mellorar aínda máis a recuperación sobre documentos longos xunto con turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introdución

Por que importa o contexto para a recuperación

Os límites da supervisión de fragmentos dourados

Un novo enfoque para a aprendizaxe contextual

Función de perda

Perda contrastiva a nivel de documento

Perda de destilación a nivel de fragmento

Perda combinada

Datos de adestramento

Configuración do adestramento

Un novo punto de referencia para a recuperación a nivel de fragmento

Documentos e consultas

Etiquetas de resposta e evidencia

Métricas

Resultados da avaliación

Context-bench

ConTEB

Calidade de recuperación xeral entre dominios

Calidade de recuperación e custos de almacenamento

Sensibilidade ao tamaño do fragmento

Lanzamento

Cita