Incrustación contextual más allá del pasaje dorado

Las incrustaciones contextuales capturan el significado de cada pasaje o fragmento en el contexto de todo el documento. Su entrenamiento y evaluación típicamente asumen un solo fragmento relevante por consulta, conocido como "pasaje dorado". Sin embargo, a menudo un pasaje dorado no es suficiente en la práctica. Puede contener la respuesta pero carecer del contexto de respaldo necesario para comprenderla o verificarla, dejándola ambigua de forma aislada.

Presentamos pplx-embed-v2-context-9b-preview, nuestro nuevo modelo de incrustación contextual. El modelo se entrena con un enfoque novedoso que utiliza el modelo de compresión de contexto de Perplexity como profesor. Agregamos sus predicciones a nivel de token en puntuaciones de relevancia a nivel de fragmento, enseñando al modelo de incrustación a recuperar tanto los fragmentos de respuesta como el contexto de apoyo en lugar de un solo fragmento dorado. El modelo produce una incrustación por fragmento sin costo de inferencia adicional y admite incrustaciones de 1024 dimensiones e int8.

Logra resultados de vanguardia en context-bench, un nuevo punto de referencia para la recuperación consciente del contexto creado y mantenido en privado por turbopuffer, y en ConTEB, un punto de referencia público ampliamente utilizado. Nuestro modelo se desarrolló independientemente de context-bench y se evaluó como una presentación a ciegas.

Context-bench consta de 2099 consultas sobre 38 894 documentos largos en 21 dominios y evalúa tres capacidades de las incrustaciones contextuales: desambiguación de documentos entre documentos casi duplicados, recuperación de fragmentos dorados cuyo significado depende de un contexto distante y recuperación de la evidencia de respaldo necesaria para verificar una respuesta.

Hay una vista previa del modelo disponible públicamente en Hugging Face. El punto de referencia se mantiene de forma privada por turbopuffer para reducir el riesgo de contaminación del entrenamiento y preservar su valor para medir el progreso. Para solicitar una evaluación, póngase en contacto con turbopuffer en contextbench@turbopuffer.com.

Resultados de recuperación de documentos, respuestas y evidencias en context-bench — Figura 1: Answer@K, Document@K, Evidence Recall@K y All-Evidence@10 en context-bench, comparando Perplexity v2 preview 9B con Voyage Context 4, Voyage 4 Large y Perplexity context v1 4B.

Los sistemas de recuperación suelen dividir documentos largos en fragmentos más pequeños que se pueden indexar y buscar de forma independiente. La fragmentación es conveniente en la práctica, pero elimina el contexto en el que apareció originalmente cada fragmento, lo que crea una compensación entre la granularidad de la compresión de información y el contexto utilizado durante la codificación. Un fragmento puede hacer referencia a una entidad introducida anteriormente, heredar su significado de un encabezado de sección o basarse en definiciones ubicadas en otra parte del documento. Una vez extraído, es posible que ya no contenga suficiente información para ser emparejado de manera confiable con una consulta. Codificar todo el documento como un solo vector no resuelve esto, ya que una representación agrupada no puede capturar fielmente cada faceta de un documento largo.

Los modelos de incrustación contextual abordan esta limitación representando cada fragmento en el contexto de su contenido circundante, más comúnmente a través del fragmentado tardío: el documento se codifica en una sola pasada y las representaciones de los fragmentos se agrupan posteriormente, de modo que cada vector de fragmento se calcula con todo el documento a la vista. El trabajo anterior, como ConTEB y nuestro propio pplx-embed-context-v1, ha demostrado que las representaciones de fragmentos contextualizados mejoran sustancialmente la recuperación sobre fragmentos codificados de forma independiente, particularmente en documentos largos.

El entrenamiento de modelos de incrustación contextual requiere una supervisión que identifique qué partes de un documento son relevantes para una consulta determinada. Un enfoque común son las anotaciones de fragmentos dorados: para cada consulta, un anotador, típicamente un modelo de lenguaje grande (LLM), identifica el fragmento del documento que la responde.

El entrenamiento suele combinar dos pérdidas contrastivas: una pérdida contrastiva a nivel de documento que contrasta el fragmento dorado con fragmentos de otros documentos, y una pérdida contrastiva a nivel de fragmento que lo contrasta con los otros fragmentos del mismo documento.

Este enfoque tiene algunas limitaciones:

Solo un fragmento es relevante. Trata a todos los demás fragmentos del documento como negativos, incluidos aquellos con información de apoyo útil. La supervisión a nivel de documento opera en el otro extremo. Identifica el documento como relevante sin especificar qué fragmentos dentro de él importan. En la práctica, la relevancia a menudo se encuentra entre estos extremos. El fragmento que contiene la respuesta puede depender de unos pocos fragmentos de apoyo que introducen una entidad, resuelven una referencia o proporcionan un hecho complementario, mientras que el resto del documento es irrelevante. Por lo tanto, el modelo debe aprender el nivel correcto de selectividad: más amplio que un solo fragmento dorado, pero más enfocado que el documento en su conjunto.
Supervisión gruesa. Debido a que cada anotación identifica un solo fragmento dorado en lugar de capturar grados de relevancia en todo el documento, proporciona señales de entrenamiento limitadas para la cantidad de cómputo gastada en producirlo.
Costoso de escalar. Cada par de entrenamiento requiere que un LLM lea el documento y seleccione el fragmento relevante, por lo que el costo de anotación crece linealmente con el tamaño del conjunto de entrenamiento y limita cuántos datos de entrenamiento puede haber y cuán diversos pueden ser.
Sensible a los límites de los fragmentos. Las etiquetas también están vinculadas a los límites de los fragmentos utilizados durante la anotación. Una etiqueta dorada asignada a una ventana de tamaño de token fijo no especifica qué oraciones más cortas o párrafos más largos son relevantes. Por lo tanto, cambiar la estrategia de fragmentación, o entrenar en múltiples fragmentaciones para mejorar la solidez ante cómo se dividen los documentos en el momento de la indexación, puede requerir volver a anotar el corpus.

Abordamos las limitaciones de la supervisión de fragmentos dorados destilando juicios de relevancia de un modelo de compresión de contexto consciente de la consulta. Este modelo actúa como profesor: lee la consulta y el documento conjuntamente y asigna a cada token del documento una puntuación de relevancia. Sus predicciones ofrecen varias ventajas para entrenar incrustaciones contextuales:

Límites de fragmentos flexibles. Las puntuaciones de relevancia a nivel de token se pueden agregar sobre cualquier límite de fragmento elegido, lo que permite que las mismas predicciones del profesor supervisen diferentes fragmentaciones sin necesidad de volver a anotar.
Relevancia continua. A diferencia de las etiquetas de fragmentos dorados binarias, el profesor proporciona puntuaciones continuas que capturan grados de relevancia que distinguen naturalmente los fragmentos que contienen la respuesta, el contexto de apoyo y el contenido irrelevante.
Menor costo de anotación. El profesor es compacto y está especializado en la puntuación de relevancia, lo que hace que su supervisión a escala sea mucho más económica que la de un LLM de propósito general.

Entrenamos nuestro modelo con una suma ponderada de una pérdida contrastiva a nivel de documento y una pérdida de destilación a nivel de fragmento sobre lotes de pares de consulta-documento. Para cada consulta, el documento emparejado sirve como positivo, mientras que los documentos restantes en el mismo lote sirven como negativos.

Para cada lote, seleccionamos aleatoriamente una estrategia de fragmentación, dividimos los documentos en consecuencia e insertamos tokens separadores entre los fragmentos. A continuación, procesamos cada documento en una sola pasada hacia adelante y realizamos una agrupación de medias de las representaciones de tokens dentro de cada fragmento para obtener incrustaciones de fragmentos contextuales. Las consultas se codifican por separado, con agrupación de medias sobre sus representaciones de tokens. Finalmente, calculamos la similitud de coseno entre cada incrustación de consulta y cada incrustación de fragmento en el lote.

Si bien nuestro modelo de incrustación solo produce similitudes a nivel de fragmento, podemos derivar naturalmente similitudes a nivel de documento a partir de ellas. Consideramos que un documento d es tan relevante para una consulta q como su fragmento más relevante. Esta regla de puntuación está inspirada en la operación MaxSim de ColBERT, aplicada aquí a fragmentos en lugar de tokens.

Específicamente, dada una consulta q con la incrustación q y un documento d como una lista ordenada de fragmentos c con las incrustaciones c, definimos la similitud a nivel de documento como:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Dadas estas similitudes a nivel de documento, podemos formular un objetivo InfoNCE a nivel de documento sobre negativos dentro del lote.

Para una consulta q, sea d⁺ su documento relevante y 𝒟 los documentos del lote. La pérdida contrastiva es la siguiente, omitiendo las temperaturas por legibilidad:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

La pérdida contrastiva enseña al modelo qué documento es relevante para una consulta. La pérdida de destilación le enseña dónde reside la relevancia dentro de ese documento, lo cual es esencial para un modelo contextual.

Durante el entrenamiento, pasamos cada par positivo de consulta-documento a nuestro modelo de compresión de contexto, que asigna una puntuación de relevancia a cada token del documento. Al igual que con la puntuación a nivel de documento, derivamos la relevancia de cada fragmento a partir de sus contenidos más relevantes. Para reducir la sensibilidad a los tokens atípicos, incluidos los que se encuentran en los límites de los fragmentos, definimos la relevancia a nivel de fragmento como la media de las n puntuaciones de tokens principales dentro del fragmento.

Para cada consulta, aplicamos una softmax escalada por temperatura a las puntuaciones de relevancia a nivel de fragmento del profesor dentro del documento positivo para obtener una distribución objetivo. Los fragmentos de los otros documentos del lote reciben una probabilidad objetivo cero. Entrenamos el modelo de incrustación para que coincida con este objetivo minimizando la divergencia KL directa entre el objetivo y su distribución predicha sobre todos los fragmentos del lote:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Aquí, los superíndices T y S indican el profesor y el estudiante, y rⱼ es la puntuación de relevancia del profesor para el fragmento cⱼ en el documento positivo d⁺. La distribución objetivo del profesor asigna una probabilidad cero a los fragmentos de todos los demás documentos del lote.

A diferencia de una sola etiqueta de fragmento dorado, este objetivo captura grados de relevancia. Los fragmentos de apoyo reciben ponderación de acuerdo con las puntuaciones del profesor en lugar de ser tratados como negativos, lo que enseña al modelo a recuperar el contexto de apoyo además de la respuesta.

Nuestro objetivo de entrenamiento combinado es una suma ponderada de la pérdida contrastiva a nivel de documento y la pérdida de destilación a nivel de fragmento. Promediamos esta pérdida ponderada sobre el lote de pares de consulta-documento.

La Figura 2 ilustra nuestro enfoque de entrenamiento. El compresor de contexto actúa como profesor únicamente durante el entrenamiento. En el momento de la inferencia, el modelo de incrustación produce una incrustación contextual por fragmento, sin ninguna etapa adicional de compresión o reordenamiento. El enfoque mejora la forma en que se aprenden las incrustaciones contextuales sin aumentar el almacenamiento del índice ni añadir latencia del modelo de profesor en el momento de la recuperación.

Configuración de entrenamiento para la destilación de incrustaciones contextuales — Figura 2: La configuración de entrenamiento de nuestro modelo. El codificador contextual (estudiante, izquierda) procesa documentos, cada uno de los cuales consta de varios fragmentos. Cada fragmento se incrusta con respecto al contexto del documento circundante. La consulta A es una coincidencia conocida para el documento A y se puntúa frente a los fragmentos de todos los documentos para obtener similitudes predichas. Estas puntuaciones a nivel de fragmento se agrupan mediante max-pooling a puntuaciones a nivel de documento. Entrenamos las predicciones a nivel de fragmento y a nivel de documento para que coincidan con las distribuciones objetivo (derecha). El objetivo a nivel de fragmento se calcula en el momento del entrenamiento como la predicción del compresor de contexto dentro del documento relevante conocido y se establece en cero dentro de los documentos irrelevantes conocidos. La distribución objetivo a nivel de documento se establece para que sea one-hot en el documento relevante conocido.

Los datos de entrenamiento constan de aproximadamente 430 conjuntos de datos de consultas y documentos públicos e internos que cubren más de 50 idiomas.

Construimos conjuntos de datos de pares internos a partir de datos de producción filtrados de PII y sintetizando consultas relevantes sobre documentos largos. Para cada pasada hacia adelante, seleccionamos un conjunto de datos y extraemos un lote completo de él para aumentar la dificultad de los negativos dentro del lote y evitar el aprendizaje por atajos. Ninguno de nuestros conjuntos de datos de entrenamiento contiene anotaciones a nivel de fragmento: toda la supervisión dentro del documento proviene del modelo de compresión y no se utilizan datos de ConTEB para el entrenamiento. Además, no hubo datos de context-bench disponibles durante el desarrollo del modelo.

El modelo parte de un modelo de recuperación ColBERT interno de 9B parámetros y produce incrustaciones de 2048 dimensiones a través de una capa de proyección lineal. Marcamos los límites de los fragmentos con un token <|chunk_sep|> aprendido y formamos cada incrustación de fragmento promediando sus incrustaciones de tokens. Las consultas son codificadas por el mismo modelo, con sus incrustaciones de tokens promediadas en un solo vector.

Utilizamos el entrenamiento Matryoshka para admitir incrustaciones de 1024 y 2048 dimensiones, y entrenamiento consciente de la cuantización para admitir incrustaciones nativas int8. Durante el entrenamiento, aumentamos gradualmente la tasa de aprendizaje, la mantenemos constante y luego la reducimos.

El modelo publicado es una sopa de modelos que promedia los pesos de varios puntos de control de la misma ejecución de entrenamiento.

Los puntos de referencia públicos de recuperación contextual, como ConTEB, comparten la suposición detrás de la supervisión de fragmentos dorados: cada consulta tiene un solo fragmento relevante y un modelo es recompensado únicamente por clasificar ese fragmento en primer lugar. También heredan sus limitaciones.

Primero, ConTEB prueba la recuperación en tareas donde un fragmento es ambiguo sin su contexto circundante. En estas tareas, los modelos contextuales superaron a los modelos que codifican cada fragmento de forma independiente. Sin embargo, no pregunta si un modelo también muestra las otras partes del documento que hacen que el fragmento sea comprensible.

Segundo, no prueba sistemáticamente si se puede encontrar el documento correcto cuando documentos casi idénticos en el mismo corpus difieren solo en el contexto que rodea a una oración por lo demás idéntica.

Ambas capacidades importan cuando un agente de búsqueda o un usuario debe comprender y verificar una respuesta a partir de unas pocas oraciones recuperadas en lugar de un documento completo. Por lo tanto, construimos context-bench, un punto de referencia controlado para la recuperación en documentos largos, diseñado para distinguir el uso del contexto del documento de la calidad general de la recuperación. Prueba si las incrustaciones contextuales utilizan información de otras partes de un documento para respaldar tres capacidades:

Desambiguación de documentos: Identificar el documento correcto entre alternativas casi idénticas.
Recuperación de respuestas: Recuperar fragmentos que contienen la respuesta cuyo significado depende de detalles en otras partes del documento.
Recuperación de evidencias: Recuperar fragmentos de respaldo que aclaran o sustancian la respuesta.

Context-bench contiene 2099 consultas y 38 894 documentos. Se utilizan fragmentos de longitud de oración, lo que da como resultado un total de 2 458 072 fragmentos. Las consultas cubren 21 dominios, incluidos expedientes corporativos, investigación clínica, viajes, entretenimiento, educación, gobierno, contratos legales y documentación de software.

Cada consulta está diseñada para probar una de las doce capacidades contextuales. Los documentos objetivo principales son intencionalmente largos: 1061 de los 1197 documentos objetivo principales distintos tienen al menos 200 oraciones, con una longitud mediana de aproximadamente 6100 tokens. Cada consulta tiene exactamente una respuesta correcta en el corpus. Cuando el mismo hecho se enuncia más de una vez en un documento dorado, por ejemplo en una oración de resumen y una fila de tabla, cualquiera de esas oraciones se acepta como respuesta.

Una ruta de respuesta es una combinación válida de un fragmento de respuesta y la evidencia de respaldo necesaria para interpretarla o verificarla. Entre las 2099 consultas, la ruta de respuesta del documento objetivo principal tiene un grupo de evidencia para 964 consultas, dos para 735, tres o más para 332 y ninguno para 68. Las rutas de respuesta válidas alternativas pueden requerir diferentes grupos de evidencia.

Tabla 1: Estadísticas del punto de referencia.

Estadística	Valor
Consultas	2099
Documentos	38 894
Fragmentos de oraciones	2 458 072
Longitud mediana del documento objetivo principal	6100 tokens
Dominios	21
Grupos de evidencia por consulta (ruta de respuesta del documento objetivo principal)	1: 964; 2: 735; 3+: 332; ninguno: 68

Tabla 2: Doce capacidades contextuales probadas por context-bench, con ejemplos ilustrativos.

Capacidad	Consulta de ejemplo	Fragmento de respuesta	Contexto del documento requerido
1. Identidad de la entidad	¿Cuánto gastó Northlake en recompra de acciones?	La empresa recompró 12.800 millones de dólares en acciones.	La introducción identifica a Northlake como "la empresa". Un informe similar de Southlake no es relevante.
2. Período o versión	¿Qué cartucho se adapta a la revisión B del M40?	Instale el cartucho KC-42.	La sección de aplicabilidad indica que estas instrucciones cubren la revisión B, no la C.
3. Definiciones y alias	¿Qué tasa de retirada tuvo el grupo de 15 mg?	Zeta tuvo una tasa de retirada del 12,7%.	El informe define a Zeta como el grupo de 15 mg. Sin esa definición, el fragmento no identifica el grupo solicitado.
4. Estructura de la tabla	¿Cuál es la capacidad de la batería del modelo Max?	Capacidad típica: 4250 \| 4700 \| 5150.	La cabecera de la tabla establece Mini \| Base \| Max, medida en mAh. Por lo tanto, la respuesta es 5150 mAh.
5. Condiciones y excepciones	¿Cuánto dura la cobertura de la batería para uso comercial?	La cobertura de la batería dura 18 meses.	La introducción de una sección restringe esta cobertura a las instalaciones comerciales; las instalaciones domésticas tienen una garantía diferente.
6. Referencias y pronombres	¿Cuándo se convirtió Mara en vicealcaldesa?	Asumió el cargo en 2021.	La narrativa anterior establece que "ella" se refiere a Mara, no a Elin, de quien también se habla.
7. Orden de la lista y posición	¿Qué canción abrió el bis?	14. Lantern Road.	Una nota en otra parte indica que las canciones 14–16 constituyeron el bis. Por lo tanto, la pista 14 es su canción de apertura.
8. Alcance de la sección	¿Qué lente se utilizó para la cinematografía de la película?	Se utilizó un objetivo fijo de 35 mm en todo momento.	Este pasaje pertenece a "Fotografía principal", no a la sección separada sobre fotografías publicitarias.
9. Atribución del hablante	¿Qué fecha de reapertura prometió el alcalde?	Reabriremos el 12 de junio.	La transcripción identifica al alcalde como el hablante. Las mismas palabras de un contratista no establecerían la promesa del alcalde.
10. Cambios a lo largo del tiempo	¿Qué período de notificación se aplicó tras la enmienda de mayo?	El período de notificación es ahora de 45 días.	El historial de enmiendas establece que este cambio entró en vigor en mayo, reemplazando la regla anterior de 30 días.
11. Relaciones causales	¿Por qué se detuvo la bomba oeste?	Esa falla provocó el apagado.	La investigación identifica "esa falla" como un cojinete gripado en la bomba oeste y la distingue de una obstrucción de entrada no relacionada.
12. Significado figurativo o interlingüe	Figurativo: ¿Qué simboliza "la habitación de invierno" en el poema? Interlingüe: ¿Qué componente indica la instrucción en francés que debe retirar el técnico?	Figurativo: Representa el exilio, en lugar de una habitación física. Interlingüe: Retirez le capot. (Retire la cubierta.)	Figurativo: El comentario identifica "eso" como la imagen recurrente de "la habitación de invierno" del poema. Interlingüe: El glosario de la guía especifica que "capot" significa el capó protector del motor, no la cubierta de envío.

Las consultas, los documentos y las capacidades que se prueban están inspirados en conversaciones con los clientes de turbopuffer.

Para dar un ejemplo, considere las necesidades de búsqueda de una empresa de administración de propiedades. Estas empresas tienen cientos, a veces miles, de contratos de arrendamiento que difieren solo en los nombres de los inquilinos, las fechas y algunos otros detalles clave. Una consulta común para ese conjunto de datos podría ser "¿cuándo finaliza el contrato de arrendamiento de 5 park avenue y cuál es el alquiler actual?". Los contratos de arrendamiento también pueden ser extensos y los componentes críticos de desambiguación que confirmarían que ha recuperado el documento correcto (como la fecha, la dirección, el nombre del inquilino, etc.) a menudo pueden estar muy lejos de la oración de respuesta clave que contiene el monto del pago mensual del arrendamiento. En la práctica, oraciones idénticas como "El alquiler mensual es de $X,XXX." pueden aparecer en muchos documentos del corpus.

Un buen modelo de incrustación contextual debe utilizar el contexto de todo el documento para identificar el documento correcto y recuperar tanto la respuesta como sus oraciones de respaldo. Esto permite que un usuario o agente de búsqueda verifique rápidamente la respuesta y confirme que proviene del documento correcto.

Para cada consulta, etiquetamos las oraciones de "respuesta" y "evidencia" en el documento objetivo. Un modelo aprueba nuestra prueba de "suficiencia del lector" si recupera una oración de respuesta junto con al menos una oración de cada grupo de evidencia. Juntas, estas oraciones proporcionan suficiente contexto para que un lector verifique la respuesta con evidencia de respaldo.

Cuando los modelos de incrustación contextual hacen esto bien, pueden reducir drásticamente el número de tokens que los agentes de búsqueda necesitan revisar, además de facilitar mucho que una persona confirme rápidamente que ha localizado la respuesta correcta a su consulta original sin tener que leer todo el documento.

Cada grupo de evidencia debe recuperarse, pero cualquiera de las alternativas de un grupo es suficiente para recuperarlo. Es común ver el mismo hecho expresado en varios lugares de estos extensos documentos. Recuperar una sola oración de cada grupo de evidencia cumple con los criterios de suficiencia del lector y, como tal, se aceptaría como recuperación de evidencia perfecta.

Cada documento se divide en fragmentos de oraciones y se utilizan los mismos límites para todos los modelos. Se prueban dos condiciones para los modelos de incrustación no contextuales: una en la que cada oración se incrusta de forma independiente y otra en la que todo el documento se incrusta como un solo fragmento.

Utilizamos la condición a nivel de oración para medir la recuperación de respuestas y la recuperación de evidencias. Comprueba si un modelo no contextual puede identificar la respuesta correcta y la evidencia de respaldo cuando cada oración se incrusta sin acceso al documento circundante. Esto es intencionalmente desafiante. En muchas consultas, la oración de respuesta por sí sola carece de los detalles necesarios para distinguirla de oraciones similares en otras partes del corpus.

Utilizamos la condición a nivel de documento como línea base de recuperación de documentos. Comprueba si las incrustaciones de oraciones de grano fino proporcionan suficiente beneficio de recuperación para justificar su costo de almacenamiento adicional en relación con el almacenamiento de un vector por documento. Un índice a nivel de oración crea sustancialmente más vectores que un índice a nivel de documento, por lo que debería superar la línea base de un vector por documento para justificar ese costo.

Todas las evaluaciones utilizan clasificaciones exhaustivas frente a los 2 458 072 fragmentos. Por lo tanto, las diferencias entre los modelos reflejan las representaciones, no la configuración del índice. Nos centramos en tres métricas clave:

Document@K se define como:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

donde $d^{*}$ es el documento mejor clasificado en $D_q$ .

Answer@K se define como:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

donde $C_K(q)$ son los $K$ fragmentos principales en todo el corpus y $A_{q}$ es el conjunto de fragmentos de respuesta aceptados.

Evidence Recall@K se mide dentro de $d^{*}$ de la siguiente manera: Clasifique las oraciones de $d^{*}$ por similitud, elimine la oración de respuesta mejor clasificada y sea $R_K(q)$ el top $K$ que queda. Para los grupos de evidencia $G_q=\{g_1,\ldots,g_m\}$ , el grupo $g_j$ se recupera si alguna alternativa $E\in g_j$ satisface $E\subseteq R_K(q)$ , y

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K pregunta si la contextualización permite que el documento correcto supere a los hermanos y distractores que comparten su vocabulario.

Answer@K pregunta si la oración de respuesta en sí se encuentra entre los fragmentos principales.

Evidence Recall@K pregunta qué parte del contexto de respaldo se recupera entre los K fragmentos principales del documento correcto, después de excluir el fragmento de respuesta mejor clasificado. La eliminación de la respuesta evita que la recuperación de evidencia cuente doble lo que Answer@K ya mide, y deja todas las ranuras $K$ para el contexto de respaldo. Requerir que el documento dorado esté en los 10 documentos recuperados principales significa que ningún modelo recibe créditos de evidencia por un documento que no habría mostrado. También informamos All-Evidence@K, la fracción de consultas con cada grupo recuperado.

Juntas, estas métricas descomponen los desafíos a los que se enfrentan los modelos de incrustación contextual: encontrar el documento correcto, encontrar la respuesta correcta y recuperar el contexto mínimo que demuestra por qué la respuesta es correcta.

La Figura 3 ilustra las métricas con el ejemplo de administración de propiedades.

Cómo se puntúan la recuperación de documentos, respuestas y evidencias en context-bench — Figura 3: Métricas de context-bench ilustradas con una consulta de arrendamiento. Document@K prueba la recuperación del documento correcto; Answer@K prueba la recuperación de su fragmento de respuesta; Evidence Recall@K mide la recuperación de los grupos de evidencia de respaldo dentro del documento objetivo. En este ejemplo, verificar el alquiler requiere evidencia tanto de la dirección como del año de arrendamiento. La recuperación de evidencia excluye el fragmento de respuesta superior y requiere que el documento objetivo se ubique en el top 10.

Evaluamos nuestro modelo frente a modelos de incrustación contextuales y no contextuales en cuatro frentes.

Nuestras líneas base contextuales son pplx-embed-context-v1-4B y voyage-context-4. Nuestras líneas base no contextuales son voyage-4-large y Nemotron-3-Embed-8B-BF16 de NVIDIA, que codifican los fragmentos de forma independiente. El conjunto de líneas base varía según el experimento, como se indica en cada figura.

Comenzamos con context-bench, que prueba directamente las capacidades que motivan este trabajo, y luego informamos los resultados en ConTEB, el punto de referencia público estándar para incrustaciones contextuales. Para verificar que estas ganancias no se producen a expensas de la calidad general de la recuperación, también evaluamos puntos de referencia de recuperación de documentos y fragmentos específicos de un dominio que construimos a partir de conjuntos de datos públicos. Finalmente, examinamos dos propiedades prácticas para la implementación: la calidad de la recuperación frente a los costos de almacenamiento por vector y la sensibilidad al tamaño del fragmento utilizado en el momento de la indexación. Todas las evaluaciones codifican documentos de hasta 32 768 tokens en una sola pasada.

Como se muestra en la Figura 1 de la introducción, nuestra vista previa lidera en Answer@K y Evidence Recall@K en cada límite informado, así como en All-Evidence@10. En K = 10, logra un 45,5% de recuperación de respuestas, un 40,6% de recuperación de evidencias y un 31,1% de recuperación de toda la evidencia. También lidera en Document@1 y Document@10, alcanzando el 15,2% y el 61,6%, respectivamente. En K = 10, nuestra vista previa supera a voyage-context-4 en 14,4 puntos porcentuales en la recuperación de respuestas y en 5,0 puntos en la recuperación de evidencias.

Nuestro modelo de vista previa logra el nDCG@10 promedio más alto entre los modelos mostrados en ConTEB en la Figura 4. No lidera todas las tareas: pplx-context-v1-4B obtiene una puntuación más alta en NarrativeQA, mientras que Nemotron-3-8B obtiene la puntuación más alta en COVID-QA. Como los autores principales también señalaron en el documento de ConTEB, COVID-QA incluye principalmente emparejamientos de consulta-fragmento que son muy extractivos y se pueden satisfacer con una simple coincidencia léxica superficial en términos médicos técnicos. Como resultado, la comprensión del contexto es menos útil para esta tarea y los modelos no contextuales suelen superar a los contextuales.

nDCG a nivel de tarea en 10 en ConTEB — Figura 4: nDCG@10 a nivel de tarea en ConTEB en el entorno de consulta a fragmento. El promedio es la media no ponderada de las ocho tareas.

Más allá de los puntos de referencia diseñados para incrustaciones contextuales, evaluamos el rendimiento específico del dominio de nuestro modelo.

Nuestro conjunto de consultas a fragmentos (Q2C) utiliza tareas de MTEB como LegalBench y FinanceBench junto con tareas de recuperación adicionales que seleccionamos de conjuntos de datos públicos. Dentro de cada documento relevante, un fragmento se etiqueta como relevante si contiene el intervalo de respuesta exacto cuando la tarea proporciona uno, y de otro modo mediante un LLM que juzga su relevancia para la consulta. El conjunto de consultas a documentos (Q2D) utiliza las mismas tareas y puntúa si se recupera el documento relevante.

Nuestro modelo logra la puntuación promedio más alta en la recuperación de fragmentos en la Figura 5 y lidera en los dominios legal, técnico y de salud. No lidera en todos los dominios: voyage-context-4 obtiene una puntuación más alta en finanzas y recuperación multilingüe, y Nemotron-3-8B obtiene la puntuación más alta en la recuperación de conversaciones. En la recuperación de documentos en la Figura 6, nuestro modelo obtiene una puntuación ligeramente inferior a voyage-context-4 en promedio, mientras que lidera en el dominio técnico. La línea base pplx-context-v1-4B obtiene una puntuación promedio más baja en ambos conjuntos, lo que es coherente con el hecho de haber sido entrenada únicamente en el conjunto de entrenamiento de ConTEB, lo que demuestra que la supervisión vinculada a los fragmentos dorados de un punto de referencia se transfiere mal a otros dominios.

Puntuaciones de recuperación de consultas a fragmentos por dominio — Figura 5: nDCG@10 medio en las tareas de consulta a fragmento (Q2C), agrupadas por dominio. Las barras de dominio son medias no ponderadas de las puntuaciones a nivel de tarea en ese dominio; el promedio general es una media no ponderada en todas las tareas mostradas.

Puntuaciones de recuperación de consultas a documentos por dominio — Figura 6: Puntuación media de recuperación en las tareas de consulta a documento (Q2D), agrupadas por dominio. Cada barra en un dominio es la media no ponderada de sus puntuaciones principales a nivel de tarea; el promedio general es una media no ponderada en todas las tareas mostradas.

Un modelo de incrustación contextual produce un vector por fragmento, por lo que un índice construido con nuestro modelo contiene exactamente tantos vectores como un índice convencional a nivel de fragmento con la misma estrategia de fragmentación. La contextualización cambia lo que codifica cada vector, no cuántos vectores se almacenan. Por lo tanto, la huella de almacenamiento está determinada por el tamaño de cada vector. El modelo ofrece dos formas de reducirlo: truncar la incrustación de 2048 a 1024 dimensiones y cuantizarla a int8.

La Figura 7 muestra una compensación favorable entre la calidad de la recuperación y el almacenamiento de vectores. A 1024 dimensiones, nuestras incrustaciones int8 utilizan 1 KB por vector, al tiempo que superan ligeramente la puntuación de recuperación de fragmentos de voyage-context-4 a 2048 dimensiones en float32, que utiliza 8 KB por vector. Aumentar el tamaño de nuestra incrustación a 2048 dimensiones eleva aún más la calidad de la recuperación a 2 KB por vector. Estas cifras de almacenamiento se refieren únicamente a los vectores, no al resto del índice.

Calidad de recuperación de fragmentos frente a almacenamiento por vector — Figura 7: Calidad de recuperación de fragmentos (nDCG@10 promedio) en función del almacenamiento por vector. Las líneas continuas denotan float32 y las líneas discontinuas denotan int8; las etiquetas indican la dimensión de la incrustación.

La Figura 8 muestra solo un cambio modesto en la calidad de la recuperación a medida que el tamaño del fragmento aumenta de 64 a 512 tokens: la puntuación promedio cae del 81,0% al 79,9%, una disminución de 1,1 puntos porcentuales. Esto sugiere que el modelo sigue siendo eficaz en los tamaños de fragmentos probados, lo que otorga a las tuberías de indexación flexibilidad en la forma en que se dividen los documentos.

Sensibilidad al tamaño del fragmento: puntuaciones de recuperación para fragmentos de 64 a 512 tokens — Figura 8: Sensibilidad al tamaño de los fragmentos de nuestro modelo. Cada punto es la media no ponderada nDCG@10 en 74 tareas de MTEB, con documentos indexados al tamaño de fragmento dado.

turbopuffer mantiene privado el corpus completo, las consultas y las etiquetas de context-bench, y publica los resultados de los modelos enviados. Un punto de referencia público de este tipo invita al entrenamiento directo en sus consultas y documentos, lo que lo saturaría gradualmente y erosionaría su valor para realizar un seguimiento del progreso a lo largo del tiempo. Si desea que su modelo sea evaluado en el punto de referencia, póngase en contacto con turbopuffer en contextbench@turbopuffer.com.

Una vista previa de nuestro modelo está disponible en Hugging Face, y todos los resultados de esta publicación se informan para esta vista previa. Estamos trabajando para que el modelo esté disponible a través de la API de Perplexity y para seguir mejorando la recuperación en documentos largos junto con turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introducción

Por qué el contexto importa para la recuperación

Los límites de la supervisión de fragmentos dorados

Un enfoque novedoso para el aprendizaje contextual

Función de pérdida

Pérdida contrastiva a nivel de documento

Pérdida de destilación a nivel de fragmento

Pérdida combinada

Datos de entrenamiento

Configuración de entrenamiento

Un nuevo punto de referencia para la recuperación a nivel de fragmento

Documentos y consultas

Etiquetas de respuesta y evidencia

Métricas

Resultados de la evaluación

Context-bench

ConTEB

Calidad general de recuperación en todos los dominios

Calidad de recuperación y costos de almacenamiento

Sensibilidad al tamaño de los fragmentos

Lanzamiento

Citación