Incrustación contextual más allá del pasaje dorado

Las incrustaciones contextuales capturan el significado de cada pasaje o fragmento en el contexto de todo el documento. Su entrenamiento y evaluación típicamente asumen un solo fragmento relevante por consulta, conocido como el "pasaje dorado". Sin embargo, a menudo un pasaje dorado no es suficiente en la práctica. Puede contener la respuesta pero carecer del contexto de respaldo necesario para comprenderla o verificarla, dejándola ambigua de forma aislada.

Presentamos pplx-embed-v2-context-9b-preview, nuestro nuevo modelo de incrustación contextual. El modelo se entrena con un enfoque novedoso que utiliza el modelo de compresión de contexto de Perplexity como profesor. Agregamos sus predicciones a nivel de token en puntuaciones de relevancia a nivel de fragmento, enseñando al modelo de incrustación a recuperar tanto los fragmentos de respuesta como el contexto de respaldo en lugar de un solo fragmento dorado. El modelo produce una incrustación por fragmento sin costo de inferencia adicional y admite incrustaciones de 1024 dimensiones e int8.

Logra resultados de última generación en context-bench, un nuevo punto de referencia para la recuperación consciente del contexto creado y mantenido en privado por turbopuffer, y en ConTEB, un punto de referencia público ampliamente utilizado. Nuestro modelo se desarrolló independientemente de context-bench y se evaluó como una presentación a ciegas.

Context-bench consta de 2,099 consultas sobre 38,894 documentos largos en 21 dominios y evalúa tres capacidades de las incrustaciones contextuales: desambiguación de documentos entre documentos casi duplicados, recuperación de fragmentos dorados cuyo significado depende del contexto distante y recuperación de la evidencia de respaldo requerida para verificar una respuesta.

Una vista previa del modelo está disponible públicamente en Hugging Face. El punto de referencia se mantiene de forma privada por turbopuffer para reducir el riesgo de contaminación del entrenamiento y preservar su valor para medir el progreso. Para solicitar una evaluación, comuníquese con turbopuffer en contextbench@turbopuffer.com.

Resultados de recuperación de documentos, respuestas y evidencias en context-bench — Figura 1: Answer@K, Document@K, Evidence Recall@K y All-Evidence@10 en context-bench, comparando Perplexity v2 preview 9B con Voyage Context 4, Voyage 4 Large y Perplexity context v1 4B.

Los sistemas de recuperación suelen dividir los documentos largos en fragmentos más pequeños que se pueden indexar y buscar de forma independiente. La fragmentación es conveniente en la práctica, pero elimina el contexto en el que apareció originalmente cada fragmento, creando una compensación entre la granularidad de la compresión de información y el contexto utilizado durante la codificación. Un fragmento puede hacer referencia a una entidad introducida anteriormente, heredar su significado de un encabezado de sección o depender de definiciones ubicadas en otra parte del documento. Una vez extraído, es posible que ya no contenga suficiente información para ser coincidente de manera confiable con una consulta. Codificar todo el documento como un solo vector no resuelve esto, ya que una representación agrupada no puede capturar fielmente cada faceta de un documento largo.

Los modelos de incrustación contextual abordan esta limitación representando cada fragmento en el contexto de su contenido circundante, más comúnmente a través de la fragmentación tardía: el documento se codifica en una sola pasada y las representaciones de los fragmentos se agrupan posteriormente, de modo que cada vector de fragmento se calcula con todo el documento a la vista. Trabajos anteriores, como ConTEB y nuestro propio pplx-embed-context-v1, han demostrado que las representaciones de fragmentos contextualizados mejoran sustancialmente la recuperación sobre fragmentos codificados de forma independiente, particularmente en documentos largos.

El entrenamiento de modelos de incrustación contextual requiere una supervisión que identifique qué partes de un documento son relevantes para una consulta determinada. Un enfoque común son las anotaciones de fragmentos dorados: para cada consulta, un anotador, típicamente un modelo de lenguaje grande (LLM), identifica el fragmento del documento que la responde.

El entrenamiento suele combinar dos pérdidas contrastivas: una pérdida contrastiva entre documentos que contrasta el fragmento dorado con fragmentos de otros documentos, y una pérdida dentro del documento que lo contrasta con los demás fragmentos del mismo documento.

Este enfoque tiene algunas limitaciones:

Solo un fragmento es relevante. Trata a todos los demás fragmentos del documento como negativos, incluidos aquellos con información de respaldo útil. La supervisión a nivel de documento opera en el otro extremo. Identifica el documento como relevante sin especificar qué fragmentos dentro de él importan. En la práctica, la relevancia a menudo se encuentra entre estos extremos. El fragmento que contiene la respuesta puede depender de algunos fragmentos de respaldo que introducen una entidad, resuelven una referencia o proporcionan un hecho complementario, mientras que el resto del documento es irrelevante. Por lo tanto, el modelo debe aprender el nivel correcto de selectividad: más amplio que un solo fragmento dorado, pero más enfocado que el documento en su conjunto.
Supervisión gruesa. Debido a que cada anotación identifica un solo fragmento dorado en lugar de capturar grados de relevancia en todo el documento, proporciona señales de entrenamiento limitadas para la cantidad de cómputo gastada en producirla.
Costoso de escalar. Cada par de entrenamiento requiere que un LLM lea el documento y seleccione el fragmento relevante, por lo que el costo de anotación crece linealmente con el tamaño del conjunto de datos de entrenamiento y limita cuántos y cuán diversos pueden ser los datos de entrenamiento.
Sensible a los límites de los fragmentos. Las etiquetas también están vinculadas a los límites de los fragmentos utilizados durante la anotación. Una etiqueta dorada asignada a una ventana de tamaño de token fijo no especifica qué oraciones más cortas o párrafos más largos son relevantes. Por lo tanto, cambiar la estrategia de fragmentación, o entrenar en múltiples fragmentaciones para mejorar la robustez ante cómo se dividen los documentos en el momento de la indexación, puede requerir anotar el corpus nuevamente.

Abordamos las limitaciones de la supervisión de fragmentos dorados destilando juicios de relevancia de un modelo de compresión de contexto consciente de consultas. Este modelo actúa como profesor: lee la consulta y el documento conjuntamente y asigna a cada token del documento una puntuación de relevancia. Sus predicciones ofrecen varias ventajas para entrenar incrustaciones contextuales:

Límites de fragmentos flexibles. Las puntuaciones de relevancia a nivel de token se pueden agregar sobre cualquier límite de fragmento elegido, lo que permite que las mismas predicciones del profesor supervisen diferentes fragmentaciones sin necesidad de volver a anotar.
Relevancia continua. A diferencia de las etiquetas binarias de fragmentos dorados, el profesor proporciona puntuaciones continuas que capturan grados de relevancia que distinguen naturalmente los fragmentos que contienen respuestas, el contexto de respaldo y el contenido irrelevante.
Menor costo de anotación. El profesor es compacto y está especializado en la puntuación de relevancia, lo que hace que sea mucho más económico de supervisar a escala que un LLM de propósito general.

Entrenamos nuestro modelo con una suma ponderada de una pérdida contrastiva a nivel de documento y una pérdida de destilación a nivel de fragmento sobre lotes de pares de consulta y documento. Para cada consulta, el documento emparejado sirve como positivo, mientras que los documentos restantes en el mismo lote sirven como negativos.

Para cada lote, seleccionamos aleatoriamente una estrategia de fragmentación, dividimos los documentos en consecuencia e insertamos tokens separadores entre los fragmentos. Luego procesamos cada documento en una sola pasada hacia adelante y agrupamos mediante la media las representaciones de los tokens dentro de cada fragmento para obtener incrustaciones de fragmentos contextuales. Las consultas se codifican por separado, aplicando la agrupación por la media sobre las representaciones de sus tokens. Finalmente, calculamos la similitud de coseno entre cada incrustación de consulta y cada incrustación de fragmento en el lote.

Si bien nuestro modelo de incrustación solo produce similitudes a nivel de fragmento, podemos derivar naturalmente similitudes a nivel de documento a partir de ellas. Consideramos que un documento d es tan relevante para una consulta q como su fragmento más relevante. Esta regla de puntuación está inspirada en la operación MaxSim de ColBERT, aplicada aquí a fragmentos en lugar de tokens.

Específicamente, dada una consulta q con una incrustación q y un documento d como una lista ordenada de fragmentos c con incrustaciones c, definimos la similitud a nivel de documento como:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Dadas estas similitudes a nivel de documento, podemos formular un objetivo InfoNCE a nivel de documento sobre negativos dentro del lote.

Para una consulta q, sea d⁺ su documento relevante y 𝒟 los documentos del lote. La pérdida contrastiva es la siguiente, omitiendo las temperaturas por legibilidad:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

La pérdida contrastiva le enseña al modelo qué documento es relevante para una consulta. La pérdida de destilación le enseña dónde radica la relevancia dentro de ese documento, lo cual es esencial para un modelo contextual.

Durante el entrenamiento, pasamos cada par positivo de consulta y documento a nuestro modelo de compresión de contexto, que asigna una puntuación de relevancia a cada token del documento. Al igual que con la puntuación a nivel de documento, derivamos la relevancia de cada fragmento a partir de sus contenidos más relevantes. Para reducir la sensibilidad a los tokens atípicos, incluidos los que se encuentran en los límites de los fragmentos, definimos la relevancia a nivel de fragmento como la media de las n puntuaciones de tokens principales dentro del fragmento.

Para cada consulta, aplicamos un softmax escalado por temperatura a las puntuaciones de relevancia a nivel de fragmento del profesor dentro del documento positivo para obtener una distribución objetivo. Los fragmentos en los otros documentos del lote reciben probabilidad de destino cero. Entrenamos el modelo de incrustación para que coincida con este objetivo minimizando la divergencia KL directa entre el objetivo y su distribución predicha sobre todos los fragmentos del lote:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Aquí, los superíndices T y S indican el profesor y el estudiante, y rⱼ es la puntuación de relevancia del profesor para el fragmento cⱼ en el documento positivo d⁺. La distribución objetivo del profesor asigna probabilidad cero a los fragmentos en todos los demás documentos del lote.

A diferencia de una etiqueta de fragmento dorado única, este objetivo captura grados de relevancia. Los fragmentos de respaldo reciben peso de acuerdo con las puntuaciones del profesor en lugar de ser tratados como negativos, lo que enseña al modelo a recuperar tanto el contexto de respaldo como la respuesta.

Nuestro objetivo de entrenamiento combinado es una suma ponderada de la pérdida contrastiva a nivel de documento y la pérdida de destilación a nivel de fragmento. Promediamos esta pérdida ponderada sobre el lote de pares de consulta y documento.

La Figura 2 ilustra nuestro enfoque de entrenamiento. El compresor de contexto sirve como profesor solo durante el entrenamiento. En el momento de la inferencia, el modelo de incrustación produce una incrustación contextual por fragmento, sin etapa adicional de compresión o reordenamiento. El enfoque mejora la forma en que se aprenden las incrustaciones contextuales sin aumentar el almacenamiento del índice ni agregar latencia del modelo de profesor en el momento de la recuperación.

Configuración de entrenamiento para la destilación de incrustaciones contextuales — Figura 2: La configuración de entrenamiento de nuestro modelo. El codificador contextual (estudiante, izquierda) procesa documentos, cada uno de los cuales consta de varios fragmentos. Cada fragmento se incrusta con respecto al contexto del documento circundante. La consulta A es una coincidencia conocida para el documento A y se evalúa frente a los fragmentos de todos los documentos para obtener similitudes predichas. Estas puntuaciones a nivel de fragmento se agrupan mediante el valor máximo para obtener puntuaciones a nivel de documento. Entrenamos las predicciones a nivel de fragmento y las predicciones a nivel de documento para que coincidan con las distribuciones objetivo (derecha). El objetivo a nivel de fragmento se calcula en el momento del entrenamiento como la predicción del compresor de contexto dentro del documento relevante conocido y se establece en cero dentro de los documentos irrelevantes conocidos. La distribución objetivo a nivel de documento se establece para que sea one-hot en el documento relevante conocido.

Los datos de entrenamiento constan de aproximadamente 430 conjuntos de datos públicos e internos de consultas y documentos que cubren más de 50 idiomas.

Construimos conjuntos de datos de pares internos a partir de datos de producción filtrados de PII y mediante la síntesis de consultas relevantes sobre documentos largos. Para cada pase hacia adelante, seleccionamos un conjunto de datos y muestreamos un lote completo de él para aumentar la dificultad de los negativos dentro del lote y evitar el aprendizaje por atajos. Ninguno de nuestros conjuntos de datos de entrenamiento lleva anotaciones a nivel de fragmento: toda la supervisión dentro del documento proviene del modelo de compresión, y no se utilizan datos de ConTEB para el entrenamiento. Además, no hubo datos de context-bench disponibles durante el desarrollo del modelo.

El modelo parte de un modelo de recuperación ColBERT interno de 9B parámetros y produce incrustaciones de 2048 dimensiones a través de una capa de proyección lineal. Marcamos los límites de los fragmentos con un token <|chunk_sep|> aprendido y formamos cada incrustación de fragmento promediando las incrustaciones de sus tokens. Las consultas son codificadas por el mismo modelo, con las incrustaciones de sus tokens promediadas en un solo vector.

Utilizamos el entrenamiento Matryoshka para admitir incrustaciones de 1024 y 2048 dimensiones, y un entrenamiento consciente de la cuantización para admitir incrustaciones int8 nativas. Durante el entrenamiento, aumentamos gradualmente la tasa de aprendizaje, la mantenemos constante y luego la reducimos.

El modelo publicado es una sopa de modelos que promedia los pesos de varios puntos de control de la misma ejecución de entrenamiento.

Los puntos de referencia públicos de recuperación contextual como ConTEB comparten la suposición detrás de la supervisión de fragmentos dorados: cada consulta tiene un solo fragmento relevante y un modelo es recompensado únicamente por clasificar ese fragmento en primer lugar. También heredan sus limitaciones.

Primero, ConTEB evalúa la recuperación en tareas donde un fragmento es ambiguo sin su contexto circundante. En estas tareas, los modelos contextuales superaron a los modelos que codifican cada fragmento de forma independiente. Sin embargo, no pregunta si el modelo también muestra las otras partes del documento que hacen que el fragmento sea comprensible.

Segundo, no evalúa sistemáticamente si se puede encontrar el documento correcto cuando documentos casi idénticos en el mismo corpus difieren únicamente en el contexto que rodea a una oración por lo demás idéntica.

Ambas capacidades son importantes cuando un agente de búsqueda o un usuario debe comprender y verificar una respuesta a partir de unas pocas oraciones recuperadas en lugar de un documento completo. Por lo tanto, construimos context-bench, un punto de referencia controlado para la recuperación en documentos largos, diseñado para distinguir el uso del contexto del documento de la calidad general de recuperación. Evalúa si las incrustaciones contextuales utilizan información de otras partes de un documento para respaldar tres capacidades:

Desambiguación de documentos: Identificar el documento correcto entre alternativas casi idénticas.
Recuperación de respuestas: Recuperar fragmentos que contienen respuestas cuyo significado depende de detalles en otras partes del documento.
Recuperación de evidencias: Recuperar fragmentos de respaldo que aclaren o sustenten la respuesta.

Context-bench contiene 2,099 consultas y 38,894 documentos. Se utilizan fragmentos de la longitud de una oración, lo que da como resultado un total de 2,458,072 fragmentos. Las consultas cubren 21 dominios, incluidos archivos corporativos, investigación clínica, viajes, entretenimiento, educación, gobierno, contratos legales y documentación de software.

Cada consulta está diseñada para probar una de las doce capacidades contextuales. Los documentos objetivo principales son intencionalmente largos: 1,061 de los 1,197 documentos objetivo principales distintos tienen al menos 200 oraciones, con una longitud mediana de aproximadamente 6,100 tokens. Cada consulta tiene exactamente una respuesta correcta en el corpus. Cuando el mismo hecho se enuncia más de una vez en un documento dorado, por ejemplo en una oración de resumen y en una fila de una tabla, cualquiera de esas oraciones se acepta como respuesta.

Una ruta de respuesta es una combinación válida de un fragmento de respuesta y la evidencia de respaldo necesaria para interpretarla o verificarla. En las 2,099 consultas, la ruta de respuesta del documento objetivo principal tiene un grupo de evidencia para 964 consultas, dos para 735, tres o más para 332 y ninguno para 68. Las rutas de respuesta válidas alternativas pueden requerir diferentes grupos de evidencia.

Tabla 1: Estadísticas del punto de referencia.

Estadística	Valor
Consultas	2,099
Documentos	38,894
Fragmentos de oraciones	2,458,072
Longitud mediana del documento objetivo principal	6,100 tokens
Dominios	21
Grupos de evidencia por consulta (ruta de respuesta del documento objetivo principal)	1: 964; 2: 735; 3+: 332; ninguno: 68

Tabla 2: Doce capacidades contextuales probadas por context-bench, con ejemplos ilustrativos.

Capacidad	Consulta de ejemplo	Fragmento de respuesta	Contexto de documento requerido
1. Identidad de entidad	¿Cuánto gastó Northlake en la recompra de acciones?	La empresa recompró 12.8 mil millones de dólares en acciones.	La introducción identifica a Northlake como "la empresa". Un informe similar de Southlake no es relevante.
2. Período o versión	¿Qué cartucho se ajusta a la M40 revisión B?	Instale el cartucho KC-42.	La sección de aplicabilidad dice que estas instrucciones cubren la revisión B, no la revisión C.
3. Definiciones y alias	¿Qué tasa de retiros tuvo el grupo de 15 mg?	Zeta tuvo una tasa de retiros del 12.7%.	El informe define a Zeta como el grupo de 15 mg. Sin esa definición, el fragmento no identifica al grupo solicitado.
4. Estructura de tabla	¿Cuál es la capacidad de batería del modelo Max?	Capacidad típica: 4,250 \| 4,700 \| 5,150.	El encabezado de la tabla establece Mini \| Base \| Max, medido en mAh. Por lo tanto, la respuesta es 5,150 mAh.
5. Condiciones y excepciones	¿Cuánto dura la cobertura de la batería para uso comercial?	La cobertura de la batería dura 18 meses.	La introducción de una sección restringe esta cobertura a las instalaciones comerciales; las instalaciones domésticas tienen una garantía diferente.
6. Referencias y pronombres	¿Cuándo se convirtió Mara en teniente de alcalde?	Asumió el cargo en 2021.	La narrativa anterior establece que "ella" se refiere a Mara, no a Elin, quien también es mencionada.
7. Orden y posición en la lista	¿Qué canción abrió el encore?	14. Lantern Road.	Una nota en otra parte dice que las canciones 14–16 constituyeron el encore. Por lo tanto, la pista 14 es su canción de apertura.
8. Alcance de la sección	¿Qué lente se utilizó para la cinematografía de la película?	Se utilizó un objetivo de focal fija de 35 mm en todo momento.	Este pasaje pertenece a "Fotografía principal", no a la sección separada sobre fotografías publicitarias.
9. Atribución del hablante	¿Qué fecha de reapertura prometió el alcalde?	Reabriremos el 12 de junio.	La transcripción identifica al alcalde como el hablante. Las mismas palabras de un contratista no establecerían la promesa del alcalde.
10. Cambios a lo largo del tiempo	¿Qué período de notificación se aplicó después de la modificación de mayo?	El período de notificación es ahora de 45 días.	El historial de modificaciones establece que este cambio entró en vigor en mayo, reemplazando la regla anterior de 30 días.
11. Relaciones causales	¿Por qué se detuvo la bomba oeste?	Esa falla provocó el apagado.	La investigación identifica "esa falla" como un cojinete gripado en la bomba oeste y la distingue de una obstrucción de entrada no relacionada.
12. Significado figurativo o translingüe	Figurativo: ¿Qué simboliza "la habitación de invierno" en el poema? Translingüe: ¿Qué componente le indica la instrucción en francés al técnico que retire?	Figurativo: Representa el exilio, en lugar de una habitación física. Translingüe: Retirez le capot. (Retire la cubierta).	Figurativo: El comentario identifica "eso" como la imagen recurrente de la "habitación de invierno" del poema. Translingüe: El glosario de la guía especifica que "capot" significa el capó protector del motor, no la cubierta de envío.

Las consultas, los documentos y las capacidades que se evalúan están inspirados en conversaciones con los clientes de turbopuffer.

Para dar un ejemplo, considere las necesidades de búsqueda de una empresa de administración de propiedades. Estas empresas tienen cientos, a veces miles de contratos de arrendamiento que difieren únicamente en los nombres de los inquilinos, las fechas y algunos otros detalles clave. Una consulta común para ese conjunto de datos podría ser "¿cuándo finaliza el contrato de arrendamiento de 5 Park Avenue y cuál es el alquiler actual?". Los contratos de arrendamiento también pueden ser extensos y los componentes desambiguadores críticos que confirmarían que ha recuperado el documento correcto (como la fecha, la dirección, el nombre del inquilino, etc.) a menudo pueden estar muy lejos de la oración de respuesta clave que contiene el monto del pago mensual del arrendamiento. En la práctica, oraciones idénticas como "El alquiler mensual es de $X,XXX." pueden aparecer en muchos documentos del corpus.

Un buen modelo de incrustación contextual debe utilizar el contexto de todo el documento para identificar el documento correcto y recuperar tanto la respuesta como sus oraciones de respaldo. Esto permite que un usuario o agente de búsqueda verifique rápidamente la respuesta y confirme que proviene del documento correcto.

Para cada consulta, etiquetamos las oraciones de "respuesta" y "evidencia" en el documento objetivo. Un modelo aprueba nuestra prueba de "suficiencia para el lector" si recupera una oración de respuesta junto con al menos una oración de cada grupo de evidencia. Juntas, estas oraciones proporcionan suficiente contexto para que un lector verifique la respuesta con evidencia de respaldo.

Cuando los modelos de incrustación contextual hacen esto bien, pueden reducir drásticamente el número de tokens que los agentes de búsqueda necesitan revisar, además de facilitar mucho que una persona confirme rápidamente que ha localizado la respuesta correcta a su consulta original sin tener que leer todo el documento.

Se debe recuperar cada grupo de evidencia, pero cualquiera de las alternativas de un grupo es suficiente para recuperarlo. Es común ver el mismo hecho expresado en varios lugares a lo largo de estos documentos extensos. La recuperación de una sola oración de cada grupo de evidencia cumple con los criterios de suficiencia del lector y, como tal, se aceptaría como una recuperación de evidencia perfecta.

Cada documento se divide en oraciones, y se utilizan los mismos límites para todos los modelos. Se prueban dos condiciones para los modelos de incrustación no contextuales: una en la que cada oración se incrusta de forma independiente y otra en la que todo el documento se incrusta como un solo fragmento.

Utilizamos la condición a nivel de oración para medir la recuperación de respuestas y la recuperación de evidencias. Evalúa si un modelo no contextual puede identificar la respuesta correcta y la evidencia de respaldo cuando cada oración se incrusta sin acceso al documento circundante. Esto es intencionalmente desafiante. En muchas consultas, la oración de respuesta por sí sola carece de los detalles necesarios para distinguirla de oraciones similares en otras partes del corpus.

Utilizamos la condición a nivel de documento como línea base de recuperación de documentos. Evalúa si las incrustaciones de oraciones detalladas proporcionan suficientes beneficios de recuperación para justificar su costo de almacenamiento adicional en relación con el almacenamiento de un vector por documento. Un índice a nivel de oración crea sustancialmente más vectores que un índice a nivel de documento, por lo que debe superar a la línea base de un vector por documento para justificar ese costo.

Todas las evaluaciones utilizan clasificaciones exhaustivas frente a los 2,458,072 fragmentos. Por lo tanto, las diferencias entre los modelos reflejan las representaciones, no la configuración del índice. Nos centramos en tres métricas clave:

Document@K se define como:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

donde $d^{*}$ es el documento mejor clasificado en $D_q$ .

Answer@K se define como:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

donde $C_K(q)$ son los $K$ fragmentos principales de todo el corpus y $A_{q}$ es el conjunto de fragmentos de respuesta aceptados.

Evidence Recall@K se mide dentro de $d^{*}$ de la siguiente manera: Clasifique las oraciones de $d^{*}$ por similitud, elimine la oración de respuesta mejor clasificada y sea $R_K(q)$ el top $K$ que queda. Para los grupos de evidencia $G_q=\{g_1,\ldots,g_m\}$ , el grupo $g_j$ se recupera si alguna alternativa $E\in g_j$ satisface $E\subseteq R_K(q)$ , y

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K pregunta si la contextualización permite que el documento correcto supere a los hermanos y distractores que comparten su vocabulario.

Answer@K pregunta si la oración de respuesta en sí misma se encuentra entre los fragmentos principales.

Evidence Recall@K pregunta cuánta parte del contexto de respaldo se recupera entre los K fragmentos principales del documento correcto, después de excluir el fragmento de respuesta mejor clasificado. Eliminar la respuesta evita que la recuperación de evidencias cuente doble lo que Answer@K ya mide, y deja todas las ranuras $K$ para el contexto de respaldo. Requerir que el documento dorado esté en los 10 documentos recuperados principales significa que ningún modelo recibe créditos por evidencia para un documento que no habría mostrado. También informamos All-Evidence@10, la fracción de consultas con cada grupo recuperado.

En conjunto, estas métricas descomponen los desafíos a los que se enfrentan los modelos de incrustación contextual: encontrar el documento correcto, encontrar la respuesta correcta y recuperar el contexto mínimo que muestra por qué la respuesta es correcta.

La Figura 3 ilustra las métricas con el ejemplo de administración de propiedades.

Cómo se califican la recuperación de documentos, respuestas y evidencias en context-bench — Figura 3: Métricas de context-bench ilustradas con una consulta de arrendamiento. Document@K evalúa la recuperación del documento correcto; Answer@K evalúa la recuperación de su fragmento de respuesta; Evidence Recall@K mide la recuperación de grupos de evidencia de respaldo dentro del documento objetivo. En este ejemplo, verificar el alquiler requiere evidencia tanto de la dirección como del año de arrendamiento. La recuperación de evidencias excluye el fragmento de respuesta superior y requiere que el documento objetivo se ubique en el top 10.

Evaluamos nuestro modelo frente a modelos de incrustación contextuales y no contextuales en cuatro frentes.

Nuestras líneas base contextuales son pplx-embed-context-v1-4B y voyage-context-4. Nuestras líneas base no contextuales son voyage-4-large y Nemotron-3-Embed-8B-BF16 de NVIDIA, que codifican los fragmentos de forma independiente. El conjunto de líneas base varía según el experimento, como se indica en cada figura.

Comenzamos con context-bench, que evalúa directamente las capacidades que motivan este trabajo, y luego informamos los resultados en ConTEB, el punto de referencia público estándar para incrustaciones contextuales. Para verificar que estas ganancias no se logren a expensas de la calidad general de recuperación, también evaluamos puntos de referencia de recuperación de documentos y fragmentos específicos de dominio que construimos a partir de conjuntos de datos públicos. Finalmente, examinamos dos propiedades prácticas para el despliegue: la calidad de recuperación frente a los costos de almacenamiento por vector, y la sensibilidad al tamaño de fragmento utilizado en el momento de la indexación. Todas las evaluaciones codifican documentos de hasta 32,768 tokens en una sola pasada.

Como se muestra en la Figura 1 de la introducción, nuestra vista previa lidera en Answer@K y Evidence Recall@K en cada punto de corte informado, así como en All-Evidence@10. En K = 10, logra un 45.5% de recuperación de respuestas, un 40.6% de recuperación de evidencias y un 31.1% de recuperación de toda la evidencia. También lidera en Document@1 y Document@10, alcanzando un 15.2% y un 61.6%, respectivamente. En K = 10, nuestra vista previa supera a voyage-context-4 por 14.4 puntos porcentuales en la recuperación de respuestas y 5.0 puntos en la recuperación de evidencias.

Nuestro modelo de vista previa logra el nDCG@10 promedio más alto entre los modelos mostrados en ConTEB en la Figura 4. No lidera en todas las tareas: pplx-context-v1-4B obtiene una puntuación más alta en NarrativeQA, mientras que Nemotron-3-8B obtiene la puntuación más alta en COVID-QA. Como los autores principales también señalaron en el documento de ConTEB, COVID-QA incluye principalmente emparejamientos de consulta y fragmento que son muy extractivos y se pueden satisfacer con una simple coincidencia léxica superficial en términos médicos técnicos. Como resultado, la comprensión del contexto es menos útil para esta tarea y los modelos no contextuales típicamente superan a los contextuales.

nDCG a nivel de tarea en 10 en ConTEB — Figura 4: nDCG@10 a nivel de tarea en ConTEB en la configuración de consulta a fragmento. El promedio es la media no ponderada en las ocho tareas.

Más allá de los puntos de referencia diseñados para incrustaciones contextuales, evaluamos el rendimiento específico de dominio de nuestro modelo.

Nuestro conjunto de consultas a fragmento (Q2C) utiliza tareas de MTEB como LegalBench y FinanceBench junto con tareas de recuperación adicionales que seleccionamos de conjuntos de datos públicos. Dentro de cada documento relevante, un fragmento se etiqueta como relevante si contiene el intervalo de respuesta exacto cuando la tarea proporciona uno, y de otro modo mediante un LLM que juzga su relevancia para la consulta. El conjunto de consultas a documento (Q2D) utiliza las mismas tareas y evalúa si se recupera el documento relevante.

Nuestro modelo logra la puntuación promedio más alta en la recuperación de fragmentos en la Figura 5 y lidera en los dominios legal, técnico y de salud. No lidera en todos los dominios: voyage-context-4 obtiene una puntuación más alta en finanzas y recuperación multilingüe, y Nemotron-3-8B obtiene la puntuación más alta en la recuperación de conversaciones. En la recuperación de documentos en la Figura 6, nuestro modelo obtiene una puntuación ligeramente inferior a voyage-context-4 en promedio, mientras que lidera en el dominio técnico. La línea base pplx-context-v1-4B obtiene una puntuación promedio más baja en ambos conjuntos, lo que es coherente con el hecho de haber sido entrenada únicamente en el conjunto de entrenamiento de ConTEB, lo que demuestra que la supervisión vinculada a los fragmentos dorados de un punto de referencia se transfiere mal a otros dominios.

Puntuaciones de recuperación de consulta a fragmento por dominio — Figura 5: nDCG@10 medio en las tareas de consulta a fragmento (Q2C), agrupadas por dominio. Las barras de dominio son medias no ponderadas de las puntuaciones a nivel de tarea en ese dominio; el promedio general es una media no ponderada en todas las tareas mostradas.

Puntuaciones de recuperación de consulta a documento por dominio — Figura 6: Puntuación de recuperación media en las tareas de consulta a documento (Q2D), agrupadas por dominio. Cada barra en un dominio es la media no ponderada de sus puntuaciones principales a nivel de tarea; el promedio general es una media no ponderada en todas las tareas mostradas.

Un modelo de incrustación contextual produce un vector por fragmento, por lo que un índice construido con nuestro modelo contiene exactamente tantos vectores como un índice convencional a nivel de fragmento con la misma estrategia de fragmentación. La contextualización cambia lo que codifica cada vector, no cuántos vectores se almacenan. Por lo tanto, la huella de almacenamiento está determinada por el tamaño de cada vector. El modelo ofrece dos formas de reducirlo: truncar la incrustación de 2048 a 1024 dimensiones y cuantizarla a int8.

La Figura 7 muestra un equilibrio favorable entre la calidad de recuperación y el almacenamiento de vectores. A 1024 dimensiones, nuestras incrustaciones int8 usan 1 KB por vector mientras superan ligeramente la puntuación de recuperación de fragmentos de voyage-context-4 a 2048 dimensiones en float32, que usa 8 KB por vector. Aumentar nuestro tamaño de incrustación a 2048 dimensiones eleva aún más la calidad de recuperación a 2 KB por vector. Estas cifras de almacenamiento se refieren únicamente a los vectores, no al resto del índice.

Calidad de recuperación de fragmentos frente al almacenamiento por vector — Figura 7: Calidad de recuperación de fragmentos (nDCG@10 promedio) en función del almacenamiento por vector. Las líneas sólidas denotan float32 y las líneas discontinuas denotan int8; las etiquetas indican la dimensión de incrustación.

La Figura 8 muestra solo un cambio modesto en la calidad de recuperación a medida que el tamaño del fragmento aumenta de 64 a 512 tokens: la puntuación promedio cae del 81.0% al 79.9%, una disminución de 1.1 puntos porcentuales. Esto sugiere que el modelo sigue siendo eficaz en los tamaños de fragmento probados, lo que otorga a las canalizaciones de indexación flexibilidad en la forma en que se dividen los documentos.

Sensibilidad al tamaño de fragmento: puntuaciones de recuperación para fragmentos de 64 a 512 tokens — Figura 8: Sensibilidad al tamaño de fragmento de nuestro modelo. Cada punto es el nDCG@10 medio no ponderado en 74 tareas de MTEB, con documentos indexados al tamaño de fragmento dado.

turbopuffer mantiene el corpus completo, las consultas y las etiquetas de context-bench privadas e informa los resultados de los modelos enviados. Un punto de referencia público de este tipo invita a realizar un entrenamiento directo sobre sus consultas y documentos, lo que lo saturaría gradualmente y erosionaría su valor para realizar un seguimiento del progreso a lo largo del tiempo. Si desea que su modelo se evalúe en el punto de referencia, comuníquese con turbopuffer en contextbench@turbopuffer.com.

Una vista previa de nuestro modelo está disponible en Hugging Face, y todos los resultados en esta publicación se informan para esta vista previa. Estamos trabajando para que el modelo esté disponible a través de la API de Perplexity y para seguir mejorando la recuperación en documentos largos junto con turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introducción

Por qué el contexto es importante para la recuperación

Los límites de la supervisión de fragmentos dorados

Un enfoque novedoso para el aprendizaje contextual

Función de pérdida

Pérdida contrastiva a nivel de documento

Pérdida de destilación a nivel de fragmento

Pérdida combinada

Datos de entrenamiento

Configuración de entrenamiento

Un nuevo punto de referencia para la recuperación a nivel de fragmento

Documentos y consultas

Etiquetas de respuesta y evidencia

Métricas

Resultados de la evaluación

Context-bench

ConTEB

Calidad general de recuperación en todos los dominios

Calidad de recuperación y costos de almacenamiento

Sensibilidad al tamaño de fragmento

Publicación

Citación