Incrustació contextual més enllà del passatge d'or

Les incrustacions contextuals capturen el significat de cada passatge o fragment en el context de tot el document. El seu entrenament i avaluació normalment assumeixen un únic fragment rellevant per consulta, conegut com el "passatge d'or". Tanmateix, a la pràctica un passatge d'or sovint no és suficient. Pot contenir la resposta, però mancar del context de suport necessari per entendre-la o verificar-la, deixant-la ambigua aïlladament.

Presentem pplx-embed-v2-context-9b-preview, el nostre nou model d'incrustació contextual. El model s'entrena amb un enfocament nou que utilitza el model de compressió de context de Perplexity com a professor. Agreguem les seves prediccions a nivell de testimoni en puntuacions de rellevància a nivell de fragment, ensenyant al model d'incrustació a recuperar tant els fragments de resposta com el context de suport en lloc d'un sol fragment d'or. El model produeix una incrustació per fragment sense cost d'inferència addicional i admet incrustacions de 1024 dimensions i int8.

Aconsegueix resultats d'última generació en context-bench, un nou punt de referència per a la recuperació conscient del context creat i mantingut de manera privada per turbopuffer, i en ConTEB, un punt de referència públic àmpliament utilitzat. El nostre model s'ha desenvolupat independentment de context-bench i s'ha avaluat com a enviament cec.

Context-bench consta de 2.099 consultes sobre 38.894 documents llargs en 21 dominis i avalua tres capacitats de les incrustacions contextuals: la desambiguació de documents entre documents gairebé duplicats, la recuperació de fragments d'or el significat dels quals depèn d'un context distant i el recordatori de l'evidència de suport necessària per verificar una resposta.

Hi ha una vista prèvia del model disponible públicament a Hugging Face. El punt de referència és mantingut de manera privada per turbopuffer per reduir el risc de contaminació de l'entrenament i preservar el seu valor per mesurar el progrés. Per sol·licitar una avaluació, poseu-vos en contacte amb turbopuffer a contextbench@turbopuffer.com.

Resultats de recuperació de documents, respostes i evidències a context-bench — Figura 1: Answer@K, Document@K, Evidence Recall@K i All-Evidence@10 a context-bench, comparant Perplexity v2 preview 9B amb Voyage Context 4, Voyage 4 Large i Perplexity context v1 4B.

Els sistemes de recuperació solen dividir els documents llargs en fragments més petits que es poden indexar i cercar de manera independent. La fragmentació és convenient a la pràctica, però elimina el context en què va aparèixer originalment cada fragment, creant un compromís entre la granularitat de la compressió de la informació i el context utilitzat durant la codificació. Un fragment pot fer referència a una entitat introduïda anteriorment, heretar el seu significat d'un encapçalament de secció o basar-se en definicions situades en un altre lloc del document. un cop extret, pot ser que ja no contingui prou informació per coincidir de manera fiable amb una consulta. Codificar tot el document com a únic vector no resol això, ja que una representació agrupada no pot capturar fidelment totes les facetes d'un document llarg.

Els models d'incrustació contextual aborden aquesta limitació representant cada fragment en el context del seu contingut circumdant, més comunament mitjançant la fragmentació tardana: el document es codifica en una sola passada i les representacions de fragments s'agrupen posteriorment, de manera que cada vector de fragment es calcula amb tot a la vista del document. Treballs anteriors, com ConTEB i el nostre propi pplx-embed-context-v1, han demostrat que les representacions de fragments contextualitzades milloren substancialment la recuperació sobre fragments codificats de manera independent, particularment en documents llargs.

L'entrenament de models d'incrustació contextual requereix una supervisió que identifiqui quines parts d'un document són rellevants per a una consulta donada. Un enfocament habitual són les anotacions de fragments d'or: per a cada consulta, un anotador, normalment un model de llenguatge gran (LLM), identifica el fragment del document que li dóna resposta.

L'entrenament normalment combina dues pèrdues contrastives: una pèrdua de contrast entre documents que contrasta el fragment d'or amb fragments d'altres documents, i una pèrdua de contrast dins del document que el contrasta amb els altres fragments del mateix document.

Aquest enfocament té algunes limitacions:

Només un fragment és rellevant. Tracta tots els altres fragments del document com a negatius, inclosos aquells amb informació de suport útil. La supervisió a nivell de document opera a l'altre extrem. Identifica el document com a rellevant sense especificar quins fragments del seu interior importen. A la pràctica, la rellevància sovint es troba entre aquests extrems. El fragment portador de respostes pot dependre d'uns quants fragments de suport que introdueixen una entitat, resolen una referència o subministren un fet complementari, mentre que la resta del document no és rellevant. Per tant, el model ha d'aprendre el nivell adequat de selectivitat: més ampli que un sol fragment d'or, però més centrat que el document en conjunt.
Supervisió grollera. Com que cada anotació identifica un únic fragment d'or en lloc de capturar graus de rellevància a tot el document, proporciona senyals d'entrenament limitats per a la quantitat de còmput gastada en produir-la.
Costós d'escalar. Cada parell d'entrenament requereix que un LLM llegeixi el document i seleccioni el fragment rellevant, de manera que el cost d'anotació creix linealment amb la mida del conjunt d'entrenament i limita quant i com de diverses poden ser les dades d'entrenament.
Sensible als límits dels fragments. Les etiquetes també estan lligades als límits dels fragments utilitzats durant l'anotació. Una etiqueta d'or assignada a una finestra de mida de testimoni fixa no especifica quines frases més curtes o paràgrafs més llargs són rellevants. Per tant, canviar l'estratègia de fragmentació, o entrenar a través de múltiples fragmentacions per millorar la robustesa de com es divideixen els documents en el moment de la indexació, pot requerir tornar a anotar el corpus.

Aborden les limitacions de la supervisió del fragment d'or destil·lant judicis de rellevància a partir d'un model de compressió de context conscient de la consulta. Aquest model serveix de professor: llegeix la consulta i el document conjuntament i assigna a cada testimoni del document una puntuació de rellevància. Les seves prediccions ofereixen diversos avantatges per entrenar incrustacions contextuals:

Límits de fragments flexibles. Les puntuacions de rellevància a nivell de testimoni es poden agregar sobre qualsevol límit de fragment triat, permetent que les mateixes prediccions del professor supervisin diferents fragmentacions sense tornar a anotar.
Rellevància contínua. A diferència de les etiquetes binàries de fragments d'or, el professor proporciona puntuacions contínues que capturen graus de rellevància que distingeixen naturalment els fragments que contenen respostes, el context de suport i el contingut irrellevant.
Cost d'anotació més baix. El professor és compacte i està especialitzat en la puntuació de rellevància, la qual cosa fa que sigui molt més barat de supervisar a escala que un LLM de propòsit general.

Entrenem el nostre model amb una suma ponderada d'una pèrdua de contrast a nivell de document i una pèrdua de destil·lació a nivell de fragment sobre lots de parells de consulta-document. Per a cada consulta, el document emparellat serveix com a positiu, mentre que els documents restants del mateix lot serveixen com a negatius.

Per a cada lot, seleccionem aleatòriament una estratègia de fragmentació, dividim els documents en conseqüència i inserim testimonis separadors entre els fragments. A continuació, processem cada document en una sola passada i fem la mitjana de les representacions de testimonis dins de cada fragment per obtenir incrustacions de fragments contextuals. Les consultes es codifiquen per separat, amb la mitjana de les seves representacions de testimonis. Finalment, calculem la semblança de cosinus entre cada incrustació de consulta i cada incrustació de fragment del lot.

Tot i que el nostre model d'incrustació només produeix similituds a nivell de fragment, podem deduir naturalment similituds a nivell de document a partir d'elles. Considerem que un document d és tan rellevant per a una consulta q com el seu fragment més rellevant. Aquesta regla de puntuació s'inspira en l'operació MaxSim de ColBERT, aplicada aquí a fragments en lloc de testimonis.

Concretament, donada una consulta q amb la incrustació q i un document d com a llista ordenada de fragments c amb les incrustacions c, definim la similitud a nivell de document com:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Donades aquestes similituds a nivell de document, podem formular un objectiu InfoNCE a nivell de document sobre negatius dins del lot.

Per a una consulta q, sigui d⁺ el seu document rellevant i 𝒟 els documents del lot. La pèrdua de contrast és la següent, ometent les temperatures per llegibilitat:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

La pèrdua de contrast ensenya al model quin document és rellevant per a una consulta. La pèrdua de destil·lació li ensenya on es troba la rellevància dins d'aquest document, la qual cosa és essencial per a un model contextual.

Durant l'entrenament, passem cada parell de consulta-document positiu al nostre model de compressió de context, que assigna una puntuació de rellevància a cada testimoni del document. Com amb la puntuació a nivell de document, derivem la rellevància de cada fragment a partir dels seus continguts més rellevants. Per reduir la sensibilitat als testimonis atípics, inclosos els dels límits dels fragments, definim la rellevància a nivell de fragment com la mitjana de les puntuacions dels n principals testimonis dins del fragment.

Per a cada consulta, apliquem una softmax escalada per temperatura a les puntuacions de rellevància a nivell de fragment del professor dins del document positiu per obtenir una distribució objectiu. Els fragments dels altres documents del lot reben una probabilitat objectiu zero. Entrenem el model d'incrustació perquè coincideixi amb aquest objectiu minimitzant la divergència KL directa entre l'objectiu i la seva distribució predita sobre tots els fragments del lot:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Aquí, els superíndexs T i S indiquen el professor i l'estudiant, i rⱼ és la puntuació de rellevància del professor per al fragment cⱼ en el document positiu d⁺. La distribució objectiu del professor assigna probabilitat zero als fragments de tots els altres documents del lot.

A diferencia d'una sola etiqueta de fragment d'or, aquest objectiu captura graus de rellevància. Els fragments de suport reben pes segons les puntuacions del professor en lloc de ser tractats com a negatius, ensenyant al model a recuperar el context de suport així com la resposta.

El nostre objectiu d'entrenament combinat és una suma ponderada de la pèrdua de contrast a nivell de document i la pèrdua de destil·lació a nivell de fragment. Fem la mitjana d'aquesta pèrdua ponderada sobre el lot de parells de consulta-document.

La figura 2 il·lustra el nostre enfocament d'entrenament. El compressor de context serveix de professor només durant l'entrenament. En el moment de la inferència, el model d'incrustació produeix una incrustació contextual per fragment, sense cap etapa addicional de compressió o requeue. L'enfocament millora la manera com s'aprenen les incrustacions contextuals sense augmentar l'emmagatzematge de l'índex ni afegir latència del model de professor en el moment de la recuperació.

Configuració d'entrenament per a la destil·lació d'incrustacions contextuals — Figura 2: La configuració d'entrenament del nostre model. L'codificador contextual (estudiant, esquerra) processa documents, cadascun format per diversos fragments. Cada fragment s'incrusta respecte al seu context de document circumdant. La consulta A és una coincidència coneguda per al document A i es puntua contra els fragments de tots els documents per obtenir similituds predites. Aquestes puntuacions a nivell de fragment s'agrupen al màxim a puntuacions a nivell de document. Entrenem les prediccions a nivell de fragment i les prediccions a nivell de document perquè coincideixin amb les distribucions objectiu (dreta). L'objectiu a nivell de fragment es calcula en el moment de l'entrenament com la predicció del compressor de context dins del document rellevant conegut i s'estableix a zero dins dels documents irrellevants coneguts. La distribució objectiu a nivell de document s'estableix perquè sigui one-hot en el document rellevant conegut.

Les dades d'entrenament consisteixen en aproximadament 430 conjunts de dades de consulta-document públics i interns que cobreixen més de 50 idiomes.

Construïm conjunts de dades de parells interns a partir de dades de producció filtrades de PII i sintetitzant consultes rellevants sobre documents llargs. Per a cada pas endavant, seleccionem un conjunt de dades i n'extrec tot un lot per augmentar la dificultat dels negatius del lot i evitar l'aprenentatge de dreceres. Cap dels nostres conjunts de dades d'entrenament porta anotacions a nivell de fragment: tota la supervisió dins del document prové del model de compressió i no s'utilitzen dades de ConTEB per a l'entrenament. A més, no hi havia dades de context-bench disponibles durant el desenvolupament del model.

El model comença a partir d'un model de recuperació ColBERT intern de 9B paràmetres i produeix incrustacions de 2048 dimensions a través d'una capa de projecció lineal. Marquem els límits dels fragments amb un testimoni <|chunk_sep|> après i formem cada incrustació de fragment mitjançant la mitjana de les seves incrustacions de testimonis. Les consultes són codificades pel mateix model, amb les seves incrustacions de testimonis mitjanes en un únic vector.

Utilitzem l'entrenament de Matryoshka per admetre incrustacions de 1024 i 2048 dimensions, i l'entrenament conscient de la quantificació per admetre incrustacions int8 natives. Durant l'entrenament, augmentem gradualment la taxa d'aprenentatge, la mantenim constant i després la reduïm.

El model llançat és una sopa de models que fa la mitjana dels pesos de diversos punts de control de la mateixa execució d'entrenament.

Els punts de referència de recuperació contextual pública com ConTEB comparteixen el supòsit darrere de la supervisió del fragment d'or: cada consulta té un únic fragment rellevant i un model només és recompensat per classificar aquest fragment primer. També hereten les seves limitacions.

Primer, ConTEB prova la recuperació en tasques on un fragment és ambigu sense el seu context circumdant. En aquestes tasques, els models contextuals van superar els models que codifiquen cada fragment de manera independent. Tanmateix, no pregunta si un model també treu a la superfície les altres parts del document que fan que el fragment sigui comprensible.

Segon, no prova sistemàticament si es pot trobar el document correcte quan documents gairebé idèntics del mateix corpus només difereixen en el context que envolta una frase altrament idèntica.

Ambdues capacitats importen quan un agent de cerca o usuari ha d'entendre i verificar una resposta a partir d'unes quantes frases recuperades en lloc d'un document sencer. Per tant, hem construït context-bench, un punt de referència controlat per a la recuperació sobre documents llargs, dissenyat per distingir l'ús del context del document de la qualitat general de recuperació. Prova si les incrustacions contextuals utilitzen informació d'un altre lloc d'un document per admetre tres capacitats:

Desambiguació de documents: Identifica el document correcte entre alternatives gairebé idèntiques.
Recuperació de respostes: Recupera fragments que contenen respostes el significat de les quals depèn de detalls d'altres llocs del document.
Recuperació d'evidències: Recupera fragments de suport que clarifiquen o substancien la resposta.

Context-bench conté 2.099 consultes i 38.894 documents. S'utilitzen fragments de la mida d'una frase, la qual cosa resulta en 2.458.072 fragments totals. Les consultes cobreixen 21 dominis, inclosos arxius corporatius, investigació clínica, viatges, entreteniment, educació, govern, contractes legals i documentació de programari.

Cada consulta està dissenyada per provar una de les dotze capacitats contextuals. Els documents objectiu primaris són intencionadament llargs: 1.061 dels 1.197 documents objectiu primaris diferents tenen almenys 200 frases, amb una longitud mediana d'aproximadament 6.100 testimonis. Cada consulta té exactament una resposta correcta al corpus. Si el mateix fet s'indica més d'una vegada en un document d'or, per exemple en una frase de resum i una fila de taula, qualsevol d'aquestes frases s'accepta com a resposta.

Una ruta de resposta és una combinació vàlida d'un fragment de resposta i l'evidència de suport necessària per interpretar-lo o verificar-lo. A través de les 2.099 consultes, la ruta de resposta del document objectiu primari té un grup d'evidència per a 964 consultes, dos per a 735, tres o més per a 332 i cap per a 68. Les rutes de resposta alternatives vàlides poden requerir diferents grups d'evidència.

Taula 1: Estadístiques de referència.

Estadística	Valor
Consultes	2.099
Documents	38.894
Fragments de frases	2.458.072
Longitud mediana del document objectiu primari	6.100 testimonis
Dominis	21
Grups d'evidència per consulta (ruta de resposta del document objectiu primari)	1: 964; 2: 735; 3+: 332; cap: 68

Taula 2: Dotze capacitats contextuals provades per context-bench, amb exemples il·lustratius.

Capacitat	Consulta d'exemple	Fragment de resposta	Context del document requerit
1. Identitat de l'entitat	Quant va gastar Northlake en recompra d'accions?	L'empresa va recomprar 12.800 milions de dòlars en accions.	La introducció identifica Northlake com a "l'empresa". Un informe de Southlake similar no és rellevant.
2. Període o versió	Quin cartutx s'adapta a la revisió B de l'M40?	instal·leu el cartutx KC-42.	La secció d'aplicabilitat diu que aquestes instruccions cobreixen la revisió B, no la revisió C.
3. Definicions i àlies	quina taxa de retirada va tenir el grup de 15 mg?	Zeta va tenir una taxa de retirada del 12,7%.	L'informe defineix Zeta com el grup de 15 mg. Sense aquesta definició, el fragment no identifica el grup sol·licitat.
4. Estructura de la taula	Quina és la capacitat de la bateria del model Max?	Capacitat típica: 4.250 \| 4.700 \| 5.150.	La capçalera de la taula estableix Mini \| Base \| Max, mesurat en mAh. Per tant, la resposta és 5.150 mAh.
5. Condicions i excepcions	Quant de temps dura la cobertura de la bateria per a ús comercial?	La cobertura de la bateria dura 18 mesos.	Una introducció de secció restringeix aquesta cobertura a instal·lacions comercials; les instal·lacions domèstiques tenen una garantia diferent.
6. Referències i pronoms	Quan es va convertir la Mara en tinenta d'alcalde?	Va prendre possessió del càrrec el 2021.	La narrativa precedent estableix que "ella" es refereix a la Mara, no a l'Elin, de qui també es parla.
7. Ordre i posició de la llista	Quina cançó va obrir el bis?	14. Lantern Road.	Una nota a un altre lloc diu que les cançons 14–16 constituïen el bis. Per tant, la pista 14 és la seva cançó d'obertura.
8. Abast de la secció	Quina lent es va utilitzar per a la cinematografia de la pel·lícula?	Es va utilitzar una fixa de 35 mm durant tot el rodatge.	Aquest passatge pertany a "Fotografia principal", no a la secció independent sobre fotografies publicitàries.
9. Atribució del parlant	quina data de reobertura va prometre l'alcalde?	Reobrirem el 12 de juny.	La transcripció identifica l'alcalde com el parlant. Les mateixes paraules d'un contractista no establirien la promesa de l'alcalde.
10. Canvis al llarg del temps	Quin període de preavís s'aplicava després de la modificació del maig?	El període de preavís ara és de 45 dies.	L'historial de modificacions estableix que aquest canvi va entrar en vigor al maig, substituint la norma anterior de 30 dies.
11. Relacions causals	Per què es va parar la bomba oest?	Aquesta avaria va causar l'aturada.	La investigació identifica "aquesta avaria" com un coixinet encallat a la bomba oest, i la distingeix d'una obstrucció d'entrada no relacionada.
12. Significat figurat o translingüístic	Figurat: Què simbolitza "l'habitació d'hivern" al poema? Translingüístic: Quin component indica la instrucció en francès que el tècnic ha de retirar?	Figurat: Representa l'exili, en lloc d'una habitació física. Translingüístic: Retirez le capot. (Retireu la coberta.)	Figurat: El comentari identifica "això" com la imatge recurrent de "l'habitació d'hivern" del poema. Translingüístic: El glossari de la guia especifica que "capot" significa la capota protectora del motor, no la coberta d'enviament.

Les consultes, documents i capacitats que s'estan provant estan inspirats en converses amb els clients de turbopuffer.

Per donar un exemple, considereu les necessitats de cerca d'una empresa de gestió de propietats. Aquestes empreses tenen centenars, de vegades milers, d'acords d'arrendament que només difereixen en els noms dels inquilins, les dates i uns quants detalls clau més. Una consulta habitual per a aquest conjunt de dades podria ser "quan acaba l'arrendament del 5 de Park Avenue i quin és el lloguer actual?". Els contractes d'arrendament també poden ser llargs i els components de desambiguació crítics que confirmarien que heu recuperat el document correcte (com la data, l'adreça, el nom de l'inquilí, etc.) sovint poden estar molt lluny de la frase de resposta clau que conté l'import del pagament mensual de l'arrendament. a la pràctica, frases idèntiques com "El lloguer mensual és de $X,XXX." poden aparèixer en molts documents del corpus.

Un bon model d'incrustació contextual hauria d'utilitzar el context de tot el document per identificar el document correcte i recuperar tant la resposta com les seves frases de suport. Això permet a un usuari o agent de cerca verificar ràpidament la resposta i confirmar que prové del document correcte.

Per a cada consulta, etiquetem les frases de "resposta" i "evidència" del document objectiu. Un model supera la nostra prova de "sufficiència del lector" si recupera una frase de resposta juntament amb almenys una frase de cada grup d'evidència. Juntes, aquestes frases proporcionen prou context perquè un lector pugui verificar la resposta amb evidències de suport.

Quan els models d'incrustació contextual fan això bé, poden reduir dràsticament el nombre de testimonis que els agents de cerca necessiten revisar, així com facilitar molt a una persona confirmar ràpidament que ha localitzat la resposta correcta a la seva consulta original sense haver de llegir tot el document.

Cada grup d'evidència s'ha de recuperar, però qualsevol de les alternatives d'un grup és suficient per recuperar-lo. És habitual veure el mateix fet indicat en diversos llocs d'aquests documents llargs. Recuperar només una frase de cada grup d'evidència compleix els criteris de suficiència del lector i, com a tal, s'acceptaria com a recuperació d'evidència perfecta.

Cada document es divideix en fragments de frases, i s'utilitzen els mateixos límits per a tots els models. Es proven dues condicions per als models d'incrustació no contextuals: una on cada frase s'incrusta de manera independent i una altra on tot el document s'incrusta com un sol fragment.

Utilitzem la condició a nivell de frase per mesurar el recordatori de respostes i el recordatori d'evidències. Posa a prova si un model no contextual pot identificar la resposta correcta i l'evidència de suport quan cada frase s'incrusta sense accés al document circumdant. Això és intencionadament difícil. En moltes consultes, la frase de resposta sola manca dels detalls necessaris per distingir-la de frases similars en altres llocs del corpus.

Utilitzem la condició a nivell de document com a línia de base de recuperació de documents. Posa a prova si les incrustacions de frases de gra fi proporcionen prou benefici de recuperació per justificar el seu cost d'emmagatzematge addicional en relació amb emmagatzemar un vector per document. Un índex a nivell de frase crea substancialment més vectors que un índex a nivell de document, de manera que hauria de superar la línia de base d'un vector per document per merèixer aquest cost.

Totes les avaluacions utilitzen rànquings exhaustius contra els 2.458.072 fragments. Per tant, les diferències entre models reflecteixen les representacions, no la configuració de l'índex. Ens centrem en tres mètriques clau:

Document@K es defineix com:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

on $d^{*}$ és el document més ben valorat de $D_q$ .

Answer@K es defineix com:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

on $C_K(q)$ són els $K$ fragments principals de tot el corpus i $A_{q}$ és el conjunt de fragments de resposta acceptats.

Evidence Recall@K es mesura dins de $d^{*}$ de la manera següent: Classifiqueu les frases de $d^{*}$ per similitud, elimineu la frase de resposta més ben valorada i deixeu que $R_K(q)$ sigui el top $K$ que quedi. Per als grups d'evidència $G_q=\{g_1,\ldots,g_m\}$ , el grup $g_j$ es recupera si alguna alternativa $E\in g_j$ satisfà $E\subseteq R_K(q)$ , i

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K pregunta si la contextualització permet que el document correcte superi els germans i els distractors que comparteixen el seu vocabulari.

Answer@K pregunta si la frase de resposta en si es troba entre els fragments superiors.

Evidence Recall@K pregunta quant del context de suport es recupera entre els K fragments superiors del document correcte, després d'excloure el fragment de resposta més ben valorat. Eliminar la resposta evita que el recordatori d'evidències compti dues vegades el que Answer@K ja mesura, i deixa totes les ranures $K$ per al context de suport. Exigir que el document d'or estigui en els 10 documents recuperats principals significa que cap model rep crèdits d'evidència per un document que no hauria tret a la superfície. També informem de All-Evidence@K, la fracció de consultes amb cada grup recuperat.

Juntes, aquestes mètriques desglossen els reptes als quals s'enfronten els models d'incrustació contextual: trobar el document correcte, trobar la resposta correcta i recuperar el context mínim que mostra per què la resposta és correcta.

La figura 3 il·lustra les mètriques amb l'exemple de gestió de propietats.

Com es puntuen la recuperació de documents, respostes i evidències de context-bench — Figura 3: Mètriques de context-bench il·lustrades amb una consulta d'arrendament. Document@K prova la recuperació del document correcte; Answer@K prova la recuperació del seu fragment de resposta; Evidence Recall@K mesura la recuperació dels grups d'evidència de suport dins del document objectiu. en aquest exemple, verificar el lloguer requereix evidència tant de l'adreça com de l'any d'arrendament. El recordatori d'evidències exclou el fragment de resposta superior i requereix que el document objectiu es situï entre els 10 primers.

Avaluem el nostre model enfront de models d'incrustació contextuals i no contextuals en quatre fronts.

Les nostres línies de base contextuals són pplx-embed-context-v1-4B i voyage-context-4. Les nostres línies de base no contextuals són voyage-4-large i Nemotron-3-Embed-8B-BF16 de NVIDIA, que codifiquen els fragments de manera independent. El conjunt de referència varia segons l'experiment, tal com s'indica a cada figura.

Comencem amb context-bench, que prova directament les capacitats que motiven aquest treball, i després informem dels resultats de ConTEB, el punt de referència públic estàndard per a incrustacions contextuals. Per comprovar que aquests guanys no es produeixen a costa de la qualitat general de recuperació, també avaluem punts de referència de recuperació de documents i fragments específics del domini que hem construït a partir de conjunts de dades públics. Finalment, examinem dues propietats pràctiques per a la implementació: la qualitat de recuperació enfront dels costos d'emmagatzematge per vector i la sensibilitat a la mida del fragment utilitzada en el moment de la indexació. Totes les avaluacions codifiquen documents de fins a 32.768 testimonis en una sola passada.

Tal com es mostra a la figura 1 de la introducció, la nostra vista prèvia lidera en Answer@K i Evidence Recall@K a cada tall reportat, així com All-Evidence@10. A K = 10, aconsegueix un 45,5% de recordatori de respostes, un 40,6% de recordatori d'evidències i un 31,1% de recordatori de totes les evidències. També lidera en Document@1 i Document@10, arribant al 15,2% i el 61,6%, respectivament. A K = 10, la nostra vista prèvia supera voyage-context-4 en 14,4 punts percentuals en recordatori de respostes i 5,0 punts en recordatori d'evidències.

El nostre model de vista prèvia aconsegueix el nDCG@10 mitjà més alt entre els models mostrats a ConTEB a la figura 4. No lidera totes les tasques: pplx-context-v1-4B obté una puntuació més alta a NarrativeQA, mentre que Nemotron-3-8B obté la puntuació més alta a COVID-QA. Tal com van assenyalar els autors principals al document de ConTEB, COVID-QA inclou principalment emparellaments de consulta-fragment que són molt extractius i es poden satisfer amb una simple coincidència lèxica de superfície en termes mèdics tècnics. Com a resultat, la comprensió del context és menys útil per a aquesta tasca i els models no contextuals solen superar els contextuals.

nDCG a nivell de tasca a 10 a ConTEB — Figura 4: nDCG@10 a nivell de tasca a ConTEB en la configuració de consulta a fragment. La mitjana és la mitjana no ponderada de les vuit tasques.

Més enllà dels punts de referència dissenyats per a incrustacions contextuals, avaluem el rendiment específic del domini del nostre model.

El nostre conjunt de consulta a fragment (Q2C) utilitza tasques MTEB com LegalBench i FinanceBench juntament amb tasques de recuperació addicionals que hem comissariat a partir de conjunts de dades públics. Dins de cada document rellevant, un fragment s'etiqueta com a rellevant si conté l'interval de resposta exacte quan la tasca en proporciona un, i d'altra manera mitjançant un LLM que jutja la seva rellevància per a la consulta. El conjunt de consulta a document (Q2D) utilitza les mateixes tasques i puntua si es recupera el document rellevant.

El nostre model aconsegueix la puntuació mitjana més alta en la recuperació de fragments a la figura 5 i lidera en els dominis jurídic, tècnic i de la salut. No lidera a tots els dominis: voyage-context-4 obté una puntuació més alta en finances i recuperació multilingüe, i Nemotron-3-8B obté la puntuació més alta en la recuperació de converses. Pel que fa a la recuperació de documents a la figura 6, el nostre model puntua lleugerament per sota de voyage-context-4 de mitjana, alhora que lidera en el domini tècnic. La línia de base pplx-context-v1-4B puntua més baix de mitjana en ambdós conjunts, la qual cosa és coherent amb el fet d'haver estat entrenat només en el conjunt d'entrenament de ConTEB, demostrant que la supervisió lligada als fragments d'or d'un punt de referència es trasllada malament a altres dominis.

Puntuacions de recuperació de consulta a fragment per domini — Figura 5: nDCG@10 mitjà de les tasques de consulta a fragment (Q2C), agrupades per domini. Les barres de domini són mitjanes no ponderades de les puntuacions a nivell de tasca en aquest domini; la mitjana general és una mitjana no ponderada de totes les tasques mostrades.

Puntuacions de recuperació de consulta a document per domini — Figura 6: Puntuació mitjana de recuperació de les tasques de consulta a document (Q2D), agrupades per domini. Cada barra d'un domini és la mitjana no ponderada de les seves puntuacions principals a nivell de tasca; la mitjana general és una mitjana no ponderada de totes les tasques mostrades.

Un model d'incrustació contextual produeix un vector per fragment, de manera que un índex construït amb el nostre model conté exactament tants vectors com un índex convencional a nivell de fragment amb la mateixa estratègia de fragmentació. La contextualització canvia allò que codifica cada vector, no quants vectors s'emmagatzemen. Per tant, la petjada d'emmagatzematge ve regida per la mida de cada vector. El model ofereix dues maneres de reduir-la: truncar la incrustació de 2048 a 1024 dimensions i quantificar-la a int8.

La figura 7 mostra un compromís favorable entre la qualitat de recuperació i l'emmagatzematge de vectors. a 1024 dimensions, les nostres incrustacions int8 utilitzen 1 KB per vector alhora que superen lleugerament la puntuació de recuperació de fragments de voyage-context-4 a 2048 dimensions en float32, que utilitza 8 KB per vector. Augmentar la nostra mida d'incrustació a 2048 dimensions eleva encara més la qualitat de recuperació a 2 KB per vector. Aquestes xifres d'emmagatzematge es refereixen només als vectors, no a la resta de l'índex.

Qualitat de recuperació de fragments enfront d'emmagatzematge per vector — Figura 7: Qualitat de recuperació de fragments (nDCG@10 mitjà) en funció de l'emmagatzematge per vector. Les línies contínues denoten float32 i les línies discontínues denoten int8; les etiquetes indiquen la dimensió de la incrustació.

La figura 8 mostra només un canvi modest en la qualitat de recuperació a mesura que la mida del fragment augmenta de 64 a 512 testimonis: la puntuació mitjana baixa del 81,0% al 79,9%, una disminució d'1,1 punts percentuals. Això suggereix que el model continua sent eficaç a les mides de fragment provades, donant flexibilitat a les canonades d'indexació en la manera com es divideixen els documents.

Sensibilitat a la mida del fragment: puntuacions de recuperació per a fragments de 64 a 512 testimonis — Figura 8: Sensibilitat a la mida del fragment del nostre model. Cada punt és el nDCG@10 mitjà no ponderat a través de 74 tasques MTEB, amb documents indexats a la mida de fragment donada.

turbopuffer manté tot el corpus, les consultes i les etiquetes de context-bench de manera privada i informa dels resultats dels models tramesos. Un punt de referència públic d'aquest tipus convida a l'entrenament directe de les seves consultes i documents, la qual cosa el saturaria gradualment i n'erosionaria el valor per fer un seguiment del progrés al llarg del temps. Si voleu que el vostre model sigui avaluat al punt de referència, poseu-vos en contacte amb turbopuffer a contextbench@turbopuffer.com.

Una vista prèvia del nostre model està disponible a Hugging Face, i tots els resultats d'aquesta publicació s'informen per a aquesta vista prèvia. Estem treballant per fer que el model estigui disponible a través de l'API de Perplexity, i per millorar encara més la recuperació sobre documents llargs juntament amb turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introducció

Per què importa el context per a la recuperació

Els límits de la supervisió del fragment d'or

Un enfocament nou per a l'aprenentatge contextual

Funció de pèrdua

Pèrdua de contrast a nivell de document

Pèrdua de destil·lació a nivell de fragment

Pèrdua combinada

Dades d'entrenament

Configuració d'entrenament

Un nou punt de referència per a la recuperació a nivell de fragment

Documents i consultes

Etiquetes de resposta i evidència

Mètriques

Resultats de l'avaluació

Context-bench

ConTEB

Qualitat general de recuperació entre dominis

Qualitat de recuperació i costos d'emmagatzematge

Sensibilitat a la mida del fragment

Llançament

Citació