Incorporação contextual além da passagem de referência

As incorporações contextuais capturam o significado de cada passagem ou trecho no contexto de todo o documento. O treinamento e a avaliação delas normalmente assumem um único trecho relevante por consulta, conhecido como "passagem de referência" (gold passage). No entanto, uma passagem de referência geralmente não é suficiente na prática. Ela pode conter a resposta, mas carecer do contexto de suporte necessário para compreendê-la ou verificá-la, deixando-a ambígua isoladamente.

Estamos apresentando o pplx-embed-v2-context-9b-preview, nosso novo modelo de incorporação contextual. O modelo é treinado com uma nova abordagem que usa o modelo de compressão de contexto do Perplexity como professor. Agregamos suas previsões no nível de token em pontuações de relevância no nível de trecho, ensinando o modelo de incorporação a recuperar tanto os trechos de resposta quanto o contexto de suporte, em vez de um único trecho de referência. O modelo produz uma incorporação por trecho sem custo adicional de inferência e oferece suporte a incorporações de 1024 dimensões e int8.

Ele atinge resultados de ponta no context-bench, um novo benchmark para recuperação consciente de contexto criado e mantido privadamente pelo turbopuffer, e no ConTEB, um benchmark público amplamente utilizado. Nosso modelo foi desenvolvido independentemente do context-bench e avaliado como uma submissão cega.

O context-bench consiste em 2.099 consultas em 38.894 documentos longos em 21 domínios e avalia três capacidades de incorporações contextuais: desambiguação de documentos entre documentos quase duplicados, recuperação de trechos de referência (gold chunks) cujos significados dependem de contexto distante e recuperação das evidências de suporte necessárias para verificar uma resposta.

Uma prévia do modelo está publicamente disponível no Hugging Face. O benchmark é mantido de forma privada pelo turbopuffer para reduzir o risco de contaminação de treinamento e preservar seu valor para medir o progresso. Para solicitar uma avaliação, entre em contato com o turbopuffer pelo e-mail contextbench@turbopuffer.com.

Resultados de recuperação de documentos, respostas e evidências no context-bench — Figura 1: Answer@K, Document@K, Evidence Recall@K e All-Evidence@10 no context-bench, comparando o Perplexity v2 preview 9B com Voyage Context 4, Voyage 4 Large e Perplexity context v1 4B.

Os sistemas de recuperação normalmente dividem documentos longos em trechos menores que podem ser indexados e pesquisados de forma independente. A divisão em trechos é conveniente na prática, mas remove o contexto em que cada trecho apareceu originalmente, criando um equilíbrio entre a granularidade da compressão de informações e o contexto usado durante a codificação. Um trecho pode se referir a uma entidade introduzida anteriormente, herdar seu significado de um título de seção ou depender de definições localizadas em outro lugar do documento. Uma vez extraído, ele pode não conter mais informações suficientes para ser correspondido de forma confiável a uma consulta. Codificar o documento inteiro como um único vetor não resolve isso, pois uma representação agrupada não pode capturar fielmente todas as facetas de um documento longo.

Os modelos de incorporação contextual abordam essa limitação representando cada trecho no contexto de seu conteúdo circundante, mais comumente por meio de late chunking (divisão tardia em trechos): o documento é codificado em uma única passagem e as representações dos trechos são agrupadas posteriormente, de modo que cada vetor de trecho seja calculado com o documento inteiro em vista. Trabalhos anteriores, como o ConTEB e nosso próprio pplx-embed-context-v1, mostraram que as representações de trechos contextualizadas melhoram substancialmente a recuperação em relação a trechos codificados de forma independente, particularmente em documentos longos.

O treinamento de modelos de incorporação contextual requer supervisão que identifique quais partes de um documento são relevantes para uma dada consulta. Uma abordagem comum são as anotações de trechos de referência (gold-chunk annotations): para cada consulta, um anotador, normalmente um grande modelo de linguagem (LLM), identifica o trecho do documento que a responde.

O treinamento geralmente combina duas perdas contrastivas: uma perda contrastiva entre documentos que contrasta o trecho de referência com trechos de outros documentos, e uma perda contrastiva intra-documento que o contrasta com os outros trechos no mesmo documento.

Essa abordagem tem algumas limitações:

Apenas um trecho é relevante. Ela trata todos os outros trechos do documento como negativos, incluindo aqueles com informações de suporte úteis. A supervisão no nível do documento opera no outro extremo. Ela identifica o documento como relevante sem especificar quais trechos dentro dele importam. Na prática, a relevância geralmente fica entre esses extremos. O trecho portador da resposta pode depender de alguns trechos de suporte que introduzem uma entidade, resolvem uma referência ou fornecem um fato complementar, enquanto o restante do documento é irrelevante. O modelo deve, portanto, aprender o nível correto de seletividade: mais amplo do que um único trecho de referência, mas mais focado do que o documento como um todo.
Supervisão grossa. Como cada anotação identifica um único trecho de referência em vez de capturar graus de relevância em todo o documento, ela fornece sinais de treinamento limitados para a quantidade de processamento gasta para produzi-la.
Custo elevado para dimensionar. Cada par de treinamento requer que um LLM leia o documento e selecione o trecho relevante, de modo que o custo de anotação cresce linearmente com o tamanho do conjunto de dados de treinamento e limita o quanto os dados de treinamento podem ser volumosos e diversos.
Sensível aos limites dos trechos. Os rótulos também estão vinculados aos limites dos trechos usados durante a anotação. Um rótulo de referência atribuído a uma janela de tamanho de token fixo não especifica quais frases mais curtas ou parágrafos mais longos são relevantes. Alterar a estratégia de divisão em trechos, ou treinar em várias divisões para melhorar a robustez em relação a como os documentos são divididos no momento da indexação, pode, portanto, exigir a anotação do corpus novamente.

Abordamos as limitações da supervisão de trechos de referência destilando julgamentos de relevância de um modelo de compressão de contexto consciente de consultas. Este modelo atua como um professor: ele lê a consulta e o documento conjuntamente e atribui a cada token do documento uma pontuação de relevância. Suas previsões oferecem várias vantagens para o treinamento de incorporações contextuais:

Limites de trechos flexíveis. As pontuações de relevância no nível de token podem ser agregadas em quaisquer limites de trechos escolhidos, permitindo que as mesmas previsões do professor supervisionem diferentes divisões em trechos sem nova anotação.
Relevância contínua. Ao contrário dos rótulos binários de trechos de referência, o professor fornece pontuações contínuas que capturam graus de relevância que distinguem naturalmente os trechos portadores de respostas, o contexto de suporte e o conteúdo irrelevante.
Menor custo de anotação. O professor é compacto e especializado em pontuação de relevância, tornando muito mais barato supervisionar em grande escala do que um LLM de uso geral.

Treinamos nosso modelo com uma soma ponderada de uma perda contrastiva no nível do documento e uma perda de destilação no nível do trecho sobre lotes de pares de consulta e documento. Para cada consulta, o documento emparelhado serve como o positivo, enquanto os documentos restantes no mesmo lote servem como negativos.

Para cada lote, selecionamos aleatoriamente uma estratégia de divisão em trechos, dividimos os documentos de acordo e inserimos tokens separadores entre os trechos. Em seguida, processamos cada documento em uma única passagem direta e calculamos a média das representações de tokens dentro de cada trecho para obter incorporações contextuais de trechos. As consultas são codificadas separadamente, com agrupamento de média sobre suas representações de tokens. Por fim, calculamos a similaridade de cosseno entre cada incorporação de consulta e cada incorporação de trecho no lote.

Embora nosso modelo de incorporação produza apenas similaridades no nível de trecho, podemos derivar naturalmente similaridades no nível de documento a partir delas. Consideramos que um documento d é tão relevante para uma consulta q quanto seu trecho mais relevante. Esta regra de pontuação é inspirada na operação MaxSim do ColBERT, aplicada aqui a trechos em vez de tokens.

Especificamente, dada uma consulta q com incorporação q e um documento d como uma lista ordenada de trechos c com incorporações c, definimos a similaridade no nível do documento como:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Dadas essas similaridades no nível do documento, podemos formular um objetivo InfoNCE no nível do documento sobre negativos em lote.

Para uma consulta q, seja d⁺ o seu documento relevante e 𝒟 os documentos no lote. A perda contrastiva é a seguinte, omitindo as temperaturas para legibilidade:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

A perda contrastiva ensina ao modelo qual documento é relevante para uma consulta. A perda de destilação ensina onde a relevância reside dentro desse documento, o que é essencial para um modelo contextual.

Durante o treinamento, passamos cada par positivo de consulta e documento para o nosso modelo de compressão de contexto, que atribui uma pontuação de relevância a cada token no documento. Assim como na pontuação no nível do documento, derivamos a relevância de cada trecho a partir de seus conteúdos mais relevantes. Para reduzir a sensibilidade a tokens discrepantes, incluindo aqueles nos limites dos trechos, definimos a relevância no nível do trecho como a média das n principais pontuações de tokens dentro do trecho.

Para cada consulta, aplicamos um softmax dimensionado por temperatura às pontuações de relevância no nível de trecho do professor dentro do documento positivo para obter uma distribuição-alvo. Os trechos nos outros documentos no lote recebem probabilidade-alvo zero. Treinamos o modelo de incorporação para corresponder a esse alvo minimizando a divergência de Kullback-Leibler direta entre o alvo e sua distribuição prevista em todos os trechos do lote:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Aqui, os sobrescritos T e S indicam o professor e o aluno, e rⱼ é a pontuação de relevância do professor para o trecho cⱼ no documento positivo d⁺. A distribuição-alvo do professor atribui probabilidade zero aos trechos em todos os outros documentos no lote.

Ao contrário de um único rótulo de trecho de referência, este alvo captura graus de relevância. Os trechos de suporte recebem peso de acordo com as pontuações do professor, em vez de serem tratados como negativos, ensinando o modelo a recuperar o contexto de suporte, bem como a resposta.

Nosso objetivo de treinamento combinado é uma soma ponderada da perda contrastiva no nível do documento e da perda de destilação no nível do trecho. Calculamos a média dessa perda ponderada sobre o lote de pares de consulta e documento.

A Figura 2 ilustra nossa abordagem de treinamento. O compressor de contexto serve como professor apenas durante o treinamento. No momento da inferência, o modelo de incorporação produz uma incorporação contextual por trecho, sem estágio adicional de compressão ou reclassificação. A abordagem melhora a forma como as incorporações contextuais são aprendidas sem aumentar o armazenamento do índice ou adicionar latência do modelo do professor no momento da recuperação.

Configuração de treinamento para destilação de incorporação contextual — Figura 2: A configuração de treinamento do nosso modelo. O codificador contextual (aluno, à esquerda) processa documentos, cada um consistindo em vários trechos. Cada trecho é incorporado em relação ao contexto de seu documento circundante. A Consulta A é uma correspondência conhecida para o Documento A e é pontuada contra trechos de todos os documentos para obter similaridades previstas. Essas pontuações no nível do trecho passam por max-pooling para se tornarem pontuações no nível do documento. Treinamos previsões no nível do trecho e previsões no nível do documento para corresponder às distribuições-alvo (à direita). O alvo no nível do trecho é calculado no momento do treinamento como a previsão do compressor de contexto dentro do documento relevante conhecido e é definido como zero dentro dos documentos irrelevantes conhecidos. A distribuição-alvo no nível do documento é definida para ser one-hot no documento relevante conhecido.

Os dados de treinamento consistem em aproximadamente 430 conjuntos de dados públicos e internos de consulta e documento, cobrindo mais de 50 idiomas.

Construímos conjuntos de dados de pares internos a partir de dados de produção filtrados de PII e sintetizando consultas relevantes em documentos longos. Para cada passagem direta, selecionamos um conjunto de dados e amostramos um lote inteiro dele para aumentar a dificuldade dos negativos em lote e evitar o aprendizado por atalhos. Nenhum dos nossos conjuntos de dados de treinamento possui anotações no nível de trecho: toda a supervisão intra-documento vem do modelo de compressão, e nenhum dado do ConTEB é usado para treinamento. Além disso, nenhum dado do context-bench estava disponível durante o desenvolvimento do modelo.

O modelo parte de um modelo de recuperação ColBERT interno de 9B parâmetros e produz incorporações de 2048 dimensões por meio de uma camada de projeção linear. Marcamos os limites dos trechos com um token <|chunk_sep|> aprendido e formamos cada incorporação de trecho tirando a média das incorporações de seus tokens. As consultas são codificadas pelo mesmo modelo, com as incorporações de seus tokens convertidas em um único vetor.

Usamos o treinamento Matryoshka para dar suporte a incorporações de 1024 e 2048 dimensões, e treinamento consciente de quantização para dar suporte a incorporações int8 nativas. Durante o treinamento, aumentamos gradualmente a taxa de aprendizado, a mantemos constante e, em seguida, a reduzimos.

O modelo lançado é uma mistura de modelos que calcula a média dos pesos de vários pontos de verificação da mesma execução de treinamento.

Benchmarks públicos de recuperação contextual, como o ConTEB, compartilham a premissa por trás da supervisão de trechos de referência (gold chunks): cada consulta tem um único trecho relevante e um modelo é recompensado apenas por classificar esse trecho em primeiro lugar. Eles também herdam suas limitações.

Primeiro, o ConTEB testa a recuperação em tarefas em que um trecho é ambíguo sem seu contexto circundante. Nessas tarefas, os modelos contextuais superaram os modelos que codificam cada trecho de forma independente. No entanto, ele não avalia se um modelo também traz à tona as outras partes do documento que tornam o trecho compreensível.

Segundo, ele não testa sistematicamente se o documento correto pode ser encontrado quando documentos quase idênticos no mesmo corpus diferem apenas no contexto que envolve uma frase que, de outra forma, seria idêntica.

Ambas as capacidades são importantes quando um agente de busca ou usuário precisa entender e verificar uma resposta a partir de algumas frases recuperadas em vez de um documento inteiro. Portanto, criamos o context-bench, um benchmark controlado para recuperação em documentos longos, projetado para distinguir o uso do contexto de documentos da qualidade geral de recuperação. Ele testa se as incorporações contextuais usam informações de outras partes de um documento para dar suporte a três capacidades:

Desambiguação de documentos: Identificar o documento correto entre alternativas quase idênticas.
Recuperação de respostas: Recuperar trechos contendo respostas cujos significados dependem de detalhes em outras partes do documento.
Recuperação de evidências: Recuperar trechos de suporte que esclarecem ou substanciam a resposta.

O context-bench contém 2.099 consultas e 38.894 documentos. São utilizados trechos do tamanho de frases, resultando em um total de 2.458.072 trechos. As consultas cobrem 21 domínios, incluindo relatórios corporativos, pesquisa clínica, viagens, entretenimento, educação, governo, contratos jurídicos e documentação de software.

Cada consulta foi projetada para testar uma de doze capacidades contextuais. Os documentos-alvo principais são intencionalmente longos: 1.061 dos 1.197 documentos-alvo principais distintos têm pelo menos 200 frases, com um comprimento mediano de aproximadamente 6.100 tokens. Cada consulta tem exatamente uma resposta correta no corpus. Quando o mesmo fato é declarado mais de uma vez em um documento de referência, por exemplo, em uma frase de resumo e em uma linha de tabela, qualquer uma dessas frases é aceita como resposta.

Uma rota de resposta é uma combinação válida de um trecho de resposta e a evidência de suporte necessária para interpretá-la ou verificá-la. Entre as 2.099 consultas, a rota de resposta do documento-alvo principal tem um grupo de evidências para 964 consultas, dois para 735, três ou mais para 332 e nenhum para 68. Rotas de resposta válidas alternativas podem exigir diferentes grupos de evidências.

Tabela 1: Estatísticas do benchmark.

Estatística	Valor
Consultas	2.099
Documentos	38.894
Trechos de frases	2.458.072
Comprimento mediano do documento-alvo principal	6.100 tokens
Domínios	21
Grupos de evidências por consulta (rota de resposta do documento-alvo principal)	1: 964; 2: 735; 3+: 332; nenhum: 68

Tabela 2: Doze capacidades contextuais testadas pelo context-bench, com exemplos ilustrativos.

Capacidade	Consulta de exemplo	Trecho de resposta	Contexto de documento necessário
1. Identidade da entidade	Quanto a Northlake gastou em recompra de ações?	A empresa recomprou US$ 12,8 bilhões em ações.	A introdução identifica a Northlake como "a empresa". Um relatório semelhante da Southlake não é relevante.
2. Período ou versão	Qual cartucho se encaixa na revisão B do M40?	Instale o cartucho KC-42.	A seção de aplicabilidade diz que estas instruções cobrem a revisão B, e não a revisão C.
3. Definições e aliases	Qual foi a taxa de desistência do grupo de 15 mg?	O Zeta teve uma taxa de desistência de 12,7%.	O relatório define Zeta como o grupo de 15 mg. Sem essa definição, o trecho não identifica o grupo solicitado.
4. Estrutura da tabela	Qual é a capacidade da bateria do modelo Max?	Capacidade típica: 4.250 \| 4.700 \| 5.150.	O cabeçalho da tabela estabelece Mini \| Base \| Max, medido em mAh. A resposta é, portanto, 5.150 mAh.
5. Condições e exceções	Qual é a duração da cobertura da bateria para uso comercial?	A cobertura da bateria dura 18 meses.	Uma introdução de seção restringe esta cobertura a instalações comerciais; instalações residenciais têm uma garantia diferente.
6. Referências e pronomes	Quando Mara se tornou vice-prefeita?	Ela assumiu o cargo em 2021.	A narrativa anterior estabelece que "ela" se refere a Mara, e não a Elin, que também é mencionada.
7. Ordem e posição da lista	Qual música abriu o bis?	14. Lantern Road.	Uma nota em outro lugar diz que as músicas 14 a 16 constituíram o bis. A faixa 14 é, portanto, sua música de abertura.
8. Escopo da seção	Qual lente foi usada para a cinematografia do filme?	Uma lente fixa de 35 mm foi usada por todo o filme.	Esta passagem pertence a "Fotografia Principal", e não à seção separada sobre fotografias de publicidade.
9. Atribuição de falante	Qual data de reabertura o prefeito prometeu?	Reabriremos em 12 de junho.	A transcrição identifica o prefeito como o falante. As mesmas palavras vindas de um empreiteiro não estabeleceriam a promessa do prefeito.
10. Alterações ao longo do tempo	Qual período de aviso prévio foi aplicado após a alteração de maio?	O período de aviso prévio agora é de 45 dias.	O histórico de alterações estabelece que essa mudança entrou em vigor em maio, substituindo a regra anterior de 30 dias.
11. Relações causais	Por que a bomba oeste parou?	Essa falha causou o desligamento.	A investigação identifica "essa falha" como um mancal travado na bomba oeste e a distingue de uma obstrução de entrada não relacionada.
12. Significado figurativo ou translingual	Figurativo: O que "a sala de inverno" simboliza no poema? Translingual: Qual componente a instrução em francês diz ao técnico para remover?	Figurativo: Representa o exílio, e não uma sala física. Translingual: Retirez le capot. (Remova a cobertura.)	Figurativo: O comentário identifica "isso" como a imagem recorrente da "sala de inverno" do poema. Translingual: O glossário do guia especifica que "capot" significa o capô de proteção do motor, e não a cobertura de transporte.

As consultas, os documentos e as capacidades testadas são inspirados em conversas com os clientes do turbopuffer.

Para dar um exemplo, considere as necessidades de busca de uma empresa de administração de imóveis. Essas empresas têm centenas, às vezes milhares de contratos de locação que diferem apenas nos nomes dos inquilinos, datas e alguns outros detalhes importantes. Uma consulta comum para esse conjunto de dados pode ser "quando termina o contrato de locação da 5 Park Avenue e qual é o aluguel atual?". Os contratos de locação também podem ser longos, e os componentes críticos de desambiguação que confirmariam que você recuperou o documento certo (como data, endereço, nome do inquilino, etc.) muitas vezes podem estar muito distantes da frase de resposta principal que contém o valor do pagamento mensal do aluguel. Na prática, frases idênticas como "O aluguel mensal é de US$ X.XXX." podem aparecer em vários documentos do corpus.

Um bom modelo de incorporação contextual deve usar o contexto de todo o documento para identificar o documento correto e recuperar tanto a resposta quanto suas frases de suporte. Isso permite que um usuário ou agente de busca verifique rapidamente a resposta e confirme se ela vem do documento certo.

Para cada consulta, rotulamos as frases de "resposta" e "evidência" no documento-alvo. Um modelo passa em nosso teste de "suficiência do leitor" se recuperar uma frase de resposta junto com pelo menos uma frase de cada grupo de evidências. Juntas, essas frases fornecem contexto suficiente para um leitor verificar a resposta com a evidência de suporte.

Quando os modelos de incorporação contextual fazem isso bem, eles podem reduzir drasticamente o número de tokens que os agentes de busca precisam revisar, além de facilitar muito para uma pessoa confirmar rapidamente que localizou a resposta correta para sua consulta original sem precisar ler o documento inteiro.

Cada grupo de evidências deve ser recuperado, mas qualquer uma das alternativas de um grupo é suficiente para recuperá-lo. É comum ver o mesmo fato declarado em vários lugares nesses documentos longos. Recuperar apenas uma frase de cada grupo de evidências atende aos critérios de suficiência do leitor e, portanto, seria aceito como recuperação perfeita de evidências.

Cada documento é dividido em trechos de frases, e os mesmos limites são usados para todos os modelos. Duas condições são testadas para modelos de incorporação não contextuais: uma em que cada frase é incorporada de forma independente e outra em que o documento inteiro é incorporado como um único trecho.

Usamos a condição no nível da frase para medir a recuperação de respostas e a recuperação de evidências. Ela testa se um modelo não contextual pode identificar a resposta correta e a evidência de suporte quando cada frase é incorporada sem acesso ao documento circundante. Isso é intencionalmente desafiador. Em muitas consultas, a frase de resposta isolada carece dos detalhes necessários para distingui-la de frases semelhantes em outros lugares do corpus.

Usamos a condição no nível do documento como uma linha de base de recuperação de documentos. Ela testa se as incorporações de frases refinadas fornecem benefício de recuperação suficiente para justificar seu custo adicional de armazenamento em relação ao armazenamento de um vetor por documento. Um índice no nível da frase cria substancialmente mais vetores do que um índice no nível do documento, portanto, ele deve superar a linha de base de um vetor por documento para justificar esse custo.

Todas as avaliações usam classificações exaustivas contra todos os 2.458.072 trechos. As diferenças entre os modelos refletem, portanto, as representações, e não a configuração do índice. Nós nos concentramos em três métricas principais:

Document@K é definido como:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

onde $d^{*}$ é o documento com a melhor classificação em $D_q$ .

Answer@K é definido como:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

onde $C_K(q)$ são os principais $K$ trechos em todo o corpus e $A_{q}$ é o conjunto de trechos de resposta aceitos.

Evidence Recall@K é medido dentro de $d^{*}$ da seguinte forma: Classifique as frases de $d^{*}$ por similaridade, remova a frase de resposta com a classificação mais alta e deixe $R_K(q)$ ser os principais $K$ que restam. Para os grupos de evidências $G_q=\{g_1,\ldots,g_m\}$ , o grupo $g_j$ é recuperado se alguma alternativa $E\in g_j$ satisfizer $E\subseteq R_K(q)$ , e

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K pergunta se a contextualização permite que o documento correto supere os irmãos e distratores que compartilham seu vocabulário.

Answer@K pergunta se a própria frase de resposta está entre os principais trechos.

Evidence Recall@K pergunta quanto do contexto de suporte é recuperado entre os principais K trechos do documento correto, após excluir o trecho de resposta com a classificação mais alta. A remoção da resposta evita que a recuperação de evidências conte duas vezes o que o Answer@K já mede, e deixa todos os slots $K$ para o contexto de suporte. Exigir que o documento de referência esteja entre os 10 principais documentos recuperados significa que nenhum modelo recebe créditos de evidência por um documento que não teria trazido à tona. Também relatamos All-Evidence@K, a fração de consultas com todos os grupos recuperados.

Juntas, essas métricas decompõem os desafios que os modelos de incorporação contextual enfrentam: encontrar o documento certo, encontrar a resposta certa e recuperar o contexto mínimo que demonstra por que a resposta está correta.

A Figura 3 ilustra as métricas com o exemplo de administração de imóveis.

Como a recuperação de documentos, respostas e evidências do context-bench é pontuada — Figura 3: Métricas do context-bench ilustradas com uma consulta de locação. O Document@K testa a recuperação do documento correto; o Answer@K testa a recuperação de seu trecho de resposta; o Evidence Recall@K mede a recuperação de grupos de evidências de suporte dentro do documento-alvo. Neste exemplo, a verificação do aluguel requer evidências tanto do endereço quanto do ano de locação. A recuperação de evidências exclui o trecho de resposta principal e exige que o documento-alvo seja classificado entre os 10 primeiros.

Avaliamos nosso modelo em comparação com modelos de incorporação contextuais e não contextuais em quatro frentes.

Nossas linhas de base contextuais são pplx-embed-context-v1-4B e voyage-context-4. Nossas linhas de base não contextuais são voyage-4-large e o Nemotron-3-Embed-8B-BF16 da NVIDIA, que codificam trechos de forma independente. O conjunto de linhas de base varia de acordo com o experimento, conforme indicado em cada figura.

Começamos com o context-bench, que testa diretamente as capacidades que motivam este trabalho, e depois relatamos os resultados no ConTEB, o benchmark público padrão para incorporações contextuais. Para verificar se esses ganhos não ocorrem à custa da qualidade geral de recuperação, também avaliamos benchmarks de recuperação de documentos e trechos específicos de domínio que construímos a partir de conjuntos de dados públicos. Por fim, examinamos duas propriedades práticas para implantação: qualidade de recuperação versus custos de armazenamento por vetor e sensibilidade ao tamanho do trecho usado no momento da indexação. Todas as avaliações codificam documentos de até 32.768 tokens em uma única passagem.

Conforme mostrado na Figura 1 na introdução, nossa prévia lidera em Answer@K e Evidence Recall@K em cada limite relatado, bem como em All-Evidence@10. Em K = 10, ela alcança 45,5% de recuperação de respostas, 40,6% de recuperação de evidências e 31,1% de recuperação de todas as evidências. Ela também lidera em Document@1 e Document@10, atingindo 15,2% e 61,6%, respectivamente. Em K = 10, nossa prévia supera o voyage-context-4 em 14,4 pontos percentuais na recuperação de respostas e 5,0 pontos na recuperação de evidências.

Nosso modelo de prévia atinge o nDCG@10 médio mais alto entre os modelos mostrados no ConTEB na Figura 4. Ele não lidera todas as tarefas: o pplx-context-v1-4B pontua mais alto no NarrativeQA, enquanto o Nemotron-3-8B pontua mais alto no COVID-QA. Como os principais autores também destacaram no artigo do ConTEB, o COVID-QA inclui principalmente emparelhamentos de consulta e trecho que são muito extrativos e podem ser satisfeitos com a correspondência lexical simples de superfície em termos médicos técnicos. Como resultado, a compreensão de contexto é menos útil para esta tarefa e os modelos não contextuais normalmente superam os contextuais.

nDCG no nível de tarefa a 10 no ConTEB — Figura 4: nDCG@10 no nível de tarefa no ConTEB na configuração de consulta para trecho. A média é a média não ponderada entre as oito tarefas.

Além dos benchmarks projetados para incorporações contextuais, avaliamos o desempenho específico de domínio do nosso modelo.

Nosso conjunto de consulta para trecho (Q2C) usa tarefas MTEB como LegalBench e FinanceBench juntamente com tarefas adicionais de recuperação que selecionamos de conjuntos de dados públicos. Em cada documento relevante, um trecho é rotulado como relevante se contiver o intervalo de resposta exato quando a tarefa fornecer um, e caso contrário por um LLM julgando sua relevância para a consulta. O conjunto de consulta para documento (Q2D) usa as mesmas tarefas e pontua se o documento relevante é recuperado.

Nosso modelo atinge a pontuação média mais alta na recuperação de trechos na Figura 5 e lidera nos domínios jurídico, técnico e de saúde. Ele não lidera em todos os domínios: o voyage-context-4 pontua mais alto em finanças e recuperação multilíngue, e o Nemotron-3-8B pontua mais alto na recuperação de conversas. Na recuperação de documentos na Figura 6, nosso modelo pontua ligeiramente abaixo do voyage-context-4 em média, enquanto lidera no domínio técnico. A linha de base pplx-context-v1-4B pontua mais baixo em média em ambos os conjuntos, o que é consistente com o fato de ter sido treinada apenas no conjunto de treinamento do ConTEB, mostrando que a supervisão vinculada aos trechos de referência de um benchmark é transferida de forma deficiente para outros domínios.

Pontuações de recuperação de consulta para trecho por domínio — Figura 5: nDCG@10 médio nas tarefas de consulta para trecho (Q2C), agrupadas por domínio. As barras de domínio são médias não ponderadas das pontuações no nível de tarefa nesse domínio; a média geral é uma média não ponderada em todas as tarefas exibidas.

Pontuações de recuperação de consulta para documento por domínio — Figura 6: Pontuação média de recuperação nas tarefas de consulta para documento (Q2D), agrupadas por domínio. Cada barra em um domínio é a média não ponderada de suas pontuações principais no nível de tarefa; a média geral é uma média não ponderada em todas as tarefas exibidas.

Um modelo de incorporação contextual produz um vetor por trecho, de modo que um índice construído com nosso modelo contém exatamente tantos vetores quanto um índice convencional no nível de trecho com a mesma estratégia de divisão em trechos. A contextualização altera o que cada vetor codifica, e não quantos vetores são armazenados. O espaço de armazenamento é, portanto, regido pelo tamanho de cada vetor. O modelo oferece duas maneiras de reduzi-lo: truncar a incorporação de 2048 para 1024 dimensões e quantizá-la para int8.

A Figura 7 mostra um equilíbrio favorável entre a qualidade de recuperação e o armazenamento de vetores. Em 1024 dimensões, nossas incorporações int8 usam 1 KB por vetor, superando ligeiramente a pontuação de recuperação de trechos do voyage-context-4 em 2048 dimensões em float32, que usa 8 KB por vetor. Aumentar o tamanho de nossa incorporação para 2048 dimensões eleva ainda mais a qualidade de recuperação a 2 KB por vetor. Esses números de armazenamento referem-se apenas aos vetores, e não ao restante do índice.

Qualidade de recuperação de trecho versus armazenamento por vetor — Figura 7: Qualidade de recuperação de trecho (nDCG@10 médio) como uma função do armazenamento por vetor. Linhas contínuas denotam float32 e linhas tracejadas denotam int8; os rótulos indicam a dimensão de incorporação.

A Figura 8 mostra apenas uma alteração modesta na qualidade de recuperação conforme o tamanho do trecho aumenta de 64 para 512 tokens: a pontuação média cai de 81,0% para 79,9%, uma diminuição de 1,1 ponto percentual. Isso sugere que o modelo permanece eficaz nos tamanhos de trecho testados, dando aos pipelines de indexação flexibilidade em como os documentos são divididos.

Sensibilidade ao tamanho do trecho: pontuações de recuperação para trechos de 64 a 512 tokens — Figura 8: Sensibilidade ao tamanho do trecho do nosso modelo. Cada ponto é o nDCG@10 médio não ponderado em 74 tarefas MTEB, com documentos indexados no tamanho de trecho fornecido.

O turbopuffer mantém o corpus completo, as consultas e os rótulos do context-bench privados e relata os resultados para os modelos enviados. Um benchmark público desse tipo convida ao treinamento direto em suas consultas e documentos, o que o saturaria gradualmente e erodiria seu valor para rastrear o progresso ao longo do tempo. Se você quiser que seu modelo seja avaliado no benchmark, entre em contato com o turbopuffer pelo e-mail contextbench@turbopuffer.com.

Uma prévia do nosso modelo está disponível no Hugging Face, e todos os resultados nesta postagem são relatados para esta prévia. Estamos trabalhando para disponibilizar o modelo por meio da API do Perplexity e para aprimorar ainda mais a recuperação em documentos longos em conjunto com o turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introdução

Por que o contexto é importante para a recuperação

Os limites da supervisão por trechos de referência

Uma nova abordagem para o aprendizado contextual

Função de perda

Perda contrastiva no nível do documento

Perda de destilação no nível do trecho

Perda combinada

Dados de treinamento

Configuração de treinamento

Um novo benchmark para recuperação no nível de trechos

Documentos e consultas

Rótulos de resposta e evidência

Métricas

Resultados da avaliação

Context-bench

ConTEB

Qualidade geral de recuperação entre domínios

Qualidade de recuperação e custos de armazenamento

Sensibilidade ao tamanho do trecho

Lançamento

Citação