Incorporação contextual além da passagem ideal

As incorporações contextuais capturam o significado de cada passagem ou trecho no contexto de todo o documento. O treinamento e a avaliação delas normalmente pressupõem um único trecho relevante por consulta, conhecido como "passagem ideal". No entanto, uma passagem ideal geralmente não é suficiente na prática. Ela pode conter a resposta, mas carecer do contexto de suporte necessário para compreendê-la ou verificá-la, deixando-a ambígua isoladamente.

Estamos apresentando o pplx-embed-v2-context-9b-preview, nosso novo modelo de incorporação contextual. O modelo é treinado com uma abordagem inovadora que usa o modelo de compressão de contexto do Perplexity como professor. Agregamos suas previsões em nível de token em pontuações de relevância em nível de trecho, ensinando o modelo de incorporação a recuperar tanto os trechos de resposta quanto o contexto de suporte em vez de um único trecho ideal. O modelo produz uma incorporação por trecho sem custo adicional de inferência e oferece suporte a incorporações de 1024 dimensões e int8.

Ele atinge resultados de ponta no context-bench, um novo benchmark para recuperação consciente de contexto criado e mantido em sigilo pelo turbopuffer, e no ConTEB, um benchmark público amplamente utilizado. Nosso modelo foi desenvolvido independentemente do context-bench e avaliado como uma submissão cega.

O context-bench consiste em 2.099 consultas em 38.894 documentos longos em 21 domínios e avalia três capacidades de incorporações contextuais: desambiguação de documentos entre documentos quase duplicados, recuperação de trechos ideais cujo significado depende de contexto distante e recuperação das evidências de suporte necessárias para verificar uma resposta.

Uma prévia do modelo está disponível publicamente no Hugging Face. O benchmark é mantido em sigilo pelo turbopuffer para reduzir o risco de contaminação de treinamento e preservar seu valor para medir o progresso. Para solicitar uma avaliação, entre em contato com o turbopuffer pelo e-mail contextbench@turbopuffer.com.

Resultados de recuperação de documentos, respostas e evidências no context-bench — Figura 1: Answer@K, Document@K, Evidence Recall@K e All-Evidence@10 no context-bench, comparando a prévia 9B do Perplexity v2 com o Voyage Context 4, Voyage 4 Large e Perplexity context v1 4B.

Os sistemas de recuperação normalmente dividem documentos longos em trechos menores que podem ser indexados e pesquisados de forma independente. A divisão em trechos é conveniente na prática, mas remove o contexto em que cada trecho apareceu originalmente, criando um equilíbrio entre a granularidade da compressão de informações e o contexto usado durante a codificação. Um trecho pode se referir a uma entidade introduzida anteriormente, herdar seu significado de um título de seção ou contar com definições localizadas em outro lugar do documento. Uma vez extraído, ele pode não conter mais informações suficientes para ser correspondido de forma confiável a uma consulta. Codificar o documento inteiro como um único vetor não resolve isso, pois uma representação agrupada não pode capturar fielmente todas as facetas de um documento longo.

Os modelos de incorporação contextual abordam essa limitação representando cada trecho no contexto de seu conteúdo circundante, mais comumente por meio de divisão tardia em trechos (late chunking): o documento é codificado em uma única passagem e as representações dos trechos são agrupadas posteriormente, de modo que cada vetor de trecho seja calculado com o documento inteiro em vista. Trabalhos anteriores, como o ConTEB e nosso próprio pplx-embed-context-v1, mostraram que as representações de trechos contextualizados melhoram substancialmente a recuperação em relação a trechos codificados de forma independente, particularmente em documentos longos.

O treinamento de modelos de incorporação contextual requer supervisão que identifique quais partes de um documento são relevantes para uma determinada consulta. Uma abordagem comum são as anotações de trechos ideais: para cada consulta, um anotador, tipicamente um modelo de linguagem grande (LLM), identifica o trecho do documento que responde a ela.

O treinamento normalmente combina duas perdas contrastivas: uma perda interdocumento que contrasta o trecho ideal com trechos de outros documentos e uma perda intradocumento que o contrasta com os outros trechos no mesmo documento.

Essa abordagem tem algumas limitações:

Apenas um trecho é relevante. Ela trata todos os outros trechos do documento como negativos, incluindo aqueles com informações de suporte úteis. A supervisão em nível de documento opera no outro extremo. Ela identifica o documento como relevante sem especificar quais trechos dentro dele importam. Na prática, a relevância geralmente fica entre esses extremos. O trecho que contém a resposta pode depender de alguns trechos de suporte que introduzem uma entidade, resolvem uma referência ou fornecem um fato complementar, enquanto o restante do documento é irrelevante. O modelo deve, portanto, aprender o nível correto de seletividade: mais amplo do que um único trecho ideal, mas mais focado do que o documento como um todo.
Supervisão grossa. Como cada anotação identifica um único trecho ideal em vez de capturar graus de relevância em todo o documento, ela fornece sinais de treinamento limitados para a quantidade de computação gasta para produzi-la.
Custo alto para dimensionar. Cada par de treinamento requer que um LLM leia o documento e selecione o trecho relevante, de modo que o custo de anotação cresce linearmente com o tamanho do conjunto de dados de treinamento e limita quanta e quão diversa a quantidade de dados de treinamento pode ser.
Sensível a limites de trecho. Os rótulos também estão vinculados aos limites de trecho usados durante a anotação. Um rótulo ideal atribuído a uma janela de tamanho de token fixo não especifica quais frases mais curtas ou parágrafos mais longos são relevantes. Alterar a estratégia de divisão em trechos, ou treinar em várias divisões para melhorar a robustez à forma como os documentos são divididos no momento da indexação, pode, portanto, exigir a anotação do corpus novamente.

Abordamos as limitações da supervisão de trechos ideais destilando julgamentos de relevância de um modelo de compressão de contexto consciente de consultas. Este modelo serve como um professor: ele lê a consulta e o documento conjuntamente e atribui a cada token do documento uma pontuação de relevância. Suas previsões oferecem várias vantagens para o treinamento de incorporações contextuais:

Limites de trecho flexíveis. As pontuações de relevância em nível de token podem ser agregadas em quaisquer limites de trecho escolhidos, permitindo que as mesmas previsões do professor supervisionem diferentes divisões em trechos sem a necessidade de nova anotação.
Relevância contínua. Ao contrário dos rótulos binários de trechos ideais, o professor fornece pontuações contínuas que capturam graus de relevância que distinguem naturalmente os trechos que contêm respostas, o contexto de suporte e o conteúdo irrelevante.
Menor custo de anotação. O professor é compacto e especializado em pontuação de relevância, tornando muito mais barato supervisionar em escala do que um LLM de uso geral.

Treinamos nosso modelo com uma soma ponderada de uma perda contrastiva em nível de documento e uma perda de destilação em nível de trecho em lotes de pares de consulta-documento. Para cada consulta, o documento emparelhado serve como o positivo, enquanto os documentos restantes no mesmo lote servem como negativos.

Para cada lote, selecionamos aleatoriamente uma estratégia de divisão em trechos, dividimos os documentos de acordo e inserimos tokens separadores entre os trechos. Em seguida, processamos cada documento em uma única passagem e tiramos a média das representações de token dentro de cada trecho para obter incorporações contextuais de trechos. As consultas são codificadas separadamente, com agrupamento por média sobre suas representações de token. Por fim, calculamos a similaridade de cosseno entre cada incorporação de consulta e cada incorporação de trecho no lote.

Embora nosso modelo de incorporação produza apenas similaridades em nível de trecho, podemos derivar naturalmente similaridades em nível de documento a partir delas. Consideramos que um documento d é tão relevante para uma consulta q quanto seu trecho mais relevante. Essa regra de pontuação é inspirada na operação MaxSim do ColBERT, aplicada aqui a trechos em vez de tokens.

Especificamente, dada uma consulta q com a incorporação q e um documento d como uma lista ordenada de trechos c com incorporações c, definimos a similaridade em nível de documento como:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Dadas essas similaridades em nível de documento, podemos formular um objetivo InfoNCE em nível de documento sobre negativos no lote.

Para uma consulta q, seja d⁺ o seu documento relevante e 𝒟 os documentos no lote. A perda contrastiva é a seguinte, omitindo as temperaturas para facilitar a leitura:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

A perda contrastiva ensina ao modelo qual documento é relevante para uma consulta. A perda de destilação ensina onde a relevância está dentro desse documento, o que é essencial para um modelo contextual.

Durante o treinamento, passamos cada par de consulta-documento positivo para o nosso modelo de compressão de contexto, que atribui uma pontuação de relevância a cada token no documento. Assim como na pontuação em nível de documento, derivamos a relevância de cada trecho a partir de seus conteúdos mais relevantes. Para reduzir a sensibilidade a tokens discrepantes, incluindo aqueles nos limites dos trechos, definimos a relevância em nível de trecho como a média das n principais pontuações de token dentro do trecho.

Para cada consulta, aplicamos um softmax escalonado pela temperatura às pontuações de relevância em nível de trecho do professor no documento positivo para obter uma distribuição alvo. Os trechos nos outros documentos do lote recebem probabilidade de alvo zero. Treinamos o modelo de incorporação para corresponder a esse alvo minimizando a divergência KL direta entre o alvo e sua distribuição prevista em todos os trechos no lote:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Aqui, os sobrescritos T e S indicam o professor e o aluno, e rⱼ é a pontuação de relevância do professor para o trecho cⱼ no documento positivo d⁺. A distribuição-alvo do professor atribui probabilidade zero aos trechos em todos os outros documentos do lote.

Ao contrário de um único rótulo de trecho ideal, esse alvo captura graus de relevância. Os trechos de suporte recebem peso de acordo com as pontuações do professor, em vez de serem tratados como negativos, ensinando o modelo a recuperar o contexto de suporte, bem como a resposta.

Nosso objetivo de treinamento combinado é uma soma ponderada da perda contrastiva em nível de documento e da perda de destilação em nível de trecho. Calculamos a média dessa perda ponderada sobre o lote de pares de consulta-documento.

A Figura 2 ilustra nossa abordagem de treinamento. O compressor de contexto serve como professor apenas durante o treinamento. No momento da inferência, o modelo de incorporação produz uma incorporação contextual por trecho, sem nenhum estágio adicional de compressão ou reclassificação. A abordagem melhora a forma como as incorporações contextuais são aprendidas sem aumentar o armazenamento do índice ou adicionar latência do modelo de professor no momento da recuperação.

Configuração de treinamento para destilação de incorporação contextual — Figura 2: A configuração de treinamento do nosso modelo. O codificador contextual (aluno, à esquerda) processa documentos, cada um consistindo em vários trechos. Cada trecho é incorporado em relação ao contexto de seu documento circundante. A Consulta A é uma correspondência conhecida para o Documento A e é pontuada em relação aos trechos de todos os documentos para obter similaridades previstas. Essas pontuações em nível de trecho passam por pooling de máximo para pontuações em nível de documento. Treinamos as previsões em nível de trecho e em nível de documento para corresponder às distribuições-alvo (à direita). O alvo em nível de trecho é calculado no momento do treinamento como a previsão do compressor de contexto dentro do documento relevante conhecido e é definido como zero dentro dos documentos irrelevantes conhecidos. A distribuição-alvo em nível de documento é definida para ser one-hot no documento relevante conhecido.

Os dados de treinamento consistem em aproximadamente 430 conjuntos de dados públicos e internos de consulta e documento, cobrindo mais de 50 idiomas.

Construímos conjuntos de dados de pares internos a partir de dados de produção filtrados de PII e sintetizando consultas relevantes em documentos longos. Para cada passagem direta, selecionamos um conjunto de dados e amostramos um lote inteiro dele para aumentar a dificuldade dos negativos no lote e evitar o aprendizado de atalhos. Nenhum dos nossos conjuntos de dados de treinamento possui anotações em nível de trecho: toda a supervisão intrazona do documento vem do modelo de compressão, e nenhum dado do ConTEB é usado para treinamento. Além disso, nenhum dado do context-bench estava disponível durante o desenvolvimento do modelo.

O modelo começa a partir de um modelo de recuperação ColBERT interno de 9B parâmetros e produz incorporações de 2048 dimensões por meio de uma camada de projeção linear. Marcamos os limites dos trechos com um token <|chunk_sep|> aprendido e formamos cada incorporação de trecho tirando a média de suas incorporações de token. As consultas são codificadas pelo mesmo modelo, com suas incorporações de token com média calculada em um único vetor.

Usamos o treinamento Matryoshka para dar suporte a incorporações de 1024 e 2048 dimensões, e treinamento consciente de quantização para dar suporte a incorporações int8 nativas. Durante o treinamento, aumentamos gradualmente a taxa de aprendizado, mantemos ela constante e, em seguida, a reduzimos.

O modelo lançado é uma mistura de modelos que faz a média dos pesos de vários pontos de verificação da mesma execução de treinamento.

Benchmarks públicos de recuperação contextual, como o ConTEB, compartilham a premissa por trás da supervisão de trecho ideal: cada consulta tem um único trecho relevante e um modelo é recompensado apenas por classificar esse trecho em primeiro lugar. Eles também herdam suas limitações.

Primeiro, o ConTEB testa a recuperação em tarefas em que um trecho é ambíguo sem o contexto ao seu redor. Nessas tarefas, os modelos contextuais superaram os modelos que codificam cada trecho de forma independente. No entanto, ele não pergunta se o modelo também traz à tona as outras partes do documento que tornam o trecho compreensível.

Segundo, ele não testa sistematicamente se o documento correto pode ser encontrado quando documentos quase idênticos no mesmo corpus diferem apenas no contexto que envolve uma frase que, de outra forma, seria idêntica.

Ambas as capacidades são importantes quando um agente de busca ou usuário precisa entender e verificar uma resposta a partir de algumas frases recuperadas em vez de um documento inteiro. Portanto, criamos o context-bench, um benchmark controlado para recuperação em documentos longos, projetado para distinguir o uso do contexto do documento da qualidade geral de recuperação. Ele testa se as incorporações contextuais usam informações de outras partes de um documento para dar suporte a três capacidades:

Desambiguação de documentos: Identificar o documento correto entre alternativas quase idênticas.
Recuperação de respostas: Recuperar trechos que contêm respostas cujo significado depende de detalhes em outras partes do documento.
Recuperação de evidências: Recuperar trechos de suporte que esclarecem ou substanciam a resposta.

O context-bench contém 2.099 consultas e 38.894 documentos. São utilizados trechos do tamanho de frases, resultando em um total de 2.458.072 trechos. As consultas cobrem 21 domínios, incluindo arquivos corporativos, pesquisa clínica, viagens, entretenimento, educação, governo, contratos jurídicos e documentação de software.

Cada consulta foi projetada para testar uma de doze capacidades contextuais. Os documentos de destino primários são intencionalmente longos: 1.061 dos 1.197 documentos de destino primários distintos têm pelo menos 200 frases, com um comprimento mediano de aproximadamente 6.100 tokens. Cada consulta tem exatamente uma resposta correta no corpus. Quando o mesmo fato é declarado mais de uma vez em um documento ideal, por exemplo em uma frase de resumo e em uma linha de tabela, qualquer uma dessas frases é aceita como resposta.

Uma rota de resposta é uma combinação válida de um trecho de resposta e da evidência de suporte necessária para interpretá-lo ou verificá-lo. Entre as 2.099 consultas, a rota de resposta do documento de destino primário tem um grupo de evidências para 964 consultas, dois para 735, três ou mais para 332 e nenhum para 68. Rotas de resposta alternativas válidas podem exigir diferentes grupos de evidências.

Tabela 1: Estatísticas do benchmark.

Estatística	Valor
Consultas	2.099
Documentos	38.894
Trechos de frases	2.458.072
Comprimento mediano do documento de destino primário	6.100 tokens
Domínios	21
Grupos de evidências por consulta (rota de resposta do documento de destino primário)	1: 964; 2: 735; 3+: 332; nenhum: 68

Tabela 2: Doze capacidades contextuais testadas pelo context-bench, com exemplos ilustrativos.

Capacidade	Consulta de exemplo	Trecho de resposta	Contexto de documento necessário
1. Identidade da entidade	Quanto a Northlake gastou em recompra de ações?	A empresa recomprou US$ 12,8 bilhões em ações.	A introdução identifica a Northlake como "a empresa". Um relatório semelhante da Southlake não é relevante.
2. Período ou versão	Qual cartucho se encaixa no M40 revisão B?	Instale o cartucho KC-42.	A seção de aplicabilidade diz que estas instruções cobrem a revisão B, e não a revisão C.
3. Definições e apelidos	Qual foi a taxa de desistência do grupo de 15 mg?	O Zeta teve uma taxa de desistência de 12,7%.	O relatório define o Zeta como o grupo de 15 mg. Sem essa definição, o trecho não identifica o grupo solicitado.
4. Estrutura de tabela	Qual é a capacidade da bateria do modelo Max?	Capacidade típica: 4.250 \| 4.700 \| 5.150.	O cabeçalho da tabela estabelece Mini \| Base \| Max, medido em mAh. A resposta é, portanto, 5.150 mAh.
5. Condições e exceções	Qual é a duração da cobertura da bateria para uso comercial?	A cobertura da bateria dura 18 meses.	A introdução de uma seção restringe essa cobertura a instalações comerciais; instalações residenciais têm uma garantia diferente.
6. Referências e pronomes	Quando Mara se tornou vice-prefeita?	Ela assumiu o cargo em 2021.	A narrativa anterior estabelece que "ela" se refere a Mara, e não a Elin, que também é discutida.
7. Ordem e posição em lista	Qual música abriu o bis?	14. Lantern Road.	Uma nota em outro lugar diz que as músicas 14 a 16 constituíram o bis. A faixa 14 é, portanto, sua música de abertura.
8. Escopo da seção	Qual lente foi usada na cinematografia do filme?	Uma lente fixa de 35 mm foi usada durante todo o filme.	Esta passagem pertence a "Fotografia Principal", e não à seção separada sobre fotografias de publicidade.
9. Atribuição de falante	Qual data de reabertura o prefeito prometeu?	Vamos reabrir em 12 de junho.	A transcrição identifica o prefeito como o orador. As mesmas palavras ditas por um empreiteiro não estabeleceriam a promessa do prefeito.
10. Mudanças ao longo do tempo	Qual período de aviso prévio se aplicava após a emenda de maio?	O período de aviso prévio agora é de 45 dias.	O histórico de emendas estabelece que essa alteração entrou em vigor em maio, substituindo a regra anterior de 30 dias.
11. Relações de causa e efeito	Por que a bomba oeste parou?	Essa falha causou o desligamento.	A investigação identifica "essa falha" como um rolamento travado na bomba oeste e a distingue de uma obstrução de entrada não relacionada.
12. Significado figurativo ou translingual	Figurativo: O que "a sala de inverno" simboliza no poema? Translingual: Qual componente a instrução em francês diz ao técnico para remover?	Figurativo: Representa o exílio, e não uma sala física. Translingual: Retirez le capot. (Remova a cobertura.)	Figurativo: O comentário identifica "ele" como a imagem recorrente da "sala de inverno" do poema. Translingual: O glossário do guia especifica que "capot" significa o capô protetor do motor, e não a cobertura de transporte.

As consultas, documentos e capacidades que estão sendo testados são inspirados em conversas com os clientes do turbopuffer.

Para dar um exemplo, considere as necessidades de busca de uma empresa de administração de imóveis. Essas empresas têm centenas, às vezes milhares, de contratos de locação que diferem apenas nos nomes dos locatários, datas e alguns outros detalhes importantes. Uma consulta comum para esse conjunto de dados pode ser "quando termina o aluguel do 5 park avenue e qual é o aluguel atual?". Os contratos de locação também podem ser longos, e os componentes desambiguadores críticos que confirmariam que você recuperou o documento certo (como data, endereço, nome do locatário, etc.) muitas vezes podem ficar muito distantes da frase-chave da resposta que contém o valor do pagamento mensal do aluguel. Na prática, frases idênticas como "O aluguel mensal é de $X,XXX." podem aparecer em vários documentos no corpus.

Um bom modelo de incorporação contextual deve usar o contexto de todo o documento para identificar o documento correto e recuperar tanto a resposta quanto suas frases de suporte. Isso permite que um usuário ou agente de busca verifique rapidamente a resposta e confirme que ela vem do documento certo.

Para cada consulta, rotulamos as frases de "resposta" e "evidência" no documento de destino. Um modelo passa no nosso teste de "suficiência do leitor" se ele recupera uma frase de resposta junto com pelo menos uma frase de cada grupo de evidências. Juntas, essas frases fornecem contexto suficiente para um leitor verificar a resposta com evidências de suporte.

Quando os modelos de incorporação contextual fazem isso bem, eles podem reduzir drasticamente o número de tokens que os agentes de busca precisam revisar, além de tornar muito mais fácil para uma pessoa confirmar rapidamente que localizou a resposta correta para sua consulta original sem precisar ler o documento inteiro.

Cada grupo de evidências deve ser recuperado, mas qualquer uma das alternativas de um grupo é suficiente para recuperá-lo. É comum ver o mesmo fato declarado em vários lugares nesses documentos extensos. Recuperar apenas uma frase de cada grupo de evidências atende aos critérios de suficiência do leitor e, portanto, seria aceito como recuperação perfeita de evidências.

Cada documento é dividido em trechos de frases, e os mesmos limites são usados para todos os modelos. Duas condições são testadas para modelos de incorporação não contextuais: uma em que cada frase é incorporada de forma independente e outra em que o documento inteiro é incorporado como um único trecho.

Usamos a condição em nível de frase para medir a recuperação de respostas e a recuperação de evidências. Ela testa se um modelo não contextual pode identificar a resposta correta e as evidências de suporte quando cada frase é incorporada sem acesso ao documento ao redor. Isso é intencionalmente desafiador. Em muitas consultas, a frase de resposta isolada carece dos detalhes necessários para distingui-la de frases semelhantes em outros lugares do corpus.

Usamos a condição em nível de documento como uma linha de base de recuperação de documentos. Ela testa se as incorporações de frases de granulação fina fornecem benefício de recuperação suficiente para justificar seu custo adicional de armazenamento em relação ao armazenamento de um vetor por documento. Um índice em nível de frase cria substancialmente mais vetores do que um índice em nível de documento, portanto, ele deve superar a linha de base de um vetor por documento para justificar esse custo.

Todas as avaliações usam classificações exaustivas em relação a todos os 2.458.072 trechos. As diferenças entre os modelos, portanto, refletem as representações, e não a configuração do índice. Nós nos concentramos em três métricas principais:

Document@K é definido como:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

em que $d^{*}$ é o documento com a melhor classificação em $D_q$ .

Answer@K é definido como:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

em que $C_K(q)$ são os principais $K$ trechos em todo o corpus e $A_{q}$ é o conjunto de trechos de resposta aceitos.

Evidence Recall@K é medido em $d^{*}$ da seguinte forma: classifique as frases de $d^{*}$ por similaridade, remova a frase de resposta com a classificação mais alta e deixe $R_K(q)$ serem os principais $K$ que restam. Para os grupos de evidências $G_q=\{g_1,\ldots,g_m\}$ , o grupo $g_j$ é recuperado se alguma alternativa $E\in g_j$ satisfizer $E\subseteq R_K(q)$ e

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K pergunta se a contextualização permite que o documento correto supere irmãos e distratores que compartilham seu vocabulário.

Answer@K pergunta se a própria frase de resposta está entre os principais trechos.

Evidence Recall@K pergunta quanto do contexto de suporte é recuperado entre os K principais trechos do documento correto, após excluir o trecho de resposta de maior classificação. A remoção da resposta evita que a recuperação de evidências conte duas vezes o que Answer@K já mede, e deixa todos os slots $K$ para o contexto de suporte. Exigir que o documento ideal esteja entre os 10 principais documentos recuperados significa que nenhum modelo recebe créditos de evidência por um documento que ele não teria trazido à tona. Também relatamos All-Evidence@K, a fração de consultas com todos os grupos recuperados.

Juntas, essas métricas decompõem os desafios que os modelos de incorporação contextual enfrentam: encontrar o documento certo, encontrar a resposta certa e recuperar o contexto mínimo que mostra por que a resposta está correta.

A Figura 3 ilustra as métricas com o exemplo de gerenciamento de propriedades.

Como a recuperação de documentos, respostas e evidências do context-bench é pontuada — Figura 3: Métricas do context-bench ilustradas com uma consulta de locação. Document@K testa a recuperação do documento correto; Answer@K testa a recuperação de seu trecho de resposta; Evidence Recall@K mede a recuperação de grupos de evidências de suporte dentro do documento de destino. Neste exemplo, verificar o aluguel exige evidências tanto do endereço quanto do ano de locação. A recuperação de evidências exclui o trecho de resposta superior e exige que o documento de destino seja classificado entre os 10 primeiros.

Avaliamos nosso modelo em comparação com modelos de incorporação contextuais e não contextuais em quatro frentes.

Nossas linhas de base contextuais são pplx-embed-context-v1-4B e voyage-context-4. Nossas linhas de base não contextuais são voyage-4-large e Nemotron-3-Embed-8B-BF16 da NVIDIA, que codificam trechos de forma independente. O conjunto de linhas de base varia conforme o experimento, conforme indicado em cada figura.

Começamos com o context-bench, que testa diretamente as capacidades que motivam este trabalho, e depois relatamos os resultados no ConTEB, o benchmark público padrão para incorporações contextuais. Para verificar se esses ganhos não ocorrem às custas da qualidade geral de recuperação, também avaliamos benchmarks de recuperação de documentos e trechos específicos de domínio que construímos a partir de conjuntos de dados públicos. Por fim, examinamos duas propriedades práticas para implantação: qualidade de recuperação versus custos de armazenamento por vetor e sensibilidade ao tamanho do trecho usado no momento da indexação. Todas as avaliações codificam documentos de até 32.768 tokens em uma única passagem.

Conforme mostrado na Figura 1 na introdução, nossa prévia lidera em Answer@K e Evidence Recall@K em cada limite relatado, bem como em All-Evidence@10. Em K = 10, ela alcança 45,5% de recuperação de respostas, 40,6% de recuperação de evidências e 31,1% de recuperação de todas as evidências. Ela também lidera em Document@1 e Document@10, atingindo 15,2% e 61,6%, respectivamente. Em K = 10, nossa prévia supera o voyage-context-4 em 14,4 pontos percentuais na recuperação de respostas e 5,0 pontos na recuperação de evidências.

Nosso modelo de prévia alcança o nDCG@10 médio mais alto entre os modelos mostrados no ConTEB na Figura 4. Ele não lidera todas as tarefas: o pplx-context-v1-4B pontua mais alto no NarrativeQA, enquanto o Nemotron-3-8B pontua mais alto no COVID-QA. Como os principais autores também apontaram no artigo do ConTEB, o COVID-QA inclui principalmente pareamentos de consulta e trecho que são altamente extrativos e podem ser satisfeitos com correspondência lexical simples de superfície em termos médicos técnicos. Como resultado, a compreensão de contexto é menos útil para essa tarefa e os modelos não contextuais normalmente superam os contextuais.

nDCG em 10 em nível de tarefa no ConTEB — Figura 4: nDCG@10 em nível de tarefa no ConTEB na configuração de consulta para trecho. A média é a média não ponderada entre as oito tarefas.

Além dos benchmarks projetados para incorporações contextuais, avaliamos o desempenho específico de domínio do nosso modelo.

Nosso pacote de consulta para trecho (Q2C) usa tarefas MTEB, como LegalBench e FinanceBench, juntamente com tarefas de recuperação adicionais que curamos a partir de conjuntos de dados públicos. Em cada documento relevante, um trecho é rotulado como relevante se contiver o intervalo exato da resposta quando a tarefa fornecer um, e de outra forma por um LLM avaliando sua relevância para a consulta. O pacote de consulta para documento (Q2D) usa as mesmas tarefas e pontua se o documento relevante é recuperado.

Nosso modelo alcança a pontuação média mais alta na recuperação de trechos na Figura 5 e lidera nos domínios jurídico, técnico e de saúde. Ele não lidera em todos os domínios: o voyage-context-4 pontua mais alto em finanças e recuperação multilíngue, e o Nemotron-3-8B pontua mais alto em recuperação de conversas. Na recuperação de documentos na Figura 6, nosso modelo pontua ligeiramente abaixo do voyage-context-4 em média, enquanto lidera no domínio técnico. A linha de base pplx-context-v1-4B pontua mais baixo em média em ambos os pacotes, o que é consistente com o fato de ter sido treinada apenas no conjunto de dados de treinamento do ConTEB, mostrando que a supervisão vinculada aos trechos ideais de um benchmark é transferida de forma deficiente para outros domínios.

Pontuações de recuperação de consulta para trecho por domínio — Figura 5: nDCG@10 médio nas tarefas de consulta para trecho (Q2C), agrupadas por domínio. As barras de domínio são médias não ponderadas das pontuações em nível de tarefa nesse domínio; a média geral é uma média não ponderada em todas as tarefas exibidas.

Pontuações de recuperação de consulta para documento por domínio — Figura 6: Pontuação média de recuperação nas tarefas de consulta para documento (Q2D), agrupadas por domínio. Cada barra em um domínio é a média não ponderada de suas principais pontuações em nível de tarefa; a média geral é uma média não ponderada em todas as tarefas exibidas.

Um modelo de incorporação contextual produz um vetor por trecho, portanto, um índice construído com nosso modelo contém exatamente tantos vetores quanto um índice convencional em nível de trecho com a mesma estratégia de divisão em trechos. A contextualização altera o que cada vetor codifica, e não quantos vetores são armazenados. A pegada de armazenamento é, portanto, governada pelo tamanho de cada vetor. O modelo oferece duas maneiras de reduzi-la: truncar a incorporação de 2048 para 1024 dimensões e quantizá-la para int8.

A Figura 7 mostra um equilíbrio favorável entre a qualidade de recuperação e o armazenamento de vetores. A 1024 dimensões, nossas incorporações int8 usam 1 KB por vetor, superando ligeiramente a pontuação de recuperação de trecho do voyage-context-4 a 2048 dimensões em float32, que usa 8 KB por vetor. Aumentar o tamanho de nossa incorporação para 2048 dimensões eleva ainda mais a qualidade de recuperação a 2 KB por vetor. Esses números de armazenamento referem-se apenas aos vetores, e não ao restante do índice.

Qualidade de recuperação de trecho versus armazenamento por vetor — Figura 7: Qualidade de recuperação de trechos (nDCG@10 médio) em função do armazenamento por vetor. As linhas contínuas denotam float32 e as linhas tracejadas denotam int8; os rótulos indicam a dimensão da incorporação.

A Figura 8 mostra apenas uma alteração modesta na qualidade de recuperação à medida que o tamanho do trecho aumenta de 64 para 512 tokens: a pontuação média cai de 81,0% para 79,9%, uma diminuição de 1,1 ponto percentual. Isso sugere que o modelo permanece eficaz nos tamanhos de trecho testados, dando aos pipelines de indexação flexibilidade em como os documentos são divididos.

Sensibilidade ao tamanho do trecho: pontuações de recuperação para trechos de 64 a 512 tokens — Figura 8: Sensibilidade ao tamanho do trecho do nosso modelo. Cada ponto é o nDCG@10 médio não ponderado em 74 tarefas MTEB, com documentos indexados no tamanho de trecho fornecido.

O turbopuffer mantém todo o corpus, as consultas e os rótulos do context-bench privados e relata os resultados para os modelos enviados. Um benchmark público desse tipo convida ao treinamento direto em suas consultas e documentos, o que o saturaria gradualmente e corroeria seu valor para rastrear o progresso ao longo do tempo. Se você quiser que seu modelo seja avaliado no benchmark, entre em contato com o turbopuffer pelo e-mail contextbench@turbopuffer.com.

Uma prévia do nosso modelo está disponível no Hugging Face, e todos os resultados nesta postagem são relatados para esta prévia. Estamos trabalhando para disponibilizar o modelo por meio da API do Perplexity e para melhorar ainda mais a recuperação em documentos longos junto com o turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introdução

Por que o contexto é importante para a recuperação

Os limites da supervisão de trechos ideais

Uma abordagem inovadora para o aprendizado contextual

Função de perda

Perda contrastiva em nível de documento

Perda de destilação em nível de trecho

Perda combinada

Dados de treinamento

Configuração de treinamento

Um novo benchmark para recuperação em nível de trecho

Documentos e consultas

Rótulos de resposta e evidência

Métricas

Resultados da avaliação

Context-bench

ConTEB

Qualidade geral de recuperação entre domínios

Qualidade de recuperação e custos de armazenamento

Sensibilidade ao tamanho do trecho

Lançamento

Citação