Embeddings multimodais além de um único vetor

Desde o lançamento do pplx-embed-v1 em fevereiro, temos trabalhado em uma nova geração de modelos de embedding. Na semana passada, introduzimos nosso novo modelo de embedding contextual, pplx-embed-v2-context. Hoje, estamos expandindo a família com pplx-embed-v2-late, uma coleção de modelos de interação tardia. Além de capacidades de recuperação mais fortes, os modelos são os primeiros a combinar três recursos centrais:

• Representações multi-vetor. Em vez de comprimir cada entrada em um único vetor, esses modelos mantêm vetores no nível do token para comparações mais granulares entre consulta e documento. Isso permite que diferentes partes de uma consulta correspondam a diferentes partes de um documento, preservando detalhes que são especialmente valiosos para recuperação multimodal.
• Suporte a modalidades de texto e imagem. Além das capacidades de recuperação de texto para texto dos nossos modelos anteriores, esses novos modelos lidam com recuperação de texto para imagem, permitindo pesquisar diretamente páginas de PDFs renderizadas sem exigir OCR ou texto analisado.
• Um espaço de embedding compartilhado. Estamos lançando dois tamanhos de modelo, 0,6B e 9B, para atender a diferentes requisitos de qualidade, latência e computação. Cada um pode ser usado de forma independente, mas o espaço de embedding compartilhado também permite que o modelo menor consulte um índice criado com o modelo maior, combinando embeddings de documentos de maior qualidade com inferência barata e rápida no momento da consulta.

Estes novos modelos alcançam resultados de ponta numa série de benchmarks de recuperação visual e de texto, bem como em tarefas agênticas de resposta a perguntas. Em particular, no ViDoRe (V3), um dos principais benchmarks de recuperação de documentos visuais, o nosso modelo de 0,6B iguala modelos com cinco vezes mais parâmetros ativos. Ambos os modelos estão disponíveis publicamente no Hugging Face. O nosso relatório técnico apresenta mais detalhes sobre a metodologia e os resultados da avaliação.

De vetores únicos à interação tardia

Os sistemas de recuperação precisam encontrar um equilíbrio entre eficiência e profundidade de interação entre consultas e documentos. Modelos de embedding densos codificam cada consulta e documento de forma independente, permitindo que sejam comparados com um produto interno barato. Isso torna viável a busca aproximada do vizinho mais próximo (ANN) sobre bilhões de documentos. No extremo oposto, cross-encoders processam a consulta e o documento em conjunto, permitindo uma interação mais rica, mas exigindo uma passagem forward separada para cada candidato. Aplicar esse cálculo a um grande corpus de documentos para cada busca é proibitivamente caro, então cross-encoders normalmente ficam reservados para o reranqueamento de um pequeno conjunto de candidatos recuperados.

Limitações dos embeddings densos

Representar um documento inteiro com um único vetor de tamanho fixo cria um gargalo de informação. À medida que os documentos ficam mais longos e cobrem mais tópicos, o modelo precisa comprimir mais conteúdo no mesmo vetor, tornando mais difícil preservar tudo o que é relevante para uma consulta. O particionamento em chunks pode reduzir essa pressão, mas fragmenta o documento e pode separar informações que só fazem sentido em conjunto, um problema que também abordamos com nosso modelo de embedding contextual. Esse gargalo se agrava em cenários multimodais, em que a densidade de informação das imagens exige ainda mais compressão.

A recuperação densa com vetor único também reduz toda comparação a um produto interno entre dois vetores, limitando a expressividade da função de pontuação. Para uma dimensão de embedding fixa e um corpus grande o suficiente, alguns padrões de pontuações entre pares consulta-documento são impossíveis de produzir, independentemente do treinamento. O benchmark LIMIT transforma essa preocupação teórica em um teste de estresse concreto para a recuperação com vetor único.

Recuperação com interação tardia

Os modelos de interação tardia ocupam o espaço entre os modelos de embedding densos mais baratos e os cross-encoders mais expressivos. Assim como os modelos densos, eles codificam documentos independentemente da consulta, permitindo que as representações dos documentos sejam computadas offline. No entanto, em vez de reduzir cada entrada a um único vetor, eles mantêm múltiplos vetores e usam uma função de pontuação mais rica ao comparar uma consulta com um documento.

Nossos modelos pplx-embed-v2-late usam uma arquitetura no estilo ColBERT, produzindo embeddings de 128 dimensões para cada token na entrada. Pontuamos pares consulta-documento usando MaxSim; para cada token da consulta, o modelo seleciona o token de documento com a maior pontuação e soma as similaridades máximas por token para produzir a pontuação final. Isso permite que diferentes partes de uma consulta correspondam a diferentes partes de um documento, com correspondências de tokens mais fortes contribuindo mais para a pontuação.

Expandir

Essa expressividade adicional vem acompanhada de custos mais altos de armazenamento e de pontuação de candidatos. A recuperação densa armazena um vetor por documento e pontua um candidato com um único produto interno; a interação tardia armazena vetores para tokens de documentos e avalia muitas similaridades token a token. O custo cresce com o comprimento do documento, então a interação tardia requer uma compensação diferente de indexação e serving em comparação com a recuperação ANN de vetor único. Em troca, ela fornece recuperação de primeira etapa mais rica para corpora sensíveis à qualidade e também pode servir como etapa posterior em um pipeline maior de recuperação em escala da web.

Um modelo, múltiplas modalidades

Essa profundidade de interação aprimorada demonstrou ser muito útil para várias tarefas, incluindo recuperação de longo contexto, agentic e fora de domínio. Essa diferença é particularmente evidente na recuperação multimodal, como mostra a ampla liderança dos modelos ColPali no ranking do ViDoRe(V3).

Corpora do mundo real não são compostos apenas de texto limpo. Eles chegam como PDFs, apresentações de slides, capturas de tela, páginas digitalizadas, gráficos e tabelas. O pipeline convencional analisa esses documentos, aplica OCR ou legendagem e pesquisa o texto resultante, o que é caro e perde informação: pode introduzir erros de OCR e descarta layout, estrutura de tabelas, figuras e relações espaciais. A busca visual de documentos pula essa etapa, projetando a página renderizada diretamente no espaço de representação, onde consultas textuais podem pesquisá-la.

Nossa nova família de modelos se baseia no forte desempenho dos modelos multi-vetor para busca multimodal e avança a fronteira de Pareto para modelos pequenos no benchmark de busca de documentos mais amplamente usado, o ViDoRe(V3). Embora esperemos que renderizações de documentos sejam a forma mais comum de entrada visual, nossos modelos também suportam busca semântica de imagens em imagens naturais, como fotografias de paisagens.

Treinando uma família de modelos interoperáveis

A busca é fundamentalmente assimétrica: a indexação e a codificação de consultas têm restrições operacionais diferentes. A indexação é executada offline e pode ser paralelizada, então seu custo computacional é amortizado ao longo de muitas buscas futuras. A codificação de consultas é executada online em cada solicitação, tornando-a sensível à latência e, às vezes, sujeita a limites de serving ou de dispositivos de borda. Nossa família de modelos aproveita essa assimetria, oferecendo tamanhos adaptados a cada lado do pipeline de recuperação.

Treinamos um teacher de 18B contrastivamente e, em seguida, fazemos a distilação separadamente em estudantes de 9B e 0,6B. Em vez de treinar cada estudante apenas para reproduzir a distribuição de ranking do teacher, usamos distilação de representação no estilo LEAF: para cada token de entrada, alinhamos o embedding de saída do estudante ao do teacher. Embora a distilação no espaço de representação já tenha sido usada anteriormente para modelos densos de vetor único, estendemo-la à interação tardia, em que o alvo de alinhamento é um vetor para cada token retido.

Como resultado, ambos os checkpoints lançados compartilham o mesmo espaço de embedding multi-vetor. Isso possibilita recuperação entre modelos, tornando viáveis opções adicionais de implantação.

• Qualidade máxima: codifique documentos e consultas com o modelo 9B.
• Máxima eficiência: codifique documentos e consultas com o modelo 0,6B para inferência 100% local
• Recuperação de baixa latência: construa o índice do corpus com o modelo 9B e, em seguida, codifique consultas ao vivo com o modelo 0,6B para aproveitar a computação no momento da indexação sem deixar a consulta lenta.
• Recuperação local–nuvem: codifique documentos locais privados ou consultas ao vivo com o modelo 0,6B no dispositivo e compare ou mescle essas representações com resultados de um índice 9B hospedado na nuvem.

Para cenários sensíveis à latência, projetamos o modelo 0,6B como um codificador de consultas leve que também pode ser executado em dispositivos de borda. Partindo do Qwen3.5-0.8B, podámos sua torre de texto de 24 camadas para 12 camadas, reduzindo essa torre de 498M para 240M parâmetros não relacionados a embedding. O modelo resultante tem 594M parâmetros no total, mas seu tamanho nominal superestima o custo de serving: 100M são usados para codificação de imagem, e 254M ficam na tabela de embeddings de tokens, que tem pouco efeito em tempo de execução. Apenas cerca de 240M parâmetros estão ativos para codificação de texto e 340M para codificação de imagem, o que dá ao modelo o custo de serving de um modelo substancialmente menor, mantendo a compatibilidade com o índice 9B.

Aplicamos o mesmo processo para construir nosso teacher de 18B a partir de uma base de 27B, o que tornou o teacher consideravelmente mais barato de distilar sem enfraquecer o sinal que ele fornece.

Dados de treinamento multilíngues, multimodais e sem contaminação

Treinamos ambos os modelos em um conjunto de dados de 186 milhões de pares consulta-documento extraídos de 594 conjuntos de dados em 46 idiomas. Desses pares, 88,3% são texto para texto, 8,3% são texto para imagem e 3,4% são pares texto para documento visual. Em vez de amostrar proporcionalmente ao tamanho do conjunto de dados, atribuímos a cada conjunto um peso de amostragem, o que resulta em uma mistura de treinamento mais equilibrada de 56,5%, 30,9% e 12,6%, respectivamente.

Ao construir nossos dados de treinamento, excluímos quaisquer conjuntos de dados associados aos benchmarks nos quais avaliamos, para representar fielmente nossos resultados sem inflar as pontuações dos benchmarks. Essa decisão vem com a compensação de que alguns dos conjuntos de dados que escolhemos excluir contêm dados de alta qualidade que poderiam melhorar o desempenho do nosso modelo em tarefas além do benchmark de origem. No fim, escolhemos aceitar esse custo: números confiáveis são mais úteis para nós durante o desenvolvimento e para os usuários ao comparar modelos.

Avaliação

Avaliamos ambos os modelos em recuperação de texto, de documentos visuais, de imagens mistas e agentic. Ambos os modelos superam as bases de comparação avaliadas no Q2D-Web e no BrowseComp+, e alcançam resultados fortes em recuperação de documentos visuais e MADQA.

Recuperação de texto

Avaliamos a recuperação texto para texto em três benchmarks:

• Benchmarks específicos de domínio: Uma coleção de 72 tarefas no estilo MTEB, 55 distribuídas em cinco domínios (finanças, jurídico, saúde, conversação, tecnologia), além de 17 tarefas multilíngues diversas. A coleção inclui tarefas como FinQA, AILACasedocs e XLSum. Nenhum desses conjuntos de dados aparece em nossos dados de treinamento, como descrito acima.
• Q2D-Web: nosso benchmark de recuperação em escala da web com cerca de 70.000 consultas de busca reformuladas por agente, extraídas de tráfego de busca em produção, sobre um corpus de 190M de documentos da web. Este benchmark mede o desempenho de recuperação em um cenário muito mais próximo da recuperação web do mundo real do que outros benchmarks de recuperação disponíveis, devido às suas consultas parecidas com produção e ao corpus em grande escala.
• ViDoRe(V3) Markdown: o ViDoRe(V3) é normalmente uma tarefa de recuperação de texto para documento visual, mas também pode ser avaliado como uma tarefa de texto usando uma versão do corpus que foi analisada para Markdown, permitindo-nos avaliar a recuperação de documentos ricos em informação tanto na modalidade de imagem quanto de texto.

Medimos o desempenho usando nDCG@10, exceto no Q2D-Web, em que relatamos Recall@1000 devido ao foco do benchmark em um cenário de recuperação web de primeira etapa. Ao longo de nossas avaliações, comparamos com modelos de embedding líderes de mercado em diferentes classes de tamanho. Para recuperação de texto, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 e qwen3-embed-8b representam os concorrentes densos mais fortes e amplamente usados, enquanto voyage-4-nano e qwen3-embed-0.6b servem como bases densas abaixo de um bilhão de parâmetros. Também comparamos com os modelos de interação tardia topk-embed-v1 da TopK, recém-lançados, nos benchmarks para os quais a TopK publicou resultados. As pontuações do ViDoRe(V3) foram obtidas em seus model cards na dimensão 128, correspondendo à largura de nossos embeddings de token; a pontuação do Q2D-Web foi obtida em nosso leaderboard.

Nos benchmarks específicos de domínio, nossos modelos 9B e 0,6B obtêm médias de 81,3% e 78,0%, respectivamente. Nosso modelo 9B alcança a maior pontuação de todos os modelos que avaliamos, superando o próximo melhor modelo por 1,6 pp. Nosso modelo 0,6B é competitivo com os outros modelos de maior pontuação, ficando apenas 0,3 pp atrás do gemini-embedding-2. Importante: como não treinamos com nenhum dos dados dessas tarefas de benchmark, os benchmarks específicos de domínio demonstram que nossos modelos de embedding conseguem generalizar para novos domínios.

Expandir

A força relativa do nosso modelo 0,6B é ainda maior na tarefa ViDoRe(V3) Markdown; sua pontuação de 61,2% supera todos os outros modelos, exceto nosso modelo 9B, que obteve 64,7%. O próximo melhor modelo externo obteve 60,6%, e o próximo melhor modelo abaixo de 1B, topk-embed-v1-0.8b, ficou 4,3 pp atrás do nosso modelo 0,6B.

Expandir

No Q2D-Web, a relevância vem de três conjuntos de julgamentos: documentos que o agente citou (Citation), documentos classificados pelo nosso sistema de recuperação em produção (Web) e a união de ambos, ampliada com julgamentos de LLM para documentos não rotulados (Combined). Ambos os modelos pplx-embed-v2-late lideram todas as bases de comparação em todos os três conjuntos de julgamentos. Damos foco aos julgamentos combinados, pois os conjuntos Citation e Web são derivados do que nossos próprios sistemas já haviam exposto e, portanto, favorecem modelos que ranqueiam como eles; os julgamentos de LLM adicionados em Combined cobrem documentos que nenhum dos sistemas recuperou. Nesse conjunto, nossos modelos 9B e 0,6B superam todos os concorrentes, alcançando pontuações de 74,8% e 73,6%, respectivamente, contra a melhor pontuação anterior de 69,3%.

Expandir

Recuperação visual

Nossa principal referência de recuperação visual é o subconjunto público padrão do ViDoRe (V3), em que o corpus consiste em imagens de páginas renderizadas, e não na conversão para Markdown. Comparamos com dois modelos líderes de visão-linguagem densos, qwen3-vl-embed-8b e gemini-embedding-2, e com os modelos de interação tardia topk-embed-v1. Além disso, os modelos EVIE da Tencent e os modelos Nemotron ColEmbed V2 da NVIDIA são bases de comparação multi-vetor "somente visão", treinadas especificamente para tarefas de recuperação de imagens.

Ambos os nossos modelos alcançam desempenho de estado da arte para modelos de linguagem e visão. Nosso modelo 9B obtém 65,2% em média, ficando atrás apenas do EVIE. Nosso modelo 0,6B atinge 62,3%, à frente do topk-embed-v1-2b e ficando atrás apenas dos muito maiores EVIE e nemotron-colembed-v2-8b entre as bases de comparação externas.

Expandir

Nosso modelo 0,6B é particularmente competitivo no contexto do tamanho do modelo. Ele está à frente de todos os modelos de tamanho comparável e a 1,2 pp do nemotron-colembed-v2-8b, enquanto ativa apenas 340M de parâmetros para entradas de imagem. Nossos modelos produzem embeddings de 128 dimensões por token, em comparação com 2.048 para EVIE-4.5B e 4.096 para EVIE-8B e nemotron-colembed-v2-8b. Essa diferença nos custos de armazenamento pode afetar drasticamente os cenários em que esses modelos são práticos de usar.

Expandir

Também avaliamos a recuperação visual no MIRACL-Vision, um benchmark cujo corpus consiste em capturas de tela de artigos da Wikipedia, e no PPLX-Q2I, um benchmark interno que abrange tanto documentos visuais quanto imagens naturais. O PPLX-Q2I é construído a partir dos logs de busca por imagens em produção da Perplexity e foi projetado para refletir a diversidade de casos de uso de busca de imagens. Usamos uma amostra de 10.000 consultas, estratificada por idioma e domínio, contra um corpus de 100.000 imagens; os documentos relevantes de cada consulta são as imagens servidas para ela. Não avaliamos EVIE-8B nem Nemotron ColEmbed no PPLX-Q2I, pois indexar um corpus desse tamanho em suas dimensionalidades de saída padrão (2.560 para Nemotron ColEmbed 4B e 4.096 para Nemotron ColEmbed 8B e EVIE-8B) era impraticável.

Assim como em seu desempenho no ViDoRe(V3), nosso modelo 0,6B é competitivo com modelos muito maiores, ficando apenas 1 pp atrás do qwen3-vl-embed-8b no MIRACL-Vision. Nosso modelo 9B supera todos os outros modelos, exceto o gemini-embedding-2.

No PPLX-Q2I, ambos os nossos modelos superam qwen3-vl-embedding-8b por uma margem de mais de 9 pp, e nosso modelo 9B fica atrás do gemini-embedding-2 por apenas 2 pp. Nossos resultados continuam competitivos em corpora que contêm imagens naturais, além de documentos visuais, de modo que as representações multi-vetor que trazem ganhos no ViDoRe(V3) não vêm às custas da busca geral por imagens.

Expandir

Recuperação entre modelos

Os resultados nas seções anteriores avaliam cada modelo em relação a um corpus que ele próprio incorporou. O espaço de embedding compartilhado significa que isso não é um requisito: um corpus indexado pelo modelo 9B pode ser pesquisado com consultas incorporadas pelo modelo 0,6B. Essa é a configuração que esperamos que a maioria das implementações em produção use, já que a indexação é um custo único amortizado ao longo da vida útil do corpus, enquanto a incorporação da consulta ocorre no caminho crítico de latência de cada solicitação.

Uma implementação que não pode executar o modelo 9B no momento da consulta, caso contrário, também indexaria com o modelo 0,6B, de modo que essa configuração simétrica 0,6B é o ponto de comparação relevante. Avaliamos contra os 72 benchmarks específicos de domínio usados acima e na recuperação de imagens do ViDoRe v3. As consultas são incorporadas com pplx-embed-v2-late-0.6b, e variamos apenas o que incorporou o corpus.

A indexação com o modelo 9B é uma melhoria estrita. Nos benchmarks específicos de domínio, a configuração assimétrica obtém um ganho médio de 1,6 pp. Na recuperação de imagens do ViDoRe v3, ela alcança 63,5%, acima dos 62,3% com o modelo 0,6B em ambos os lados, um ganho de 1,2 ponto percentual. O custo de codificação de consultas permanece inalterado entre as configurações simétrica 0,6B e assimétrica, já que o mesmo modelo 0,6B codifica a consulta em ambos os casos; o custo adicional de codificação de documentos é incorrido no momento da indexação.

Executar o modelo 9B em ambos os lados continua sendo melhor, com média de 81,3% nos benchmarks específicos de domínio. Portanto, a configuração assimétrica recupera aproximadamente metade da diferença de qualidade entre os dois modelos em texto, sem custo adicional de codificação de consultas. A escolha da configuração depende de o modelo 9B ser ou não viável no momento da consulta; quando não é, a configuração assimétrica captura uma parcela substancial do seu benefício.

Expandir

Recuperação agentic

A recuperação agentic é outro cenário em que embeddings multi-vetor são particularmente fortes. No BrowseComp+, um LLM (GPT-OSS-120B no nosso caso) usa o modelo de embedding para pesquisar um corpus em busca de informações relevantes para uma consulta complexa do usuário, e um segundo LLM julga se a resposta resultante corresponde à verdade de referência. Nosso modelo 9B alcança 64,0% de exatidão, superando o próximo melhor modelo ColBERT por 4,9 pp e o próximo melhor modelo denso por 8,7 pp, enquanto emite menos buscas do que qualquer outro modelo, exceto nosso 0,6B. O modelo 0,6B também está à frente de todos os modelos fora da nossa família.

Expandir

O MADQA testa pergunta e resposta agentic em 800 PDFs heterogéneos do mundo real, somando mais de 18.000 páginas, com 500 perguntas escritas por humanos que não podem ser respondidas por conhecimento geral. Um agente (Gemini 3.5 Flash no nosso caso) pesquisa a coleção com o recuperador sob teste e recebe pontuação pela exatidão da resposta e pelo F1 de página em relação às páginas de evidência anotadas. Nosso modelo 9B estabelece um novo estado da arte entre recuperadores, com 92,4% de exatidão, 3,5 pp à frente do mesmo agente usando o recuperador da Mixedbread; nosso modelo 0,6B atinge 90,1%. Também observamos que nosso recuperador alcança resultados competitivos contra o Mixedbread Agentic Search, que usa um subagente de busca em seu sistema de busca, o qual planeia e executa várias buscas por chamada do agente principal (93,4%, dentro do nosso intervalo de confiança).

Expandir

Como começar

Nossos modelos 0,6B e 9B estão disponíveis no Hugging Face e são compatíveis imediatamente com sentence-transformers >= 6.0.0 e transformers >= 5.4.0. Mais detalhes técnicos e os resultados completos da avaliação serão publicados em um relatório técnico ainda este ano.

Estamos atualmente a treinar a próxima geração dos nossos modelos de embeddings densos e vamos disponibilizar progressivamente suporte para embeddings de interação tardia, densos e contextuais na Perplexity API Platform.

Citação

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}