Embeddings multimodais além de um único vetor

Desde o lançamento de pplx-embed-v1 em fevereiro, temos trabalhado em uma nova geração de modelos de embeddings. Na semana passada, apresentamos nosso novo modelo contextual de embeddings, pplx-embed-v2-context. Hoje, estamos expandindo a família com pplx-embed-v2-late, uma coleção de modelos de interação tardia. Além de capacidades de recuperação mais fortes, os modelos são os primeiros a combinar três recursos centrais:

• Representações multi-vetor. Em vez de comprimir cada entrada em um único vetor, esses modelos mantêm vetores no nível do token para comparações mais granulares entre consulta e documento. Isso permite que diferentes partes de uma consulta correspondam a diferentes partes de um documento, preservando detalhes que são especialmente valiosos para a recuperação multimodal.
• Suporte a modalidades de texto e imagem. Além das capacidades de recuperação de texto para texto dos nossos modelos anteriores, esses novos modelos lidam com recuperação de texto para imagem, permitindo pesquisar diretamente páginas de PDFs renderizadas sem exigir OCR ou texto analisado.
• Um espaço de embeddings compartilhado. Estamos lançando dois tamanhos de modelo, 0,6B e 9B, para atender a diferentes requisitos de qualidade, latência e computação. Cada um pode ser usado de forma independente, mas o espaço de embeddings compartilhado também permite que o modelo menor consulte um índice criado com o modelo maior, combinando embeddings de documentos de maior qualidade com inferência barata e rápida no momento da consulta.

Esses novos modelos alcançam resultados de ponta em diversos benchmarks de recuperação visual e de texto, bem como em tarefas agênticas de perguntas e respostas. Vale destacar que, no ViDoRe (V3), um dos principais benchmarks de recuperação visual de documentos, nosso modelo de 0,6B se equipara a modelos com cinco vezes mais parâmetros ativos. Ambos os modelos estão disponíveis publicamente no Hugging Face. Nosso relatório técnico traz mais detalhes sobre a metodologia e os resultados da avaliação.

De vetores únicos à interação tardia

Sistemas de recuperação precisam encontrar um equilíbrio entre eficiência e a profundidade da interação entre consultas e documentos. Modelos densos de embeddings codificam cada consulta e cada documento de forma independente, permitindo que sejam comparados com um produto interno barato. Isso torna viável a busca aproximada de vizinhos mais próximos (ANN) em bilhões de documentos. No outro extremo, os cross-encoders processam a consulta e o documento juntos, possibilitando uma interação mais rica, mas exigindo uma passada de avanço separada para cada candidato. Aplicar esse cálculo a um grande corpus de documentos a cada busca é proibitivamente caro, então os cross-encoders normalmente são reservados para reclassificar um pequeno conjunto de candidatos recuperados.

Limitações dos embeddings densos

Representar um documento inteiro com um único vetor de tamanho fixo cria um gargalo de informação. À medida que os documentos ficam mais longos e abrangem mais tópicos, o modelo precisa comprimir mais conteúdo no mesmo vetor, dificultando a preservação de tudo o que é relevante para uma consulta. O chunking pode reduzir essa pressão, mas fragmenta o documento e pode separar informações que só fazem sentido juntas, um problema que também enfrentamos com nosso modelo contextual de embeddings. Esse gargalo piora em cenários multimodais, nos quais a densidade de informação das imagens exige ainda mais compressão.

A recuperação densa com vetor único também reduz cada comparação a um produto interno entre dois vetores, limitando a expressividade da função de pontuação. Para uma dimensão de embedding fixa e um corpus grande o suficiente, alguns padrões de pontuação entre pares consulta-documento são impossíveis de produzir, independentemente do treinamento. O benchmark LIMIT transforma essa preocupação teórica em um teste de estresse concreto para a recuperação com vetor único.

Recuperação por interação tardia

Os modelos de interação tardia ocupam o espaço entre os modelos densos de embeddings mais baratos e os cross-encoders mais expressivos. Assim como os modelos densos, eles codificam documentos independentemente da consulta, permitindo que as representações dos documentos sejam computadas off-line. No entanto, em vez de reduzir cada entrada a um único vetor, eles mantêm múltiplos vetores e usam uma função de pontuação mais rica ao comparar uma consulta com um documento.

Nossos modelos pplx-embed-v2-late usam uma arquitetura no estilo ColBERT, produzindo embeddings de 128 dimensões para cada token na entrada. Pontuamos pares consulta-documento usando MaxSim; para cada token da consulta, o modelo seleciona o token do documento com maior pontuação e soma as similaridades máximas por token para produzir a pontuação final. Isso permite que diferentes partes de uma consulta correspondam a diferentes partes de um documento, com correspondências de tokens mais fortes contribuindo mais para a pontuação.

Expandir

Essa expressividade adicional vem com maiores custos de armazenamento e de pontuação de candidatos. A recuperação densa armazena um vetor por documento e pontua um candidato com um produto interno; a interação tardia armazena vetores para tokens do documento e avalia muitas similaridades token a token. O custo cresce com o comprimento do documento, então a interação tardia exige uma troca diferente entre indexação e atendimento do que a recuperação ANN com um único vetor. Em compensação, ela oferece uma recuperação de primeira etapa mais rica para corpora sensíveis à qualidade e também pode servir como uma etapa posterior em um pipeline maior de recuperação em escala web.

Um modelo, múltiplas modalidades

Essa profundidade de interação aprimorada demonstrou ser muito útil para várias tarefas, incluindo recuperação de longo contexto, agentica e fora de domínio. Essa diferença é particularmente evidente na recuperação multimodal, como mostra a grande vantagem dos modelos ColPali no ranking do ViDoRe(V3).

Corpora do mundo real não são compostos apenas de texto limpo. Eles chegam como PDFs, apresentações de slides, capturas de tela, páginas digitalizadas, gráficos e tabelas. O pipeline convencional analisa esses documentos, aplica OCR ou legendagem e pesquisa o texto resultante, o que é caro e sujeito a perdas: pode introduzir erros de OCR e descarta layout, estrutura de tabelas, figuras e relações espaciais. A busca visual de documentos pula essa etapa, projetando a página renderizada diretamente no espaço de representação, onde consultas textuais podem pesquisá-la.

Nossa nova família de modelos se baseia no forte desempenho de modelos multi-vetor para busca multimodal e avança a fronteira de Pareto para modelos pequenos no benchmark de busca de documentos mais amplamente usado, o ViDoRe(V3). Embora esperemos que renderizações de documentos sejam a forma mais comum de entrada visual, nossos modelos também oferecem suporte à busca semântica de imagens em imagens naturais, como fotografias de paisagens.

Treinando uma família de modelos interoperáveis

A busca é fundamentalmente assimétrica: a indexação e a codificação de consultas têm restrições operacionais diferentes. A indexação é executada off-line e pode ser paralelizada, então seu custo computacional é amortizado por muitas buscas futuras. A codificação de consultas é executada on-line a cada solicitação, tornando-a sensível à latência e, às vezes, sujeita a limites de atendimento ou de dispositivos de borda. Nossa família de modelos aproveita essa assimetria, oferecendo tamanhos adaptados a cada lado do pipeline de recuperação.

Treinamos um professor de 18B contrastivamente e, em seguida, fazemos a destilação separadamente em alunos de 9B e 0,6B. Em vez de treinar cada aluno apenas para reproduzir a distribuição de ranqueamento do professor, usamos destilação de representação no estilo LEAF: para cada token de entrada, alinhamos o embedding de saída do aluno com o do professor. Embora a destilação no espaço de representação tenha sido usada anteriormente para modelos densos de vetor único, nós a estendemos à interação tardia, em que o alvo de alinhamento é um vetor para cada token mantido.

Como resultado, os dois checkpoints liberados compartilham o mesmo espaço de embeddings multi-vetor. Isso possibilita a recuperação entre modelos, tornando possíveis opções adicionais de implantação.

• Qualidade máxima: codifique documentos e consultas com o modelo 9B.
• Eficiência máxima: codifique documentos e consultas com o modelo 0,6B para inferência 100% local
• Recuperação de baixa latência: construa o índice do corpus com o modelo 9B e, em seguida, codifique consultas ao vivo com o modelo 0,6B para aproveitar o cálculo no momento da indexação enquanto mantém a consulta rápida.
• Recuperação local–nuvem: codifique documentos privados locais ou consultas ao vivo com o modelo 0,6B no dispositivo e compare ou mescle essas representações com resultados de um índice 9B hospedado na nuvem.

Para ambientes sensíveis à latência, projetamos o modelo 0,6B como um codificador de consultas leve que também pode ser executado em dispositivos de borda. Partindo de Qwen3.5-0.8B, fazemos pruning de sua torre de texto de 24 camadas para 12 camadas, reduzindo essa torre de 498M para 240M de parâmetros não relacionados a embeddings. O modelo resultante tem 594M de parâmetros no total, mas seu tamanho nominal superestima o custo de serving: 100M são usados para codificação de imagens, e 254M ficam na tabela de embeddings de tokens, que tem pouco efeito no tempo de execução. Apenas cerca de 240M de parâmetros estão ativos para a codificação de texto e 340M para a codificação de imagem, dando ao modelo o custo de serving de um modelo substancialmente menor, ao mesmo tempo em que mantém a compatibilidade com o índice 9B.

Aplicamos o mesmo processo para construir nosso professor 18B a partir de uma base 27B, o que tornou o professor consideravelmente mais barato de destilar sem enfraquecer o sinal que ele fornece.

Dados de treinamento multilíngues, multimodais e não contaminados

Treinamos ambos os modelos em um conjunto de dados de 186 milhões de pares consulta-documento extraídos de 594 conjuntos de dados em 46 idiomas. Desses pares, 88,3% são de texto para texto, 8,3% são de texto para imagem e 3,4% são de texto para documento visual. Em vez de amostrar em proporção ao tamanho do conjunto de dados, atribuímos a cada conjunto um peso de amostragem, o que resulta em uma mistura de treinamento mais equilibrada de 56,5%, 30,9% e 12,6%, respectivamente.

Ao construir nossos dados de treinamento, excluímos quaisquer conjuntos de dados associados aos benchmarks que avaliamos para representar fielmente nossos resultados sem inflar as pontuações dos benchmarks. Essa decisão traz a compensação de que alguns dos conjuntos de dados que escolhemos excluir contêm dados de alta qualidade que poderiam melhorar o desempenho do nosso modelo em tarefas além do benchmark de origem. No fim, optamos por aceitar esse custo: números confiáveis são mais úteis para nós durante o desenvolvimento e para os usuários ao comparar modelos.

Avaliação

Avaliamos ambos os modelos em recuperação de texto, documento visual, imagem mista e agentica. Ambos superam as bases avaliadas em Q2D-Web e BrowseComp+, e alcançam resultados fortes em recuperação de documentos visuais e MADQA.

Recuperação de texto

Avaliamos a recuperação de texto para texto em três benchmarks:

• Benchmarks específicos de domínio: Uma coleção de 72 tarefas no estilo MTEB, 55 em cinco domínios (finanças, jurídico, saúde, conversação, tecnologia), além de 17 tarefas multilíngues diversas. A coleção inclui tarefas como FinQA, AILACasedocs e XLSum. Nenhum desses conjuntos de dados aparece em nossos dados de treinamento, conforme descrito acima.
• Q2D-Web: nosso benchmark de recuperação em escala web com cerca de 70.000 consultas de busca reformuladas por agente, extraídas do tráfego de busca em produção, sobre um corpus de 190 milhões de documentos da web. Este benchmark mede o desempenho de recuperação em um cenário muito mais próximo da recuperação web do mundo real do que outros benchmarks de recuperação disponíveis, devido às consultas semelhantes às de produção e ao corpus em grande escala.
• ViDoRe(V3) Markdown: o ViDoRe(V3) normalmente é uma tarefa de recuperação de texto para documento visual, mas também pode ser avaliado como uma tarefa de texto usando uma versão do corpus que foi analisada em Markdown, permitindo avaliar a recuperação de documentos ricos em informação tanto na modalidade de imagem quanto na de texto.

Medimos o desempenho usando nDCG@10, exceto no Q2D-Web, onde reportamos Recall@1000 devido ao foco do benchmark em um cenário de recuperação web de primeira etapa. Ao longo de nossas avaliações, comparamos com modelos de embeddings líderes do setor em diferentes classes de tamanho. Para recuperação de texto, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 e qwen3-embed-8b representam os concorrentes densos mais fortes e mais amplamente usados, enquanto voyage-4-nano e qwen3-embed-0.6b servem como bases densas com menos de um bilhão de parâmetros. Também comparamos com os modelos de interação tardia topk-embed-v1, lançados recentemente pela TopK, nos benchmarks para os quais a TopK publicou resultados. As pontuações do ViDoRe(V3) são obtidas a partir dos cards dos modelos em 128 dimensões, correspondendo à largura dos nossos embeddings de token; a pontuação do Q2D-Web é obtida de nosso leaderboard.

Nos benchmarks específicos de domínio, nossos modelos 9B e 0,6B atingem médias de 81,3% e 78,0%, respectivamente. Nosso modelo 9B alcança a maior pontuação de todos os modelos que avaliamos, superando o segundo melhor em 1,6 pp. Nosso modelo 0,6B é competitivo com os outros modelos de maior pontuação, ficando apenas 0,3 pp atrás de gemini-embedding-2. Importante destacar que, como não treinamos com nenhum dos dados desses benchmarks, os benchmarks específicos de domínio demonstram que nossos modelos de embeddings podem generalizar para novos domínios.

Expandir

A força relativa do nosso modelo 0,6B é ainda maior na tarefa ViDoRe(V3) Markdown; sua pontuação de 61,2% supera todos os outros modelos, exceto nosso modelo 9B, que obteve 64,7%. O próximo melhor modelo externo obteve 60,6%, e o próximo melhor modelo com menos de 1B, topk-embed-v1-0.8b, ficou 4,3 pp atrás do nosso modelo 0,6B.

Expandir

No Q2D-Web, a relevância vem de três conjuntos de julgamentos: documentos citados pelo agente (Citação), documentos ranqueados pelo nosso sistema de recuperação em produção (Web) e a união de ambos ampliada com julgamentos de LLM sobre documentos sem rótulo (Combinado). Ambos os modelos pplx-embed-v2-late lideram todas as bases em todos os três conjuntos de julgamentos. Focamos nos julgamentos combinados, já que os conjuntos Citação e Web são derivados do que nossos próprios sistemas já mostraram e, portanto, favorecem modelos que ranqueiam como eles; os julgamentos de LLM adicionados no Combinado cobrem documentos que nenhum dos sistemas recuperou. Nesse conjunto, tanto nosso modelo 9B quanto o 0,6B superam todos os concorrentes, alcançando pontuações de 74,8% e 73,6%, respectivamente, contra a melhor pontuação anterior de 69,3%.

Expandir

Recuperação visual

Nosso principal benchmark de recuperação visual é o subconjunto público padrão do ViDoRe(V3), em que o corpus consiste em imagens de páginas renderizadas, e não na conversão em Markdown. Comparamos com dois dos principais modelos densos de visão e linguagem, qwen3-vl-embed-8b e gemini-embedding-2, e com os modelos de interação tardia topk-embed-v1. Além disso, os modelos EVIE da Tencent e os modelos Nemotron ColEmbed V2 da NVIDIA são bases multi-vetor “somente visão” treinadas especificamente para tarefas de recuperação de imagens.

Ambos os nossos modelos alcançam desempenho de ponta para modelos de visão e linguagem. Nosso modelo 9B obtém 65,2% em média, ficando atrás apenas de EVIE. Nosso modelo 0,6B alcança uma pontuação de 62,3%, à frente de topk-embed-v1-2b e ficando atrás apenas dos muito maiores EVIE e nemotron-colembed-v2-8b entre as bases externas.

Expandir

Nosso modelo 0,6B é particularmente competitivo no contexto do tamanho do modelo. Ele fica à frente de todos os modelos de tamanho comparável e dentro de 1,2 pp de nemotron-colembed-v2-8b, enquanto ativa apenas 340M de parâmetros para entradas de imagem. Nossos modelos produzem embeddings de 128 dimensões por token, em comparação com 2.048 para EVIE-4.5B e 4.096 para EVIE-8B e nemotron-colembed-v2-8b. Essa diferença nos custos de armazenamento pode afetar drasticamente os cenários em que esses modelos são práticos de usar.

Expandir

Também avaliamos a recuperação visual em MIRACL-Vision, um benchmark cujo corpus consiste em capturas de tela de artigos da Wikipédia, e no PPLX-Q2I, um benchmark interno que abrange tanto documentos visuais quanto imagens naturais. O PPLX-Q2I é construído a partir dos logs de busca de imagens em produção da Perplexity e projetado para refletir a diversidade dos casos de uso de busca de imagens. Usamos uma amostra de 10.000 consultas, estratificada por idioma e domínio, em um corpus de 100.000 imagens; os documentos relevantes de cada consulta são as imagens servidas para ela. Não avaliamos EVIE-8B nem Nemotron ColEmbed no PPLX-Q2I, pois indexar um corpus desse tamanho em suas dimensionalidades de saída padrão (2.560 para Nemotron ColEmbed 4B e 4.096 para Nemotron ColEmbed 8B e EVIE-8B) era impraticável.

Semelhante ao seu desempenho no ViDoRe(V3), nosso modelo 0,6B é competitivo com modelos muito maiores, ficando apenas 1 pp atrás de qwen3-vl-embed-8b em MIRACL-Vision. Nosso modelo 9B supera todos os outros modelos, exceto gemini-embedding-2.

No PPLX-Q2I, ambos os nossos modelos superam qwen3-vl-embedding-8b por uma margem superior a 9 pp, e nosso modelo 9B fica atrás de gemini-embedding-2 por apenas 2 pp. Nossos resultados permanecem competitivos em corpora que contêm imagens naturais, bem como documentos visuais, de modo que as representações multi-vetor que trazem ganhos no ViDoRe(V3) não vêm às custas da busca geral de imagens.

Expandir

Recuperação entre modelos

Os resultados das seções anteriores avaliam cada modelo em relação a um corpus que ele próprio incorporou. O espaço de embeddings compartilhado significa que isso não é um requisito: um corpus indexado pelo modelo 9B pode ser pesquisado com consultas incorporadas pelo modelo 0,6B. Esta é a configuração que esperamos que a maioria das implantações em produção use, já que a indexação é um custo único amortizado ao longo da vida útil do corpus, enquanto a incorporação de consultas ocorre no caminho crítico de latência de cada solicitação.

Uma implantação que não pode executar o modelo 9B no momento da consulta também indexaria com o modelo 0,6B, de modo que essa configuração simétrica 0,6B é o ponto de comparação relevante. Avaliamos contra os 72 benchmarks específicos de domínio usados acima e na recuperação de imagens do ViDoRe v3. As consultas são incorporadas com pplx-embed-v2-late-0.6b, e variamos apenas o que incorporou o corpus.

Indexar com o modelo 9B é uma melhoria estrita. Nos benchmarks específicos de domínio, a configuração assimétrica apresenta um ganho médio de 1,6 pp. Na recuperação de imagens do ViDoRe v3, ela alcança 63,5%, acima dos 62,3% com o modelo 0,6B em ambos os lados, um ganho de 1,2 ponto percentual. O custo de codificação de consultas permanece inalterado entre as configurações simétrica 0,6B e assimétrica, já que o mesmo modelo 0,6B codifica a consulta em ambas; o custo adicional de codificação de documentos é incorrido no momento da indexação.

Executar o modelo 9B em ambos os lados continua melhor, com média de 81,3% nos benchmarks específicos de domínio. A configuração assimétrica, portanto, recupera aproximadamente metade da diferença de qualidade entre os dois modelos em texto, sem custo adicional de codificação de consultas. A configuração a escolher depende de o modelo 9B ser financeiramente viável no momento da consulta; quando não for, a configuração assimétrica captura uma parte substancial de seu benefício.

Expandir

Recuperação agentica

A recuperação agentica é outro cenário em que os embeddings multi-vetor são particularmente fortes. No BrowseComp+, um LLM (GPT-OSS-120B no nosso caso) usa o modelo de embeddings para pesquisar um corpus em busca de informações relevantes para uma consulta complexa do usuário, e um segundo LLM julga se a resposta resultante corresponde à verdade de referência. Nosso modelo 9B alcança 64,0% de acurácia, superando o próximo melhor modelo ColBERT em 4,9 pp e o próximo melhor modelo denso em 8,7 pp, ao mesmo tempo em que emite menos buscas do que qualquer outro modelo, exceto nosso 0,6B. O modelo 0,6B também fica à frente de todos os modelos fora da nossa família.

Expandir

O MADQA testa perguntas e respostas agenticas em 800 PDFs heterogêneos do mundo real que totalizam mais de 18.000 páginas, com 500 perguntas escritas por humanos que não podem ser respondidas a partir de conhecimento geral. Um agente (Gemini 3.5 Flash no nosso caso) pesquisa a coleção com o recuperador sob teste e é avaliado em acurácia de resposta e em F1 de página em relação às páginas de evidência anotadas. Nosso modelo 9B estabelece um novo estado da arte entre recuperadores, com 92,4% de acurácia, 3,5 pp à frente do mesmo agente usando o recuperador da Mixedbread; nosso modelo 0,6B alcança 90,1%. Também observamos que nosso recuperador obtém resultados competitivos em relação ao Mixedbread Agentic Search, que usa um subagente de busca em seu sistema de busca que planeja e executa várias buscas por chamada a partir do agente principal (93,4%, dentro do nosso intervalo de confiança).

Expandir

Introdução

Tanto nossos modelos 0,6B quanto 9B estão disponíveis no Hugging Face e são compatíveis imediatamente com sentence-transformers >= 6.0.0 e transformers >= 5.4.0. Mais detalhes técnicos e os resultados completos de avaliação serão publicados em um relatório técnico ainda este ano.

Estamos treinando a próxima geração dos nossos modelos de embeddings densos e vamos disponibilizar progressivamente o suporte a embeddings de interação tardia, densos e contextuais na Perplexity API Platform.

Citação

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}