pplx-embed: వెబ్-స్థాయి పునరుద్ధరణ కోసం అత్యాధునిక ఎంబెడ్డింగ్ మోడల్లు
నేడు మేము నిజ-ప్రపంచ, వెబ్-స్థాయి పునరుద్ధరణ కోసం నిర్మించిన రెండు అత్యాధునిక టెక్స్ట్ ఎంబెడ్డింగ్ మోడల్లు అయిన pplx-embed-v1 మరియు pplx-embed-context-v1లను విడుదల చేస్తున్నాము.
నేడు మేము నిజ-ప్రపంచ, వెబ్-స్థాయి పునరుద్ధరణ కోసం నిర్మించిన రెండు అత్యాధునిక టెక్స్ట్ ఎంబెడ్డింగ్ మోడల్లు అయిన pplx-embed-v1 మరియు pplx-embed-context-v1లను విడుదల చేస్తున్నాము. pplx-embed-v1 ప్రామాణిక డెన్స్ టెక్స్ట్ రిట్రీవల్ కోసం ఆప్టిమైజ్ చేయబడింది, అయితే pplx-embed-context-v1 చుట్టుపక్కల డాక్యుమెంట్-స్థాయి సందర్భానికి సంబంధించి పాసేజ్లను ఎంబెడ్ చేస్తుంది.
pplx-embed-v1 మరియు pplx-embed-context-v1 రెండూ 0.6B మరియు 4B పారామీటర్ స్కేళ్లలో అందుబాటులో ఉన్నాయి. 0.6B మోడల్లు తేలికైన, తక్కువ-లేటెన్సీ ఎంబెడ్డింగ్ జనరేషన్ను లక్ష్యంగా చేసుకుంటాయి, అయితే 4B మోడల్లు రిట్రీవల్ నాణ్యతను గరిష్టం చేస్తాయి. మా మూల్యాంకనాలలో, pplx-embed కుటుంబం MTEB(Multilingual, v2), BERGEN, ToolRet, మరియు ConTEBతో సహా అనేక పబ్లిక్ బెంచ్మార్క్లలో ముందుంది. అంతేకాకుండా, pplx-embed-v1 మా అంతర్గత వెబ్-స్థాయి బెంచ్మార్క్లపై అత్యుత్తమ ఫలితాలను అందిస్తుంది: PPLXQuery2Query, PPLXQuery2Doc.
ఈ మోడల్లు INT8 మరియు బైనరీ ఎంబెడ్డింగ్లను ఉత్పత్తి చేస్తాయి, FP32తో పోలిస్తే నిల్వ అవసరాలను వరుసగా 4x మరియు 32x తగ్గిస్తాయి. ఈ కాంపాక్ట్నెస్ వెబ్-స్థాయి ఎంబెడ్డింగ్ నిల్వ మరియు పునరుద్ధరణను గణనీయంగా మరింత ఆచరణాత్మకంగా చేస్తుంది.
మోడల్ | కొలతలు | సందర్భం | MRL | క్వాంటైజేషన్ | సూచన | పూలింగ్ |
pplx-embed-v1-0.6B | 1024 | 32K | అవును | INT8/BINARY | కాదు | సగటు |
pplx-embed-v1-4B | 2560 | 32K | అవును | INT8/BINARY | కాదు | సగటు |
pplx-embed-context-v1-0.6B | 1024 | 32K | అవును | INT8/BINARY | కాదు | సగటు |
pplx-embed-context-v1-4B | 2560 | 32K | అవును | INT8/BINARY | కాదు | సగటు |
pplx-embed మోడల్ పరిమాణాలు, కాంటెక్స్ట్ పొడవు, క్వాంటైజేషన్, మరియు పూలింగ్ కాన్ఫిగరేషన్.
మా సాంకేతిక నివేదిక, Hugging Face మోడల్లు, మరియు API డాక్స్లను చూడండి.
ప్రేరణ
డెన్స్ టెక్స్ట్ ఎంబెడ్డింగ్లు ప్రశ్నలు మరియు పత్రాలను భాగస్వామ్య సెమాంటిక్ స్పేస్లోకి మ్యాప్ చేస్తాయి, ఇక్కడ రిట్రీవల్ అనేది సుమారు సమీప సరిపోలిక శోధనగా మారుతుంది. Perplexity స్థాయిలో, ఎంబెడ్డింగ్లు మా రిట్రీవల్ పైప్లైన్ యొక్క మొదటి దశ, బిలియన్ల కొద్దీ వెబ్ పేజీల నుండి ఏ పత్రాలను డౌన్స్ట్రీమ్ ర్యాంకర్లు మరియు లాంగ్వేజ్ మోడల్లు పరిగణించాలో నిర్ణయిస్తాయి.
నేడు ప్రముఖ ఎంబెడింగ్ మోడళ్లలో చాలా decoder-only LLMలపై నిర్మించబడ్డాయి, causal attention maskingతో, ఇందులో ప్రతి టోకెన్కు ముందు ఉన్న టోకెన్లకే attention ఇవ్వగలదు. retrieval కోసం, ఇది ఒక ప్రాథమిక పరిమితి: ఒక passageను అర్థం చేసుకోవడానికి తరచుగా bidirectional context అవసరం. మేము దీనిని diffusion-based continued pretraining ద్వారా పరిష్కరిస్తాము, ఇది causal LLMను bidirectional encoderగా మారుస్తుంది. Full bidirectional attention అన్ని token representationsపై mean poolingను సాధ్యం చేస్తుంది మరియు contextual embeddings కోసం late chunkingకు మద్దతు ఇస్తుంది, ఇందులో ప్రతి chunk యొక్క embedding అది కనిపించే పూర్తి document ద్వారా informed అవుతుంది.
వెబ్ స్థాయిలో, FP32లో ఎంబెడ్డింగ్లను నిల్వ చేయడం చాలా ఖరీదైనది. పోస్ట్-హాక్ కంప్రెషన్ దశగా క్వాంటైజేషన్ను వర్తింపజేయడానికి బదులుగా, మా మోడల్లు స్థానికంగా INT8 ఎంబెడ్డింగ్లను ఉత్పత్తి చేయడానికి క్వాంటైజేషన్-అవేర్ శిక్షణను ఉపయోగిస్తాయి, పనితీరు రాజీ లేకుండా నిల్వను 4 రెట్లు తగ్గిస్తాయి. బైనరీ క్వాంటైజేషన్ నిల్వను 32 రెట్లు తగ్గిస్తుంది, ముఖ్యంగా 4B స్థాయిలో కనిష్ట నాణ్యత నష్టంతో.
అనేక ఆధునిక ఎంబెడ్డింగ్ మోడళ్లకు ప్రతి ఇన్పుట్కు ముందు ఇన్స్ట్రక్షన్ ప్రిఫిక్స్లు అవసరం. ఇది బెంచ్మార్క్లపై చిన్న మెరుగుదలలను అందించగలదు, ఆచరణలో ఇది ఘర్షణను జోడిస్తుంది: ఇండెక్సింగ్ మరియు క్వెరీ సమయం మధ్య సరిపోలని సూచనలు నిశ్శబ్దంగా రిట్రీవ్ను క్షీణింపజేస్తాయి మరియు ప్రతి ఉపయోగం కోసం సరైన ప్రాంప్ట్ను ఎంచుకోవడం సరిగ్గా పొందవలసిన మరో విషయంగా మారుతుంది. మా మోడళ్లకు ఎలాంటి సూచనలు అవసరం లేదు, ఏకీకరణను సులభతరం చేస్తుంది.
శిక్షణ
pplx-embed-v1 మరియు pplx-embed-context-v1 రిట్రీవల్ కోసం టెక్స్ట్ ప్రాతినిధ్యాలను క్రమంగా రూపొందించే బహుళ-దశల పైప్లైన్ ద్వారా శిక్షణ పొందుతాయి.
కొనసాగుతున్న డిఫ్యూజన్ ప్రీట్రైనింగ్
మేము ముందే శిక్షణ పొందిన Qwen3 బేస్ మోడల్ల (0.6B మరియు 4B) నుండి ప్రారంభించి, కైజల్ డెకోడర్లను ద్వైదిశాత్మక ఎన్కోడర్లుగా మారుస్తాము, కైజల్ అటెన్షన్ మాస్క్ను నిలిపివేయడం ద్వారా మరియు డిఫ్యూజన్ డీనోయింగ్ లక్ష్యంతో శిక్షణ ఇవ్వడం ద్వారా. టోకెన్లను ఎడమ నుండి కుడికి అంచనా వేసే ఆటోరెగ్రెసివ్ మోడల్లా కాకుండా, డిఫ్యూజన్ శిక్షణ ప్రతి ముసుగు వేసిన స్థానం చుట్టూ పూర్తి ద్వైదిశాత్మక సందర్భాన్ని ఉపయోగించి యాదృచ్ఛికంగా ముసుగు వేసిన టోకెన్లను పునర్నిర్మించవలసి వస్తుంది. దీని అర్థం కాంట్రాస్టివ్ ఫైన్-ట్యూనింగ్ ప్రారంభమయ్యే సమయానికి, ప్రాతినిధ్యాలు ఇప్పటికే ద్వైదిశాత్మక అర్థాన్ని ఎన్కోడ్ చేస్తాయి, కైజల్ ప్రారంభ స్థానం కంటే రిట్రీవల్ కోసం బలమైన పునాధిని అందిస్తాయి. మేము 30 భాషలను విస్తరించి ఉన్న సుమారు 250 బిలియన్ టోకెన్ల బహుభాషా వచనాలపై ప్రీట్రైన్ చేస్తాము. అబ్లేషన్స్లో, డిఫ్యూజన్-ప్రీట్రైన్డ్ బ్యాక్బోన్లు వాటి కైజల్ ప్రతిరూపాల కంటే గణనీయంగా తక్కువ కాంట్రాస్టివ్ ట్రైనింగ్ లాస్ను సాధిస్తాయి, ఇది రిట్రీవల్ టాస్క్లపై దాదాపు 1 శాతం పాయింట్ మెరుగుదలకి అనువదిస్తుంది.
కాంట్రాస్టివ్ శిక్షణ
ప్రీట్రైనింగ్ తర్వాత, మేము మూడు దశల కాంట్రాస్టివ్ లెర్నింగ్ను నిర్వహిస్తాము. జోడి శిక్షణ ఇన్-బ్యాచ్ నెగెటివ్లతో InfoNCE నష్టాన్ని ఉపయోగించి ప్రశ్నలు మరియు పత్రాల మధ్య పునాది సెమాంటిక్ సమలేఖనాన్ని ఏర్పరుస్తుంది. పెద్ద బ్యాచ్ పరిమాణాలతో, కొన్ని ఇన్-బ్యాచ్ నెగెటివ్లు వాస్తవంగా పాజిటివ్కు సమీప-నకళ్లుగా ఉంటాయి, కాబట్టి ఈ తప్పుడు నెగెటివ్లు శిక్షణ సంకేతాన్ని పాడుచేయకుండా నిరోధించడానికి మేము సారూప్యత-ఆధారిత ముసుగును వర్తింపజేస్తాము. శిక్షణ దశల్లో కొనసాగుతుంది—ఇంగ్లీష్-మాత్రమే, ఆపై క్రాస్-లింగువల్, ఆపై పూర్తిగా బహుభాషా—అన్నీ ఒకేసారి కాకుండా క్రమంగా సామర్థ్యాన్ని పెంచుతుంది. సందర్భోచిత శిక్షణ డాక్యుమెంట్-స్థాయి సందర్భానికి సంబంధించి మోడల్ చంక్-స్థాయి సెమాంటిక్స్ను నేర్పుతుంది, చంక్ మరియు డాక్యుమెంట్ స్థాయిలలో ఇన్-సీక్వెన్స్ మరియు ఇన్-బ్యాచ్ కాంట్రాస్ట్ను మిళితం చేసే డ్యూయల్ లాస్ను ఉపయోగించి—ఈ దశ pplx-embed-context-v1ని ఉత్పత్తి చేస్తుంది. చివరగా, మైండ్ చేసిన హార్డ్ నెగెటివ్లతో కూడిన ట్రిప్లెట్ శిక్షణ సమానమైన కానీ సంబంధం లేని పత్రాల మధ్య సరిహద్దులను శుద్ధి చేస్తుంది. గోళీ శ్రేణీయ ఇంటర్పోలేషన్ (SLERP) ద్వారా సందర్భోచిత మరియు ట్రిప్లెట్ చెక్పాయింట్లను విలీనం చేయడం ద్వారా చివరి pplx-embed-v1 పొందబడుతుంది.
స్థానిక క్వాంటైజేషన్
అన్ని కాంట్రాస్టివ్ దశల్లో, శిక్షణ మరియు అనుమితి రెండింటిలోనూ ఎంబెడ్డింగ్లు INT8కి క్వాంటైజ్ చేయబడతాయి. మేము ట్యాన్-ఆధారిత మీన్ పూలింగ్ ఆపరేషన్ను ఆపై రౌండింగ్ను వర్తింపజేస్తాము, మరియు నాన్-డిఫరెన్షియబుల్ క్వాంటైజేషన్ దశ ద్వారా బ్యాక్ప్రోపగేట్ చేయడానికి స్ట్రెయిట్-త్రూ గ్రేడియంట్ అంచనాను ఉపయోగిస్తాము. ఇది పోస్ట్-హాక్ కంప్రెషన్ నుండి క్షీణతను ఎదుర్కొనే బదులు, ప్రారంభం నుండే తగ్గిన ఖచ్చితత్వం కోసం ఆప్టిమైజ్ చేయబడిన ప్రాతినిధ్యాలను మోడల్ నేర్చుకునేలా చేస్తుంది. బైనరీ క్వాంటైజేషన్ కోసం, 4B మోడళ్లు 0.6B కంటే చాలా పటిష్టంగా ఉంటాయి: వాటి పెద్ద ఎంబెడ్డింగ్ డైమెన్షన్ (2560 vs. 1024) బైనరైజేషన్ తర్వాత ఎక్కువ సమాచారాన్ని భద్రపరుస్తుంది, చిన్న స్థాయిలో 2-4 పాయింట్లతో పోలిస్తే పనితీరు పతనాన్ని 1.6 శాతం పాయింట్ల కంటే తక్కువకు పరిమితం చేస్తుంది.
పబ్లిక్ బెంచ్మార్క్లు
MTEB (మల్టీలింగువల్, v2) రిట్రీవల్ బెంచ్మార్క్లో, pplx-embed-v1-4B (INT8) 69.66% యొక్క సగటు nDCG@10ని సాధిస్తుంది, Qwen3-Embedding-4B (69.60%)తో సరిపోలుతుంది మరియు gemini-embedding-001 (67.71%)ను మించిపోయింది, అదే సమయంలో ప్రతి ఎంబెడ్డింగ్కు గణనీయంగా తక్కువ నిల్వ అవసరం అవుతుంది. మా 0.6B మోడల్ అదే పారామీటర్ స్థాయిలో దాని Qwen3 ప్రతిరూపాన్ని మించిపోయింది.
ConTEB బెంచ్మార్క్పై సందర్భోచిత రిట్రీవల్ పనితీరు. ఎడమవైపు: సందర్భోచిత మోడల్లు. కుడివైపు: సందర్భోచితం కాని మోడల్లు. pplx-embed-context-v1-4B (INT8) అత్యధిక స్కోరు 81.96ని సాధించింది, తర్వాతి స్థానాల్లో voyage-context-3 (79.45) మరియు pplx-embed-context-v1-0.6B (INT8) 76.53 వద్ద ఉన్నాయి.
సందర్భోచిత రిట్రీవల్ కోసం, pplx-embed-context-v1-4B 81.96% సగటు nDCG@10తో ConTEB బెంచ్మార్క్పై కొత్త అత్యాధునికతను సెట్ చేస్తుంది, voyage-context-3 (79.45%) మరియు Anthropic Contextual (72.4%)ను అధిగమించింది. డాక్యుమెంట్-స్థాయి అర్థాన్ని పొందుపరిచే చంక్-స్థాయి ప్రాతినిధ్యాలను శిక్షణ ఇవ్వడం ద్వారా, మా మోడల్లు దాని అర్థం చుట్టుపక్కల సందర్భంపై ఆధారపడినప్పటికీ సరైన పాసేజ్ను రిట్రీవ్ చేస్తాయి.
రిట్రీవ్ చేయబడిన పాసేజ్లు సమాధానాలను రూపొందించడానికి లాంగ్వేజ్ మోడల్కు అందించబడే BERGEN బెంచ్మార్క్ని ఉపయోగించి మేము ఎండ్-టు-ఎండ్ RAGలో మా మోడళ్లను కూడా మూల్యాంకనం చేస్తాము. pplx-embed-v1-4B ఐదు మూల్యాంకనం చేసిన ప్రశ్న-సమాధాన ప్రశ్నలలో నాలుగింటిలో Qwen3-Embedding-4Bని మించిపోయింది. ముఖ్యంగా, pplx-embed-v1-0.6B ఐదు ప్రశ్నలలో మూడింటిలో పెద్దదైన Qwen3-Embedding-4Bని మించిపోయింది, ఆచరణాత్మక RAG సెట్టింగ్లలో మా చిన్న మోడల్ గణనీయంగా పెద్ద పారామీటర్ స్థాయిలో పోటీదారుతో సరిపోలగలదని లేదా మించగలదని ప్రదర్శిస్తుంది. ఈ మూల్యాంకనం గురించిన మరిన్ని వివరాల కోసం, మేము సాంకేతిక నివేదికని సూచిస్తాము.
స్థాయిలో నిజ-ప్రపంచ రిట్రీవల్
Public benchmarks ఉపయోగకరంగా ఉంటాయి, కానీ అవి web-scale retrieval సవాళ్లను పూర్తిగా ప్రతిబింబించవు: long-tail queries, noisy documents, మరియు production environmentsను లక్షణీకరించే distribution shifts. ప్రాక్టీస్లో ముఖ్యమైన వాటిని కొలవడానికి, మేము 1 బిలియన్కు పైగా web pages నుండి సమీకరించిన 30 మిలియన్ documentsపై మూల్యాంకనం చేసిన 115K వరకు నిజ ప్రపంచ queriesతో రెండు internal benchmarks నిర్మించాము. PPLXQuery2Query నిజమైన search traffic నుండి semanticగా సమానమైన queriesను ఒక embedding model గుర్తించగలదా అని అంచనా వేస్తుంది; PPLXQuery2Doc 30M-page corpus నుండి document retrievalను కొలుస్తుంది.
PPLXQuery2Query (2.4M కార్పస్)పై, pplx-embed-v1-4B 73.5% Recall@10ని సాధిస్తుంది, Qwen3-Embedding-4B (67.9%)ను 5.6 శాతం పాయింట్లతో అధిగమించింది. మా 0.6B మోడల్ 71.1% Recall@10ని సాధిస్తుంది, BGE-M3 (61.8%) మరియు Qwen3-Embedding-0.6B (55.1%)లను గణనీయంగా అధిగమించింది.
బహుభాషా PPLXQuery2Doc టాస్క్ (30M కార్పస్)పై, pplx-embed-v1-4B 91.7% Recall@1000ని సాధిస్తుంది, Qwen3-Embedding-4B కోసం 88.6%తో పోలిస్తే. బహుళ-దశల ర్యాంకింగ్ పైప్లైన్లలో మొదటి-దశ రిట్రీవర్లుగా పనిచేస్తున్న ఎంబెడ్డింగ్ మోడళ్లకు పెద్ద రిట్రీవల్ లోతుల్లో అధిక రీకాల్ చాలా కీలకం, ఇక్కడ డౌన్స్ట్రీమ్ రీర్యాంకర్లకు అందించబడిన సంబంధిత అభ్యర్థుల సంఖ్యను గరిష్టం చేయడం తుది ఫలితాల నాణ్యతను నేరుగా ప్రభావితం చేస్తుంది.
ప్రారంభించడం
అన్ని మోడల్లు Hugging Face (MIT లైసెన్స్ క్రింద) మరియు Perplexity API ద్వారా అందుబాటులో ఉన్నాయి. మేము Transformers, SentenceTransformers, Text Embeddings Inference, మరియు ONNX ద్వారా అనుమితికి మద్దతు ఇస్తాము. ప్రతి ఎంపిక గురించిన పూర్తి వివరాల కోసం, Hugging Face మోడల్ సేకరణని చూడండి.
సమగ్ర సాంకేతిక వివరాలు మరియు పూర్తి మూల్యాంకన ఫలితాల కోసం, మా సాంకేతిక నివేదికని చూడండి.
ఉద్ధృతి
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
date = {2026-02-26},
url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}