बेहतर स्निपेट्स के लिए क्वेरी-जागरूक संदर्भ संपीड़न

हर उत्तर प्रमाण के साथ शुरू होता है। एक खोज प्रणाली में, यह प्रमाण आमतौर पर दस्तावेजों से आता है: शीर्षक, सारांश, चंक्स और स्निपेट जो संदर्भ के रूप में उत्तर मॉडल या एजेंट को दिए जाते हैं।

यह कच्चा संदर्भ शोर से भरा होता है। उदाहरण के लिए, एक वेब पेज में उपयोगकर्ता के अनुरोध के लिए आवश्यक जानकारी हो सकती है, लेकिन इसमें भटकाने वाली जानकारी (distractors) भी हो सकती है। ये भटकाने वाली जानकारी मुख्य भाग और सहायक तत्वों दोनों में दिखाई दे सकती है, जैसे कि नेविगेशन टेक्स्ट तत्व, अप्रासंगिक विज्ञापन, मेटाडेटा आदि। इन भटकाने वाले तत्वों को डाउनस्ट्रीम एजेंट तक पहुँचाने से तीन समस्याएँ उत्पन्न होती हैं।

पहला, यह सटीकता को नुकसान पहुँचाता है। सबसे शक्तिशाली मॉडलों की भी क्षमता सीमित होती है। अप्रासंगिक जानकारी की लंबी कतारें मॉडल की क्षमता को बर्बाद करती हैं, जिससे "संदर्भ सड़न" (context rot) होती है जो वास्तविक उपयोगकर्ता अनुरोध को संबोधित करने की मॉडल की क्षमता को बाधित करती है। परिणामस्वरूप, अंतिम प्रतिक्रिया में मुख्य तथ्यों के छूटने, कम गुणवत्ता वाली जानकारी को अधिक महत्व देने, या ऐसे दावे उत्पन्न होने की संभावना अधिक होती है जिन्हें स्रोत में सिद्ध करना कठिन होता है।

दूसरा, यह विलंबता (latency) को कम करता है। लंबे संदर्भ का अर्थ है डाउनस्ट्रीम मॉडल द्वारा संसाधित किए जाने वाले अधिक टोकन, विशेष रूप से जब किसी क्वेरी को कई उम्मीदवार पेजों से प्रमाण की आवश्यकता होती है। हालाँकि इस विलंबता लागत का एक हिस्सा प्रीफिल चरण में वहन किया जाता है, लेकिन एक बहुत अधिक महत्वपूर्ण लागत तर्क प्रक्रिया में चुकाई जाती है, जहाँ मॉडलों को अप्रासंगिक संदर्भ से निपटने के लिए अधिक तर्क टोकन की आवश्यकता होती है।

तीसरा, यह लागत बढ़ाता है। मॉडल को दिया गया प्रत्येक अनावश्यक टोकन उपयोगकर्ता के अनुरोध को पूरा करना महंगा बनाता है, क्योंकि शोर वाले संदर्भ के साथ इनपुट टोकन और तर्क टोकन दोनों का उपयोग बढ़ जाता है। भटकाने वाले तत्व केवल गुणवत्ता को कम नहीं करते; वे अंततः आपको उस खराब गुणवत्ता के लिए अधिक भुगतान करने के लिए मजबूर करते हैं।

चित्र 1. कच्चे पुनर्प्राप्त संदर्भ में अक्सर अप्रासंगिक टेक्स्ट से घिरा हुआ उत्तर होता है। उपयोगी प्रमाण मौजूद होते हैं, लेकिन उत्तर मॉडल द्वारा देखे जाने से पहले वे हेडर, फ़ुटर, बॉयलरप्लेट, मेटाडेटा और विषय से बाहर की सामग्री के बीच दबे होते हैं।

Perplexity के अनुप्रयोगों और API Platform में सटीकता, गति और लागत-प्रभावशीलता को एक साथ बढ़ाने के लिए, हम संदर्भ सटीकता (context precision) को बेहतर बनाने में भारी निवेश करते हैं। ऐसा करने का एक तरीका हमारे स्निपेट निर्माण एल्गोरिदम को परिष्कृत करना है। हम स्निपेट निर्माण को संदर्भ संपीड़न समस्या के रूप में देखते हैं। विशिष्ट जानकारी खोजने वाले मॉडल सामान्यीकृत सारांशों या किसी दस्तावेज़ के अंशों से लाभान्वित नहीं होते हैं। इसके बजाय, उन्हें उपयोगकर्ता के अनुरोध का उत्तर देने के लिए स्रोत जानकारी के सबसे छोटे, सबसे सटीक रूप से निकाले गए टुकड़े की आवश्यकता होती है। बाकी सब कुछ हटाया जा सकता है और हटाना ही चाहिए।

इसलिए एक अच्छे स्निपेट को तीन काम करने चाहिए:

मॉडल की प्रतिक्रिया को सिद्ध करने के लिए आवश्यक सटीक प्रमाण प्रस्तुत करके सटीकता को बढ़ावा दें।

LLM कॉल से पहले अप्रासंगिक संदर्भ को हटाकर विलंबता और लागत को कम करें।

उद्धरण निष्ठा (citation fidelity) को संरक्षित करके और स्रोत के शब्दों को बरकरार रखकर पता लगाने की क्षमता (traceability) सुनिश्चित करें।

इस महीने, हमने अपने अनुप्रयोगों और API Platform के भीतर एक नया, अत्याधुनिक स्निपेट जनरेटर तैनात किया है। इस मॉड्यूल का मूल एक क्वेरी-जागरूक संदर्भ संपीड़न मॉडल है जो प्रत्येक क्वेरी और उम्मीदवार परिणाम के लिए यह तय करता है कि स्पैन के किस उपसमूह को संरक्षित किया जाना चाहिए। यह लेख इस महत्वपूर्ण कार्य पर सर्वश्रेष्ठ प्रदर्शन प्राप्त करने के लिए मॉडल को बनाने और प्रशिक्षित करने के हमारे दृष्टिकोण का वर्णन करता है।

व्यवसाय का पहला कार्य स्वयं कार्य को परिभाषित करना है। हम चाहते हैं कि यह मॉडल क्या करे, और हमें इनपुट और आउटपुट स्कीमा को कैसे परिभाषित करना चाहिए?

स्निपेट विधियाँ दो व्यापक परिवारों में आती हैं। पहली चयन-आधारित है: एक प्रासंगिक विंडो, चंक, वाक्य या मार्ग खोजें, और इसे डाउनस्ट्रीम पास करें। दूसरी पीढ़ी-आधारित है: किसी मॉडल से पेज से क्वेरी-केंद्रित सारांश लिखने के लिए कहें।

सटीकता, विलंबता और लागत पर हमारा ध्यान डिजाइन विकल्प को स्पष्ट करता है। हम पीढ़ी को खारिज कर सकते हैं, क्योंकि हर पेज के लिए एक नया सारांश बनाना तीनों फोकस में प्रदर्शन को नुकसान पहुँचाता है। सारांशीकरण उस प्रमाण परत के लिए उपयुक्त नहीं है जिसकी हम परवाह करते हैं। यह स्रोत को पैराफ्रेस कर सकता है, जिससे उद्धरण संरेखण कठिन हो जाता है। यह ऐसे शब्दों को भी पेश कर सकता है जो पेज में मौजूद नहीं थे, जो जोखिम भरा है जब स्निपेट का उपयोग अंतिम उत्तर के बजाय प्रमाण के रूप में किया जाता है। इसमें शामिल विलंबता और लागत पीढ़ी को और भी अस्वीकार्य बना देती है।

बल्कि, हम अपने कार्य को क्वेरी-जागरूक निष्कर्षण संपीड़न के रूप में परिभाषित करते हैं: पुनर्प्राप्त संदर्भ के उपयोगी भागों को भटकाने वाले भागों से अलग करना। विशेष रूप से, हमारे मॉडल को एक क्वेरी और उम्मीदवार परिणाम स्वीकार करना चाहिए, और यह तय करना चाहिए कि किन स्पैन को संरक्षित करना है, जो क्वेरी का सबसे अच्छा समर्थन करते हैं, और किसे छोड़ना है, बाकी को। मॉडल आउटपुट स्रोत टेक्स्ट को फिर से लिखने के बजाय उसे संरक्षित करता है। यह परिणाम को उद्धृत करना आसान, सत्यापित करना आसान और डाउनस्ट्रीम पास करने के लिए सस्ता बनाता है।

उदाहरण के लिए, इस क्वेरी और पुनर्प्राप्त परिणाम पर विचार करें:

क्वेरी-जागरूक एक्स्ट्रैक्टिव कंप्रेशन क्वेरी से संबंधित स्रोत वाक्य को बनाए रखता है और असंबंधित संदर्भ को हटा देता है।

एक प्रशंसनीय मॉडल आउटपुट बोल्ड किए गए वाक्य का चयन करना होगा: “Comet में, सहायक कर सकता है ...”।

हमारा दृष्टिकोण FliCo, Provence और LooComp जैसे पूर्व संदर्भ-संपीड़न कार्यों के समान व्यापक विचार का अनुसरण करता है, जिसे उत्पादन खोज प्रणाली में स्निपेट निर्माण के लिए अनुकूलित किया गया है। महत्वपूर्ण रूप से, मॉडल हमारे कच्चे पुनर्प्राप्ति चरण के बाद एक परिशुद्धता चरण के रूप में काम करता है। हमारे पिछले Perplexity अनुसंधान लेख, Perplexity सर्च API का परिचय में चर्चा के अनुसार, हम अपनी पुनर्प्राप्ति प्रणालियों को उप-दस्तावेज़, या स्निपेट स्तर पर मूल रूप से संचालित करने के लिए आर्किटेक्ट करते हैं, जो पहले से ही हमें सटीकता और रिकॉल को काफी अच्छी तरह से संतुलित करने की अनुमति देता है। एक क्वेरी-जागरूक संदर्भ संपीड़न मॉडल को पेश करने से परिशुद्धता-रिकॉल पैरेटो सीमा और भी बाहर की ओर शिफ्ट हो जाती है।

हम तीन मुख्य विचारों को ध्यान में रखते हुए अपने मॉडल का विकास करते हैं: क्वेरी और संदर्भ की संयुक्त समझ, ठीक-ठाक वाक्य-स्तर का चयन, और अत्यंत सख्त विलंबता बजट के भीतर फिट होने के लिए दक्षता।

हम बैकबोन के रूप में एक pplx-डिफ्यूजन मॉडल का उपयोग करते हैं। यह वही मॉडल परिवार है जो pplx-embed-v1 के पीछे है, और हमारे पूर्व शैक्षणिक कार्य, डिफ्यूजन-प्रीट्रेन्ड डेंस और कॉन्टेक्स्टुअल एम्बेडिंग, और हमारे उत्पादन बेंचमार्क दोनों पुष्टि करते हैं कि यह क्वेरी-संदर्भ जोड़े के लिए एक मजबूत द्विदिश एनकोडर है। इस मॉडल परिवार की प्रमुख विशेषताओं में से एक द्विदिश संदर्भ है: प्रत्येक टोकन प्रतिनिधित्व मॉडल द्वारा यह तय करने से पहले कि क्या रखा जाना चाहिए, पूर्ण क्वेरी और पूर्ण उम्मीदवार संदर्भ में भाग ले सकता है।

इस बैकबोन के ऊपर, हम एक हल्का संपीड़न हेड प्रशिक्षित करते हैं जो भविष्यवाणी करता है कि संदर्भ के किन हिस्सों को रखा जाना चाहिए। क्योंकि इसमें कोई पीढ़ी शामिल नहीं है, ये भविष्यवाणियां पूरे संदर्भ में समानांतर में की जाती हैं। सेवा समय पर, स्निपेट इंजन इन भविष्यवाणियों को वाक्य स्तर पर एकत्रित करता है, एक सीमा लागू करता है, और परिणाम को अनुरोधित टोकन बजट में ट्रिम करता है।

इस कंप्रेसर को प्रशिक्षित करने के लिए सही स्तर की ग्रैन्युलैरिटी पर पर्यवेक्षण की आवश्यकता होती है। दस्तावेज़-स्तर का प्रासंगिकता लेबल हमारे निष्कर्षण संपीड़न कार्य के लिए स्पष्ट रूप से अनुपयुक्त है। पर्यवेक्षित सीखने के लिए पर्याप्त दानेदार डेटा उत्पन्न करने के लिए, हमने एक स्पैन लेबलिंग पाइपलाइन बनाई है जो क्वेरी-प्रासंगिक साक्ष्य स्पैन को चिह्नित करती है, साथ ही उन विचलित स्पैन को भी जिन्हें हटाया जाना चाहिए।

हमारी पाइपलाइन एक LLM-एज़-ए-जज सेटअप का उपयोग करती है। एक उपयोगकर्ता क्वेरी और उसके लिंक, शीर्षक और सारांश के साथ एक उम्मीदवार वेब पेज को देखते हुए, न्यायाधीश पहले क्वेरी समझ करता है, क्वेरी का विश्लेषण करता है और संभावित उपयोगकर्ता इरादों की एक सूची तैयार करता है। इन इरादों पर एंकरिंग करते हुए, न्यायाधीश फिर उम्मीदवार संदर्भ को संसाधित करता है और टेक्स्ट से शब्दशः कॉपी किए गए स्पैन लौटाता है, प्रत्येक स्पैन के लिए एक श्रेणी के साथ ताकि लेबल को निरीक्षण करना आसान हो सके।

फिर हमने लौटे हुए स्पैन को स्रोत टेक्स्ट के साथ वापस मिलाया। आश्चर्यजनक रूप से, अधिकांश न्यायाधीश आउटपुट पहले से ही सटीक प्रतियां थे: सरल स्ट्रिंग मिलान ने 98% स्पैन बरामद किए। एक साधारण रेगेक्स-आधारित मिलान पास जोड़ने से स्पैन रिकवरी 100% हो गई। इसने हमें विश्वसनीय, दानेदार स्पैन दिए जिन्हें टोकन-स्तर के कीप/ड्रॉप पर्यवेक्षण में परिवर्तित किया जा सकता है।

हमने मैन्युअल रूप से लेबल किए गए स्पैन के साथ एक छोटे क्यूरेटेड डेटासेट का उपयोग करके इस पर्यवेक्षण पाइपलाइन का मूल्यांकन किया, छोटे न्यायाधीश मॉडल, विभिन्न प्रॉम्प्ट और विभिन्न चरण कॉन्फ़िगरेशन की तुलना की। सबसे अच्छा प्रदर्शन करने वाला सेटअप एक दो-चरणीय पाइपलाइन थी: पहले क्वेरी समझ, उसके बाद वर्गीकृत स्पैन लेबलिंग। हमने BrowseComp और SimpleQA जैसे डाउनस्ट्रीम सत्यापन योग्य मूल्यांकन के माध्यम से निकाले गए स्पैन के सेट को भी मान्य किया, जहाँ केवल रखे गए साक्ष्य स्पैन का उपयोग करने से इनपुट टोकन को काफी कम करते हुए मजबूत स्कोर संरक्षित रहे।

इस पाइपलाइन का उपयोग करके, हमने 750k क्वेरी-दस्तावेज़ जोड़े लेबल किए और बाइनरी क्रॉस-एंट्रॉपी के साथ संपीड़न हेड को प्रशिक्षित करने के लिए परिणामी स्पैन का उपयोग किया। यह प्रक्रिया हमारे क्वेरी-जागरूक संपीड़न मॉडल को स्रोत टेक्स्ट को बरकरार रखने की अनुमति देती है जबकि उस संदर्भ को हटा देती है जो डाउनस्ट्रीम मॉडल को उपयोगकर्ता के अनुरोध को पूरा करने में मदद करने की संभावना नहीं है।

संदर्भ संपीड़न डाउनस्ट्रीम मॉडल से पहले बैठता है, जिससे यह एक ब्लॉकिंग ऑपरेशन बन जाता है। इसके अलावा, प्रत्येक संपीड़न क्वेरी-निर्भर होता है। इसलिए, ऑनलाइन पथ को प्रत्येक उम्मीदवार दस्तावेज़ के लिए एक सटीक विलंबता लिफाफे के भीतर क्वेरी-संदर्भ जोड़े को स्कोर करना होगा। एक धीमा संपीड़न मॉडल आत्म-पराजित है, क्योंकि उच्च परिशुद्धता से विलंबता लाभ संपीड़न विलंबता द्वारा ही मिटा दिए जाते हैं। साथ ही, एक कम बुद्धिमान संपीड़न मॉडल इस बात पर खराब निर्णय लेगा कि क्या काटना है और क्या बनाए रखना है।

व्यावहारिक प्रश्न यह है कि संपीड़न गुणवत्ता खराब होने से पहले हम कितनी मॉडल क्षमता को सुरक्षित रूप से हटा सकते हैं। हम पूर्ण 28-परत pplx-डिफ्यूजन बैकबोन की तुलना लेयर प्रूनिंग द्वारा उत्पादित 11-परत और 17-परत वेरिएंट से करते हैं और खोज पथ पर लक्षित करते हैं। प्रत्येक के लिए, हम संपीड़न सीमा पर स्वीप करते हैं और दो मात्राओं को मापते हैं: प्रति क्वेरी डाउनस्ट्रीम भेजे गए संदर्भ टोकन की औसत संख्या, और संपीड़न के बाद संरक्षित उपयोगी साक्ष्य का अंश।

चित्र 2 गुणवत्ता-दक्षता सीमा दिखाता है। एक मॉडल बेहतर होता है जब वह ऊपरी बाएं की ओर बढ़ता है: अधिक उपयोगी साक्ष्य के साथ कम डाउनस्ट्रीम टोकन संरक्षित होते हैं। 28-परत मॉडल गुणवत्ता संदर्भ प्रदान करता है। 11-परत मॉडल मॉडल को बहुत आक्रामक रूप से संपीड़ित करने के जोखिमों को प्रदर्शित करता है। प्रून किया गया 17-परत मॉडल एक मध्य आधार का प्रतिनिधित्व करता है: यह संतृप्त शासन में 28-परत मॉडल को बारीकी से ट्रैक करता है, लेकिन वक्र के तीव्र हिस्से में एक छोटा अंतराल खुलता है जहाँ अधिकांश उत्पादन यातायात संचालित होता है।

उस अंतर को बंद करने के लिए, हम टोकन-स्तरीय ज्ञान आसवन (knowledge distillation) का उपयोग करते हैं। हमारा दृष्टिकोण नियमित है: हम आसवन गुणांक द्वारा भारित शिक्षक मॉडल की भविष्यवाणियों पर एक सॉफ्ट क्रॉस-एंट्रॉपी शब्द के साथ मानक हानि को बढ़ाते हैं। यह छात्र मॉडल को समानता पर लाने के लिए पर्याप्त है, जिससे हम उत्पादन में डिस्टिल्ड 17-परत मॉडल पर पूरी तरह से स्विच कर सकते हैं। यह नया उत्पादन मॉडल 28-परत शिक्षक के सापेक्ष गुणवत्ता में गिरावट के बिना अनुमान विलंबता में 35-40% की कमी और कुल GPU कंप्यूट में 40-45% की कमी लाता है। उत्पादन विलंबता 20 मिलीसेकंड (p99) से कम पर घड़ी करती है: सेवा पथ में जोड़ने के लिए काफी छोटा है जबकि उत्तर मॉडल को भेजे गए कुल टोकन को काफी कम करता है।

चित्र 2. विभिन्न मॉडल गहराई में संपीड़न प्रदर्शन। डिस्टिल्ड 17-परत छात्र, हमारा उत्पादन मॉडल, कम ऑनलाइन कंप्यूट लागत पर, सभी थ्रेशोल्ड में संपीड़न प्रदर्शन में 28-परत शिक्षक से मेल खाता है।

हम संदर्भ संपीड़न की प्रभावशीलता का विश्लेषण करने के लिए Perplexity के Agent API का उपयोग टेस्टबेड के रूप में करते हैं। हम तीन Agent API प्रीसेट का मूल्यांकन करते हैं:

एक “निम्न” संदर्भ प्रीसेट जो प्रत्येक परिणाम सेट के लिए टोकन बजट को 1000 टोकन तक सीमित करता है।

एक “मध्यम” संदर्भ प्रीसेट जो प्रत्येक परिणाम सेट के लिए टोकन बजट को 4000 टोकन तक सीमित करता है।

एक “उच्च” संदर्भ प्रीसेट जो प्रत्येक परिणाम सेट के लिए टोकन बजट को 10000 टोकन तक सीमित करता है।

मानक, बिना-संपीड़न और संपीड़न सेटिंग्स दोनों को इन टोकन बजटों का सम्मान करने के लिए कॉन्फ़िगर किया गया है।

हम पहले BrowseComp बेंचमार्क पर एजेंटिक मल्टी-स्टेप सर्च वर्कफ़्लो पर संपीड़न के प्रभाव की जांच करते हैं। हम अपने ओपन-सोर्स search_evals हार्नेस का उपयोग करके यह मूल्यांकन करते हैं। ग्रेडिंग सभी रन में समान है, OpenAI के कैनोनिकल BrowseComp LLM जज प्रॉम्प्ट का उपयोग करके।

रुचि के दो आयाम बेंचमार्क सटीकता और टोकन उपयोग हैं। महत्वपूर्ण रूप से, हम अनुरोध जीवनचक्र में होने वाले वास्तविक टोकन लोड को मापने के लिए व्यक्तिगत चरण स्तर के बजाय क्वेरी स्तर पर टोकन उपयोग को मापते हैं। चित्र 3 “स्कोर-टोकन” सीमा, सटीकता स्कोर बनाम टोकन उपयोग दिखाता है।

चित्र 3. BrowseComp पर स्कोर-टोकन सीमा। शीर्ष पर बिंदु उच्च सटीकता का प्रतिनिधित्व करते हैं, जबकि बाएं पर बिंदु अधिक दक्षता का प्रतिनिधित्व करते हैं। संपीड़न सभी प्रीसेट में पैरेटो सीमा में सुधार करता है। बिंदीदार क्षैतिज रेखाएं गैर-Perplexity खोज प्रणालियों का प्रतिनिधित्व करती हैं, जिसमें समानांतर बेंचमार्क शामिल हैं। GPT-5.5 एजेंट लूप को शक्ति प्रदान करता है।

संपीड़न बोर्ड भर में एक नई पैरेटो सीमा प्रदान करता है। प्रत्येक सेटिंग के लिए, संपीड़न शुरू करने से क्वेरी-स्तरीय टोकन उपयोग 10% से 70% तक कम हो जाता है, जिसमें सटीकता लाभ 4 से 4.81 प्रतिशत अंकों के बीच होता है। संपीड़न शुरू करने से हमारे “निम्न” प्रीसेट को भी बिना-संपीड़न “उच्च” प्रीसेट से बेहतर प्रदर्शन करने की अनुमति मिलती है, जबकि टोकन उपयोग तीन गुना से अधिक कम हो जाता है।

हम देखते हैं कि संपीड़न के साथ, “उच्च” “मध्यम” से अधिक सटीकता प्रदान करता है जैसा कि हम उम्मीद कर सकते हैं। दिलचस्प बात यह है कि, यह कम टोकन उपयोग पर ऐसा करता है। यह संपीड़न के एक सूक्ष्म लेकिन महत्वपूर्ण प्रभाव को प्रकट करता है: संपीड़न के साथ, प्रति-चरण संदर्भ आकार बढ़ाने से भी मॉडल को सही परिणाम तक पहुँचने के लिए कम कदम उठाने में सक्षम हो सकता है। इस गैर-मोनोटोनिसिटी की खोज भविष्य के काम के लिए एक आशाजनक दिशा है।

BrowseComp मल्टी-स्टेप शोध पर जोर देता है, फिर भी कई उत्पादन वर्कफ़्लो में सिंगल-स्टेप तथ्यात्मक लुकअप शामिल है। यह निर्धारित करने के लिए कि क्या संपीड़न सिंगल-स्टेप शासन में भी मदद करता है, हम SimpleQA पर प्रदर्शन की भी जांच करते हैं, जो एक बेंचमार्क है जिसमें 4,326 प्रश्न शामिल हैं जिनका उत्तर एक एजेंटिक लूप के बजाय एक एकल खोज चरण में दिया जाना है।

पहले की तरह, हम कैनोनिकल जज प्रॉम्प्ट का उपयोग करके प्रति कार्य औसत कुल टोकन के खिलाफ सटीकता को प्लॉट करते हैं। चित्र 4 इस सिंगल-स्टेप सेटिंग में स्कोर-टोकन सीमा दिखाता है। हालाँकि सिंगल-स्टेप सेटिंग में प्रभाव आकार अधिक संपीड़ित हैं, हम फिर से देखते हैं कि संपीड़न सभी प्रीसेट में सटीकता और दक्षता दोनों में सुधार करता है, जिससे एक नई पैरेटो सीमा शुरू होती है। संपीड़न सक्षम होने के साथ, मध्यम प्रीसेट प्रति दस्तावेज़ केवल 200 टोकन के औसत के साथ 95% सटीकता प्राप्त करता है। 10,000 से अधिक टोकन की औसत दस्तावेज़ लंबाई को देखते हुए, यह 50 से अधिक के संपीड़न अनुपात पर सीमा-स्तरीय प्रदर्शन का प्रतिनिधित्व करता है।

चित्र 4. SimpleQA पर स्कोर-टोकन सीमा। शीर्ष पर बिंदु उच्च सटीकता का प्रतिनिधित्व करते हैं, जबकि बाएं पर बिंदु अधिक दक्षता का प्रतिनिधित्व करते हैं। संपीड़न सभी प्रीसेट में पैरेटो सीमा में सुधार करता है। बिंदीदार क्षैतिज रेखाएं गैर-Perplexity खोज प्रणालियों का प्रतिनिधित्व करती हैं, जिसमें Exa API मूल्यांकन शामिल हैं।

खंड 4.1 और 4.2 में डाउनस्ट्रीम लाभ एंड-टू-एंड हैं। यह समझने के लिए कि संपीड़न व्यक्तिगत स्निपेट्स को कैसे बदलता है, हम एक अलग मूल्यांकन चलाते हैं जो प्रत्येक पुनर्प्राप्त स्निपेट के प्रत्येक टोकन को छह श्रेणियों में से एक में वर्गीकृत करने के लिए एक LLM न्यायाधीश का उपयोग करता है:

महत्वपूर्ण: उपयोगकर्ता की क्वेरी का उत्तर देने के लिए आवश्यक प्रमाण।

विषय से बाहर: जानकारी जो किसी अन्य उद्देश्य के लिए उपयोगी हो सकती है लेकिन हाथ में मौजूद क्वेरी से संबंधित नहीं है।

विज्ञापन: अप्रासंगिक विज्ञापन जो उपयोगकर्ता की क्वेरी का उत्तर देने से विचलित करता है।

मेटाडेटा: दस्तावेज़ की सामग्री के बारे में मेटाडेटा।

UI और नेविगेशन: फ्रंटएंड डिस्प्ले और नेविगेशन के लिए तत्व।

डुप्लिकेट: पहले शामिल की गई जानकारी की पुनरावृत्ति।

हमारा मूल्यांकन हमारे सत्यापन सेट से 1,000 मिश्रित-डोमेन क्वेरी पर चलता है, जो उत्पादन स्टैक की तुलना संपीड़न अक्षम के साथ एक अन्यथा-समान आधार रेखा से करता है। जैसा कि चित्र 5 में दिखाया गया है, संपीड़न बिना-संपीड़न आधार रेखा पर प्रति स्निपेट महत्वपूर्ण टोकन के अनुपात को औसतन 63% तक बढ़ा देता है। हम अप्रासंगिक टोकन में 29% की संबंधित कमी देखते हैं, जिसमें UI/नेविगेशन (-58%), मेटाडेटा (-46%) और विज्ञापन (-43%) में विशेष रूप से तेज गिरावट है। ये परिणाम ऊपर चर्चा किए गए गुणवत्ता-दक्षता सुधारों के लिए तंत्र की पुष्टि करते हैं: संपीड़न प्रत्येक व्यक्तिगत स्निपेट के सिग्नल-टू-शोर अनुपात को तेजी से बढ़ाकर दोनों आयामों में प्रदर्शन में सुधार करता है।

चित्र 5. संपीड़न से प्रति-स्निपेट टोकन संरचना में परिवर्तन, 1,000 क्वेरी पर औसत। महत्वपूर्ण सामग्री का अनुपात बढ़ता है, जिसमें गैर-महत्वपूर्ण सामग्री श्रेणियों में संबंधित कमी होती है।

चित्र 6 एक व्यक्तिगत क्वेरी के लिए इस परिवर्तन को दर्शाता है। क्वेरी “6 दिन के नवजात शिशु का प्रति भोजन दूध का सेवन” के लिए, हम असंपीड़ित, आधार रेखा और संपीड़ित स्निपेट दोनों दिखाते हैं। संपीड़न गैर-महत्वपूर्ण सामग्री श्रेणियों को समाप्त करता है और केवल नवजात शिशु से संबंधित भोजन जानकारी को बरकरार रखता है। महत्वपूर्ण रूप से, संपीड़न सफलतापूर्वक ऐसी सामग्री को समाप्त करता है जो पेज के लिए सामान्य रूप से विषय पर हो सकती है, लेकिन इस विशिष्ट नवजात-केंद्रित क्वेरी के लिए विषय से बाहर है।

चित्र 6. उदाहरण क्वेरी-दस्तावेज़ जोड़ी के लिए, बिना-संपीड़न आधार रेखा, शीर्ष, और संपीड़ित स्टैक, नीचे द्वारा उत्सर्जित स्निपेट। संपीड़न आधार रेखा स्निपेट का केवल पहले 19% बरकरार रखता है, शेष 81% को अप्रासंगिक के रूप में छोड़ देता है।

AI सिस्टम उपयोगकर्ता अनुरोधों को समझदारी से और कुशलता से पूरा करने के लिए उच्च-सिग्नल जानकारी पर भरोसा करते हैं। प्रत्येक अनुरोध के लिए प्रासंगिकता को अधिकतम करने के लिए इस जानकारी को यथासंभव सटीक रूप से प्रस्तुत किया जाना चाहिए। हमारे नए क्वेरी-जागरूक संपीड़न मॉडल प्रति स्निपेट ऑन-टॉपिक साक्ष्य को अधिकतम करके और अप्रासंगिक भटकाने वालों को आक्रामक रूप से हटाकर ठीक यही करते हैं।

इन नए मॉडलों को हमारे सर्च स्टैक के भीतर तैनात करके, हम उन लोगों को तेज़ और बेहतर प्रतिक्रियाएँ प्रदान करने में सक्षम हैं जो हमारे उत्पादों और API पर भरोसा करते हैं। हमारा दृष्टिकोण एक सरल नियंत्रण सतह बनाता है, जो हमारे सिस्टम और API ग्राहकों को रिकॉल, विलंबता और लागत के बीच संतुलन बनाने के लिए संपीड़न की डिग्री को ट्यून करने की अनुमति देता है।

संदर्भ क्यूरेशन एक विकासशील क्षेत्र है, और आज की सीमांत खुफिया प्रणालियों के भीतर उपयोग किए जाने वाले प्रत्येक टोकन के मूल्य को अनुकूलित करने के लिए और भी बहुत कुछ किया जाना बाकी है। हम इन मॉडलों का और भी व्यापक उपयोग करने के लिए मॉडल सुधार और सिस्टम आर्किटेक्चर दोनों के माध्यम से अपनी संदर्भ क्यूरेशन तकनीकों को और बेहतर बनाने के लिए सक्रिय रूप से काम कर रहे हैं।

N. Chirkova, T. Formal, V. Nikoulina, और S. Clinchant. Provence: पुनर्प्राप्ति-संवर्धित पीढ़ी के लिए कुशल और मजबूत संदर्भ प्रूनिंग, 2025. ICLR 2025 में स्वीकृत। arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, और D. Kim. LooComp: कुशल क्वेरी-जागरूक संदर्भ संपीड़न के लिए एनकोडर-ओनली ट्रांसफार्मर के लिए लीव-वन-आउट रणनीति का लाभ उठाएं, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, और D. Bykov. डिफ्यूजन-प्रीट्रेन्ड डेंस और कॉन्टेक्स्टुअल एम्बेडिंग, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, और G. Neubig. पुनर्प्राप्ति-संवर्धित पीढ़ी के लिए संदर्भ को फ़िल्टर करना सीखना, 2023. arXiv:2311.08377.

BibTeX

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://www.perplexity.ai/hub/blog/query-aware-context-compression-for-better-snippets}
}

क्वेरी-जागरूक संपीड़न के रूप में स्निपेट

संदर्भ संपीड़न मॉडल का निर्माण और प्रशिक्षण

मॉडल आर्किटेक्चर

पर्यवेक्षण पाइपलाइन

वास्तविक समय विलंबता सुनिश्चित करना

गुणवत्ता और टोकन दक्षता

एजेंटिक मल्टी-स्टेप सर्च (BrowseComp)

SimpleQA: सिंगल-स्टेप तथ्यात्मकता

स्निपेट्स में क्या आता है?

निष्कर्ष

संदर्भ

उद्धरण