एआई-प्रथम सर्च एपीआई का आर्किटेक्टिंग और मूल्यांकन

स्केलेबल, एआई-फॉरवर्ड सर्च एपीआई का निर्माण सूचना पुनर्प्राप्ति, एआई और सिस्टम डिज़ाइन के चौराहे पर अद्वितीय शोध चुनौतियां पेश करता है। पारंपरिक सेवाओं के विपरीत जो सीमित डेटा पर काम करती हैं, एक सर्च एपीआई को अरबों दस्तावेज़ों को लगातार अनुक्रमित करना, भाषाओं और डोमेन में क्वेरी के इरादे को समझना, और मिलीसेकंड के भीतर प्रासंगिक परिणाम सामने लाने होते हैं। एआई एजेंटों की दुनिया में, एक सर्च एपीआई को डेवलपर्स के मॉडल को प्रदान किए गए संदर्भ को भी सावधानीपूर्वक तैयार करना चाहिए ताकि यह सुनिश्चित हो सके कि वे मॉडल बेहतर तरीके से काम करें और अधिकतम सटीक जानकारी को शामिल करें। प्रभावी संदर्भ इंजीनियरिंग के लिए एपीआई को न केवल दस्तावेज़-स्तरीय प्रासंगिकता को पकड़ने की आवश्यकता होती है, बल्कि दस्तावेज़ों के व्यक्तिगत अनुभागों और स्पैन को अपने आप में प्रथम-श्रेणी इकाइयों के रूप में मानने की भी आवश्यकता होती है।

इस लेख में, हम Perplexity सर्च एपीआई के डिज़ाइन और मूल्यांकन को प्रस्तुत करते हैं। हम सबसे पहले अपने प्रोडक्शन सर्च इंफ्रास्ट्रक्चर के पीछे के आर्किटेक्चर और प्रमुख तकनीकी निर्णयों का पता लगाते हैं जो प्रतिदिन 20 करोड़ क्वेरी संसाधित करता है। हमारा आर्किटेक्चर हाइब्रिड पुनर्प्राप्ति तंत्र, बहु-चरणीय रैंकिंग पाइपलाइन, वितरित अनुक्रमण और स्व-सुधार सामग्री समझ मॉड्यूल के माध्यम से गतिशील पार्सिंग को जोड़ता है।

इसके बाद हम एक नए ओपन-सोर्स मूल्यांकन ढांचे के माध्यम से सर्च एपीआई प्रदर्शन का अनुभवजन्य रूप से मूल्यांकन करने के लिए अपने दृष्टिकोण का वर्णन करते हैं। मौजूदा व्यावसायिक एपीआई के साथ व्यापक बेंचमार्किंग के माध्यम से, हम गुणवत्ता और विलंबता दोनों पर अत्याधुनिक प्रदर्शन प्रदर्शित करते हैं। Perplexity सर्च एपीआई आज से दुनिया भर के डेवलपर्स के लिए उपलब्ध है।

[GitHub पर search_evals खोजें]

एआई मॉडल के लिए अनुकूलित सर्च सिस्टम का निर्माण

हमारी स्थापना के बाद से, हम यह समझते थे कि श्रेणी-परिभाषित एआई उत्पादों को भेजने के लिए मजबूत सर्च क्षमताएं महत्वपूर्ण होंगी। मूल रूप से, हम आशा करते थे कि ये क्षमताएं पहले से ही सार्वजनिक रूप से उपलब्ध रूप में मौजूद थीं। हमने 2022 के अंत में उपलब्ध सर्च एपीआई के पोर्टफोलियो के साथ प्रयोग किया, और Perplexity के उत्तर इंजन के बिल्कुल पहले संस्करण ने वास्तव में इन प्रस्तावों में से कुछ को शामिल किया था। विशेष रूप से, हम उपयोगकर्ता क्वेरी का विश्लेषण करेंगे, इन एपीआई के लिए अनुरोध तैयार करेंगे और भेजेंगे, और हमारे डाउनस्ट्रीम पीढ़ी पाइपलाइन के लिए संदर्भ के रूप में परिणाम एकत्र करेंगे।

हालांकि, जैसे-जैसे उपयोगकर्ता Perplexity की ओर बढ़े, हमें जल्दी ही एहसास हुआ कि ये एपीआई हमारे विकास के साथ स्केल नहीं करेंगे। हमने जो कीमतें देखीं वे अत्यधिक थीं, जिसमें एक अग्रणी एपीआई प्रदाता प्रति हजार क्वेरी $200 चार्ज कर रहा था। लेकिन अधिक घातक रूप से, ये विरासत एपीआई बस फ्रंटियर एआई सिस्टम द्वारा शुरू किए गए नए पुनर्प्राप्ति प्रतिमानों के लिए डिज़ाइन नहीं किए गए थे।

बड़ा करें

शुरुआत के लिए, इन विरासत एपीआई के अनुरोध और प्रतिक्रिया प्रारूपों को ऐसी दुनिया के लिए डिज़ाइन किया गया था जिसमें मनुष्य सर्च परिणामों के अनन्य उपभोक्ता होंगे। नतीजतन, इन एपीआई ने उप-दस्तावेज़ इकाइयों द्वारा प्रकट की गई अधिक सूक्ष्म जानकारी को छोड़कर, दस्तावेज़-स्तरीय परिणामों को प्राथमिकता दी। एक एआई मॉडल की सफलता प्रदान किए गए संदर्भ की गुणवत्ता और संक्षिप्तता पर निर्भर करती है, और हमने प्रत्यक्ष रूप से देखा कि अत्यधिक व्यापक पुनर्प्राप्ति एआई मॉडल को कैसे पटरी से उतार सकती है, भले ही पुनर्प्राप्त दस्तावेज़ समग्र रूप से कितने भी प्रासंगिक क्यों न दिखें। सटीक परिणामों पर सटीकता लागू करने के हमारे प्रयासों को सीमित सफलता मिली।

हमने यह भी देखा कि विरासत एपीआई या तो बहुत पुराने थे या बहुत धीमे थे। स्वतंत्र रूप से विकसित सर्च एपीआई उन इंडेक्स पर निर्भर थे जो अधूरे थे और बहुत कम अपडेट किए जाते थे। Google सर्च के लिए विभिन्न अनौपचारिक SERP एपीआई जैसे स्क्रैपिंग-आधारित एपीआई को अधिक व्यापक इंडेक्स से लाभ हुआ, लेकिन तृतीय-पक्ष सर्च इंजन को क्वेरी करने में निहित अक्षमता के कारण अस्वीकार्य रूप से उच्च विलंबता की पेशकश की। उच्च विलंबता ने एपीआई को उपयोगकर्ता-सामना करने वाले अनुप्रयोगों के लिए अनुपयुक्त बना दिया, जबकि पुरानापन ने परिणाम सेट को किसी भी एआई सिस्टम के लिए उपयोग करने योग्य बना दिया जो सटीक और भरोसेमंद होने की उम्मीद करता है।

अंत में, हमने देखा कि एआई इकोसिस्टम लेक्सिकल सर्च और सिमेंटिक सर्च के बीच विभाजित हो गया, जिसमें ऐसी प्रणालियां उभर रही थीं जो एक दूसरे पर दूसरे के लिए अत्यधिक अनुकूलित थीं। हमने वेक्टर डेटाबेस का उदय देखा जो सरल बूलियन फिल्टर का भी पर्याप्त समर्थन नहीं कर सकते थे। पारंपरिक सर्च बैकएंड ने एआई द्वारा अनलॉक किए गए सिमेंटिक रैंकिंग और पुनर्प्राप्ति अवसरों के लिए आदिम समर्थन के साथ थोड़ा बेहतर प्रदर्शन किया।

जैसे ही हमें एहसास हुआ कि Perplexity को और बेहतर बनाने के लिए हमारे अपने समर्पित सर्च इंफ्रास्ट्रक्चर के निर्माण की आवश्यकता होगी, हमने अपने अवलोकनों को तीन प्रमुख मानदंडों में संक्षिप्त किया:

पूर्णता, ताजगी और गति: सर्च इंडेक्स व्यापक, लगातार अपडेट किया जाने वाला और रीयलटाइम विलंबता के लिए इंजीनियर होना चाहिए।

सूक्ष्म-स्तरीय सामग्री समझ: एआई मॉडल की भंगुरता और सीमित संदर्भ विंडो के लिए सर्च परिणामों को सबसे दानेदार स्तर पर प्रस्तुत और रैंक करने की आवश्यकता होती है।

हाइब्रिड पुनर्प्राप्ति और रैंकिंग: परिणामों के एआई के लिए उपयोगी होने के लिए पुनर्प्राप्ति और रैंकिंग दोनों पाइपलाइनों को लेक्सिकल और सिमेंटिक संकेतों को शामिल करना चाहिए।

बड़ा करें

क्रॉलिंग और इंडेक्सिंग इंफ्रास्ट्रक्चर

Perplexity पैमाने पर काम करने के लिए ऐसे इंफ्रास्ट्रक्चर की आवश्यकता होती है जो वेब को व्यापक रूप से मैप कर सके और इसके निरंतर विकास का जवाब दे सके। हमारा सर्च इंडेक्स 200 बिलियन से अधिक अद्वितीय यूआरएल को ट्रैक करता है, जिसमें कई सौ अरब अधिक ट्रैक करने की क्षमता है।

यह सुनिश्चित करना कि हमारा इंडेक्स इंटरनेट के पर्याप्त व्यापक हिस्से को कवर करता है और प्रत्येक दस्तावेज़ नवीनतम स्थिति को दर्शाता है, एक कठिन उपलब्धि है। पूर्णता और ताजगी के बीच एक अंतर्निहित तनाव मौजूद है: एक निश्चित इंडेक्सिंग बजट के लिए, मौजूदा पृष्ठों के लिए रिफ्रेश संचालन को नए अनदेखे पृष्ठों के लिए इंडेक्सिंग संचालन के साथ प्रतिस्पर्धा करनी चाहिए। हम स्केलिंग (जो इंडेक्सिंग बजट बढ़ाकर अनुकूलन बाधा को कम करता है) और एमएल-संचालित प्राथमिकता (जो यह सुनिश्चित करता है कि प्रत्येक इंडेक्सिंग ऑपरेशन समग्र रूप से इंडेक्स के लिए अधिकतम मूल्यवान है) के संयोजन के माध्यम से इस तनाव को संतुलित करते हैं।

हमने एक एक्साबाइट-स्केल इंडेक्स और क्रॉलिंग तंत्र बनाया है जो आकार और क्वेरी वॉल्यूम दोनों के साथ क्षैतिज रूप से स्केल करता है। Perplexity के क्रॉलर और इंडेक्सिंग फ्लीट सामूहिक रूप से हजारों सीपीयू और सैकड़ों टेराबाइट रैम से बने हैं, जिसमें आगे की स्केलिंग के लिए काफी हेडरूम है। हम इस कंप्यूट इंफ्रास्ट्रक्चर को कोल्ड और वार्म स्टोरेज के संतुलन के साथ जोड़ते हैं। हम यह निर्धारित करने के लिए कि किन दस्तावेज़ों को हॉट रखा जाना चाहिए, सीखे गए मॉडल और ट्यून्ड ह्यूरिस्टिक्स दोनों का उपयोग करते हैं, आधिकारिक डोमेन से दस्तावेज़ों, कम कवर किए गए विषयों से जुड़े दस्तावेज़ों और हमारे इंडेक्स को समृद्ध करने की अत्यधिक क्षमता वाली अन्य श्रेणियों को प्राथमिकता देते हैं।

यह इंफ्रास्ट्रक्चर Perplexity को प्रति सेकंड हजारों इंडेक्सिंग संचालन संसाधित करने में सक्षम बनाता है। लेकिन इस अपेक्षाकृत उदार बजट के साथ भी, इंटरनेट का पैमाना अक्सर और आवर्ती आधार पर हर एक यूआरएल को इंडेक्स करने के लिए बहुत विशाल है। यहीं एमएल काम आता है। हम यह अनुमान लगाने के लिए एक एमएल मॉडल को प्रशिक्षित करते हैं कि क्या किसी दिए गए उम्मीदवार यूआरएल को इंडेक्स करने की आवश्यकता है। प्रशिक्षण उद्देश्य यह सुनिश्चित करने के लिए तैयार किया गया है कि हम अपने इंडेक्सिंग निर्णय को विशिष्ट यूआरएल के महत्व और संभावित अद्यतन आवृत्ति दोनों के लिए कैलिब्रेट करें। हम यह भी बताने के लिए एमएल पर भरोसा करते हैं कि इंडेक्सिंग ऑपरेशन को कब शेड्यूल करना है। नियमित प्रकाशन और रिफ्रेश लय वाली साइटों के लिए, यह हमें उन कार्यों को उस समय तक स्थगित करने की अनुमति देता है जब उनके सबसे उपयोगी होने की संभावना होती है। इन एमएल मॉडल के निरंतर सुधार के माध्यम से, हम एक ऐसा इंडेक्स बनाए रखने में सक्षम हैं जो पूर्णता और ताजगी दोनों पर खरा उतरता है।

हालांकि हमारा क्रॉलिंग इंफ्रास्ट्रक्चर आसानी से क्षैतिज रूप से स्केल करता है, हम जानते हैं कि वेबसाइट ऑपरेटरों को विभिन्न तकनीकी बाधाओं का सामना करना पड़ता है। हम किसी भी दिए गए डोमेन के लिए अनुरोधों की एक अनुमानित और प्रबंधनीय दर बनाए रखने के लिए सावधान रहते हैं। PerplexityBot, हमारा सर्च क्रॉलर, robots.txt फ़ाइलों में निर्धारित स्पष्ट सीमाओं का पालन करता है, या डोमेन-निर्दिष्ट सीमाओं के अभाव में, अनुरोध दरों के संबंध में उद्योग-मानक मानदंडों का पालन करता है। जब हम साइट की अनुपलब्धता का पता लगाते हैं तो हम अपने क्रॉलिंग व्यवहार को भी समायोजित करते हैं। हमारा वितरित सिस्टम हजारों समवर्ती संचालन में भी इन सीमाओं को लागू करने के लिए आर्किटेक्ट किया गया है।

इंटरनेट पैमाने पर स्व-सुधार सामग्री समझ

ग्रह पर सबसे बड़े और सबसे ताजा सर्च इंडेक्स में से एक के साथ भी, प्रत्येक क्वेरी की परिणाम गुणवत्ता प्रत्येक दस्तावेज़ की सामग्री के हमारे सिस्टम की समझ पर निर्भर करती है। यहाँ, हम एक मौलिक चुनौती का सामना करते हैं: वेब एक गड़बड़ जगह है। पार्सिंग नियमों का कोई भी निश्चित सेट पूरे इंटरनेट पर पाए जाने वाले लेआउट, संरचनाओं और शैलियों की अनंत विविधता को संभाल नहीं सकता है।

हमने एक सामग्री समझ मॉड्यूल विकसित करके इस चुनौती को हल किया जो वेबसाइटों को पार्स करता है और गतिशील नियमों का उपयोग करके शब्दार्थपूर्ण सामग्री निकालता है। सूची या तालिका रूप में अच्छी तरह से संरचित डेटा वाली वेबसाइट अधिक सूत्रबद्ध पार्सिंग और निष्कर्षण नियमों से लाभान्वित हो सकती है, जबकि मुख्य रूप से फ्रीफॉर्म उपयोगकर्ता-जनित सामग्री वाली दूसरी वेबसाइट को ढीले नियमों की आवश्यकता हो सकती है। क्योंकि वेब छोटे समय सीमा में ज्यादातर स्थिर होता है, हम पाते हैं कि किसी दिए गए नियम का जीवनकाल अपेक्षाकृत लंबा होता है। लेकिन जैसे-जैसे साइटें समय के साथ विकसित होती हैं और जैसे-जैसे हम जानकारी निकालने के सर्वोत्तम तरीकों के बारे में अधिक सीखते हैं, हमारे नियमों को निरंतर बागवानी की भी आवश्यकता होती है।

इस गतिशील अनुकूलन को सुविधाजनक बनाने के लिए, हम (बेशक) एआई की ओर रुख करते हैं। Perplexity के पैमाने पर, हम प्रति घंटे लाखों उपयोगकर्ता क्वेरी की सेवा के दौरान वेब के अविश्वसनीय रूप से समृद्ध क्रॉस-सेक्शन का निरीक्षण करते हैं। यह एक पुनरावृत्ति स्व-सुधार लूप के लिए नींव बनाता है। हम अपने क्वेरी ब्रह्मांड में अपने वर्तमान नियमों के पार्सिंग व्यवहार और निकाले गए आउटपुट का निरीक्षण करते हैं। फिर हम दो प्राथमिक आयामों पर प्रदर्शन का आकलन करने के लिए फ्रंटियर एलएलएम का उपयोग करते हैं:

पूर्णता: हमारे इंडेक्स को यथासंभव अधिक शब्दार्थपूर्ण सामग्री प्राप्त करनी चाहिए, जबकि गैर-सूचनात्मक या निरर्थक मामले के नकली निष्कर्षण से बचना चाहिए।

गुणवत्ता: हमारा इंडेक्स ऐसी सामग्री पर निर्भर करता है जो पदार्थ और रूप दोनों में उच्च गुणवत्ता वाली हो। जानकारी को इस तरह से कैप्चर किया जाना चाहिए जो मूल सामग्री संरचना और लेआउट को संरक्षित करे।

ध्यान दें कि पूर्णता और गुणवत्ता एक और अंतर्निहित तनाव प्रस्तुत करती है: गुणवत्ता के लिए मैन्युअल रूप से अनुकूलन संभव है, लेकिन परिणामी पार्सिंग नियम महत्वपूर्ण सामग्री को कैप्चर करने में विफल हो सकते हैं। इसी तरह, हम अनुमतिपूर्ण नियमों को हैंडकोड कर सकते हैं जो कच्ची सामग्री पर न्यूनतम फ़िल्टरिंग लागू करते हैं, जो पूर्णता में सुधार कर सकते हैं लेकिन गुणवत्ता की कीमत पर। यही कारण है कि हम अपने नियमों को उस तरीके से विकसित करने के लिए एआई-संचालित स्व-सुधार की ओर रुख करते हैं जो डोमेन-अनुकूलन तरीके से एक बार में दोनों के लिए अनुकूलित कर सके।

ठोस रूप से, पार्सिंग प्रदर्शन के प्रत्येक एलएलएम-संचालित मूल्यांकन के बाद, हमारा सिस्टम सबसे महत्वपूर्ण त्रुटि वर्गों को संबोधित करने के लिए प्रस्तावित नियमों में बदलाव का एक सेट तैयार करता है। ये नियम और अधिक सत्यापन से गुजरते हैं, जिसके बाद हम नए संस्करण को अपने इंडेक्सर में तैनात करते हैं। यह देखते हुए कि पार्सिंग और निष्कर्षण तर्क में सुधार केवल भविष्य के इंडेक्सिंग संचालन को लाभ पहुंचा सकते हैं, एमएल-अनुकूलित रीइंडेक्सिंग में हमारा निवेश विशेष रूप से महत्वपूर्ण है: इस तर्क के नवीनतम संस्करण का उपयोग करके उच्च-ट्रैफ़िक दस्तावेज़ों को लगातार ताज़ा करना एक तंग स्व-सुधार लूप सुनिश्चित करता है।

ये नियम न केवल बेसलाइन पार्सिंग प्रदर्शन के लिए बल्कि उप-दस्तावेज़ इकाइयों में विभाजन के लिए भी मायने रखते हैं। जब फ्रंटियर एलएलएम की बात आती है, तो संदर्भ का प्रत्येक टोकन कीमती होता है। पिछले काम के एक बड़े निकाय ने प्रलेखित किया है कि कैसे एलएलएम प्रदर्शन संदर्भ आकार में वृद्धि और अप्रासंगिक जानकारी के साथ संदर्भ के प्रदूषण के साथ घटता है। अच्छी तरह से संरचित, व्यापक पार्सिंग होने से हमें दस्तावेज़ों को स्व-निहित स्पैन में विघटित करने की अनुमति मिलती है, जिनमें से प्रत्येक को क्वेरी समय पर व्यक्तिगत रूप से पुनर्प्राप्त और रैंक किया जा सकता है।

पुनर्प्राप्ति और रैंकिंग पाइपलाइन

आधुनिक सर्च के लिए तंग विलंबता बजट के तहत पूर्णता और प्रासंगिकता दोनों सुनिश्चित करने की आवश्यकता होती है। Perplexity की पुनर्प्राप्ति और रैंकिंग पाइपलाइन इसे एक बहु-चरणीय आर्किटेक्चर के माध्यम से प्राप्त करती है जो तेजी से परिष्कृत मॉड्यूल की एक श्रृंखला के साथ परिणामों को धीरे-धीरे परिष्कृत करती है। हम संभावित बाधाओं को अधिकतम सीमा तक किसी भी बाधा को क्षैतिज रूप से स्केल करके हल करते हैं।

पाइपलाइन हमारे इंडेक्स से पुनर्प्राप्ति के साथ शुरू होती है। हम लेक्सिकल और सिमेंटिक पुनर्प्राप्ति के बीच विकल्प को मजबूर नहीं करते हैं। बल्कि, हम दोनों तौर-तरीकों के माध्यम से सर्च इंडेक्स को क्वेरी करते हैं और परिणामों को एक हाइब्रिड उम्मीदवार सेट में मर्ज करते हैं। इस स्तर पर, प्राथमिकता सटीकता पर व्यापकता है - पाइपलाइन के बाद के चरण सटीकता के लिए अनुकूलित होंगे।

पाइपलाइन प्रीफिल्टरिंग चरणों के साथ जारी है, जिसमें हम उम्मीदवार सेट से स्पष्ट रूप से गैर-उत्तरदायी या पुरानी सामग्री को हटाने के लिए बुनियादी ह्यूरिस्टिक्स और पहले-कट फिल्टर लागू करते हैं।

फिर हम क्रमिक रूप से उन्नत रैंकिंग के कई चरणों को नियोजित करते हैं। शुरुआती चरण गति के लिए अनुकूलित लेक्सिकल और एम्बेडिंग-आधारित स्कोरर पर निर्भर करते हैं। जैसे-जैसे उम्मीदवार सेट धीरे-धीरे कम होता जाता है, हम परिणाम सेट की अंतिम मूर्तिकला करने के लिए अधिक शक्तिशाली क्रॉस-एनकोडर रीरैंकर मॉडल का उपयोग करते हैं। अनुमान प्रदर्शन में हमारे कई निवेशों के लिए धन्यवाद, हम समग्र रैंकिंग विलंबता को कम रखते हुए इन बाद के चरणों के लिए अत्याधुनिक मॉडल आर्किटेक्चर का लाभ उठाने में सक्षम हैं।

इस पाइपलाइन के दौरान, हम दस्तावेज़ और उप-दस्तावेज़ स्तरों पर परिणामों को पुनर्प्राप्त और स्कोर करते हैं। जैसा कि ऊपर चर्चा की गई है, एआई को सावधानीपूर्वक संदर्भ इंजीनियरिंग की आवश्यकता है। हमारी पाइपलाइन को मॉडल के लिए यथासंभव परमाणु इकाइयों को सामने लाने के लिए डिज़ाइन किया गया है, ताकि डाउनस्ट्रीम उपभोक्ता उन सटीक इकाइयों को शामिल कर सकें बिना स्रोत दस्तावेज़ों में कहीं और से अप्रासंगिक संदर्भ खींचे।

इस पाइपलाइन के प्रत्येक चरण में उच्च गुणवत्ता सुनिश्चित करना केवल Perplexity के उत्पादों के पोर्टफोलियो के साथ सह-डिज़ाइन के माध्यम से ही संभव है। रैंकिंग स्टैक का प्रत्येक विवरण दिन के प्रत्येक घंटे में हमारे द्वारा सेवा की जाने वाली लाखों उपयोगकर्ता अनुरोधों द्वारा उत्पन्न समृद्ध संकेत का लाभ उठाने के लिए डिज़ाइन किया गया है। इस संकेत का विशाल बहुमत स्वचालित है, प्रत्येक उत्पन्न Perplexity उत्तर एक लाइव एजेंटिक वर्कफ़्लो में उपयोग किए जाने वाले सर्च गुणवत्ता पर एक अनुभवजन्य डेटापॉइंट प्रदान करता है। हम अपने एम्बेडिंग और रैंकिंग मॉडल के लिए प्रशिक्षण डेटा को समृद्ध करने के लिए लाइव मानवीय प्रतिक्रिया के साथ एआई-संचालित मूल्यांकन को जोड़ते हैं, जो किसी भी मैन्युअल रूप से निर्मित डेटासेट से कहीं अधिक है।

सर्च और उत्पाद के बीच यह तालमेल Perplexity के लिए अद्वितीय है। विरासत सर्च इंजन ब्लू-लिंक टेलीमेट्री द्वारा प्रदान किए गए मोटे संकेत तक सीमित हैं। नए सर्च प्रस्तावों ने इनमें से कुछ एआई-फॉरवर्ड अवधारणाओं को लागू करने का प्रयास किया है, लेकिन उनमें वास्तविक दुनिया के वातावरण की कमी है जो सर्च गुणवत्ता को मान्य कर सकते हैं और तेजी से सुधार लूप के लिए आवश्यक संकेत की समृद्धि प्रदान कर सकते हैं। हम लापता घटक होने के लिए भाग्यशाली हैं: सर्च गुणवत्ता के लिए एक लाइव प्रोविंग ग्राउंड, फ्रंटियर एलएलएम द्वारा संचालित और दुनिया भर के लाखों जिज्ञासु उपयोगकर्ताओं द्वारा लगातार युद्ध-परीक्षण किया गया।

गुणवत्ता और प्रदर्शन के लिए एक नई सीमा स्थापित करना

Perplexity Search API और SDK बनाकर, हमने अपनी खोज अवसंरचना को दुनिया भर के डेवलपर्स के लिए उपलब्ध कराया; अब हम समझना चाहते थे कि विभिन्न वाणिज्यिक API पेशकशें वास्तविक-विश्व AI उपयोग मामलों में कैसा प्रदर्शन करती हैं। AI मॉडलों का स्वयं मूल्यांकन करना अब आम बात हो गई है, लेकिन हमें इस पैटर्न में एक मोड़ चाहिए था: यह आकलन करना कि AI मॉडल जब खोज APIs को कॉल करते हैं, तो उनकी गुणवत्ता कैसी होती है।

हमने पहले कला को समझने के लिए ओपन-सोर्स इकोसिस्टम की ओर देखा। हमें कठोर मूल्यांकन के लिए कई प्रमुख तत्व मिले, लेकिन कोई ऐसा ढांचा नहीं मिला जिसने इन तत्वों को प्लग-एंड-प्ले बेंचमार्किंग समाधान में एकीकृत किया। इसलिए हमने एक मूल्यांकन ढांचा विकसित करने के लिए तैयार किया जिसका उपयोग न केवल Perplexity द्वारा किया जा सके, बल्कि किसी भी शोधकर्ता या डेवलपर द्वारा जो सर्च एपीआई को बेंचमार्क करना चाहता है।

इस मूल्यांकन ढांचे का उपयोग करके, हमने अन्य प्रस्तावों के साथ Perplexity सर्च एपीआई को कठोरता से बेंचमार्क किया। सर्च प्रदर्शन का अनुकूलन जटिल है, गुणवत्ता और गति के बीच कई सूक्ष्म ट्रेडऑफ के साथ। डेवलपर्स के लिए एक जीत में, हमने पाया कि Perplexity सर्च एपीआई गुणवत्ता और विलंबता दोनों के लिए एक नया अत्याधुनिक सेट करता है। डेवलपर्स को अब तेजी से काम करने वाले एप्लिकेशन बनाने और उच्च-गुणवत्ता वाले परिणाम सुनिश्चित करने के बीच चयन करने की आवश्यकता नहीं है: Perplexity के साथ, वे दोनों रख सकते हैं।

बड़ा करें

एजेंटिक सर्च वर्कफ़्लो के लिए विश्वसनीय मूल्यांकन डिज़ाइन करना

हमने अपने मूल्यांकन ढांचे के लिए तीन मार्गदर्शक सिद्धांतों को परिभाषित करके शुरुआत की:

जटिलता का स्पेक्ट्रम: मूल्यांकन ढांचे को सीधे और जटिल एजेंटिक एआई उपयोग के मामलों दोनों पर प्रदर्शन को मापना चाहिए।

तटस्थता: मूल्यांकन ढांचे को सभी एपीआई का समान आधार पर आकलन करना चाहिए।

सरलता: हालांकि कुछ उपयोग के मामले जटिल हो सकते हैं, ढांचा स्वयं यथासंभव सरल होना चाहिए ताकि अन्य इसे समझ सकें, परिणामों को पुन: उत्पन्न कर सकें, और न्यूनतम ऊब के साथ ढांचे का विस्तार कर सकें।

हमारा हल्का मूल्यांकन फ़्रेमवर्क, search_evals, एक सरल मॉड्यूलर डिज़ाइन के माध्यम से इन लक्ष्यों को प्राप्त करता है। हमने दो AI एजेंट हार्नेस विकसित किए, ताकि पारंपरिक एक-शॉट खोज उपयोग मामलों और उन्नत एजेंटिक वर्कफ़्लो (जिनका उदाहरण उपभोक्ता बाज़ार में व्यापक रूप से उपलब्ध विभिन्न “गहन शोध” उत्पाद हैं) — दोनों को कवर किया जा सके। दोनों हार्नेस को एक सीधे-सादे तरीके से लागू किया गया, जिससे किसी छिपे हुए लाभ की बहुत कम गुंजाइश रहती है।

अपने मूल्यांकन चलाने के लिए, हमने चार बेंचमार्क अपनाए: एकल-चरण खोज के लिए SimpleQA और FRAMES, तथा गहन शोध के लिए BrowseComp और HLE। सामूहिक रूप से, ये बेंचमार्क ज्ञान एजेंटों के लिए अच्छी तरह स्वीकृत मानदंड प्रदान करते हैं। स्थापित परंपरा के अनुसार, हम सभी बेंचमार्कों का मूल्यांकन उसी prompted classifier पद्धति से करते हैं जिसका उपयोग मूल कार्य में किया गया था। सटीक बेंचमार्क कार्यान्वयन (grader logic सहित) हमारे GitHub repo में समीक्षित किए जा सकते हैं।

हमने प्रतिलिपि और विस्तारशीलता को ध्यान में रखते हुए ढांचा डिज़ाइन किया। कार्य-स्तरीय स्कोर और अंतर्निहित एजेंट आउटपुट दोनों प्रत्येक रन के साथ संग्रहीत किए जाते हैं। अतिरिक्त हार्नेस, बेंचमार्क और सर्च एपीआई प्रस्तावों को आसानी से एकीकृत किया जा सकता है। शोधकर्ता और डेवलपर आपकी सटीक आवश्यकताओं को पूरा करने के लिए ढांचे का विस्तार करने के बारे में अधिक जानकारी के लिए हमारे GitHub दस्तावेज़ पढ़ सकते हैं।

मूल्यांकन परिणाम

इस मूल्यांकन ढांचे के साथ सशस्त्र, हमने बाजार में अन्य एपीआई प्रस्तावों की तुलना में अपने सर्च एपीआई का आकलन करने के लिए तैयार किया। सभी परीक्षित बेंचमार्क में, Perplexity बाजार में सबसे तेज़ और उच्चतम-गुणवत्ता वाला एपीआई दोनों के रूप में खड़ा है।

बड़ा करें

हमने पाया कि इंडेक्स, पुनर्प्राप्ति और रैंकिंग दक्षता में हमारे ऊपर वर्णित निवेशों ने काफी अच्छा भुगतान किया। Perplexity की औसत विलंबता 358ms है, जो दूसरे सबसे तेज़ प्रदाता से 150ms से अधिक आगे है। 95वीं-प्रतिशत विलंबता आराम से 800ms से नीचे रहती है। आज के फ्रंटियर मॉडल के लंबे TTFT (समय-से-पहला-टोकन) मेट्रिक्स के साथ, सुखद उपयोगकर्ता अनुभव बनाने में प्रत्येक मिलीसेकंड मायने रखता है। हमने पिछले दो वर्षों को अपने उपयोगकर्ताओं के लिए विलंबता को अनुकूलित करने में बिताया है, और हम संतुष्ट हैं कि वही निवेश अब डेवलपर समुदाय को भी लाभान्वित करेंगे।

सर्च एपीआई विलंबता

(AWS us-east-1 से अनुरोध शुरू किया गया)

AWS us-east-1 से आरंभ किए गए अनुरोधों के लिए Search API विलंबता प्रतिशतक.

* कई सर्च एपीआई विक्रेता अपने परिणामों के आधार के रूप में SERP स्क्रैपिंग का उपयोग करते हैं। ऐसे दृष्टिकोणों के प्रदर्शन को कैप्चर करने के लिए, हम Tavily द्वारा पेश किए गए एक प्रतिनिधि Google SERP-आधारित एपीआई का उपयोग करते हैं।

यह गति लाभ गुणवत्ता की कीमत पर नहीं आता है। Perplexity सर्च एपीआई एकल-चरण सर्च और गहन शोध सेटिंग्स दोनों में अत्याधुनिक प्रदर्शन देता है। प्रत्येक परीक्षित बेंचमार्क पर, Perplexity उच्च-गुणवत्ता वाले परिणाम प्रदान करने में पैक का नेतृत्व करता है जो विभिन्न जटिलता के एआई वर्कफ़्लो को शक्ति दे सकता है। Perplexity और सर्वोत्तम विकल्प के बीच का मार्जिन SimpleQA और HLE पर विशेष रूप से स्पष्ट है, जो यह दर्शाता है कि ये परिणाम कार्य जटिलता के स्पेक्ट्रम में मजबूत हैं।

बड़ा करें

विलंबता की तरह, सर्च गुणवत्ता में हमारा नेतृत्व सुखद, अत्यधिक ट्रैफ़िक वाले एआई उत्पादों के निर्माण में हमारे नेतृत्व के डाउनस्ट्रीम बहता है। हमारे लाखों उपयोगकर्ता हर कल्पनीय विषय पर अपनी जिज्ञासा को संतुष्ट करने के लिए Perplexity का उपयोग करते हैं, और परिणामी गुणवत्ता और प्रासंगिकता संकेत हमारे सर्च मॉडल को हर बीतते घंटे के साथ बेहतर बनाने की अनुमति देते हैं।

सर्च एपीआई गुणवत्ता बेंचमार्क

SimpleQA, FRAMES, BrowseComp, और HLE पर Search API गुणवत्ता स्कोर.

हम अभी भी एआई-नेटिव सर्च इंजन के शुरुआती दिनों में हैं, और माप की कला और विज्ञान निस्संदेह विकसित होगा। हम समुदाय को एआई एजेंटों के युग में सर्च इंजन के मूल्यांकन के लिए कठोर और रचनात्मक तरीके विकसित करके योगदान करने के लिए आमंत्रित करते हैं।

एआई के अगले अध्याय के लिए बिल्डिंग ब्लॉक

एजेंटिक सिस्टम और बुद्धिमान सहायकों का भविष्य दुनिया के सामूहिक ज्ञान में समृद्ध प्रोग्रामेटिक इंटरफेस की उपलब्धता पर टिका होगा। आज के विरासत सर्च इंजन लगभग 10¹⁰ क्वेरी प्रति दिन के उपयोग में संतृप्त हो गए हैं, एक आंकड़ा जो संभवतः चरम पर है। सर्च और पुनर्प्राप्ति प्रणालियों की अगली पीढ़ी परिमाण के क्रम में अधिक अनुरोधों की सेवा करेगी, क्योंकि एआई एजेंटों का एक कभी-बढ़ता ब्रह्मांड सटीक रीयलटाइम जानकारी के लिए उन पर निर्भर करता है।

आज तक हमारे प्रयासों ने हमें एपीआई के माध्यम से सुलभ सबसे तेज़, सबसे अधिक प्रदर्शन करने वाले सर्च इंजन के रूप में स्थित किया है। लेकिन एआई के अगले अध्याय को ईंधन देने के लिए हमें और भी अधिक महत्वाकांक्षी नवाचार की आवश्यकता होगी। हम कभी बढ़ती मांग के सामने इन प्रणालियों को कुशलतापूर्वक कैसे स्केल करें? संदर्भ इंजीनियरिंग और पोस्टट्रेनिंग के उपन्यास दृष्टिकोणों के प्रकाश में इन सर्च प्रणालियों को कैसे अनुकूलित किया जा सकता है? और हम व्यापकता, हाल के और विलंबता के बीच कभी मौजूद तनाव को कैसे नेविगेट करें? ये खुले प्रश्न हैं कि Perplexity, उत्पाद पदचिह्न, पैमाने और तकनीकी प्रतिभा के हमारे संयोजन के साथ, निपटने के लिए विशिष्ट रूप से स्थित है।

उद्धरण

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}