एआय-प्रथम सर्च एपीआय आर्किटेक्ट करणे आणि त्याचे मूल्यांकन करणे

स्केलेबल आणि एआय-फॉरवर्ड सर्च एपीआय तयार करणे ही माहिती पुनप्राप्ती, एआय आणि सिस्टीम डिझाइनच्या छेद्दुबिंदूवर अद्वितीय संशोधन आव्हाने प्रस्तुत करते. मर्यादित डेट्यावर चालणाऱ्या पारंपारिक सेवांच्या विपरीत, सर्च एपीआयने सतत अब्जावधी दस्तऐवजांची अनुक्रमणिका करणे, भाषा आणि डोमेनमध्ये क्वेरीचा हेतू समजून घेणे आणि काही मिलिसेकंदांमध्ये संबंधित निकाल समोर आणणे आवश्यक आहे. एआय एजंटच्या जगात, सर्च एपीआयने डेव्हलपरच्या मॉडेल्सना प्रदान केलेला संदर्भ देखील काळजीपूर्वक क्युरेट करणे आवश्यक आहे जेणेकरून ते मॉडेल्स इष्टतमपणे कार्य करतील आणि जास्तीत जास्त अचूक माहितीचा समावेश करतील. प्रभावी संदर्भ अभियांत्रिकीसाठी एपीआयला केवळ दस्तऐवज-स्तरीय प्रासंगिकता कॅप्चर करणे आवश्यक नाही, तर दस्तऐवजांच्या वैयक्तिक विभागांना आणि स्पॅनला त्यांच्या स्वतःच्या अधिकारात प्रथम-वर्ग युनिट्स म्हणून मानले पाहिजे.

या लेखामध्ये, आम्ही Perplexity Search API ची रचना आणि मूल्यमापन सादर करतो. दररोज २० कोटी क्वेरींवर प्रक्रिया करणाऱ्या आमच्या उत्पादन शोध पायाभूत सुविधांमागील आर्किटेक्चर आणि प्रमुख तांत्रिक निर्णयांचा आम्ही प्रथम शोध घेतो. आमची आर्किटेक्चर हायब्रिड पुनप्राप्ती यंत्रणा, बहु-स्तरीय रँकिंग पाइपलाइन, वितरीत इंडेक्सिंग आणि स्वतः सुधारणाऱ्या सामग्री समजून घेण्याच्या मॉड्यूलद्वारे गतिशील पार्सिंग एकत्र करते.

आम्ही नंतर नव्याने ओपन-सोर्स केलेल्या मूल्यमापन फ्रेमवर्कद्वारे सर्च एपीआय कामगिरीचे अनुभवजन्य मूल्यमापन करण्याच्या आमच्या दृष्टिकोनाचा वर्णन करतो. विद्यमान व्यावसायिक एपीआय सोबत सर्वसमावेशक बेंचमार्किंगद्वारे, आम्ही गुणवत्ता आणि लेटन्सी या दोन्हीवर अत्याधुनिक कामगिरी प्रदर्शित करतो. Perplexity Search API आजपासून जगभरातील डेव्हलपरसाठी उपलब्ध आहे।

[शोध search_evals GitHub वर]

एआय मॉडेल्ससाठी ऑप्टिमाइझ केलेली शोध प्रणाली तयार करणे

आमच्या स्थापनेपासून, आम्हाला समजले होते की आम्हाला पाठवायचे असलेल्या श्रेणी-परिभाषित एआय उत्पादनांना सक्षम करण्यासाठी मजबूत शोध क्षमता महत्त्वपूर्ण ठरेल. मूळतः, आम्हाला आशा होती की या क्षमता आधीपासूनच सार्वजनिकपणे उपलब्ध स्वरूपात अस्तित्वात आहेत. आम्ही २०२२ च्या उत्तरार्धात उपलब्ध असलेल्या सर्च एपीआयच्या पोर्टफोलिओचा प्रयोग केला आणि Perplexity च्या उत्तर इंजिनची सर्वपैलू पहिली आवृत्ती खरोखरच यापैकी काही ऑफर समाविष्ट केली आहे. विशेषतः, आम्ही वापरकर्त्याच्या क्वेरीचे विश्लेषण करू, या एपीआयना विनंत्या तयार करू आणि पाठवू आणि आमच्या डाउनस्ट्रीम जनरेशन पाइपलाइनसाठी संदर्भा म्हणून परिणाम गोळा करू.

तथापि, जसे वापरकर्ते Perplexity वर गर्दी करू लागले, आम्हाला लवकरच समजले की हे एपीआय आमच्या वाढीनुसार स्केल होणार नाहीत. आम्हाला आलेले भाव अवाजवी होते, एका आघाडीच्या एपीआय प्रदात्याने दर हजार क्वेरीसाठी $२०० आकारले. परंतु अधिक प्राणघातक म्हणजे, हे लिगेसी एपीआय सीमावर्ती एआय सिस्टम्सद्वारे सादर केलेल्या नवीन पुनप्राप्ती पॅराडिमसाठी डिझाइन केलेले नव्हते.

विस्तृत करा

सुरुवातीच्या लोकांसाठी, या लिगेसी एपीआयचे विनंती आणि प्रतिसाद स्वरूप अशा जगासाठी डिझाइन केले गेले होते ज्यामध्ये मानव हे शोध परिणामांचे अनन्य ग्राहक असतील. परिणामी, या एपीआयने उप-दस्तऐवज युनिट्स द्वारे उघड केलेल्या अधिक सूक्ष्म माहितीला वगळून, दस्तऐवज-स्तरीय परिणामांना प्राधान्य दिले. एआय मॉडेलचे यश प्रदान केलेल्या संदर्भाच्या गुणवत्तेवर आणि संक्षेपणावर अवलंबून असते, आणि आम्ही प्रत्यक्ष पाहिले की ओव्हरब्रॉड पुनप्राप्ती कशी एआय मॉडेल्सला पटपट बाहेर काढू शकते, जरी पुनर्प्राप्त केलेले दस्तऐवज संपूर्णपणे संबंधित दिसू शकले तरीही. अयोग्य परिणामांवर अचूकता लागू करण्याचा आमचा प्रयत्न मर्यादित यशाने पुर्ण झाला.

आम्हाला असेही दिसून आले की लिगेसी एपीआय एकतर खूप जुने होते किंवा खूप हळू होते. स्वतंत्रपणे विकसित केलेल्या सर्च एपीआय अशा इंडेक्सवर अवलंबून असतात जे अपूर्ण होते आणि अत्यंत क्वचितच अपडेट केले जात होते. Google Search साठी विविध अनधिकृत SERP एपीआय सारख्या स्क्रॅपिंग-आधारित एपीआयचा अधिक सर्वसमावेशक इंडेक्सचा फायदा झाला परंतु तृतीय-पक्ष शोध इंजिन क्वेरी करण्याच्या अकार्यक्षमतेमुळे अस्वीकार्य उच्च लेटन्सी ऑफर केली. उच्च लेटन्सीमुळे एपीआय वापरकर्त्यासमोरच्या अनुप्रयोगांसाठी अयोग्य बनले, तर जुनेपणाने अचूक आणि विश्वासार्ह होण्याची आशा असलेल्या कोणत्याही एआय सिस्टमसाठी परिणाम संच वापरण्यायोग्य बनवले.

शेवटी, आम्ही एआय इकोसिस्टमला लेक्सिकल शोध आणि सिमेंटिक शोध यांच्यात द्विभाजित होताना पाहिले, ज्या प्रणाली एका तौर-तरीक्यावर जास्त ऑप्टिमाइझ केल्या गेल्या होत्या. आम्ही वेक्टर डेटाबेसचा उदय पाहिला जे साध्या बुलियन फिल्टरला देखील पुरेसे समर्थन देऊ शकत नाहीत. पारंपारिक शोध बॅकएंड्स थोडेसे चांगले गेले, एआय द्वारे अनलॅक केलेल्या सिमेंटिक रँकिंग आणि पुनप्राप्ती संधींसाठी आदिम समर्थनासह.

जसे आम्हाला समजले की Perplexity ला आणखीन चांगले बनवण्यासाठी आमची स्वतःची समर्पित शोध पायाभूत सुविधा तयार करणे आवश्यक आहे, आम्ही आमच्या निरीक्षणांना तीन प्रमुख निकषांमध्ये distill केले:

पूर्णता, ताजेपणा आणि वेग: शोध इंडेक्स सर्वसमावेशक, सतत अद्ययावत आणि रिअलटाइम लेटन्सीसाठी डिझाइन केलेले असणे आवश्यक आहे.

सूक्ष्म-दाणेदार सामग्री समजणे: एआय मॉडेलची नाजूकता आणि मर्यादित संदर्भ विंडोमुळे शोध परिणाम शक्य तितक्या दाणेदार पातळीवर प्रस्तुत आणि रँक करणे आवश्यक आहे.

हायब्रिड पुनप्राप्ती आणि रँकिंग: परिणाम एआयसाठी उपयुक्त ठरण्यासाठी पुनप्राप्ती आणि रँकिंग पाइपलाइन दोन्हीमध्ये लेक्सिकल आणि सिमेंटिक सिग्नल समाविष्ट करणे आवश्यक आहे.

विस्तृत करा

क्रॉलिंग आणि इंडेक्सिंग पायाभूत सुविधा

Perplexity स्केलवर ऑपरेट करण्यासाठी अशा पायाभूत सुविधांची आवश्यकता असते जी वेबला सर्वसमावेशकपणे मॅप करू शकते आणि त्याच्या सतत उत्क्रांतीला प्रतिसाद देऊ शकते. आमची शोध अनुक्रमणिका २०० अब्जापेक्षा जास्त अद्वितीय URL चा मागोवा घेते, ज्यामध्ये आणखी अनेक शेकडो अब्जांचा मागोवा घेण्याची क्षमता आहे.

आमची अनुक्रमणिका इंटरनेटच्या पुरेशा सर्वसमावेशक स्लाईसला कव्हर करते याची खात्री करणे आणि प्रत्येक दस्तऐवज नवीनतम स्थिती प्रतिबिंबित करतो हे एक कठीण कृत्य आहे. पूर्णता आणि ताजेपणा यांच्यात एक अंतर्निहित ताण अस्तित्वात आहे: एका निश्चित इंडेक्सिंग बजेटसाठी, विद्यमान पृष्ठांसाठी रिफ्रेश ऑपरेशन्स नवीन अनव्हिजिटेड पृष्ठांच्या इंडेक्सिंग ऑपरेशन्सशी स्पर्धा करणे आवश्यक आहे. आम्ही स्केलिंग (जे इंडेक्सिंग बजेट वाढवून ऑप्टिमायझेशन मर्यादा शिथिल करते) आणि एमएल-चालित प्राधान्यकरण (जे प्रत्येक इंडेक्सिंग ऑपरेशन संपूर्णपणे अनुक्रमणिकेसाठी जास्तीत जास्त मूल्यवान असल्याची खात्री करते) यांच्या संयोजनाद्वारे या ताणाचा समतोल साधतो.

आम्ही एक एक्साबाइट-स्केल इंडेक्स आणि क्रॉलिंग उपकरण तयार केले आहे जे आकार आणि क्वेरी व्हॉल्यूम दोन्हीसह क्षैतिजपणे स्केल करते. Perplexity चे क्रॉलर आणि इंडेक्सिंग फ्लीट एकत्रितपणे हजारो CPU आणि शेकडो टेराबाईट्स RAM बनवतात, ज्यामध्ये पुढील स्केलिंगसाठी considerable हेडरुम आहे. आम्ही हे संगणक पायाभूत सुविधा कोल्ड आणि वॉर्म स्टोरेजच्या समतोलाशी जोडतो. कोणते दस्तऐवज गरम ठेवले जावे हे निर्धारित करण्यासाठी आम्ही शिकलेले मॉडेल आणि ट्यून केलेले हेुरिस्टिक्स दोन्ही वापरतो, अधिकार क्षेत्रामधील दस्तऐवजांना प्राधान्य देणे, कमी झाकलेल्या विषयांचा समावेश करणारे दस्तऐवज आणि आमची अनुक्रमणिका समृद्ध करण्यासाठी आउटसाईज संभाव्यतेसह इतर श्रेणी.

हे पायाभूत ढांचे Perplexity ला प्रति सेकंद दहा हजारो इंडेक्सिंग ऑपरेशन्स प्रक्रिया करण्यास सक्षम करते. पण या तुलनेने उदार बजेटसहही, इंटरनेटचा आकार इतका विशाल आहे की प्रत्येक एकाच URL चे वारंवार आणि नियमित आधारावर इंडेक्सिंग करणे शक्य नाही. इथेच ML कामी येते. एखाद्या दिलेल्या संभाव्य URL चे इंडेक्सिंग करणे आवश्यक आहे की नाही, याचा अंदाज लावण्यासाठी आम्ही एक ML मॉडेल प्रशिक्षित करतो. प्रशिक्षणाचे उद्दिष्ट असे आखलेले आहे की विशिष्ट URL च्या महत्त्व आणि संभाव्य अद्यतन वारंवारता या दोन्हींच्या दृष्टीने आमचा इंडेक्सिंग निर्णय अचूकपणे समायोजित होईल. इंडेक्सिंग ऑपरेशन कधी अनुसूचित करायचे हे नेमके सांगण्यासाठीही आम्ही ML वर अवलंबून असतो. नियमित प्रकाशन आणि रीफ्रेश चक्र असलेल्या साइट्ससाठी, यामुळे ऑपरेशन्स अशा वेळेपर्यंत पुढे ढकलता येतात जेव्हा त्यांचा सर्वाधिक उपयोग होण्याची शक्यता असते. या ML मॉडेल्सच्या सातत्यपूर्ण परिष्करणामुळे, आम्ही असा इंडेक्स राखू शकतो जो पूर्णता आणि ताजेपणा या दोन्ही निकषांवर योग्य ठरतो.

आमची क्रॉलिंग पायाभूत रचना सहजपणे आडव्या पद्धतीने स्केल होत असली, तरी वेबसाइट ऑपरेटर्सना वेगवेगळ्या तांत्रिक मर्यादा असतात याची आम्हाला जाणीव आहे. कोणत्याही दिलेल्या डोमेनसाठी विनंत्यांचा अंदाजे आणि व्यवस्थापनीय दर राखण्याबाबत आम्ही काळजी घेतो. PerplexityBot, आमचा शोध क्रॉलर, robots.txt फायलींमध्ये स्पष्टपणे नमूद केलेल्या मर्यादांचे पालन करतो, किंवा डोमेन-विशिष्ट मर्यादा नसल्यास, विनंती दरांबाबत उद्योगमान्य मानकांचे पालन करतो. साइट अनुपलब्ध असल्याचे आढळल्यास आम्ही आमचे क्रॉलिंग वर्तनही समायोजित करतो. आमची वितरित प्रणाली दहा हजारो समकालीन ऑपरेशन्समध्येही या मर्यादा लागू राहतील अशा प्रकारे रचना केलेली आहे.

इंटरनेट स्केलवर स्वयं-सुधारित सामग्री समजणे

ग्रहावरील सर्वात मोठ्या आणि ताज्या शोध अनुक्रमणिकांपैकी एकासह, प्रत्येक क्वेरीची निकालाची गुणवत्ता प्रत्येक दस्तऐवजाची सामग्री समजून घेण्यावर अवलंबून असते. येथे, आम्हाला एका मूलभूत आव्हानाचा सामना करावा लागतो: वेब हे एक गोंधळलेले ठिकाण आहे. पार्सिंग नियमांचा कोणताही निश्चित संच संपूर्ण इंटरनेटवर आढळणाऱ्या लेआउट, संरचना आणि शैलींच्या अनन्य विविधतेचा सामना करू शकत नाही.

डायनॅमिक नियम संचांचा वापर करून वेबसाइट्स पार्स करणारी आणि अर्थपूर्ण सामग्री काढणारी सामग्री समजून घेणारे मॉड्यूल विकसित करून आम्ही या आव्हानावर मात केली. सूची किंवा सारणी स्वरूपात चांगल्या प्रकारे संरचित सामग्रीवर भारी असलेली वेबसाइट अधिक सूत्रबद्ध पार्सिंग आणि एक्स्ट्रॅक्शन नियमांचा फायदा घेऊ शकते, तर प्रामुख्याने फ्रीफॉर्म वापरकर्ता-जनरेट केलेली सामग्री वैशिष्ट्यीकृत करणारी दुसरी वेबसाइट सैल नियम संचाची मागणी करू शकते. कारण वेब लहान कालमर्यादेत बहुतांश स्थिर असते, आम्हाला आढळले की दिलेल्या नियमाचे आयुष्य अपेक्षाकृत लांब असते. परंतु जसजसे साइट्स कालांतराने विकसित होतात आणि माहिती काढण्याचे सर्वोत्तम मार्ग आम्हाला समजतात, तसतसे आमच्या नियम संचांना सतत देखभालीची आवश्यकता असते.

या डायनॅमिक अनुकूलनाला सुलभ करण्यासाठी, आम्ही (अर्थातच) एआय कडे वळतो. Perplexity च्या स्केलवर, आम्ही दर तासाला लाखो वापरकर्ता क्वेरी सेवा करण्याच्या प्रक्रियेत वेबचा एक невероят समृद्ध क्रॉस-सेक्शन पाहतो. हा एका इटरेटिव्ह सेल्फ-सुधारणेच्या लूपसाठी पाया बनवतो. आम्ही आमच्या क्वेरी विश्वात आमच्या वर्तमान नियम संचांचे पार्सिंग वर्तन आणि काढलेले आउटपुट पाहतो. त्यानंतर आम्ही दोन प्राथमिक परिमाणांवर कामगिरीचे मूल्यांकन करण्यासाठी फ्रंटियर LLM वापरतो:

पूर्णता: आमच्या अनुक्रमणिकेला शक्य तितकी अर्थपूर्ण सामग्री मिळायला हवी, तर माहिती नसलेल्या किंवा निरर्थक बाबींचे चुकीचे निष्कर्षण टाळले पाहिजे.

गुणवत्ता: आमची अनुक्रमणिका उच्च दर्जाच्या सामग्रीवर अवलंबून असते जी पदार्थ आणि स्वरूप दोन्हीमध्ये उच्च दर्जाची असते. मूळ सामग्रीची रचना आणि लेआउट जतन करणाऱ्या पद्धतीने माहिती कॅप्चर केली पाहिजे.

हे लक्षात घ्या की पूर्णता आणि गुणवत्ता आणखी एक अंतर्निहित ताण सादर करतात: गुणवत्तेसाठी मॅन्युअली ऑप्टिमाइझ करणे शक्य आहे, परंतु परिणामी पार्सिंग नियम महत्त्वपूर्ण सामग्री कॅप्चर करण्यात अयशस्वी होऊ शकतात. त्याचप्रमाणे, आम्ही कमीतकमी गाळण्याची प्रक्रिया कच्च्या सामग्रीवर लागू करणारे परवानगिणारे नियम हँडकोड करू शकतो, जे गुणवत्तेच्या किंमतीवर पूर्णता सुधारू शकतात. म्हणूनच आम्ही आमच्या नियम संचाला एका डोमेन-अनुकूल पद्धतीने एकाच वेळी दोन्हीसाठी ऑप्टिमाइझ करू शकतील अशा प्रकारे विकसित करण्यासाठी एआय-चालित स्वयं-सुधारणेकडे वळतो.

विशेषतः, पार्सिंग कामगिरीच्या प्रत्येक LLM-चालित मूल्यांकनानंतर, आमची सिस्टीम सर्वात महत्त्वपूर्ण त्रुटी वर्गांना संबोधित करण्यासाठी प्रस्तावित नियम संच बदलांचा संच तयार करते. या नियम संचांचे पुढील प्रमाणीकरण होते, त्यानंतर आम्ही आमच्या इंडेक्सजरवर नवीन आवृत्ती तैनात करतो. हे लक्षात घेता की पार्सिंग आणि एक्स्ट्रॅक्शन लॉजिकमधील सुधारणा केवळ भविष्यातील इंडेक्सिंग ऑपरेशन्सना फायदा करू शकतात, एमएल-ऑप्टिमाइझ्ड रीइंडेक्सिंगमधील आमची गुंतवणूक विशेषतः महत्त्वाची आहे: या लॉजिकच्या नवीनतम आवृत्तीचा वापर करून उच्च-रहदारी दस्तऐवजांचे सतत रीफ्रेश करणे एक घट्ट स्वयं-सुधारणेचे लूप सुनिश्चित करते.

हे नियम केवळ बेसलाइन पार्सिंग कामगिरीसाठीच नाही तर उप-दस्तऐवज युनिट्समध्ये विभागणीसाठी देखील महत्त्वाचे आहेत. जेव्हा सीमावर्ती LLM चा विचार केला जातो, तेव्हा संदर्भाचा प्रत्येक टोकन मौल्यवान असतो. मागील कामाच्या एका मोठ्या शरीराने दस्तऐवजीकरण केले आहे की संदर्भाच्या आकारात वाढ झाल्यास आणि अप्रासंगिक माहितीसह संदर्भाचे प्रदूषण झाल्यास LLM कामगिरी कशी कमी होते. सु-संरचित, सर्वसमावेशक पार्सिंग असल्यामुळे आम्हाला दस्तऐवजांना स्वयंपूर्ण स्पॅनमध्ये विघटित करण्याची परवानगी मिळते, ज्यापैकी प्रत्येकाची क्वेरी वेळी वैयक्तिकरित्या पुनर्संचयन आणि रँक केली जाऊ शकते.

पुनप्राप्ती आणि रँकिंग पाइपलाइन

आधुनिक शोधासाठी घट्ट लेटन्सी बजेट अंतर्गत पूर्णता आणि प्रासंगिकता दोन्ही सुनिश्चित करणे आवश्यक आहे. Perplexity ची पुनप्राप्ती आणि रँकिंग पाइपलाइन बहु-स्तरीय वास्तुकलेद्वारे हे साध्य करते जे अधिकाधिक अत्याधुनिक मॉडेल्सच्या मालिकेसह परिणामांना प्रगतशीलपणे परिष्कृत करते. आम्ही कोणत्याही संभाव्य चोकपॉइंट्सना जास्तीत जास्त प्रमाणात क्षैतिजपणे स्केल करून संभाव्य बॉटलनेक्सचे निराकरण करतो.

पाइपलाइन आमच्या अनुक्रमणिकेतून पुनप्राप्तीसह सुरू होते. आम्ही लेक्सिकल आणि सिमेंटिक पुनप्राप्ती यांच्यातील निवडीची सक्ती करत नाही. त्याऐवजी, आम्ही दोन्ही पद्धतींद्वारे शोध अनुक्रमणिका क्वेरी करतो आणि हायब्रिड उमेदवार संचामध्ये परिणाम विलीन करतो. या टप्प्यावर, प्राधान्य अचूकतेपेक्षा सर्वसमावेशकता आहे - पाइपलाइनचे नंतरचे टप्पे अचूकतेसाठी ऑप्टिमाइझ केले जातील.

पाइपलाइन प्रीफिल्टरिंग टप्प्यांसह सुरू राहते, ज्यामध्ये आम्ही उमेदवार संचामधून स्पष्टपणे अनुत्पादक किंवा जुनी सामग्री काढण्यासाठी मूलभूत हेुरिस्टिक्स आणि प्रथम-कट फिल्टर लागू करतो.

त्यानंतर आम्ही प्रगतशील प्रगत रँकिंगचे अनेक टप्पे वापरतो. पूर्वीचे टप्पे वेगासाठी ऑप्टिमाइझ केलेल्या लेक्सिकल आणि एम्बेडिंग-आधारित स्कोरर्सवर अवलंबून असतात. जसे उमेदवार संच हळूहळू कमी केला जातो, त्यानंतर आम्ही परिणाम संचाचे अंतिम शिल्पकला करण्यासाठी अधिक शक्तिशाली क्रॉस-एनकोडर रँकर मॉडेल्स वापरतो. इन्फरन्स कामगिरीमधील आमच्या असंख्य गुंतवणुकीबद्दल धन्यवाद, आम्ही एकूण रँकिंग लेटन्सी कमी ठेवताना या नंतरच्या टप्प्यांसाठी अत्याधुनिक मॉडेल आर्किटेक्चरचा लाभ घेण्यास सक्षम आहोत.

या पाइपलाइन संपूर्ण, आम्ही दस्तऐवज आणि उप-दस्तऐवज दोन्ही स्तरांवर परिणाम पुनर्संचयन आणि स्कोअर करतो. चर्चा केल्याप्रमाणे, एआयला काळजीपूर्वक संदर्भ अभियांत्रिकीची आवश्यकता असते. आमची पाइपलाइन मॉडेलसाठी शक्य तितके सर्वात अणु युनिट्स समोर आणण्यासाठी डिझाइन केली आहे, जेणेकरून डाउनस्ट्रीम ग्राहक स्त्रोत दस्तऐवजांमधून इतर ठिकाणाहून अप्रासंगिक संदर्भ न ओढता त्या अचूक युनिट्सचा समावेश करू शकतील.

या पाइपलाइनच्या प्रत्येक टप्प्यात उच्च गुणवत्ता सुनिश्चित करणे केवळ Perplexity च्या उत्पादनांच्या पोर्टफोलिओसह सह-डिझाइनद्वारेच शक्य आहे. रँकिंग स्टॅकचा प्रत्येक तपशील दिवसाच्या प्रत्येक तासाला आम्ही सेवा देणाऱ्या लाखो वापरकर्ता विनंत्यांद्वारे उत्पादित समृद्ध सिग्नलचा लाभ घेण्यासाठी डिझाइन केला आहे. या सिग्नलचा मोठा भाग स्वयंचलित आहे, प्रत्येक व्युत्पन्न Perplexity उत्तर थेट एजंट वर्कफ्लोमध्ये वापरल्याप्रमाणे शोध गुणवत्तेवर एक अनुभवजन्य डेटापॉइंट प्रदान करते. आम्ही मॅन्युअली तयार केलेल्या कोणत्याही डेटासेटपेक्षा कितीतरी पटीने आमच्या एम्बेडिंग आणि रँकिंग मॉडेल्ससाठी प्रशिक्षण डेटा समृद्ध करण्यासाठी थेट मानवी अभिप्रायासह एआय-चालित मूल्यमापन एकत्र करतो.

शोध आणि उत्पादन यांच्यातील हा समन्वय Perplexity साठी अद्वितीय आहे. लिगेसी शोध इंजिने ब्लू-लिंक टेलिमेट्री द्वारे प्रदान केलेल्या खडबडीत सिग्नलपुरती मर्यादित आहेत. नवीन शोध ऑफरिंगने या एआय-फॉरवर्ड संकल्पनांपैकी काही लागू करण्याचा प्रयत्न केला आहे, परंतु त्यांच्याकडे वास्तविक जगातील वातावरण नाही जे शोध गुणवत्तेचे प्रमाणीकरण करू शकतात आणि जलद सुधारणा लूपसाठी आवश्यक असलेल्या सिग्नलची समृद्धता प्रदान करू शकतात. आमच्याकडे गहाळ घटक असल्याने आम्ही भाग्यवान आहोत: शोध गुणवत्तेसाठी थेट सिद्ध करणारी जमीन, जी फ्रंटियर LLM द्वारे समर्थित आहे आणि जगभरातील लाखो उत्सुक वापरकर्त्यांद्वारे सतत युद्ध-चाचणी केली जाते.

गुणवत्ता आणि कामगिरीसाठी एक नवीन सीमा स्थापित करणे

जगभरातील डेव्हलपरसाठी आमची शोध पायाभूत सुविधा उपलब्ध करून देण्यासाठी Perplexity Search API आणि SDK तयार केल्यानंतर, आम्हाला हे समजायचे होते की विविध व्यावसायिक एपीआय ऑफरिंग वास्तविक जगातील एआय वापर प्रकरणांमध्ये कसे मोजले जातात. एआय मॉडेल्स स्वतःचे मूल्यांकन करणे सामान्य झाले आहे, परंतु आम्हाला या पॅटर्नवर एक ट्विस्ट हवा होता: एआय मॉडेल्सद्वारे कॉल केल्यावर सर्च एपीआयच्या गुणवत्तेचे मूल्यांकन करणे.

मागील कलेचे समजून घेण्यासाठी आम्ही प्रथम ओपन-सोर्स इकोसिस्टमकडे पाहिले. आम्हाला कठोर मूल्यांकनासाठी अनेक प्रमुख घटक आढळले, परंतु असे कोणतेही फ्रेमवर्क नाही जे या घटकांना प्लग-अँड-प्ले बेंचमार्किंग सोल्यूशनमध्ये समाकलित करते. त्यामुळे आम्ही एक मूल्यांकन फ्रेमवर्क विकसित करण्याचे ठरवले जे केवळ Perplexity द्वारेच नाही, तर सर्च एपीआय बेंचमार्क करण्याचा प्रयत्न करणाऱ्या कोणत्याही संशोधक किंवा डेव्हलपर द्वारे वापरले जाऊ शकते.

या मूल्यांकन फ्रेमवर्कचा वापर करून, आम्ही इतर ऑफरिंग सोबत Perplexity Search API चे कठोरपणे बेंचमार्क केले. शोध कामगिरी ऑप्टिमाइझ करणे जटिल आहे, गुणवत्ता आणि वेग यांच्यात अनेक सूक्ष्म ट्रेडऑफ आहेत. डेव्हलपरसाठी विजयामध्ये, आम्हाला आढळले की Perplexity Search API गुणवत्ता आणि लेटन्सी दोन्हीसाठी नवीन अत्याधुनिक सेट करते. डेव्हलपरना आता अत्यंत वेगवान अनुप्रयोग तयार करणे आणि उच्च-गुणवत्तेचे परिणाम सुनिश्चित करणे यापैकी एक निवडण्याची आवश्यकता नाही: Perplexity सह, त्यांना दोन्ही मिळू शकतात.

विस्तृत करा

एजंट शोध वर्कफ्लोसाठी विश्वासार्ह मूल्यांकनांची रचना करणे

आमच्या मूल्यांकन फ्रेमवर्कसाठी तीन मार्गदर्शक तत्त्वे परिभाषित करून आम्ही सुरुवात केली:

जटिलतेचा स्पेक्ट्रम: मूल्यांकन फ्रेमवर्कने सरळ आणि जटिल एजंट एआय वापर प्रकरणांवर कामगिरी मोजली पाहिजे.

तटस्थता: मूल्यांकन फ्रेमवर्कने समान पायावर सर्व एपीआयचे मूल्यांकन केले पाहिजे.

साधेपणा: जरी विशिष्ट वापर प्रकरणे जटिल असू शकतात, तरी फ्रेमवर्क स्वतः शक्य तितके सोपे असावे जेणेकरून इतर ते समजू शकतील, परिणाम पुनउत्पादित करू शकतील आणि किमान कंटाळवाण्याने फ्रेमवर्क वाढवू शकतील.

आमचे हलके मूल्यांकन फ्रेमवर्क, search_evals, एका साध्या मॉड्यूलर डिझाइनद्वारे हे उद्दिष्ट साध्य करते. आम्ही क्लासिकल सिंगल-शॉट शोध वापर प्रकरणे आणि प्रगत एजंट वर्कफ्लो (उपभोक्ता बाजारात व्यापकपणे उपलब्ध विविध "खोल संशोधन" उत्पादनांद्वारे उदाहरणादाखल) दोन्ही कॅप्चर करण्यासाठी दोन एआय एजंट हार्नेस विकसित केले. दोन्ही हार्नेस एका सरळ पद्धतीने लागू केले गेले ज्यामध्ये लपलेल्या फायद्यासाठी थोडी जागा शिल्लक आहे.

आमच्या मूल्यांकनांना चालना देण्यासाठी, आम्ही चार बेंचमार्क स्वीकारले: एकल-चरण शोधासाठी SimpleQA आणि FRAMES, तसेच खोल संशोधनासाठी BrowseComp आणि HLE. एकत्रितपणे, हे बेंचमार्क ज्ञान एजंटसाठी चांगले-स्वीकृत मापदंड प्रदान करतात. प्रस्थापित संमेलनाचे अनुसरण करून, आम्ही मूळ कामात वापरल्या गेलेल्या समान प्रॉम्प्ट केलेल्या वर्गाकार पद्धतीचा वापर करून सर्व बेंचमार्कचे श्रेणीकरण करतो. अचूक बेंचमार्क अंमलबजावणी (वर्गकर्ता तर्कशास्त्र सह) आमच्या GitHub रेपोमध्ये पुनरावलोकन केले जाऊ शकते.

आम्ही पुनरुत्पादकता आणि विस्तारितते लक्षात घेऊन फ्रेमवर्कची रचना केली. कार्य-स्तरीय स्कोअर आणि अंतर्निहित एजंट आउटपुट प्रत्येक चालनासह साठवले जातात. अतिरिक्त हार्नेस, बेंचमार्क आणि सर्च एपीआय ऑफरिंग सहजपणे समाकलित केले जाऊ शकतात. संशोधक आणि डेव्हलपर तुमच्या अचूक गरजा पूर्ण करण्यासाठी फ्रेमवर्क वाढवण्याबद्दल अधिक माहितीसाठी आमचे GitHub दस्तऐवज वाचू शकतात.

मूल्यांकन परिणाम

या मूल्यांकन फ्रेमवर्कने सशस्त्र, आम्ही इतर एपीआय ऑफरिंगच्या तुलनेत आमच्या सर्च एपीआयचे मूल्यांकन करण्यासाठी सुरुवात केली. सर्व चाचणी केलेल्या बेंचमार्कवर, Perplexity बाजारात सर्वात वेगवान आणि उच्च-गुणवत्तेचा एपीआय म्हणून उभा आहे.

विस्तृत करा

आमच्या वरील वर्णनानुसार इंडेक्स, पुनप्राप्ती आणि रँकिंग कार्यक्षमतेतील गुंतवणुकीची उत्तम परतफेड झाली असे आम्हाला आढळले. Perplexity चे मध्यवर्ती लेटन्सी ३५८ms वर घडते, जे दुसऱ्या-सर्वात वेगवान प्रदात्याच्या १५०ms पेक्षा जास्त पुढे आहे. ९५ व्या-पर्सेंटाइल लेटन्सी आरामात ८००ms च्या खाली राहते. आजच्या सीमावर्ती मॉडेल्सच्या लांब TTFT (टाइम-टू-फर्स्ट-टोकन) मेट्रिक्ससह, आनंदी वापरकर्ता अनुभव तयार करण्यात प्रत्येक मिलिसेकंद महत्त्वाचा असतो. आम्ही आमच्या स्वतःच्या वापरकर्त्यांसाठी लेटन्सी ऑप्टिमाइझ करण्यात मागील दोन वर्षे घालवली आहेत, आणि आम्हाला आनंद आहे की तीच गुंतवणूक आता डेव्हलपर समुदायाला देखील फायदा करेल.

सर्च एपीआय लेटन्सी

(AWS us-east-1 वरून सुरू केलेल्या विनंत्या)

AWS us-east-1 येथून सुरू झालेल्या विनंत्यांसाठी Search API विलंबाच्या टक्केवारी.

* बरेच सर्च एपीआय विक्रेते त्यांच्या परिणामांचा आधार म्हणून SERP स्क्रॅपिंग वापरतात. अशा पद्धतींची कामगिरी कॅप्चर करण्यासाठी, आम्ही Tavily द्वारे ऑफर केलेले प्रतिनिधी Google SERP-आधारित एपीआय वापरतो.

हा वेगाचा फायदा गुणवत्तेच्या किंमतीवर येत नाही. Perplexity Search API एकल-चरण शोध आणि खोल संशोधन दोन्ही सेटिंग्जमध्ये अत्याधुनिक कामगिरी उत्पन्न करते. प्रत्येक चाचणी केलेल्या बेंचमार्कवर, Perplexity विविध जटिलतेच्या एआय वर्कफ्लोला शक्ती देऊ शकणारी उच्च-गुणवत्तेची परिणाम प्रदान करण्यात पॅकचे नेतृत्व करते. SimpleQA आणि HLE वर Perplexity आणि सर्वोत्तम पर्याय यांच्यातील अंतर विशेषतः स्पष्ट आहे, जे दर्शविते की हे परिणाम कार्य जटिलतेच्या स्पेक्ट्रममध्ये मजबूत आहेत.

विस्तृत करा

विलंबतेप्रमाणेच, शोध गुणवत्तेतील आमचे नेतृत्व हे आकर्षक, उच्च-ट्रॅफिक असलेली AI उत्पादने उभारण्यात आमच्या नेतृत्वातून पुढे येते. आमचे लाखो वापरकर्ते प्रत्येक कल्पनीय विषयावरील त्यांची जिज्ञासा पूर्ण करण्यासाठी Perplexity वापरतात, आणि त्यातून निर्माण होणारे गुणवत्ता आणि सुसंगततेचे संकेत आमच्या शोध मॉडेल्सना प्रत्येक जाणाऱ्या तासागणिक अधिक चांगले होण्यास मदत करतात.

सर्च एपीआय गुणवत्ता बेंचमार्क

SimpleQA, FRAMES, BrowseComp, आणि HLE वरील Search API गुणवत्ता गुण.

आम्ही अजूनही एआय-नेटिव्ह शोध इंजिनच्या सुरुवातीच्या काळात आहोत, आणि मोजमापाची कला आणि विज्ञान यात शंका नाही विकसित होईल. आम्ही समुदायाला एआय एजंटच्या युगात शोध इंजिनांचे मूल्यांकन करण्यासाठी कठोर आणि सर्जनशील पद्धती विकसित करून योगदान देण्यासाठी आमंत्रण देतो.

एआयच्या पुढील अध्यायासाठी बिल्डिंग ब्लॉक

एजंट सिस्टीम आणि बुद्धिमान सहाय्यकांच्या भविष्यावर जगाच्या सामूहिक ज्ञानामध्ये समृद्ध प्रोग्रामेटिक इंटरफेसची उपलब्धता अवलंबून असेल. आजची लिगेसी शोध इंजिने दररोज अंदाजे १०¹⁰ क्वेरींवर वापरतात, एक आकडा जो कदाचित शिखरावर पोहोचला आहे. शोध आणि पुनप्राप्ती प्रणालीची पुढील पिढी ऑर्डर्स ऑफ मॅग्नीट्युड अधिक विनंत्यांची सेवा करेल, कारण एआय एजंट्सचे सतत वाढणारे विश्व अचूक रिअलटाइम माहितीसाठी त्यांच्यावर अवलंबून असते.

आजपर्यंतच्या आमच्या प्रयत्नांनी आम्हाला API द्वारे उपलब्ध असलेला सर्वात वेगवान, सर्वाधिक कार्यक्षम शोध इंजिन म्हणून स्थान दिले आहे. पण AI च्या पुढील अध्यायाला चालना देण्यासाठी आणखी महत्त्वाकांक्षी नवोपक्रमांची गरज भासेल. सातत्याने वाढणाऱ्या मागणीच्या पार्श्वभूमीवर आपण ही प्रणाली कार्यक्षमतेने कशी स्केल करू? context engineering आणि posttraining मधील नव्या दृष्टिकोनांच्या प्रकाशात या शोध प्रणाली कशा अनुकूलित करता येतील? आणि सर्वसमावेशकता, अद्ययावतपणा आणि विलंबता यांच्यातील सदैव उपस्थित ताणतणावातून आपण कसे मार्ग काढू? हे खुले प्रश्न आहेत ज्यांना Perplexity, आमचा उत्पादन विस्तार, प्रमाण आणि तांत्रिक प्रतिभा यांचा संगम लक्षात घेता, हाताळण्यासाठी अद्वितीयरीत्या सक्षम आहे.

उद्धरण

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}