Search API: उत्तम निष्कर्षण, डायनॅमिक बेंचमार्क

सप्टेंबरमध्ये, आम्ही Perplexity Search API आर्किटेक्चरचा एक तांत्रिक आढावा प्रसिद्ध केला आणि एजंटेड वर्कफ्लोमध्ये शोध APIs चा अभ्यास करण्यासाठी आमची ओपन-सोर्स मूल्यमापन फ्रेमवर्क search_evals रिलीज केली. तेव्हापासून, सर्वात महत्त्वाची गुंतवणूक स्निपेट गुणवत्तेमध्ये झाली आहे, जी दोन परिमाणांवर अनुकूलित केली आहे: प्रासंगिकता आणि आकार. योग्य सामग्री योग्य प्रमाणात परत करणे थेट डाउनस्ट्रीम उत्तर अचूकता आणि टोकन कार्यक्षमता निर्धारित करते. ते साध्य करण्याच्या कामात निष्कर्षण, स्पॅन-स्तरीय लेबलिंग आणि मूल्यमापन करण्यासाठी नवीन प्रणाली तयार करणे समाविष्ट होते, विशेषतः स्पॅन-लेबलिंग पाइपलाइन जी ओळखते की स्त्रोत दस्तऐवजाचे कोणते भाग दिलेल्या क्वेरीला प्रतिसाद देतात.

स्पॅन स्तरावर स्निपेट्सचे मूल्यमापन करणे

स्निपेट्स पद्धतशीरपणे सुधारण्यासाठी, आम्ही एक नवीन मूल्यमापन प्रणाली तयार केली आहे. दिलेल्या क्वेरी आणि दस्तऐवजासाठी, प्रणाली क्वेरीशी त्यांच्या संबंधानुसार दस्तऐवजातील स्पॅन ओळखते आणि लेबल करते: "महत्त्वाचे" स्पॅन जे स्निपेटमध्ये समाविष्ट केले जाणे आवश्यक आहे, "असंबंधित" स्पॅनचे विविध वर्ग जे वगळले जावे, डुप्लिकेट्स आणि इतर श्रेणी. हे स्पॅन-स्तरीय लेबलिंग आम्हाला स्निपेट गुणवत्तेचे अशा अचूकतेने मूल्यमापन करण्यास अनुमती देते जे यापूर्वी शक्य नव्हते, ज्यामध्ये काय योग्यरित्या समाविष्ट केले गेले आणि काय योग्यरित्या वगळले गेले याचे मोजमाप केले जाते.

प्रत्यक्षात, या सुधारणांमुळे आम्हाला लहान स्निपेट्स तयार करण्याची परवानगी मिळते जे क्वेरीशी अधिक संबंधित आहेत. आमची स्वयंप्रतिष्ठित सामग्री समजून घेण्याची पाइपलाइन आता सारण्या, नेस्टेड सूची आणि गतिशीलपणे प्रस्तुत केलेली सामग्री यासह विस्तृत श्रेणीच्या संरचित डेटा स्वरूपना हाताळते जी मागील नियम संच विश्वासार्हपणे पार करण्यात अपयशी ठरले.

या सुधारणा आमच्या स्वतःच्या उत्पादन प्रणालींमधून उद्भवल्या. आमच्या अंतर्गत संशोधनाने स्निपेट प्रासंगिकता आणि आकारमान पुढे नेल्यामुळे, गुणवत्ता सुधारणांच्या मालिकेनंतर लहान सामग्री बजेटने प्रत्यक्षात अधिक अचूक परिणाम तयार केले असल्याचे अंतर्गत मूल्यमापनातून दिसून आले. आमच्या निष्कर्षांचे प्रतिबिंबित करण्यासाठी आम्ही आमच्या डीफॉल्ट कॉन्फिगरेशनमध्ये काही बदल केले, ज्यामुळे प्रति निकाल अधिक उपयुक्त सामग्री वितरीत करताना प्रतिसाद 페लोलोड आकार आणि विलंब कमी झाला. विकासकांसाठी, लहान, अधिक संबंधित स्निपेट्स थेट कमी टोकन खर्च आणि डाउनस्ट्रीम LLMs साठी चांगल्या संदर्भ व्यवस्थापनात रूपांतरित होतात.

SEAL: वेळेनुसार संवेदनशील पुनर्प्राप्तीचे बेंचमार्क करणे

SEAL बेंचमार्क चाचणी करतो की एखाdi पुनर्प्राप्ती प्रणाली अशा प्रश्नांची उत्तरे देऊ शकते ज्यांचे अचूक उत्तर कालांतराने बदलते. विश्वासार्हपणे उत्तर देण्यासाठी रिअल-टाइम इंडेक्स ताजेपणा, विविध सतत अद्यतनित डेटा स्रोतांकडून स्निपेट निष्कर्षण, आणि पार्सिंग जे ऐतिहासिक मूल्याऐवजी वर्तमान मूल्य ओळखू शकते याची आवश्यकता असते.

जेव्हा आम्ही Claude Sonnet 4.5 वापरून २२ फेब्रुवारीच्या SEAL रिलीज विरुद्ध search_evals चालवले, तेव्हा SEAL-Hard वर इतर प्रदात्यांमध्ये घट झाली असताना Perplexity चे गुण वाढले:

विस्तृत करा

आमच्या सप्टेंबरच्या पोस्टमध्ये अहवाल दिलेल्या बेंचमार्कसह SEAL समाविष्ट करण्यासाठी आम्ही आमची search_evals फ्रेमवर्क विस्तारित केली आहे. अद्यतनित परिणाम आणि पद्धतशास्त्र GitHub मधील अद्यतनित रिपॉझिटरी मध्ये उपलब्ध आहे.

मल्टी-क्वेरी समर्थन

API आता एकाच विनंतीमध्ये ५ पर्यंत क्वेरींना समर्थन देते. परिणाम प्रत्येक क्वेरीसाठी त्याच क्रमाने परत केले जातात ज्या क्रमाने ते सबमिट केले गेले होते. यामुळे समांतरपणे संबंधित शोध जारी करणे आवश्यक असलेल्या अनुप्रयोगांसाठी राउंड ट्रिप कमी होतात, जसे की एजंट जे एका जटिल प्रश्नाला अनेक पुनर्प्राप्ती उप-कार्यांमध्ये विभक्त करतात.

विस्तारित फिल्टरिंग

डोमेन फिल्टरिंग (अलोलिस्ट आणि डेलिस्ट, २० डोमेनपर्यंत) आणि रेकन्सी फिल्टरिंग व्यतिरिक्त, API आता ISO 639-1 कोडद्वारे भाषा फिल्टरिंग आणि ISO देश कोडद्वारे प्रादेशिक शोधास समर्थन देते. परिणाम अचूकपणे मर्यादित करण्यासाठी हे एकत्र केले जाऊ शकतात, उदाहरणार्थ जर्मन डोमेनवरील इंग्रजी भाषेतील निकालांपर्यंत मर्यादित करणे.

SDK आणि उपलब्धता

Python SDK (pip install perplexityai) आता Agent API आणि Sonar API सोबत Search API साठी मूळ समर्थन प्रदान करते.

संपूर्ण दस्तऐवजीकरण docs.perplexity.ai येथे आहे