स्वतः सुधारणारी कौशल्ये
Perplexity Brain अनुभवातून वारंवार येणाऱ्या कार्यपद्धती कशा शिकते आणि त्या अद्ययावत कशा ठेवते.
प्रस्तावना
वापरकर्त्यांची वर्कफ्लो-विशिष्ट प्राधान्ये आणि आवश्यकता असतात, ज्या सामान्य-उद्देशीय मॉडेलला आधीच माहीत असू शकत नाहीत. वापरकर्त्याला प्रत्येक सत्रात तीच प्रक्रिया समजावून सांगायला किंवा त्याच दुरुस्त्या करायला लावण्याऐवजी, आपले काम वापरकर्त्याशी जुळवून घेण्यासाठी एजंटने हे तपशील शिकणे आवश्यक आहे. सतत शिक्षण हे शक्य करते: पूर्ण झालेल्या कार्यांमधील अनुभवाने एजंट भविष्यातील कामाकडे कसे पाहतो हे ठरवायला हवे.
Computer ची वैयक्तिकृत स्व-सुधारणा प्रणाली असलेली Brain अनुभवातून शिकणे शक्य करते. ती आधीच एक संरचित नॉलेज विकी राखते, जी वापरकर्ता आणि त्यांच्या कामाविषयीची माहिती तिला आधार देणाऱ्या पुराव्यांशी जोडते. नवीन माहिती जमा होत जाते तसे बॅकग्राउंड एजंट विकी अपडेट करतात, त्यामुळे मेमरी प्रणाली कालांतराने सुधारते.
एजंट कौशल्ये मूलभूत मॉडेल न बदलता एजंटच्या वर्तनाला मार्गदर्शन करण्याचा आणखी एक मार्ग देतात. कौशल्ये म्हणजे पुनर्वापरयोग्य सूचना, ज्या एजंटला विशिष्ट कार्यांमध्ये मार्गदर्शन करतात. वारंवार होणाऱ्या वर्कफ्लोसाठीच्या आवश्यकता आणि सहाय्यक संसाधने त्या टिपतात, जी अन्यथा एजंटला मेमरीमधून अनुमानित करावी लागली असती किंवा प्रत्येक वेळी वापरकर्त्याकडून मिळवावी लागली असती; यामुळे प्रशिक्षण-वितरणाबाहेरील कार्यांवरील कार्यक्षमता सुधारते. त्यांत पुनरावृत्त प्रक्रियांसाठी किंवा कोडमध्ये विश्वासार्हपणे मांडता येणाऱ्या डेटा प्रक्रियेसाठी स्क्रिप्ट्सही असू शकतात, जेणेकरून लागू असताना एजंट फक्त त्या स्क्रिप्ट्स चालवू शकेल. हार्नेस उपलब्ध कौशल्ये शोधण्यायोग्य बनवते आणि एजंटने विनंती केल्यावर त्यांच्या सूचना संदर्भात लोड करते. प्रॉम्प्टमध्ये कोणती कौशल्ये वापरायची हे वापरकर्ते थेट नमूद करू शकतात.
एजंट कौशल्ये स्वयंचलितपणे तयार आणि अपडेट करण्यासाठी आम्ही Brain चा विस्तार करत आहोत. वापरकर्त्याच्या वर्कफ्लोसाठीच्या प्रक्रिया टिपणारी वैयक्तिक कौशल्ये लिहिण्यासाठी आणि परिष्कृत करण्यासाठी Brain त्या वापरकर्त्याच्या मेमरी आणि सत्र इतिहासाचा आधार घेते. प्रत्येक Perplexity वापरकर्त्यासाठी उपलब्ध असलेली अंगभूत कौशल्ये सर्व सत्रांमधील एकत्रित पॅटर्नच्या आधारे अपडेट करण्यासाठी आम्ही असाच दृष्टिकोन वापरतो.
आम्ही प्रथम सर्व कौशल्य प्रकारांमध्ये सामायिक असलेल्या आमच्या स्व-सुधारणा इंजिनचे वर्णन करतो, आणि ते वैयक्तिक व अंगभूत कौशल्यांसाठी कसे कार्य करते हे स्पष्ट करतो.
सामायिक स्व-सुधारणा इंजिन
नवीन प्राधान्ये उदयास आल्यावर किंवा अनुभवातून सूचनांमधील उणिवा लक्षात आल्यावर उपयुक्त कौशल्यातही बदल होणे आवश्यक असते. पुढच्या वेळी Computer समोर तत्सम कार्य आल्यावर एजंटच्या वर्तनात कसा बदल व्हायला हवा हे शोधणे, आणि इच्छित परिणाम अधिक चांगल्या प्रकारे साध्य करण्यासाठी कौशल्यात कसा बदल करायला हवा हे ठरवणे, ही Brain ची जबाबदारी आहे.
ही सुधारणा प्रक्रिया चार टप्प्यांचे एक चक्र तयार करते:
- पुरावा. Brain कौशल्य वापरले गेलेली मागील सत्रे शोधते, विशेषतः ज्यांमध्ये ते अपुरे ठरले.
- चिंतन. एक सुधारणा एजंट त्या पुराव्यांचा अभ्यास करतो आणि कौशल्यासाठी अपडेट्स प्रस्तावित करतो.
- पडताळणी. प्रस्ताव योग्य स्वरूपात आहे आणि त्यामुळे परिणाम सुधारण्याची शक्यता आहे, याची तपासण्यांद्वारे खात्री केली जाते.
- सक्रियण. पडताळलेला बदल लागू केला जातो. भविष्यातील सत्रे नवीन आवृत्ती वापरतात, ज्यामुळे पुढील फेरीसाठी पुरावे मिळतात.
हे चक्र Computer आणि Brain साठी तयार केलेल्या अनेक विद्यमान क्षमतांवर अवलंबून आहे. येथे, आम्ही पुरावा आणि चिंतन शक्य करणाऱ्या सामायिक यंत्रणेचे वर्णन करतो. एखादा बदल एका वापरकर्त्यापर्यंत पोहोचतो की प्रत्येक Perplexity वापरकर्त्यापर्यंत, यावर पडताळणी आणि सक्रियण प्रक्रिया अवलंबून असतात, म्हणून त्यांची चर्चा आम्ही वैयक्तिक आणि अंगभूत कौशल्य सुधारणा चक्रांवरील पुढील विभागांमध्ये करतो.
मागील सत्रांमधील पुरावे
चिंतनासाठी कौशल्य वापरले गेलेली सत्रे शोधणे आवश्यक असते, विशेषतः ज्यांमध्ये सुधारणेला वाव आहे. Computer हार्नेस हे शक्य करणारे संकेत नोंदवते. एजंट एखादे कौशल्य लोड करतो तेव्हा, हार्नेस कौशल्याला सत्राशी जोडणारी कौशल्य-लोड घटना नोंदवते. जेव्हा एजंटला वापरकर्त्याची निराशा, बिघडलेले वर्तन किंवा स्पष्ट अकार्यक्षमता दिसते, तेव्हा एजंट एक लहान, संरचित निदान नोंदवतो आणि हार्नेस वापरात असलेली कौशल्ये त्याला जोडते. ही नोंद विशेषतः अंगभूत कौशल्यांसाठी उपयुक्त आहे, जिथे कोणतेही सत्र संभाव्यतः संबंधित असू शकते, त्यामुळे पुराव्यांचा संच पटकन मर्यादित करण्याचा मार्ग प्रणालीला आवश्यक असतो.
निकाल किंवा लहान सारांशाच्या आधारे निर्णय घेण्याऐवजी संपूर्ण नोंदीत प्रवेश मिळाल्याने एजंटना फायदा होतो. Computer मागील सत्रे प्रदाता-निरपेक्ष ट्रॅजेक्टरी स्वरूपात साठवते, ज्यात संदेश, टूल कॉल, कारणमीमांसा आणि निकाल समाविष्ट असतात. आम्ही कमांड-लाइन टूल्सचा एक संचही तयार केला आहे, ज्याचा वापर करून एजंट या ट्रॅजेक्टरी डीकोड करू शकतात आणि संपूर्ण सत्रांची पुनर्रचना करू शकतात. यामुळे चिंतन एजंटला विशिष्ट कौशल्य लोड आणि टूल कॉल तपासता येतात, आणि समस्या नेमक्या कुठे आल्या किंवा सुधारणा कुठे करता येतील ते बिंदू ओळखता येतात.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlComputer च्या अंतर्गत ट्रॅजेक्टरी-तपासणी साधनांच्या वापराचे उदाहरण. स्पष्टीकरणासाठी पाथ आणि आयडेंटिफायर सोपे केले आहेत; कमांडची नावे आणि आर्ग्युमेंट्स प्रत्यक्ष अंमलबजावणीनुसार आहेत.
बॅकग्राउंड एजंटसह चिंतन
प्रत्येक वापरकर्त्यासाठी अनुभव सतत ऑप्टिमाइझ करण्यासाठी Brain बॅकग्राउंड एजंटच्या टीमचा वापर करते. उदाहरणार्थ, Dream एजंट नॉलेज विकी अपडेट करण्यासाठी जमा झालेल्या अनुभवाचे पुनरावलोकन करतात. त्याचप्रमाणे, कौशल्य सुधारणा ही सुधारणा एजंटद्वारे चालते, जे अपडेट्स प्रस्तावित करण्यासाठी कौशल्य-वापराच्या पुराव्यांवर चिंतन करतात.
प्रत्येक एजंट स्वतःच्या सँडबॉक्समध्ये फ्रंटियर मॉडेल, संबंधित पुरावे आणि सध्याची कौशल्य लायब्ररी यांसह, प्लगइन्स आणि कौशल्यांच्या मार्गदर्शनाखाली काम करतो. कोणती सत्रे वाचायची हे तो ठरवतो, प्रत्येकातून एक ठोस धडा काढतो, आणि ज्या धड्यांसाठी समान पुनर्वापरयोग्य वर्तन आवश्यक आहे त्यांचे गट करतो. एका अपयशावरील उपाय दुसऱ्या सूचनेशी विसंगत ठरू शकतो किंवा इतरत्र काम वाढवू शकतो, म्हणून संपादन प्रस्तावित करण्यापूर्वी तो संपूर्ण कौशल्य वाचतो, आणि पुरावे संपादनाला समर्थन देत नसतील तेव्हा प्रस्ताव देणे टाळतो.
सुधारणा एजंट Computer सारख्याच हार्नेसवर चालतात. आम्ही हार्नेस मॉड्यूलर बनवले आहे, जेणेकरून नवीन एजंट ॲप्लिकेशन कारणमीमांसा, टूल वापर आणि संदर्भ व्यवस्थापनासाठी त्याची यंत्रणा पुन्हा वापरू शकेल आणि प्लगइन्सद्वारे स्वतःच्या सूचना व क्षमता परिभाषित करू शकेल. समर्पित बॅकग्राउंड वर्कर फ्लीटमुळे आम्ही ही प्रक्रिया फोरग्राउंड कार्यांपासून स्वतंत्रपणे स्केल करू शकतो.
वैयक्तिक कौशल्य सुधारणा चक्र
सामायिक स्व-सुधारणा इंजिन वैयक्तिक सुधारणा चक्रावर कसे लागू केले जाते, याचे आम्ही प्रथम वर्णन करतो; हे चक्र वापरकर्त्याच्या कार्य इतिहासाचे नवीन किंवा अपडेट केलेल्या वैयक्तिक कौशल्यांमध्ये रूपांतर करते. खालील आकृती एका उदाहरण कौशल्याचा संपूर्ण चक्रातील प्रवास दाखवते, ज्याचा शेवट सुधारित आवृत्तीवर होतो.
दैनंदिन जनरेशन रनदरम्यान, कोणते बदल करणे योग्य आहे हे ठरवण्यासाठी सुधारणा एजंट वापरकर्त्याच्या अलीकडील सत्रांचे पुनरावलोकन करतो. अलीकडील सत्रांचा एक संच कौशल्य वापराच्या डेटासह सँडबॉक्समध्ये आधीच लोड केला जातो; वापरकर्त्याच्या सत्र इतिहासाचा उर्वरित भाग गरजेनुसार मिळवता येतो. सुधारणा एजंटला विद्यमान कौशल्यांची सूचीही मिळते. त्याला इंटरनेट किंवा इतर कनेक्टरचा प्रवेश नसतो.
वैयक्तिक कौशल्य सुधारणा वर्कफ्लोसाठी तयार केलेले प्लगइन्स आणि कौशल्ये, चांगले अपडेट कशामुळे बनते याविषयीच्या आमच्या तत्त्वांच्या आधारे, चिंतन प्रक्रियेला मार्गदर्शन करतात. प्रत्येक सत्रातील ठोस धडा ओळखण्यासाठी एजंट प्रथम संपूर्ण ट्रॅजेक्टरींचे विश्लेषण करतो. त्यानंतर तो धड्यांची विद्यमान सूचनांशी तुलना करतो आणि एखादे कौशल्य अपडेट करायचे, नवीन तयार करायचे की कोणताही बदल करायचा नाही, हे ठरवतो. नवीन कौशल्य तयार करण्यासाठी समान पुनर्वापरयोग्य वर्तनाच्या दोन स्वतंत्र घटना आवश्यक असतात, तर विद्यमान कौशल्यातील अपडेट एकाच ठोस आधार असलेल्या घटनेवरूनही समर्थनीय ठरू शकते.
एजंट कौशल्यात थेट बदल करत नाही. त्याऐवजी, तो एक प्रस्ताव तयार करतो, ज्यात अपेक्षित बदल आणि त्यांना आधार देणारी कारणमीमांसा व पुरावे नोंदवलेले असतात. प्रत्येक रनमध्ये प्रत्येक कौशल्यासाठी एकच बदल अशी अपडेट्सची मर्यादा असते. नियतात्मक तपासण्या प्रस्ताव योग्य स्वरूपात आहेत आणि कौशल्यावर लागू करता येतात याची पडताळणी करतात. स्वतंत्रपणे, एक LLM परीक्षक नमुना म्हणून निवडलेल्या प्रस्तावांचे लेखापरीक्षण करतो आणि पुरावे बदलाला समर्थन देतात का व परिणामी कौशल्य उपयुक्त सूचना देते का, हे तपासतो.
सक्रियण पडताळलेल्या प्रस्तावाचे वापरकर्त्याच्या कौशल्य लायब्ररीतील बदलात रूपांतर करते, जेणेकरून नवीन आवृत्ती भविष्यातील सत्रांमध्ये लोड करून वापरता येईल. हार्नेस प्रत्येक सत्राच्या सुरुवातीला सर्व उपलब्ध कौशल्यांची अनुक्रमणिका लोड करत असल्याने, कौशल्यांची मोठी लायब्ररी संदर्भ विंडो भरून टाकू शकते आणि एजंटला संबंधित कौशल्ये शोधणे व लोड करणे कठीण करू शकते. परिणामी, लहान, निवडक लायब्ररी राखण्यासाठी प्रणाली फक्त सर्वात मौल्यवान कौशल्ये ठेवते आणि आवश्यक नसलेली कौशल्ये निवृत्त करते. विशेषतः, आम्ही प्रति वापरकर्ता स्वयंचलितपणे तयार केलेल्या 10 कौशल्यांची मर्यादा लागू करतो. मर्यादा गाठल्यावरही सुधारणा एजंट कौशल्ये अपडेट करू किंवा काढू शकतो, परंतु नवीन कौशल्य जोडण्यासाठी त्याला एखादे विद्यमान कौशल्य निवृत्त करावे लागते आणि नवीन कौशल्य वापरकर्त्याच्या कामासाठी अधिक उपयुक्त का आहे याचे समर्थन करावे लागते.
अंगभूत कौशल्य सुधारणा चक्र
आम्ही Brain च्या सतत कौशल्य सुधारणा फ्रेमवर्कचा विस्तार अंगभूत कौशल्यांपर्यंतही करतो. एका वापरकर्त्याची मेमरी आणि सत्र इतिहास वापरून त्या वापरकर्त्याची वैयक्तिक कौशल्ये सुधारण्याऐवजी, अंगभूत चक्र अनेक वापरकर्त्यांकडील पुरावे वापरून प्रत्येक Perplexity वापरकर्त्यासाठी उपलब्ध असलेली कौशल्ये सुधारते. अंगभूत कौशल्ये कोणीही वापरू शकत असल्याने बदलांसाठीचे निकष उच्च आहेत; नकळत कार्यक्षमता बिघडवणारे अपडेट्स हजारो सत्रांवर परिणाम करू शकतात. अंगभूत सुधारणा एजंट केवळ कौशल्यांच्या उमेदवार आवृत्त्यांमध्ये बदल करतो. कौशल्याच्या अधिकृत आवृत्तीपर्यंत पोहोचण्यासाठी, या अपडेट्सना जोडीबद्ध रिप्ले आणि अंतर्गत मानवी पुनरावलोकनातून जावे लागते. पुन्हा एकदा, आम्ही एक उदाहरण कौशल्य आणि आधारभूत पुराव्यांसह संपूर्ण चक्राचा मागोवा घेतो.
अंगभूत सुधारणा चक्र प्रशिक्षणात वापरासाठी पात्र असलेल्या सत्रांमधील स्वच्छ केलेले पुरावे वापरते. संबंधित पुरावे निवडण्यासाठी निदाने आणि अपयशाचे संकेत वापरले जातात, तसेच कोणतीही समस्या नोंदवली न जाता कौशल्य वापरले गेलेली नियंत्रण सत्रेही वापरली जातात. स्वच्छता पाइपलाइन क्रेडेन्शियल्स आणि इतर गुपिते, तसेच जोडलेल्या फाइल्स आणि मीडिया काढून टाकते.
परिस्थिती-निर्मिती एजंट स्वच्छ केलेल्या पुराव्यांचे ठोस अपयश परिस्थितींमध्ये रूपांतर करतो. अपयशाचे प्रकरण समजून घेण्यासाठी आणि कौशल्य सुधारण्यासाठी आवश्यक तेवढाच संदर्भ तो ठेवतो; सत्राचा उर्वरित भाग कृत्रिमरीत्या पुन्हा तयार केला जातो, ज्यामुळे पडताळणी प्रक्रियेसाठी स्वयंपूर्ण चाचणी तयार होते. परिस्थिती कनेक्ट केलेल्या ॲप्स किंवा साइन-इनशिवाय चालणे आवश्यक आहे; मूळ कार्य एखाद्या कनेक्टरवर अवलंबून असल्यास, ते इनपुट परिस्थितीमध्ये कृत्रिम फाइल्सने बदलले जाते. एक स्वतंत्र तपासणी पडताळते की जनरेट केलेल्या परिस्थितीवर कौशल्य अयशस्वी ठरते.
चिंतन साप्ताहिक सुधारणा जॉबद्वारे होते, जो निरीक्षण केलेल्या अपयशांचे उपायांमध्ये रूपांतर करतो. तो अनेक सत्रांमध्ये वारंवार घडणारी कौशल्य अपयशे शोधतो, जेणेकरून एकाच वाईट सत्रामुळे संपादन होणार नाही. प्रत्येक वारंवार घडणाऱ्या अपयशासाठी सुधारणा एजंटचा स्वतंत्र रन होतो. एजंटला मूळ कारणाचे वर्णन, तसेच यशस्वी सत्रांमधील स्वच्छ केलेल्या नोंदी मिळतात. या पुराव्यांचा वापर करून तो कौशल्याची उमेदवार सुधारित आवृत्ती लिहितो. त्याला संपूर्ण अपयश परिस्थिती मिळत नाहीत, कारण त्या मूल्यमापनात वापरल्या जातात.
एक स्वतंत्र रिप्ले जॉब जनरेट केलेल्या परिस्थितींचा वापर करून कौशल्याच्या मूळ आणि सुधारित आवृत्त्यांची तुलना करतो. एक LLM परीक्षक प्रत्येक परिस्थितीच्या रूब्रिकनुसार एजंटची उत्तरे आणि ट्रॅजेक्टरींचे मूल्यमापन करतो. प्रस्ताव उत्तीर्ण होण्यासाठी, प्रत्येक चाचणी परिस्थिती सुधारित कौशल्यासह उत्तीर्ण व्हायला हवी, आणि किमान एक मूळ कौशल्यासह अयशस्वी व्हायला हवी. काहीही काम करणे थांबलेले नाही याची खात्री करण्यासाठी नियंत्रण सत्रांमधून तयार केलेल्या परिस्थितीही रिप्ले केल्या जातात. अपयश परिस्थितींसाठी, अयशस्वी कार्याला त्याच समस्येचा पुरावा मानण्याऐवजी, ते विशिष्ट अपयश प्रत्यक्ष घडले का हेही परीक्षक तपासतो.
वर्कफ्लो उमेदवार बदल आणि मूल्यमापन निकाल अंतर्गत मानवी पुनरावलोकनासाठी एका pull request मध्ये एकत्र करतो. एखाद्या अभियंत्याने PR मंजूर केल्यासच बदल लागू होतात.
मूल्यमापने
स्वयंचलित कौशल्य सुधारणेमुळे कौशल्य निर्मिती आणि वापरात लक्षणीय वाढ झाली आहे. Brain ने 1 ऑगस्ट ते 14 नोव्हेंबर दरम्यान 20,000 पेक्षा जास्त वापरकर्त्यांसाठी 80,000 पेक्षा जास्त वैयक्तिक कौशल्ये लिहिली. याशिवाय, 4 सप्टेंबर ते 14 नोव्हेंबर दरम्यान 30,000 पेक्षा जास्त विद्यमान वैयक्तिक कौशल्यांवर 1,00,000 पेक्षा जास्त स्वयंचलित अपडेट्स लागू करण्यात आले.
ही कौशल्ये सॉफ्टवेअर पडताळणीपासून पेरोल जुळवणी आणि आकृत्या डिझाइन करण्यापर्यंत विविध क्षेत्रे आणि कार्यांमध्ये पसरलेली आहेत. Brain-निर्मित कौशल्ये ज्या वर्कफ्लोचे वर्णन करतात त्यांच्या आधारे आम्ही त्यांचे वर्गीकरण केले. सर्वात मोठ्या क्षेत्राचा, म्हणजे सॉफ्टवेअर अभियांत्रिकीचा, वाटाही फक्त 11% कौशल्यांइतकाच होता; त्यानंतर संशोधन आणि ब्रीफिंग्ज (10.1%), विक्री आणि ऑपरेशन्स (9.9%), आणि वित्त आणि गुंतवणूक (9.9%) यांचा क्रमांक लागतो.
आम्ही प्रॉडक्शन ट्रॅफिकवर आठ आठवड्यांची यादृच्छिक चाचणी घेतली, ज्यात स्वयंचलित वैयक्तिक-कौशल्य सुधारणा सक्षम असलेल्या वापरकर्त्यांची तुलना ती अक्षम असलेल्या नियंत्रण गटाशी केली. कौशल्य सुधारणा सक्षम असलेल्या 72.9% लोकांना किमान एक नवीन वैयक्तिक कौशल्य मिळाले, तर ती सुविधा नसलेल्या लोकांपैकी फक्त 6.5% लोकांनी स्वतः नवीन कौशल्य जोडले. प्रयोग गटातील निम्म्याहून अधिक (53%) वापरकर्त्यांनी सुरू केलेल्या संभाषणात वैयक्तिक कौशल्य लोड झाले, तर नियंत्रण गटासाठी हे प्रमाण 13% होते; त्यांच्या टर्न्समध्ये वैयक्तिक कौशल्य सुमारे 3.6 पट अधिक वेळा लोड झाले. Brain ने लिहिलेले कौशल्य मिळालेल्या ग्राहकांपैकी 63% ग्राहकांनी चार आठवड्यांच्या आत नंतरच्या संभाषणात पुन्हा एखादे कौशल्य वापरले.
ही नवीन आणि अपडेट केलेली कौशल्ये कार्य अंमलबजावणी आणि एकूण कार्यक्षमतेवर कसा परिणाम करतात हे ठरवणे हा आमच्या मूल्यमापनांचा उद्देश आहे.
त्याच यादृच्छिक प्रयोगातील निकाल टूल कॉल अपयश आणि वापरकर्त्यांच्या असंतोषात घट दर्शवतात. स्वयंचलित कौशल्य सुधारणा असलेल्या वापरकर्त्यांसाठी, सर्व Computer ॲक्टिव्हिटीमध्ये टूल कॉल अपयश दर 11% ने घटला. प्रणालीचे स्वतःचे बॅकग्राउंड रन वगळले तरीही टूल कॉल सुमारे 7% कमी वेळा अयशस्वी झाले, यावरून वापरकर्त्याच्या कामावरील विश्वासार्हता सुधारल्याचे सूचित होते. प्रति वापरकर्ता मध्यम/उच्च असंतोष असलेल्या थ्रेडच्या संख्येनुसार मोजलेला वापरकर्ता असंतोष 7.6% ने घटला. खर्च किंवा प्रतिसाद वेळेत आम्हाला कोणताही मोजण्याजोगा बदल दिसला नाही. या सुरुवातीच्या चाचण्यांचे निकाल आशादायक आहेत, आणि आम्ही प्रणाली परिष्कृत करत जाऊ आणि स्व-सुधारणा करणारी कौशल्ये अधिक वापरकर्त्यांपर्यंत पोहोचवू तसतशा सुधारणा कालांतराने वाढतील अशी आमची अपेक्षा आहे.
ऑफलाइन प्रयोगांमध्येही अधिक मर्यादित परिस्थितींमध्ये सुधारणा नोंदवल्या गेल्या आहेत. SkillLearnBench प्रयोगात, Computer ने नऊ कार्य कुटुंबांपैकी प्रत्येकासाठी एक वैयक्तिक कौशल्य तयार करण्यासाठी पूर्वीच्या कार्य ट्रॅजेक्टरी वापरल्या. 16 जोडीबद्ध मूल्यमापन उदाहरणांमध्ये, कार्य यश कौशल्यांशिवाय 43.8% वरून जनरेट केलेल्या कौशल्यांसह 62.5% पर्यंत वाढले, यावरून मागील अनुभवातून मिळवलेली कौशल्ये पुनरावृत्त कार्यांवरील कार्यक्षमता सुधारू शकतात याचा पुरावा मिळतो. एका अंगभूत केस स्टडीमध्ये, ई-कॉमर्स कौशल्यातील संपादनांमुळे 32% कमी खर्चात गुणवत्तेत 6% वाढ झाली, आणि गुणवत्ता स्वयंचलित परीक्षकाद्वारे मोजली गेली.
निष्कर्ष
स्व-सुधारणा करणारी कौशल्ये Computer ला ते करत असलेल्या कामातून शिकण्याचा आणखी एक मार्ग देतात. यामुळे Brain चा विस्तार होऊन ती प्रक्रियात्मक मेमरी तयार करू आणि राखू शकते, ज्यामुळे जटिल वर्कफ्लोवरील कार्यक्षमता सुधारते. स्वयंचलित कौशल्य सुधारणेमुळे आधीच कौशल्य वापर वाढला आहे, टूल अपयश दर कमी झाले आहेत आणि वापरकर्त्यांचा असंतोष घटला आहे.
वैयक्तिक कौशल्य सुधारणा आता अमेरिकेतील सर्व Max सदस्यांसाठी उपलब्ध आहे. पात्र वापरकर्त्यांसाठी ती डीफॉल्टनुसार चालू असते, परंतु बंद करता येते. प्लगइन्स टॅब उपलब्ध कौशल्ये दाखवतो, Brain ने लिहिलेली कौशल्ये ओळखतो आणि कोणती कौशल्ये सक्षम करायची हे वापरकर्त्यांना निवडू देतो.
पुढे, आम्ही सुधारणेचा विस्तार अधिक कौशल्य प्रकारांपर्यंत करू, ज्यात वापरकर्त्यांनी लिहिलेली कौशल्ये, प्रोजेक्टमध्ये शेअर केलेली कौशल्ये आणि संस्थेची कौशल्ये समाविष्ट आहेत. सुधारित आवृत्त्यांमुळे अधिक विश्वासार्ह प्रक्रिया आणि चांगले निकाल मिळावेत यासाठी आम्ही सुधारणा पाइपलाइन आणि तिची मूल्यमापने परिष्कृत करत राहू.
उद्धरण
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}