Skill ที่พัฒนาตัวเองได้
วิธีที่ Perplexity Brain เรียนรู้ขั้นตอนการทำงานที่เกิดซ้ำจากประสบการณ์ และคอยอัปเดตให้ทันสมัยอยู่เสมอ
บทนำ
ผู้ใช้มีความชอบและข้อกำหนดเฉพาะของเวิร์กโฟลว์ที่โมเดลอเนกประสงค์ไม่สามารถรู้ได้ล่วงหน้า เอเจนต์จำเป็นต้องเรียนรู้รายละเอียดเหล่านี้เพื่อปรับการทำงานให้เข้ากับผู้ใช้ แทนที่จะให้ผู้ใช้ต้องอธิบายขั้นตอนเดิมหรือแก้ไขสิ่งเดิมซ้ำในทุกเซสชัน การเรียนรู้อย่างต่อเนื่องทำให้สิ่งนี้เป็นไปได้ กล่าวคือ ประสบการณ์จากงานที่เสร็จสิ้นแล้วควรเป็นข้อมูลประกอบว่าเอเจนต์จะเข้าถึงงานในอนาคตอย่างไร
Brain ซึ่งเป็นระบบพัฒนาตนเองแบบเฉพาะบุคคลของ Computer ช่วยให้เกิดการเรียนรู้ผ่านประสบการณ์ ปัจจุบัน Brain ดูแลวิกิความรู้แบบมีโครงสร้างที่เชื่อมโยงข้อมูลเกี่ยวกับผู้ใช้และงานของผู้ใช้เข้ากับหลักฐานที่สนับสนุนข้อมูลนั้นอยู่แล้ว เอเจนต์เบื้องหลังจะอัปเดตวิกิเมื่อมีข้อมูลใหม่สะสมเพิ่มขึ้น ระบบความทรงจำจึงพัฒนาดีขึ้นเรื่อย ๆ เมื่อเวลาผ่านไป
Skill ของเอเจนต์มอบอีกหนึ่งวิธีในการนำทางพฤติกรรมของเอเจนต์โดยไม่ต้องเปลี่ยนโมเดลพื้นฐาน Skill คือชุดคำแนะนำที่นำกลับมาใช้ซ้ำได้ซึ่งนำทางเอเจนต์ในการทำงานเฉพาะอย่าง Skill รวบรวมข้อกำหนดและทรัพยากรสนับสนุนสำหรับเวิร์กโฟลว์ที่เกิดซ้ำ ซึ่งมิฉะนั้นเอเจนต์จะต้องอนุมานจากความทรงจำหรือรับจากผู้ใช้ทุกครั้ง จึงช่วยปรับปรุงประสิทธิภาพในงานที่อยู่นอกการกระจายของข้อมูลที่ใช้ฝึก นอกจากนี้ Skill ยังสามารถรวมสคริปต์สำหรับขั้นตอนที่ทำซ้ำ ๆ หรือการประมวลผลที่แสดงเป็นโค้ดได้อย่างน่าเชื่อถือ เพื่อให้เอเจนต์สามารถรันสคริปต์เหล่านั้นได้ทันทีเมื่อเหมาะสม harness ทำให้เอเจนต์ค้นพบ Skill ที่มีอยู่ได้ และโหลดคำแนะนำของ Skill เข้าสู่บริบทเมื่อเอเจนต์ร้องขอ ผู้ใช้ยังสามารถระบุ Skill ที่จะใช้ในพรอมต์ได้โดยตรงอีกด้วย
เรากำลังขยาย Brain ให้สร้างและอัปเดต Skill ของเอเจนต์โดยอัตโนมัติ Brain ต่อยอดจากความทรงจำและประวัติเซสชันของผู้ใช้เพื่อเขียนและปรับแต่ง Skill ส่วนตัวที่รวบรวมขั้นตอนสำหรับเวิร์กโฟลว์ของผู้ใช้รายนั้น เรานำแนวทางที่คล้ายกันมาใช้เพื่ออัปเดต Skill ในตัว ซึ่งผู้ใช้ Perplexity ทุกคนใช้งานได้ โดยอิงจากรูปแบบโดยรวมในทุกเซสชัน
เราจะอธิบายกลไกการพัฒนาตนเองของเราที่ใช้ร่วมกันในทุกประเภทของ Skill ก่อน แล้วจึงอธิบายว่ากลไกนี้ทำงานอย่างไรกับ Skill ส่วนตัวและ Skill ในตัว
กลไกการพัฒนาตนเองที่ใช้ร่วมกัน
Skill ที่มีประโยชน์ยังคงต้องเปลี่ยนแปลงเมื่อมีความชอบใหม่ ๆ เกิดขึ้น หรือเมื่อประสบการณ์เผยให้เห็นช่องโหว่ในคำแนะนำของ Skill นั้น Brain มีหน้าที่ค้นหาว่าพฤติกรรมของเอเจนต์ควรเปลี่ยนแปลงอย่างไรในครั้งถัดไปที่ Computer พบงานที่คล้ายกัน และกำหนดว่า Skill ควรเปลี่ยนแปลงอย่างไรเพื่อให้บรรลุผลลัพธ์ที่ต้องการได้ดียิ่งขึ้น
กระบวนการปรับปรุงนี้ก่อตัวเป็นลูปที่มีสี่ขั้นตอน:
- หลักฐาน: Brain ค้นหาเซสชันในอดีตที่มีการใช้ Skill โดยเฉพาะเซสชันที่ Skill ทำงานได้ไม่ดีพอ
- การไตร่ตรอง: เอเจนต์ปรับปรุงจะศึกษาหลักฐานดังกล่าวและเสนอการอัปเดต Skill
- การตรวจสอบยืนยัน: การตรวจสอบจะยืนยันว่าข้อเสนอมีรูปแบบถูกต้องและมีแนวโน้มที่จะช่วยให้ผลลัพธ์ดีขึ้น
- การเปิดใช้งาน: การเปลี่ยนแปลงที่ผ่านการตรวจสอบยืนยันแล้วจะถูกนำไปใช้ เซสชันในอนาคตจะใช้เวอร์ชันใหม่ ซึ่งให้หลักฐานสำหรับรอบถัดไป
ลูปนี้อาศัยความสามารถที่มีอยู่มากมายซึ่งสร้างขึ้นสำหรับ Computer และ Brain ในที่นี้ เราจะอธิบายกลไกที่ใช้ร่วมกันซึ่งรองรับขั้นตอนหลักฐานและการไตร่ตรอง ส่วนขั้นตอนการตรวจสอบยืนยันและการเปิดใช้งานขึ้นอยู่กับว่าการเปลี่ยนแปลงนั้นส่งผลถึงผู้ใช้คนเดียวหรือผู้ใช้ Perplexity ทุกคน เราจึงจะกล่าวถึงในหัวข้อถัดไปเกี่ยวกับลูปการปรับปรุง Skill ส่วนตัวและ Skill ในตัว
หลักฐานจากเซสชันในอดีต
การไตร่ตรองจำเป็นต้องค้นหาเซสชันที่มีการใช้ Skill โดยเฉพาะเซสชันที่ยังมีช่องทางให้ปรับปรุงได้ harness ของ Computer จะบันทึกสัญญาณที่ทำให้สิ่งนี้เป็นไปได้ เมื่อเอเจนต์โหลด Skill นั้น harness จะบันทึกเหตุการณ์การโหลด Skill ที่เชื่อมโยง Skill เข้ากับเซสชัน เมื่อเอเจนต์พบความหงุดหงิดของผู้ใช้ พฤติกรรมที่ผิดพลาด หรือความไม่มีประสิทธิภาพที่ชัดเจน เอเจนต์จะส่งรายงานการวินิจฉัยแบบมีโครงสร้างสั้น ๆ และ harness จะแนบ Skill ที่ใช้งานอยู่ไปด้วย ข้อมูลเหล่านี้มีประโยชน์อย่างยิ่งสำหรับ Skill ในตัว ซึ่งเซสชันใดก็อาจเกี่ยวข้องได้ ระบบจึงต้องมีวิธีจำกัดขอบเขตกลุ่มหลักฐานให้แคบลงอย่างรวดเร็ว
เอเจนต์จะได้ประโยชน์จากการเข้าถึงบันทึกฉบับเต็ม แทนที่จะตัดสินจากผลลัพธ์หรือบทสรุปสั้น ๆ Computer จัดเก็บเซสชันในอดีตโดยใช้รูปแบบการแสดงเส้นทางการทำงานที่ไม่ขึ้นกับผู้ให้บริการรายใด ซึ่งบันทึกข้อความ การเรียกใช้เครื่องมือ การให้เหตุผล และผลลัพธ์ไว้ นอกจากนี้ เรายังสร้างชุดเครื่องมือบรรทัดคำสั่งที่เอเจนต์สามารถใช้ถอดรหัสเส้นทางการทำงานเหล่านี้และสร้างเซสชันฉบับเต็มขึ้นใหม่ได้ ซึ่งช่วยให้เอเจนต์ไตร่ตรองสามารถตรวจสอบการโหลด Skill และการเรียกใช้เครื่องมือแต่ละครั้ง เพื่อระบุจุดที่เกิดปัญหาหรือจุดที่สามารถปรับปรุงได้อย่างแม่นยำ
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlตัวอย่างการใช้เครื่องมือตรวจสอบลำดับการทำงาน (trajectory) ภายในของ Computer พาธและตัวระบุถูกทำให้เรียบง่ายเพื่อประกอบคำอธิบาย ส่วนชื่อคำสั่งและอาร์กิวเมนต์เป็นไปตามโค้ดที่ใช้งานจริง
การไตร่ตรองด้วยเอเจนต์เบื้องหลัง
Brain ใช้ทีมเอเจนต์เบื้องหลังเพื่อปรับประสบการณ์ของผู้ใช้แต่ละคนให้ดีที่สุดอย่างต่อเนื่อง ตัวอย่างเช่น เอเจนต์ Dream จะทบทวนประสบการณ์ที่สะสมไว้เพื่ออัปเดตวิกิความรู้ ในทำนองเดียวกัน การปรับปรุง Skill ขับเคลื่อนโดยเอเจนต์ปรับปรุงที่ไตร่ตรองหลักฐานการใช้ Skill เพื่อเสนอการอัปเดต
เอเจนต์แต่ละตัวทำงานในแซนด์บ็อกซ์ของตัวเองด้วยโมเดลระดับแนวหน้า หลักฐานที่เกี่ยวข้อง และคลัง Skill ปัจจุบัน โดยมีปลั๊กอินและ Skill เป็นตัวนำทาง เอเจนต์จะตัดสินใจว่าจะอ่านเซสชันใด สรุปบทเรียนที่เป็นรูปธรรมจากแต่ละเซสชัน และจัดกลุ่มบทเรียนที่ต้องการพฤติกรรมที่นำกลับมาใช้ซ้ำได้แบบเดียวกัน เนื่องจากการแก้ไขความล้มเหลวหนึ่งอาจขัดแย้งกับคำแนะนำอื่นหรือเพิ่มภาระงานในส่วนอื่น เอเจนต์จึงอ่าน Skill ทั้งหมดก่อนเสนอการแก้ไข และจะงดเว้นการเสนอเมื่อหลักฐานไม่สนับสนุน
เอเจนต์ปรับปรุงทำงานบน harness เดียวกันกับ Computer เราออกแบบ harness ให้เป็นโมดูล เพื่อให้แอปพลิเคชันเอเจนต์ใหม่สามารถนำกลไกด้านการให้เหตุผล การใช้เครื่องมือ และการจัดการบริบทกลับมาใช้ซ้ำได้ ขณะที่กำหนดคำแนะนำและความสามารถของตัวเองผ่านปลั๊กอิน กลุ่มเวิร์กเกอร์เบื้องหลังเฉพาะทางช่วยให้เราขยายขนาดการประมวลผลนี้ได้อย่างอิสระจากงานเบื้องหน้า
ลูปการปรับปรุง Skill ส่วนตัว
เราจะอธิบายก่อนว่ากลไกการพัฒนาตนเองที่ใช้ร่วมกันนำมาใช้กับลูปการปรับปรุงส่วนตัวอย่างไร ซึ่งเปลี่ยนประวัติงานของผู้ใช้ให้เป็น Skill ส่วนตัวใหม่หรือที่อัปเดตแล้ว ภาพด้านล่างแสดงตัวอย่าง Skill ตลอดทั้งลูป โดยจบที่เวอร์ชันที่แก้ไขแล้ว
ระหว่างรอบการสร้างประจำวัน เอเจนต์ปรับปรุงจะทบทวนเซสชันล่าสุดของผู้ใช้เพื่อกำหนดการเปลี่ยนแปลงที่ควรทำ ชุดเซสชันล่าสุดจะถูกโหลดไว้ล่วงหน้าในแซนด์บ็อกซ์พร้อมกับข้อมูลการใช้งาน Skill ส่วนประวัติเซสชันที่เหลือของผู้ใช้สามารถดึงมาได้ตามต้องการ เอเจนต์ปรับปรุงยังได้รับแค็ตตาล็อกของ Skill ที่มีอยู่ด้วย โดยไม่มีสิทธิ์เข้าถึงอินเทอร์เน็ตหรือตัวเชื่อมต่ออื่น ๆ
ปลั๊กอินและ Skill ที่ออกแบบมาสำหรับเวิร์กโฟลว์การปรับปรุง Skill ส่วนตัวจะนำทางกระบวนการไตร่ตรอง โดยอิงจากหลักการของเราว่าอะไรคือการอัปเดตที่ดี เอเจนต์จะวิเคราะห์เส้นทางการทำงานฉบับเต็มก่อนเพื่อระบุบทเรียนที่เป็นรูปธรรมในแต่ละเซสชัน จากนั้นจะเปรียบเทียบบทเรียนกับคำแนะนำที่มีอยู่ และตัดสินใจว่าจะอัปเดต Skill สร้าง Skill ใหม่ หรือไม่เปลี่ยนแปลงใด ๆ การสร้าง Skill ต้องอาศัยการเกิดขึ้นของพฤติกรรมที่นำกลับมาใช้ซ้ำได้แบบเดียวกันสองครั้งอย่างเป็นอิสระต่อกัน ขณะที่การอัปเดต Skill ที่มีอยู่สามารถให้เหตุผลได้ด้วยการเกิดขึ้นที่มีหลักฐานรองรับเพียงครั้งเดียว
เอเจนต์ไม่ได้แก้ไข Skill โดยตรง แต่จะสร้างข้อเสนอที่บันทึกการเปลี่ยนแปลงที่ตั้งใจไว้ พร้อมเหตุผลและหลักฐานสนับสนุน การอัปเดตจำกัดขอบเขตไว้ที่การเปลี่ยนแปลงเดียวต่อ Skill ต่อการรันหนึ่งครั้ง การตรวจสอบแบบกำหนดแน่นอน (deterministic) จะยืนยันว่าข้อเสนอมีรูปแบบถูกต้องและสามารถนำไปใช้กับ Skill ได้ นอกจากนี้ LLM ผู้ตัดสินจะตรวจสอบข้อเสนอที่สุ่มตัวอย่างมา โดยพิจารณาว่าหลักฐานสนับสนุนการเปลี่ยนแปลงหรือไม่ และ Skill ที่ได้ให้คำแนะนำที่เป็นประโยชน์หรือไม่
การเปิดใช้งานจะเปลี่ยนข้อเสนอที่ผ่านการตรวจสอบยืนยันแล้วให้เป็นการเปลี่ยนแปลงในคลัง Skill ของผู้ใช้ เพื่อให้สามารถโหลดและใช้เวอร์ชันใหม่ในเซสชันต่อ ๆ ไปได้ เนื่องจาก harness จะโหลดดัชนีของ Skill ทั้งหมดที่มีอยู่เมื่อเริ่มต้นแต่ละเซสชัน คลัง Skill ขนาดใหญ่จึงอาจทำให้หน้าต่างบริบทแออัด และทำให้เอเจนต์ค้นหาและโหลด Skill ที่เกี่ยวข้องได้ยากขึ้น ด้วยเหตุนี้ ระบบจึงเก็บไว้เฉพาะ Skill ที่มีคุณค่ามากที่สุด และปลดระวาง Skill ที่ไม่จำเป็นเพื่อรักษาคลังให้มีขนาดเล็กและผ่านการคัดสรร กล่าวคือ เรากำหนดขีดจำกัดไว้ที่ Skill ที่สร้างขึ้นโดยอัตโนมัติ 10 รายการต่อผู้ใช้ เมื่อถึงขีดจำกัดแล้ว เอเจนต์ปรับปรุงยังคงอัปเดตหรือนำ Skill ออกได้ แต่หากต้องการเพิ่ม Skill ใหม่ จะต้องปลดระวาง Skill ที่มีอยู่และให้เหตุผลว่าเหตุใด Skill ใหม่จึงมีประโยชน์ต่องานของผู้ใช้มากกว่า
ลูปการปรับปรุง Skill ในตัว
เรายังขยายเฟรมเวิร์กการปรับปรุง Skill อย่างต่อเนื่องของ Brain ไปยัง Skill ในตัวด้วย แทนที่จะใช้ความทรงจำและประวัติเซสชันของผู้ใช้คนหนึ่งเพื่อปรับปรุง Skill ส่วนตัวของผู้ใช้คนนั้น ลูปของ Skill ในตัวจะใช้หลักฐานจากผู้ใช้จำนวนมากเพื่อปรับปรุง Skill ที่ผู้ใช้ Perplexity ทุกคนใช้งานได้ เนื่องจากทุกคนสามารถใช้ Skill ในตัวได้ เกณฑ์สำหรับการเปลี่ยนแปลงจึงสูง การอัปเดตที่ทำให้ประสิทธิภาพแย่ลงโดยไม่ตั้งใจอาจส่งผลกระทบต่อเซสชันหลายพันเซสชัน เอเจนต์ปรับปรุง Skill ในตัวจะเปลี่ยนแปลงเฉพาะเวอร์ชันตัวเลือกของ Skill เท่านั้น การอัปเดตเหล่านี้ต้องผ่านการเล่นซ้ำแบบจับคู่และการตรวจสอบโดยมนุษย์ภายในก่อน จึงจะเข้าสู่เวอร์ชันหลักอย่างเป็นทางการของ Skill ได้ เช่นเดียวกับก่อนหน้านี้ เราจะแสดงลูปทั้งหมดผ่านตัวอย่าง Skill และหลักฐานสนับสนุน
ลูปการปรับปรุง Skill ในตัวใช้หลักฐานที่ผ่านการกรองข้อมูลอ่อนไหวแล้วจากเซสชันที่มีสิทธิ์นำไปใช้ในการฝึกโมเดล ข้อมูลการวินิจฉัยและสัญญาณความล้มเหลวจะถูกใช้เพื่อเลือกหลักฐานที่เกี่ยวข้อง ควบคู่กับเซสชันควบคุมที่มีการใช้ Skill โดยไม่มีการแจ้งเตือนปัญหาใด ๆ ไปป์ไลน์การกรองข้อมูลอ่อนไหวจะลบข้อมูลรับรองและข้อมูลลับอื่น ๆ รวมถึงไฟล์และสื่อที่แนบมาออก
เอเจนต์สร้างสถานการณ์จะเปลี่ยนหลักฐานที่ผ่านการกรองข้อมูลอ่อนไหวแล้วให้เป็นสถานการณ์ความล้มเหลวที่เป็นรูปธรรม โดยเก็บไว้เฉพาะบริบทที่จำเป็นต่อการทำความเข้าใจกรณีความล้มเหลวและการปรับปรุง Skill ส่วนที่เหลือของเซสชันจะถูกสร้างขึ้นใหม่แบบสังเคราะห์ เพื่อสร้างการทดสอบที่สมบูรณ์ในตัวเองสำหรับกระบวนการตรวจสอบยืนยัน สถานการณ์ต้องทำงานได้โดยไม่ต้องใช้แอปที่เชื่อมต่อหรือการลงชื่อเข้าใช้ หากงานเดิมต้องอาศัยตัวเชื่อมต่อ อินพุตนั้นจะถูกแทนที่ด้วยไฟล์สังเคราะห์ในสถานการณ์ การตรวจสอบแยกต่างหากจะยืนยันว่า Skill ล้มเหลวในสถานการณ์ที่สร้างขึ้น
การไตร่ตรองเกิดขึ้นผ่านงานปรับแก้รายสัปดาห์ที่เปลี่ยนความล้มเหลวที่สังเกตพบให้เป็นการแก้ไข งานนี้จะมองหาความล้มเหลวของ Skill ที่เกิดซ้ำในหลายเซสชัน เพื่อไม่ให้เซสชันที่ผิดพลาดเพียงเซสชันเดียวเป็นตัวกำหนดการแก้ไข ความล้มเหลวที่เกิดซ้ำแต่ละรายการจะได้รับการรันเอเจนต์ปรับปรุงแยกกัน เอเจนต์จะได้รับคำอธิบายสาเหตุที่แท้จริง พร้อมกับบันทึกที่ผ่านการกรองข้อมูลอ่อนไหวแล้วจากเซสชันที่สำเร็จ แล้วใช้หลักฐานนี้เขียนฉบับแก้ไขที่เป็นตัวเลือกของ Skill เอเจนต์จะไม่ได้รับสถานการณ์ความล้มเหลวฉบับเต็ม เนื่องจากสถานการณ์เหล่านั้นใช้ในการประเมินผล
งานเล่นซ้ำแยกต่างหากจะใช้สถานการณ์ที่สร้างขึ้นเพื่อเปรียบเทียบ Skill เวอร์ชันดั้งเดิมกับเวอร์ชันที่แก้ไขแล้ว LLM ผู้ตัดสินจะประเมินคำตอบและเส้นทางการทำงานของเอเจนต์เทียบกับเกณฑ์การให้คะแนนของแต่ละสถานการณ์ ข้อเสนอจะผ่านได้ก็ต่อเมื่อทุกสถานการณ์ทดสอบผ่านด้วย Skill ที่แก้ไขแล้ว และมีอย่างน้อยหนึ่งสถานการณ์ที่ล้มเหลวด้วย Skill ดั้งเดิม สถานการณ์ที่สร้างจากเซสชันควบคุมจะถูกเล่นซ้ำด้วยเช่นกัน เพื่อยืนยันว่าไม่มีสิ่งใดหยุดทำงาน สำหรับสถานการณ์ความล้มเหลว ผู้ตัดสินยังตรวจสอบด้วยว่าความล้มเหลวที่เจาะจงนั้นเกิดขึ้นจริง แทนที่จะถือว่างานที่ไม่สำเร็จเป็นหลักฐานของปัญหาเดียวกัน
เวิร์กโฟลว์จะรวมการเปลี่ยนแปลงที่เป็นตัวเลือกและผลการประเมินไว้ใน pull request สำหรับการตรวจสอบโดยมนุษย์ภายใน การเปลี่ยนแปลงจะมีผลก็ต่อเมื่อวิศวกรอนุมัติ PR แล้วเท่านั้น
การประเมินผล
การปรับปรุง Skill อัตโนมัติช่วยเพิ่มการสร้างและการใช้งาน Skill อย่างมีนัยสำคัญ Brain เขียน Skill ส่วนตัวมากกว่า 80,000 รายการให้กับผู้ใช้มากกว่า 20,000 คนระหว่างวันที่ 1 สิงหาคมถึง 14 พฤศจิกายน นอกจากนี้ ยังมีการอัปเดตอัตโนมัติมากกว่า 100,000 ครั้งกับ Skill ส่วนตัวที่มีอยู่มากกว่า 30,000 รายการระหว่างวันที่ 4 กันยายนถึง 14 พฤศจิกายน
Skill เหล่านี้ครอบคลุมโดเมนและงานที่หลากหลาย ตั้งแต่การตรวจสอบซอฟต์แวร์ การกระทบยอดเงินเดือน ไปจนถึงการออกแบบแผนภาพ เราจัดหมวดหมู่ Skill ที่ Brain สร้างขึ้นตามเวิร์กโฟลว์ที่ Skill เหล่านั้นอธิบาย แม้แต่โดเมนที่ใหญ่ที่สุดอย่างวิศวกรรมซอฟต์แวร์ก็คิดเป็นเพียง 11% ของ Skill ทั้งหมด ตามมาด้วยการวิจัยและการสรุปข้อมูล (10.1%) การขายและการดำเนินงาน (9.9%) และการเงินและการลงทุน (9.9%)
เราทำการทดสอบแบบสุ่มเป็นเวลาแปดสัปดาห์กับทราฟฟิกในระบบใช้งานจริง โดยเปรียบเทียบผู้ใช้ที่เปิดใช้การปรับปรุง Skill ส่วนตัวอัตโนมัติกับกลุ่มควบคุมที่ปิดใช้ฟีเจอร์นี้ 72.9% ของผู้ที่เปิดใช้การปรับปรุง Skill ได้รับ Skill ส่วนตัวใหม่อย่างน้อยหนึ่งรายการ ขณะที่ผู้ที่ไม่ได้เปิดใช้มีเพียง 6.5% ที่เพิ่ม Skill ใหม่ด้วยตนเอง มากกว่าครึ่งหนึ่งของกลุ่มทดลอง (53%) มีการโหลด Skill ส่วนตัวในการสนทนาที่ตนเริ่มต้น เทียบกับ 13% ในกลุ่มควบคุม และเทิร์นของกลุ่มทดลองมีการโหลด Skill ส่วนตัวบ่อยกว่าประมาณ 3.6 เท่า ในกลุ่มลูกค้าที่ได้รับ Skill ที่ Brain เขียนขึ้น 63% ใช้ Skill ดังกล่าวอีกครั้งในการสนทนาครั้งถัดมาภายในสี่สัปดาห์
การประเมินผลของเรามุ่งพิจารณาว่า Skill ใหม่และ Skill ที่อัปเดตเหล่านี้ส่งผลต่อการปฏิบัติงานและประสิทธิภาพโดยรวมอย่างไร
ผลจากการทดลองแบบสุ่มเดียวกันแสดงให้เห็นว่าความล้มเหลวในการเรียกใช้เครื่องมือและความไม่พึงพอใจของผู้ใช้ลดลง สำหรับผู้ใช้ที่มีการปรับปรุง Skill อัตโนมัติ อัตราความล้มเหลวในการเรียกใช้เครื่องมือลดลง 11% ในกิจกรรมทั้งหมดของ Computer เมื่อไม่นับการรันเบื้องหลังของระบบเอง การเรียกใช้เครื่องมือยังคงล้มเหลวน้อยลงประมาณ 7% ซึ่งบ่งชี้ว่าความน่าเชื่อถือในงานของผู้ใช้ดีขึ้น ความไม่พึงพอใจของผู้ใช้ ซึ่งวัดจากจำนวนเธรดที่มีความไม่พึงพอใจระดับปานกลาง/สูงต่อผู้ใช้หนึ่งคน ลดลง 7.6% เราไม่พบการเปลี่ยนแปลงที่วัดได้ในด้านต้นทุนหรือเวลาตอบสนอง การทดสอบในช่วงแรกเหล่านี้แสดงผลลัพธ์ที่น่าพอใจ และเราคาดว่าการปรับปรุงจะเพิ่มขึ้นเมื่อเวลาผ่านไป ขณะที่เราปรับแต่งระบบและเปิดตัว Skill ที่พัฒนาตนเองได้ให้แก่ผู้ใช้มากขึ้น
การทดลองแบบออฟไลน์ยังบันทึกการปรับปรุงในบริบทที่แคบกว่าด้วย ในการทดลอง SkillLearnBench นั้น Computer ใช้เส้นทางการทำงานของงานก่อนหน้าเพื่อสร้าง Skill ส่วนตัวหนึ่งรายการสำหรับงานแต่ละกลุ่มจากทั้งหมดเก้ากลุ่ม ในอินสแตนซ์การประเมินแบบจับคู่ 16 รายการ อัตราความสำเร็จของงานเพิ่มขึ้นจาก 43.8% เมื่อไม่มี Skill เป็น 62.5% เมื่อใช้ Skill ที่สร้างขึ้น ซึ่งเป็นหลักฐานว่า Skill ที่ได้จากประสบการณ์ในอดีตสามารถปรับปรุงประสิทธิภาพในงานที่ทำซ้ำ ในกรณีศึกษาหนึ่งของ Skill ในตัว การแก้ไข Skill ด้านอีคอมเมิร์ซนำไปสู่คุณภาพที่เพิ่มขึ้น 6% ด้วยต้นทุนที่ต่ำลง 32% โดยวัดคุณภาพด้วยผู้ตัดสินอัตโนมัติ
บทสรุป
Skill ที่พัฒนาตนเองได้มอบอีกหนึ่งวิธีให้ Computer เรียนรู้จากงานที่ทำ โดยขยายขีดความสามารถของ Brain ให้สร้างและดูแลความทรงจำเชิงกระบวนการ ซึ่งช่วยปรับปรุงประสิทธิภาพในเวิร์กโฟลว์ที่ซับซ้อน การปรับปรุง Skill อัตโนมัติได้เพิ่มการใช้งาน Skill ลดอัตราความล้มเหลวของเครื่องมือ และลดความไม่พึงพอใจของผู้ใช้แล้ว
ขณะนี้การปรับปรุง Skill ส่วนตัวพร้อมให้บริการแก่สมาชิก Max ในสหรัฐอเมริกาทุกคนแล้ว ฟีเจอร์นี้เปิดใช้งานโดยค่าเริ่มต้นสำหรับผู้ใช้ที่มีสิทธิ์ แต่สามารถปิดได้ แท็บปลั๊กอินจะแสดง Skill ที่พร้อมใช้งาน ระบุ Skill ที่ Brain สร้างขึ้น และให้ผู้ใช้เลือกได้ว่าจะเปิดใช้ Skill ใด
ต่อไป เราจะขยายการปรับปรุงไปยัง Skill ประเภทอื่น ๆ มากขึ้น รวมถึง Skill ที่ผู้ใช้สร้างเอง Skill ที่แชร์ภายในโปรเจกต์ และ Skill ขององค์กร เราจะปรับแต่งไปป์ไลน์การปรับปรุงและการประเมินผลของไปป์ไลน์อย่างต่อเนื่อง เพื่อให้การแก้ไขนำไปสู่ขั้นตอนที่น่าเชื่อถือยิ่งขึ้นและผลลัพธ์ที่ดีขึ้น
การอ้างอิง
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}