การจัดแนว AI: การวิจัยและข้อถกเถียงในปัจจุบัน

ในอดีต การจัดแนว AI หมายถึง "โมเดล AI ทำตามคำแนะนำของผู้ใช้หรือไม่" เพียงอย่างเดียว อย่างไรก็ตาม เมื่อระบบ AIมีความสามารถและมีความเป็นอิสระมากขึ้น คำถามดังกล่าวจึงกว้างขึ้นจนครอบคลุมถึงการพิจารณาและค่านิยมด้วย บทความนี้จะสำรวจว่าแพลตฟอร์ม AI หน่วยงานรัฐ และองค์กรไม่แสวงหาผลกำไรตอบสนองต่อความท้าทายในการจัดแนว AI อย่างไร

ความหมายของการจัดแนว AI

พูดง่ายๆ ก็คือ การจัดแนว AI หมายถึงการทำให้แน่ใจว่าระบบ AI ทำในสิ่งที่ควรทำ โมเดล AI ที่ได้รับการจัดแนวแล้วจะอ่านพรอมต์และสร้างผลลัพธ์ที่พรอมต์ร้องขอ โดยไม่เล่นแง่กับวัตถุประสงค์ที่ตนได้รับการฝึกมา ในการวิจัยการจัดแนวสมัยใหม่ มักจะถูกกรอบให้เป็นการจัดแนวตามเจตนา (Intent alignment): การสร้างระบบที่พยายามทำในสิ่งที่ผู้ดำเนินการตั้งใจ ไม่ใช่แค่ทำตามข้อความของพรอมต์ตามตัวอักษรเท่านั้น

การจัดแนวเป็นทั้งความท้าทายทางเทคนิคและหัวข้อในการอภิปรายสาธารณะ ในฐานะคำศัพท์ทางเทคนิค การจัดแนวคือปัญหาทางวิศวกรรม โมเดลเฉพาะที่ทำงานในงานเฉพาะนั้น ทำในสิ่งที่ถูกสร้างขึ้นมาให้ทำหรือไม่ มันเป็นปัญหาที่มีขอบเขตและสามารถทดสอบได้

อย่างไรก็ตาม การจัดแนว AI ยังถูกนำไปใช้ในการอภิปรายสาธารณะและนโยบายในวงกว้างเกี่ยวกับความปลอดภัยโดยรวมของระบบ AI ด้วย เช่น แพลตฟอร์ม AI ที่มีความสามารถมากขึ้นเรื่อยๆ จะยังคงเป็นประโยชน์ต่อมนุษยชาติและสอดคล้องกับจริยธรรม ความต้องการ และเป้าหมายของมนุษย์อยู่หรือไม่

การบรรลุการจัดแนวนี้จะยากขึ้นเรื่อยๆ เมื่อโมเดลมีความซับซ้อนมากขึ้น ความท้าทายสำคัญสองประการในการสร้างโมเดล AI ที่จัดแนวแล้ว ได้แก่:

ปัญหาการจัดแนวภายนอก

โดยทั่วไปผู้ใช้ต้องการ LLM ที่มีประโยชน์ ซื่อสัตย์ และมีจริยธรรม แต่ LLM ไม่เคยได้รับการฝึกฝนโดยตรงให้ "มีประโยชน์และมีจริยธรรม" โดยผ่านสองขั้นตอนที่แตกต่างกัน

การฝึกอบรมล่วงหน้า: โมเดลเรียนรู้ภาษา ข้อเท็จจริง และรูปแบบของการให้เหตุผล และในกระบวนการดังกล่าว โมเดลได้ซึมซับภาษา ข้อเท็จจริง และรูปแบบการให้เหตุผลเข้ามา ขั้นตอนนี้ไม่ได้ทำให้โมเดลมีความเข้าใจเลยว่ามนุษย์ต้องการอะไรจริงๆ จากคำถามที่กำหนด หากหยุดไว้เพียงเท่านี้ โมเดลจะตอบคำถาม "ฉันจะสะเดาะกุญแจอย่างไร" ได้อย่างไม่ลังเลพอๆ กับคำถาม "ฉันจะอบขนมปังซาวโดว์อย่างไร"

ความชอบของมนุษย์: ผู้คนตรวจสอบคู่คำตอบของโมเดลและระบุว่าชอบคำตอบใด ความชอบเหล่านั้นจะฝึกระบบการให้คะแนนแยกต่างหาก จากนั้นโมเดลจะถูกปรับเพื่อให้ได้คำตอบที่ได้คะแนนดี

ไม่มีใครเขียนคำนิยามที่ชัดเจนเกี่ยวกับความหมายของการมีประโยชน์หรือมีจริยธรรมไว้ที่ใดในกระบวนการนี้ คำแนะนำของระบบให้คะแนนเกี่ยวกับสิ่งที่โมเดลควรทำถูกสร้างขึ้นทั้งหมดจากการตัดสินใจของมนุษย์แต่ละคนจำนวนมาก คะแนนสะท้อนถึงสิ่งที่ผู้ตรวจสอบมีแนวโน้มที่จะชอบ ไม่ใช่สิ่งที่บุคคลใดบุคคลหนึ่งตั้งใจไว้จริงๆ และไม่ใช่คำนิยามที่แม่นยำของเป้าหมายเบื้องหลัง

ส่งผลให้ AI อาจสอดคล้องกับสิ่งที่ AI มองว่าเป็นวัตถุประสงค์ได้ดี แต่อวัตถุประสงค์นั้นเองอาจไม่สอดคล้องกับผลลัพธ์ที่ผู้คนต้องการจริงๆ

ตัวอย่างเช่น หากผู้ตรวจสอบมีแนวโน้มที่จะชอบคำตอบที่ยาวกว่า โมเดลก็จะเรียนรู้ที่จะเขียนคำตอบที่ยาวขึ้น แม้ว่าคำตอบสั้นๆ จะถูกต้องก็ตาม หรือหากผู้ตรวจสอบมีแนวโน้มที่จะชอบคำตอบที่มั่นใจ โมเดลก็จะเรียนรู้ที่จะส่งเสียงให้ดูมั่นใจ แม้ว่าควรจะแสดงความสงสัยก็ตาม

นักวิจัยเรียกช่องว่างระหว่างเป้าหมายที่ระบุกับเป้าหมายที่ได้รับการฝึกฝนนี้ว่าปัญหาการจัดแนวภายนอก

ปัญหาการจัดแนวภายใน

ปัญหาการจัดแนวภายในคือการที่โมเดลซึ่งได้รับการฝึกฝนมาด้วยเป้าหมายที่เกี่ยวข้อง ไม่สามารถปฏิบัติตามเป้าหมายนั้นได้อย่างถูกต้องเมื่อออกสู่โลกภายนอก ปัญหานี้จะมองเห็นได้ชัดเจนก็ต่อเมื่อโมเดลพบเจอกับสถานการณ์ที่การฝึกฝนไม่ได้เตรียมความพร้อมไว้

ในระหว่างการฝึก โมเดลจะได้รับชมเฉพาะสถานการณ์ที่มีอยู่อย่างจำกัดเท่านั้น จากนั้นโมเดลจะสรุป Generalize จากสถานการณ์เหล่านั้นไปยังสิ่งอื่นๆ ทั้งหมดที่จะพบเจอในภายหลัง

การฝึกจะตรวจสอบว่าโมเดลมีพฤติกรรมอย่างไร แต่ไม่ได้เปิดเผยเสมอไปว่าเหตุใดโมเดลจึงมีพฤติกรรมเช่นนั้น จึงเป็นเรื่องยากที่จะทราบว่าโมเดลได้เรียนรู้เป้าหมายที่สมบูรณ์และมีความละเอียดอ่อน หรือเป็นเพียงรูปแบบที่เรียบง่ายกว่าที่บังเอิญตรงกับข้อมูลฝึก

ขยาย

ตัวอย่างเช่น โมเดลที่ได้รับการฝึกให้ปฏิเสธคำขอที่เป็นอันตราย (เช่น "ฉันจะสะเดาะกุญแจเพื่อบุกรุกเข้าไปในบ้านของผู้อื่นได้อย่างไร") อาจเรียนรู้ที่จะจดจำการใช้ถ้อยคำเฉพาะของคำขอที่เป็นอันตรายในข้อมูลการฝึก มากกว่าเจตนาเบื้องหลังการปฏิเสธนั้น จากนั้นโมเดลจะพลาดคำขอที่เป็นอันตรายที่มีการใช้ถ้อยคำในแบบอื่น (เช่น "วิธีที่เร็วที่สุดในการเปิดประตูโดยไม่มีกุญแจคืออะไร")

ตัวอย่างปัญหาการจัดแนว AI

รูปแบบความล้มเหลวในการจัดแนวเหล่านี้ได้รับการบันทึกไว้อย่างดี นักวิจัยได้สร้างระบบป้องกันเฉพาะสำหรับแต่ละรูปแบบ:

ห้องปฏิบัติการ AI รายใหญ่ตอบสนองต่อความท้าทายในการจัดแนว AI อย่างไร

บริษัทจำนวนไม่มาก ซึ่งหลักๆ คือ OpenAI, Anthropic และ Google DeepMind เป็นผู้สร้างโมเดลล้ำสมัยที่เป็นแนวหน้าของสิ่งที่ AI สามารถทำได้ในปัจจุบัน แต่ละบริษัทได้เผยแพร่กรอบการทำงานของตนเองสำหรับการประเมินและปรับใช้โมเดลเหล่านี้อย่างปลอดภัย

OpenAI

ตามแถลงการณ์สาธารณะของ OpenAI เกี่ยวกับความปลอดภัยและการจัดแนว พวกเขากำลังจัดการกับความเสี่ยงของความผิดพลาดในการจัดแนว AI ที่อาจเกิดขึ้นผ่าน:

การปรับใช้แบบวนซ้ำ

OpenAI ระบุว่าบริษัทค่อยๆ เผยแพร่โมเดลทีละน้อยโดยเจตนา เพื่อจะได้ศึกษาว่าพฤติกรรมของโมเดลเป็นอย่างไรและถูกนำไปใช้ในทางที่ผิดอย่างไรในโลกแห่งความเป็นจริง บริษัทให้เหตุผลว่าความคิดเห็นจากโลกแห่งความเป็นจริงให้ข้อมูลเชิงลึกมากกว่าการพยายามคาดการณ์ความเสี่ยงทุกอย่างล่วงหน้า บริษัทใช้ Preparedness Framework เพื่อติดตามความเสี่ยงที่กำลังเกิดขึ้นและตัดสินใจว่าโมเดลจำเป็นต้องมีมาตรการป้องกันอะไรบ้างก่อนที่จะเผยแพร่

มาตรการป้องกันหลายชั้น

OpenAI ระบุว่าใช้มาตรการป้องกันอิสระหลายชั้นซ้อนกัน ดังนั้นระบบป้องกันหลายตัวจึงต้องล้มเหลวพร้อมกันจึงจะทำให้เกิดข้อผิดพลาดได้

การจัดแนวโดยการไตร่ตรอง

ตามข้อมูลของบริษัท แทนที่จะตอบในขั้นตอนเดียว โมเดลได้รับการฝึกให้พิจารณากลุ่มแนวทางปฏิบัติด้านความปลอดภัยที่เกี่ยวข้องก่อนที่จะตัดสินใจว่าจะตอบสนองอย่างไร เป้าหมายคือเพื่อให้โมเดลสามารถให้เหตุผลเพื่อหาทางตัดสินใจที่ถูกต้องในสถานการณ์ที่การฝึกไม่ได้ครอบคลุมไว้อย่างชัดเจน

ความรับผิดชอบร่วมกัน

OpenAI ระบุว่าปฏิบัติต่อความปลอดภัยของ AI ความพยายามร่วมกัน โดยชี้ไปที่การวิจัยความปลอดภัยที่เผยแพร่และการทำงานร่วมกับ Center for AI Standards and Innovation (CAISI) ของสหรัฐฯ และสถาบันความปลอดภัย AI ของสหราชอาณาจักรในด้านมาตรฐานการประเมิน

Anthropic

เอกสาร Responsible Scaling Policy ของ Anthropic อธิบายวิธีที่บริษัททำงานเพื่อมุ่งสู่การจัดแนว AI:

มาตรการป้องกันที่เกี่ยวข้องกับความสามารถ

เมื่อโมเดลมีความสามารถมากขึ้น โมเดลจะต้องผ่านการตรวจสอบความปลอดภัยที่เข้มงวดขึ้นก่อนที่จะได้รับการฝึกเพิ่มเติมหรือเผยแพร่ นอกจากนี้ Anthropic ยอมรับว่าเมื่อระบบ AI ทำการวิจัยและการวิเคราะห์ส่วนใหญ่เบื้องหลังการประเมินความเสี่ยงของตนเอง หลักฐานดังกล่าวอาจได้รับผลกระทบจากพฤติกรรมหลอกลวงหรือการบิดเบือนได้ ทางบริษัทจึงมุ่งมั่นที่จะยกระดับมาตรฐานการพิสูจน์สำหรับการประเมินผลในขั้นตอนนี้ให้สูงขึ้น

หมวดหมู่ความเสี่ยงด้านการจัดแนวที่กำหนดไว้ชัดเจน

Anthropic เน้นย้ำว่า 'ระบบ AI ที่จัดแนวไม่ถูกต้องในบริบทที่มีเดิมพันสูง' เป็นหมวดหมู่ความเสี่ยงเฉพาะ ได้แก่ โมเดลที่มีการพึ่งพาอย่างมาก มีการเข้าถึงระบบที่มีความละเอียดอ่อนอย่างกว้างขวาง และมีความสามารถบางประการในการดำเนินการอย่างอิสระเพื่อให้บรรลุเป้าหมายและหลีกเลี่ยงการกำกับดูแล

การทดสอบการจัดแนวภายใน

บริษัทมุ่งมั่นที่จะศึกษาพฤติกรรมของโมเดลตนเองอย่างสม่ำเสมอเพื่อหาสัญญาณเตือน โดยใช้วิธีการหลักสองวิธี ได้แก่ การพยายามมองเข้าไปข้างในโมเดลเพื่อทำความเข้าใจว่าเหตุใดจึงผลิตผลลัพธ์หนึ่งๆ ออกมา และการให้ทีมงานภายในพยายามกระตุ้นให้เกิดพฤติกรรมที่ไม่ดีโดยเจตนาเพื่อดูว่าพฤติกรรมดังกล่าวจะปรากฏขึ้นหรือไม่

การรายงานต่อสาธารณะเป็นประจำ

บริษัทระบุว่าจะเผยแพร่ Risk Report ทุกๆ สามถึงหกเดือน โดยให้รายละเอียดเกี่ยวกับสิ่งที่ทราบเกี่ยวกับความสามารถและแนวโน้มพฤติกรรมของโมเดล แนวปฏิบัติในการตรวจสอบ และการประเมินความเสี่ยงโดยรวม

Google DeepMind

เอกสาร Frontier Safety Framework ของ Google DeepMind อธิบายวิธีที่บริษัททำงานเพื่อมุ่งสู่การจัดแนว:

โครงสร้างแบบแบ่งระดับ

กรอบการทำงานดังกล่าวถือว่าการจัดแนวไม่ถูกต้องเป็นหนึ่งในสี่โดเมนความเสี่ยง และกำหนดไว้อย่างเฉพาะเจาะจงว่าเป็นความเสี่ยงจากความสามารถด้านการวิจัยและพัฒนา ML ของโมเดล หรือแนวโน้มที่จัดแนวไม่ถูกต้อง ซึ่งลดความสามารถโดยรวมของสังคมในการจัดการความเสี่ยงของ AI โดยระบุไว้อย่างชัดเจนว่าเป็นปัจจัยที่สามารถมีส่วนทำให้เกิดอันตรายร้ายแรงผ่านเส้นทางต่างๆ พร้อมกันได้หลายเส้นทาง ไม่ใช่ความเสี่ยงที่โดดเดี่ยวเพียงอย่างเดียว

ขั้นตอนเตือนภัยล่วงหน้า

เมื่อโมเดลมีความแข็งแกร่งพอที่การกำกับดูแลขั้นพื้นฐานจะไม่เพียงพอ DeepMind จะตรวจสอบพฤติกรรมของโมเดลอย่างต่อเนื่อง รวมถึงวิธีที่โมเดลถูกใช้งานภายใน โดยจะเพิ่มมาตรการป้องกัน เช่น การตรวจสอบกระบวนการให้เหตุผลของโมเดลหากการตรวจสอบนั้นพบปัญหา

การลดความเสี่ยง

สำหรับการจัดแนวที่ไม่ถูกต้องโดยเฉพาะ DeepMind ได้ระบุมาตรการต่างๆ เช่น การจำกัดสิ่งที่โมเดลสามารถทำได้ กระบวนการตรวจสอบและยกระดับปัญหาอย่างต่อเนื่อง การตรวจสอบบัญชี และการฝึกอบรมการจัดแนว บริษัทนำมาตรการเหล่านี้ไปใช้กับการใช้งานภายในที่มีความเสี่ยงสูงด้วยเช่นกัน เนื่องจากความเสี่ยงจากการจัดแนวที่ไม่ถูกต้องสามารถปรากฏให้เห็นได้จากวิธีที่โมเดลถูกใช้งานภายในบริษัท

การจัดแนว AI: ข้อถกเถียงเกี่ยวกับความเสี่ยง

มีการอภิปรายในอุตสาหกรรมอย่างต่อเนื่องว่ากรอบการทำงานแบบสมัครใจที่กล่าวถึงข้างต้นนั้นเพียงพอกด้วยตัวเองแล้วหรือไม่ หรือความมุ่งมั่นในการจัดแนวจำเป็นต้องมีผลผูกพันทางกฎหมายเพื่อให้สามารถยึดถือปฏิบัติได้จริงภายใต้แรงกดดันทางการแข่งขัน

ในเดือนกรกฎาคม 2026 ผู้บริหารและพนักงาน 1,386 คนจากบริษัท AI ชั้นนำ ซึ่งรวมถึง OpenAI, Anthropic, Google DeepMind และ Meta ได้ร่วมลงนามในแถลงการณ์ที่ชื่อว่า Pacing the Frontier แถลงการณ์ดังกล่าวระบุว่าบริษัทเหล่านี้อาจกำลังเข้าใกล้จุดที่สามารถทำให้การวิจัย AI เป็นแบบอัตโนมัติได้ ซึ่งอาจหมายความว่าความสามารถของ AI พัฒนาไปเร็วกว่าที่นักวิจัยจะตามทัน และงานด้านการจัดแนวจะต้องวิ่งไล่ตามหลังอย่างถาวร

Pacing the Frontier เรียกร้องให้รัฐบาลสหรัฐฯ ช่วยสร้างมาตรการเบรกทางเทคนิคและการกำกับดูแลที่สามารถนำมาใช้ในอนาคต โดยโต้แย้งว่าไม่มีห้องปฏิบัติการใดที่สามารถผ่อนปรนลงได้ในขณะที่คู่แข่งยังคงผลักดันต่อไป นี่อาจถือเป็นการยอมรับโดยปริยายจากภายในอุตสาหกรรมว่ากรอบการทำงานแบบสมัครใจเพียงอย่างเดียวนั้นไม่เพียงพอที่จะรักษาการจัดแนว AI ไว้ได้ในอนาคต

ใครอีกบ้างที่กำลังทำงานเกี่ยวกับการจัดแนว AI

งานด้านการจัดแนวขยายออกไปไกลกว่าบริษัทที่สร้างโมเดลล้ำสมัย

รัฐบาล

รัฐบาลกำลังให้ทุนสนับสนุนและประสานงานการวิจัยการจัดแนวโดยตรง ตัวอย่างเช่น สถาบันความปลอดภัย AI ของสหราชอาณาจักรดำเนินโครงการ Alignment Project ซึ่งเป็นกองทุนระดับโลกที่มอบเงินมากกว่า 27 ล้านปอนด์ให้กับกว่า 60 โครงการในแปดประเทศตั้งแต่ปี 2025 โดยมุ่งเป้าไปที่การควบคุม AI โดยเฉพาะ ในสหรัฐอเมริกา CAISI มุ่งเน้นไปที่มาตรฐานการประเมิน

ทั้งสองอย่างอยู่ภายใต้เครือข่ายระหว่างประเทศสำหรับการวัด การประเมิน และวิทยาศาสตร์ AI ขั้นสูง (International Network for Advanced AI Measurement, Evaluation and Science) ซึ่งเป็นหน่วยงานระดับชาติสิบประเทศของสถาบันความปลอดภัยแห่งชาติที่ดำเนินการทดสอบร่วมกันและทำงานเพื่อจัดแนววิธีการประเมินข้ามพรมแดน

องค์กรไม่แสวงหาผลกำไร

Future of Life Institute เผยแพร่ AI Safety Index ซึ่งเป็นดัชนีชี้วัดที่เปรียบเทียบแนวปฏิบัติด้านความปลอดภัยของห้องปฏิบัติการ AI ต่างๆ Center for AI Safety สร้างเกณฑ์มาตรฐานที่ใช้ทั่วทั้งวงการ รวมถึง WMDP และ SafeBench Alignment Research Center ศึกษาปัญหาการจัดแนวที่เป็นทฤษฎีมากขึ้น และบริษัทแยกตัวออกมาอย่าง Model Evaluation and Threat Research (METR) ดำเนินการประเมินอิสระก่อนการใช้งานจริงกับโมเดลล้ำสมัย FAR.AI ทดสอบจุดอ่อนของโมเดลล้ำสมัยทั้งก่อนและหลังการเผยแพร่

มหาวิทยาลัย

มหาวิทยาลัยหลายแห่งมีบทบาทสำคัญในการวิจัยการจัดแนว AI ซึ่งรวมถึง Center for Human-Compatible AI ที่ UC Berkeley และ Leverhulme Centre for the Future of Intelligence ของ University of Cambridge

การจัดแนว AI: ความเข้าใจผิดทั่วไป

การจัดแนวไม่ใช่สิ่งเดียวกับการกลั่นกรองเนื้อหา แม้ว่าบางครั้งคำนี้จะถูกใช้ในบริบทดังกล่าวก็ตาม การกลั่นกรองเนื้อหาเกี่ยวข้องกับสิ่งที่โมเดลจะพูดหรือไม่พูด การกรองคำหยาบคาบ เนื้อหาที่มีภาพรุนแรง หรือหัวข้อที่ถูกแบนเฉพาะเจาะจง การจัดแนวเกี่ยวข้องกับว่าพฤติกรรมที่แท้จริงของโมเดลตรงกับสิ่งที่โมเดลถูกสร้างขึ้นให้ทำหรือไม่

บางครั้งการจัดแนวถูกใช้เป็นคำพ้องความหมายกับความปลอดภัยของ AI ด้วย แต่นั่นไม่ใช่ปัจจัยเดียวที่ต้องพิจารณา ข้อกังวลด้านความปลอดภัยของ AI อื่นๆ ได้แก่:

ความปลอดภัย (การปกป้องพารามิเตอร์ของโมเดลจากการโจรกรรม)

ความทนทาน (โมเดลทำงานได้อย่างน่าเชื่อถือนอกเหนือจากเงื่อนไขที่แน่นอนที่ใช้ฝึกฝน)

การป้องกันการนำไปใช้ในทางที่ผิด (การหยุดไม่ให้โมเดลที่มีความสามารถถูกนำไปใช้เพื่อก่ออันตราย)

การจัดแนวเกี่ยวข้องกับพฤติกรรมของตัวโมเดลเอง ความปลอดภัยของ AI คือความพยายามที่กว้างขึ้นในการป้องกันไม่ให้ระบบทั้งหมดก่อให้เกิดอันตราย

สุดท้าย มีข้อสมมติฐานทั่วไปว่าโมเดลที่มีความสามารถมากกว่าจะได้รับการจัดแนวที่ดีกว่าโดยอัตโนมัติ แต่ความสามารถและการจัดแนวสามารถแยกออกจากกันได้ ซึ่งเป็นสาเหตุว่าทำไมเกณฑ์ต่างๆ เช่น ระดับความสามารถด้านการวิจัยและพัฒนาการเรียนรู้ของเครื่อง (ML R&D) ของ Google DeepMind และหมวดหมู่ความเสี่ยงด้านการวิจัยอัตโนมัติของ Anthropic จึงมีอยู่ เกณฑ์เหล่านี้ถูกสร้างขึ้นมาโดยเฉพาะเพื่อรับมือกับความกังวลที่ว่าความสามารถอาจแซงหน้าความสามารถของวงการในการตรวจสอบว่าโมเดลยังคงทำในสิ่งที่ควรทำอยู่หรือไม่

วิธีที่ Perplexity เข้าหาการจัดแนว AI

Perplexity ไม่ได้ฝึกฝนโมเดลพื้นฐานล้ำสมัย โดยรันโมเดลในการผลิตในสเกลใหญ่ผ่านผลิตภัณฑ์ที่เป็นเอเจนต์ เช่น Computer ดังนั้นงานของ Perplexity จึงเกี่ยวข้องกับแง่มุมเฉพาะของการจัดแนว นั่นคือ วิธีที่เอเจนต์มีพฤติกรรมเมื่อทำงานบนเว็บเปิด

Secure Intelligence Institute คือศูนย์วิจัยของ Perplexity ด้านความปลอดภัย ความเป็นส่วนตัว และความน่าเชื่อถือใน AI ล้ำสมัย ทางสถาบันได้พัฒนา BrowseSafe ซึ่งเป็นโมเดลการตรวจจับแบบโอเพนซอร์สที่สร้างขึ้นเพื่อระบุการโจมตีแบบแทรกพรอมต์ที่ซ่อนอยู่ภายในหน้าเว็บที่เอเจนต์เบราว์เซอร์ AI เข้าชม

ทีมงานยังได้สร้าง BrowseSafe-Bench ซึ่งเป็นเกณฑ์มาตรฐานสาธารณะที่มีสถานการณ์การแทรกพรอมต์ (Prompt-injection) มากกว่า 14,700 รายการ ครอบคลุมเป้าหมายการโจมตี ตำแหน่งต่างๆ ในหน้าเว็บ และรูปแบบภาษาที่แตกต่างกัน

งานนี้ใกล้เคียงกับด้านการควบคุม AI เชิงประยุกต์มากกว่าการวิจัยการจัดแนว โดยจะจำกัดสิ่งที่เอเจนต์ทำเมื่อต้องเผชิญกับสภาพแวดล้อมที่เป็นปฏิปักษ์ มากกว่าการกำหนดค่านิยมพื้นฐานของโมเดลระหว่างการฝึก

หากต้องการเรียนรู้เพิ่มเติม โปรดสำรวจ Secure Intelligence Institute และการวิจัย BrowseSafe