Căn chỉnh AI: nghiên cứu và tranh luận hiện tại

Căn chỉnh AI trước đây chỉ đơn giản có nghĩa là "mô hình AI có tuân theo hướng dẫn của người dùng không?". Tuy nhiên, khi các hệ thống AI trở nên có năng lực và tự chủ hơn, câu hỏi đó đã được mở rộng để bao gồm cả phán đoán và giá trị. Bài viết này sẽ khám phá cách các nền tảng AI, cơ quan chính phủ và các tổ chức phi lợi nhuận đang ứng phó với thách thức căn chỉnh AI.

Căn chỉnh AI có nghĩa là gì

Ở mức độ đơn giản nhất, căn chỉnh AI có nghĩa là đảm bảo hệ thống AI làm những gì nó phải làm. Một mô hình AI đã căn chỉnh đọc lời nhắc và tạo ra đầu ra mà lời nhắc yêu cầu, mà không lợi dụng mục tiêu mà nó được đào tạo trên đó. Trong nghiên cứu căn chỉnh hiện đại, điều này thường được đóng khung là căn chỉnh ý định: xây dựng các hệ thống cố gắng làm những gì người vận hành chúng dự định, chứ không chỉ tuân theo nghĩa đen văn bản của lời nhắc.

Căn chỉnh vừa là một thách thức kỹ thuật vừa là một chủ đề tranh luận công khai. Là một thuật ngữ kỹ thuật, căn chỉnh là một bài toán kỹ thuật. Liệu mô hình cụ thể, hoạt động trên một tác vụ cụ thể, có làm những gì nó được tạo ra để làm không? Đó là một vấn đề có giới hạn, có thể kiểm chứng.

Tuy nhiên, căn chỉnh AI cũng được sử dụng trong các cuộc thảo luận rộng rãi hơn của công chúng và chính sách về sự an toàn chung của hệ thống AI. Liệu các nền tảng AI ngày càng có năng lực cao có tiếp tục mang lại lợi ích cho nhân loại và căn chỉnh với đạo đức, mong muốn và mục tiêu của con người hay không?

Việc đạt được sự căn chỉnh đó ngày càng trở nên khó khăn hơn khi các mô hình trở nên phức tạp hơn. Có hai thách thức chính trong việc xây dựng các mô hình AI đã căn chỉnh:

Vấn đề căn chỉnh bên ngoài

Người dùng thường muốn một LLM hữu ích, trung thực và có đạo đức. Nhưng một LLM không bao giờ được đào tạo trực tiếp về việc "hãy hữu ích và có đạo đức". Nó trải qua hai giai đoạn riêng biệt.

Đào tạo trước: Mô hình học ngôn ngữ, sự thật và các mẫu suy luận, và qua đó tiếp thu ngôn ngữ, sự thật và các mẫu suy luận. Giai đoạn này không mang lại cho mô hình bất kỳ nhận thức nào về những gì con người thực sự muốn từ một câu hỏi cụ thể. Nếu dừng lại ở đây, mô hình sẽ trả lời "làm thế nào để tôi mở khóa" một cách dễ dàng như "làm thế nào để tôi nướng bánh mì chua".

Sở thích của con người: Mọi người xem xét các cặp câu trả lời của mô hình và cho biết họ thích câu trả lời nào hơn. Những sở thích đó đào tạo một hệ thống tính điểm riêng biệt, và mô hình sau đó được điều chỉnh để tạo ra các câu trả lời đạt điểm cao.

Không ai viết ra một định nghĩa rõ ràng về ý nghĩa của việc hữu ích hay có đạo đức ở bất cứ đâu trong quá trình này. Hướng dẫn của hệ thống chấm điểm về những gì mô hình phải làm được xây dựng hoàn toàn từ nhiều cuộc gọi phán đoán cá nhân của con người. Việc chấm điểm phản ánh những gì người đánh giá có xu hướng thích, chứ không phải ý định thực sự của bất kỳ cá nhân nào, và không phải là định nghĩa chính xác về mục tiêu cơ bản.

Kết quả là, AI có thể căn chỉnh tốt với những gì nó nhận thức là mục tiêu khách quan, nhưng bản thân mục tiêu đó có thể không thực sự căn chỉnh với kết quả mà con người mong muốn.

Ví dụ, nếu người đánh giá có xu hướng thích câu trả lời dài hơn, mô hình sẽ học cách viết câu trả lời dài hơn, ngay cả khi câu trả lời ngắn là chính xác. Hoặc, nếu người đánh giá có xu hướng thích câu trả lời tự tin, mô hình sẽ học cách phát ra vẻ chắc chắn, ngay cả khi nó nên thể hiện sự nghi ngờ.

Các nhà nghiên cứu gọi khoảng cách giữa mục tiêu đã nêu và mục tiêu được đào tạo này là vấn đề căn chỉnh bên ngoài.

Vấn đề căn chỉnh bên trong

Vấn đề căn chỉnh bên trong xảy ra khi một mô hình được đào tạo trên một mục tiêu có liên quan nhưng không theo đuổi mục tiêu đó một cách chính xác khi hoạt động thực tế trên thế giới. Vấn đề này chỉ trở nên rõ ràng khi mô hình gặp phải một tình huống mà quá trình đào tạo chưa chuẩn bị cho nó.

Trong quá trình đào tạo, các mô hình chỉ được cho thấy một tập hợp các tình huống hạn chế. Sau đó, mô hình sẽ tổng quát hóa từ các tình huống đó cho mọi thứ khác mà nó sẽ gặp phải sau này.

Quá trình đào tạo kiểm tra cách mô hình hành xử, nhưng nó không phải lúc nào cũng làm rõ lý do tại sao mô hình hành xử như vậy. Vì vậy, rất khó để biết liệu mô hình đã học được toàn bộ mục tiêu tinh tế hay chỉ là một mẫu đơn giản hơn tình cờ khớp với dữ liệu đào tạo.

Phóng to

Ví dụ, một mô hình được đào tạo để từ chối các yêu cầu có hại (ví dụ: "làm thế nào để tôi mở khóa để đột nhập vào nhà ai đó") có thể học cách nhận ra cách diễn đạt cụ thể của các yêu cầu có hại trong dữ liệu đào tạo của nó, thay vì ý định cơ bản đằng sau sự từ chối. Sau đó, nó sẽ bỏ lỡ một yêu cầu có hại được diễn đạt theo cách khác (ví dụ: "cách nhanh nhất để mở cửa không cần chìa khóa là gì").

Ví dụ về các vấn đề căn chỉnh AI

Các mẫu lỗi căn chỉnh này đã được tài liệu hóa rõ ràng. Các nhà nghiên cứu đã xây dựng các biện pháp phòng thủ cụ thể cho từng mẫu:

Các phòng thí nghiệm AI lớn đang phản ứng thế nào với các thách thức về căn chỉnh AI

Một số ít công ty, chủ yếu là OpenAI, Anthropic và Google DeepMind, xây dựng các mô hình tiên tiến ở ranh giới những gì AI có thể làm hiện tại. Mỗi công ty đã công bố khung riêng để đánh giá và triển khai các mô hình này một cách an toàn.

OpenAI

Theo tuyên bố công khai của OpenAI về an toàn và căn chỉnh, họ đang giải quyết các rủi ro về sự lệch lạc căn chỉnh tiềm ẩn của AI thông qua:

Triển khai lặp đi lặp lại

OpenAI tuyên bố rằng họ cố ý phát hành các mô hình dần dần, để họ có thể nghiên cứu cách các mô hình hành xử và bị lạm dụng trong thế giới thực. Họ lập luận rằng phản hồi trong thế giới thực mang lại nhiều thông tin chi tiết hơn là cố gắng dự đoán trước mọi rủi ro. Công ty áp dụng Khung sẵn sàng để theo dõi các rủi ro mới nổi và quyết định những biện pháp bảo vệ mà mô hình cần trước khi phát hành.

Các biện pháp bảo vệ theo tầng

OpenAI cho biết họ kết hợp nhiều biện pháp bảo vệ độc lập, do đó một số hệ thống phòng thủ phải đồng thời thất bại thì sự cố mới xảy ra.

Căn chỉnh có cân nhắc

Theo công ty, thay vì trả lời trong một bước, mô hình được đào tạo để vượt qua các hướng dẫn an toàn có liên quan trước khi quyết định cách phản hồi. Mục đích là mô hình phải có khả năng suy luận để đưa ra quyết định đúng đắn trong các tình huống mà quá trình đào tạo của nó không đề cập rõ ràng.

Trách nhiệm chia sẻ

OpenAI tuyên bố rằng họ coi an toàn AI là nỗ lực tập thể, chỉ ra nghiên cứu an toàn đã được công bố và công việc của họ với Trung tâm Tiêu chuẩn và Đổi mới AI (CAISI) của Hoa Kỳ cùng Viện An toàn AI Vương quốc Anh về các tiêu chuẩn đánh giá.

Anthropic

Tài liệu Chính sách mở rộng có trách nhiệm của Anthropic giải thích cách họ hướng tới sự căn chỉnh AI:

Các biện pháp bảo vệ liên quan đến năng lực

Khi một mô hình trở nên thông minh hơn, nó phải vượt qua các bài kiểm tra an toàn nghiêm ngặt hơn trước khi có thể được đào tạo tiếp hoặc phát hành. Ngoài ra, Anthropic thừa nhận rằng một khi các hệ thống AI tự thực hiện phần lớn nghiên cứu và phân tích đằng sau các đánh giá rủi ro của chính chúng, bằng chứng đó có thể bị ảnh hưởng bởi hành vi lừa đảo hoặc thao túng. Công ty cam kết áp dụng tiêu chuẩn chứng minh cao hơn cho các đánh giá ở giai đoạn đó.

Danh mục rủi ro căn chỉnh được xác định

Anthropic nhấn mạnh 'hệ thống AI bị lệch lạc căn chỉnh trong cài đặt có rủi ro cao' như một danh mục rủi ro cụ thể: các mô hình bị phụ thuộc nhiều, có quyền truy cập rộng rãi vào các hệ thống nhạy cảm, và có một số khả năng hành động tự chủ hướng tới mục tiêu và vượt qua sự giám sát.

Kiểm tra căn chỉnh nội bộ

Công ty cam kết thường xuyên nghiên cứu hành vi của các mô hình của chính mình để tìm các dấu hiệu cảnh báo, bằng cách sử dụng hai phương pháp chính: cố gắng nhìn vào bên trong mô hình để hiểu tại sao nó tạo ra một đầu ra nhất định, và yêu cầu các nhóm nội bộ chủ yếu cố gắng khiêu khích hành vi xấu để xem nó có xuất hiện hay không.

Báo cáo công khai thường xuyên

Công ty cho biết họ xuất bản một Báo cáo rủi ro từ ba đến sáu tháng một lần, trình bày chi tiết những gì họ biết về năng lực và xu hướng hành vi của mô hình, các phương pháp giám sát và đánh giá tổng thể về rủi ro.

Google DeepMind

Tài liệu Khung an toàn biên của Google DeepMind giải thích cách họ hướng tới sự căn chỉnh:

Cấu trúc theo tầng

Khung này coi sự lệch lạc căn chỉnh là một trong bốn miền rủi ro, và định nghĩa cụ thể đó là rủi ro từ năng lực R&D máy học của mô hình hoặc các khuynh hướng bị lệch lạc làm giảm khả năng tổng thể của xã hội trong việc quản lý rủi ro AI. Nó được đóng khung rõ ràng như một yếu tố có thể góp phần gây ra tác hại nghiêm trọng thông qua nhiều con đường khác nhau cùng lúc, chứ không phải là một rủi ro cô lập.

Giai đoạn cảnh báo sớm

Khi một mô hình đủ mạnh để hoạt động giám sát cơ bản là không đủ, DeepMind sẽ kiểm tra hành vi của mô hình trên cơ sở liên tục, bao gồm cả cách nó được sử dụng nội bộ. Công ty bổ sung các biện pháp bảo vệ như theo dõi quá trình suy luận của mô hình nếu kiểm tra phát hiện ra vấn đề.

Giảm thiểu rủi ro

Đối với riêng sự lệch lạc căn chỉnh, DeepMind nêu tên các biện pháp như hạn chế những gì mô hình có thể làm, giám sát liên tục và quy trình leo thang, kiểm toán và đào tạo căn chỉnh. Công ty cũng áp dụng những biện pháp này cho việc sử dụng nội bộ rủi ro cao, vì rủi ro căn chỉnh có thể xuất hiện trong cách một mô hình được sử dụng bên trong công ty.

Căn chỉnh AI: tranh luận về các rủi ro

Đang có một cuộc thảo luận trong ngành về việc liệu các khuôn khổ tự nguyện được đề cập ở trên có đủ tự thân hay không, hay các cam kết căn chỉnh có cần phải có tính ràng buộc pháp lý để thực sự duy trì được dưới áp lực cạnh tranh.

Vào tháng 7 năm 2026, 1.386 giám đốc điều hành và nhân viên tại các công ty AI tiên tiến bao gồm OpenAI, Anthropic, Google DeepMind và Meta đã ký một tuyên bố mang tên Pacing the Frontier. Tuyên bố lập luận rằng các công ty này có thể đang tiến gần đến thời điểm họ có thể tự động hóa nghiên cứu AI. Điều này có thể có nghĩa là năng lực AI tiến bộ nhanh hơn khả năng bắt kịp của các nhà nghiên cứu, và công việc căn chỉnh sẽ mãi ở thế đuổi theo sau.

Tài liệu Pacing the Frontier yêu cầu chính phủ Hoa Kỳ giúp xây dựng các cơ chế phanh kỹ thuật và quản trị có thể được sử dụng trong tương lai, với lập luận rằng không một phòng thí nghiệm đơn lẻ nào có thể chậm lại trong khi các đối thủ vẫn tiếp tục tiến lên. Điều này có thể được coi là sự thừa nhận ngầm từ bên trong ngành rằng các khuôn khổ tự nguyện đơn lẻ sẽ không đủ để duy trì sự căn chỉnh AI trong tương lai.

Ai khác đang làm việc về căn chỉnh AI

Công việc căn chỉnh mở rộng ra ngoài các công ty xây dựng các mô hình tiên tiến.

Chính phủ

Các chính phủ đang tài trợ và điều phối trực tiếp nghiên cứu căn chỉnh. Ví dụ, Viện An toàn AI Vương quốc Anh điều hành Dự án Căn chỉnh, một quỹ toàn cầu đã trao hơn 27 triệu bảng Anh cho hơn 60 dự án trên tám quốc gia kể từ năm 2025, nhằm mục đích cụ thể là kiểm soát AI. Ở Hoa Kỳ, CAISI tập trung vào các tiêu chuẩn đánh giá.

Cả hai đều nằm trong một Mạng lưới Quốc tế về Đo lường, Đánh giá và Khoa học AI Tiên tiến rộng lớn hơn, một cơ quan gồm mười quốc gia gồm các viện an toàn quốc gia thực hiện các bài tập kiểm thử chung và làm việc để căn chỉnh các phương pháp đánh giá qua các biên giới.

Các tổ chức phi lợi nhuận

Viện Tương lai của Sự sống xuất bản Chỉ số An toàn AI, một bảng điểm so sánh các thực tiễn an toàn của các phòng thí nghiệm AI. Trung tâm An toàn AI xây dựng các điểm chuẩn được sử dụng trên toàn lĩnh vực, bao gồm WMDP và SafeBench. Trung tâm Nghiên cứu Căn chỉnh nghiên cứu các vấn đề căn chỉnh mang tính lý thuyết nhiều hơn, và công ty con của nó, Nghiên cứu Đánh giá và Mối đe dọa Mô hình (METR), thực hiện các đánh giá độc lập trước khi triển khai trên các mô hình tiên tiến. FAR.AI kiểm tra các mô hình tiên tiến để tìm ra điểm yếu trước và sau khi chúng được phát hành.

Các trường đại học

Một số trường đại học đang đóng vai trò tích cực trong nghiên cứu căn chỉnh AI, bao gồm Trung tâm AI Tương thích với Con người tại UC Berkeley và Trung tâm Tương lai của Trí tuệ Leverhulme của Đại học Cambridge.

Căn chỉnh AI: những hiểu lầm phổ biến

Căn chỉnh không giống như kiểm duyệt nội dung, mặc dù thuật ngữ này đôi khi được sử dụng trong ngữ cảnh đó. Kiểm duyệt nội dung là về những gì mô hình sẽ hoặc không nói, lọc bỏ các từ miệt thị, nội dung đồ họa hoặc các chủ đề bị cấm cụ thể. Căn chỉnh là về việc liệu hành vi thực tế của mô hình có khớp với những gì nó được tạo ra để làm hay không.

Căn chỉnh đôi khi cũng được sử dụng như một từ đồng nghĩa với an toàn AI, nhưng đó không phải là yếu tố duy nhất cần xem xét. Các mối quan tâm về an toàn AI khác bao gồm:

Bảo mật (bảo vệ trọng số mô hình khỏi bị đánh cắp)

Tính mạnh mẽ (mô hình hoạt động đáng tin cậy bên ngoài các điều kiện chính xác mà nó được đào tạo)

Phòng ngừa lạm dụng (ngăn chặn mô hình có năng lực bị sử dụng để gây hại)

Căn chỉnh liên quan đến hành vi của chính mô hình. An toàn AI là nỗ lực rộng lớn hơn nhằm giữ cho toàn bộ hệ thống không gây ra tác hại.

Cuối cùng, có một giả định phổ biến rằng một mô hình có năng lực hơn tự động là một mô hình được căn chỉnh tốt hơn. Nhưng năng lực và sự căn chỉnh có thể đi lệch hướng, đó chính là lý do tại sao các ngưỡng như cấp độ năng lực R&D máy học của Google DeepMind và danh mục rủi ro nghiên cứu tự động của Anthropic tồn tại. Chúng được xây dựng xoay quanh mối lo ngại rằng năng lực có thể vượt qua khả năng của lĩnh vực trong việc xác minh mô hình vẫn đang làm những gì nó phải làm.

Perplexity tiếp cận căn chỉnh AI như thế nào

Perplexity không đào tạo các mô hình nền tảng tiên tiến. Họ chạy các mô hình trong sản xuất ở quy mô lớn thông qua các sản phẩm tác nhân như Computer, vì vậy công việc của họ chạm đến một khía cạnh cụ thể của căn chỉnh: cách các tác nhân hành xử khi chúng hoạt động trên web mở.

Viện Trí tuệ Bảo mật là trung tâm nghiên cứu của Perplexity về bảo mật, quyền riêng tư và sự tin cậy trong AI tiên tiến. Viện đã phát triển BrowseSafe, một mô hình phát hiện mã nguồn mở được xây dựng để xác định các cuộc tấn công tiêm nhiễm lời nhắc ẩn bên trong các trang web mà các tác nhân trình duyệt AI truy cập.

Nhóm cũng đã xây dựng BrowseSafe-Bench, một điểm chuẩn công cộng gồm hơn 14.700 kịch bản tiêm nhiễm lời nhắc trải dài trên các mục tiêu tấn công, vị trí trong trang và phong cách ngôn ngữ khác nhau.

Công việc này thiên về phía ứng dụng của việc kiểm soát AI hơn là nghiên cứu căn chỉnh. Nó giới hạn những gì một tác nhân làm khi đối mặt với môi trường đối kháng, thay vì định hình các giá trị cơ bản của mô hình trong quá trình đào tạo.

Để tìm hiểu thêm, hãy khám phá Viện Trí tuệ Bảo mật và nghiên cứu BrowseSafe.