Kỹ thuật harness: khái niệm và cách hoạt động

Kỹ thuật harness là gì

Kỹ thuật harness là công việc xây dựng harness của một công cụ AI, tức là mọi thành phần của công cụ ngoại trừ mô hình AI.

Mô hình là hệ thống AI đã được huấn luyện trên khối lượng văn bản lớn để có thể đọc và viết ngôn ngữ. Ví dụ về các mô hình AI bao gồm GPT của OpenAI, Claude của Anthropic hoặc Gemini của Google.

Tự thân một mô hình chỉ có thể tiếp nhận văn bản (và đôi khi là hình ảnh hoặc âm thanh) rồi viết văn bản phản hồi. Mô hình không thể ghi nhớ các cuộc trò chuyện trước đây, tra cứu thông tin hiện tại hay chạy mã. Vì vậy, mô hình cần một harness để quản lý những thông tin mà nó nhận được, những ứng dụng nó có thể dùng, những việc nó được phép làm và cách kiểm tra công việc của nó.

Ngay cả một trợ lý trò chuyện cơ bản cũng cần harness. Mô hình quên từng lượt trao đổi ngay sau khi trả lời, vì vậy harness lưu lại bản ghi cuộc trò chuyện. Nếu ai đó hỏi về Paris rồi hỏi tiếp “dân số của nó là bao nhiêu?”, harness sẽ gửi cả hai câu hỏi cho mô hình cùng lúc. Nhờ đó, mô hình biết “nó” ở đây là Paris.

Kỹ thuật harness là một trong những lý do khiến hai công cụ xây dựng trên cùng một mô hình có thể hoạt động khác biệt đến vậy. Chẳng hạn, trong một thử nghiệm độc lập, các nhà nghiên cứu giữ nguyên mô hình (GPT5) và chỉ thay đổi harness, kết quả là điểm số của mô hình trong một bài kiểm tra lập trình chênh lệch tới 11%.

Các nhà phát triển mô hình AI như Anthropic và OpenAI xây dựng harness cho chính các sản phẩm AI của họ, chẳng hạn như Claude Code và Codex. Còn các công ty xây dựng sản phẩm AI thì thiết kế harness cho những mô hình nền tảng mà họ chọn. Người dùng công cụ AI cũng định hình một phần harness. Nhiều công cụ cho phép họ thêm hướng dẫn cố định, kết nối ứng dụng và chọn những hành động nào cần họ phê duyệt trước khi công cụ tiếp tục.

Kỹ thuật harness cho tác nhân AI

Mọi công cụ AI đều có harness, nhưng kỹ thuật harness đặc biệt quan trọng khi làm việc với tác nhân AI. Tác nhân tự xử lý các tác vụ nhiều bước, như nghiên cứu đối thủ cạnh tranh rồi đưa kết quả vào bảng tính, và harness thực thi từng bước. Vì vậy, nếu harness mắc lỗi, chẳng hạn như lấy giá của năm ngoái, lỗi đó cũng sẽ ảnh hưởng đến các bước còn lại.

Hầu hết harness của tác nhân có sáu thành phần chính:

1. Vòng lặp tác nhân

Phóng to

Vòng lặp tác nhân là phần mã trong harness giúp tác vụ liên tục tiến triển, từng bước một.

Mô hình AI quyết định bước tiếp theo cần thực hiện để hoàn thành tác vụ và viết một lệnh gọi công cụ: một yêu cầu ngắn nêu tên một công cụ trong harness, chẳng hạn như tìm kiếm web, cùng với việc công cụ đó cần làm.

Harness nhận ra yêu cầu, chạy tìm kiếm và thêm kết quả vào những gì mô hình có thể thấy. Mô hình đọc các kết quả đó và quyết định việc cần làm tiếp theo.

2. Quản lý ngữ cảnh

Mô hình học kiến thức tổng quát trong quá trình huấn luyện, nhưng kiến thức đó chỉ dừng lại ở thời điểm quá trình huấn luyện kết thúc. Kiến thức này không bao gồm bất kỳ thông tin cụ thể nào về tác vụ đang thực hiện, như tệp của một công ty, tin tức hôm nay hay những gì đã được nói trước đó trong cuộc trò chuyện.

Đối với tất cả những thông tin đó, mô hình phụ thuộc vào cửa sổ ngữ cảnh của nó: phần văn bản mà harness cung cấp cho mô hình trước mỗi phản hồi, chẳng hạn như hướng dẫn, truy vấn, cuộc trò chuyện cho đến thời điểm đó và kết quả tìm kiếm.

Cửa sổ này chỉ chứa được một lượng văn bản cố định. Và ngay cả trước khi cửa sổ đầy, mô hình đôi khi bỏ sót thông tin nằm khuất ở giữa các đầu vào dài.

Vì vậy, harness đảm nhận việc quản lý ngữ cảnh và chỉ chọn những thông tin mà mỗi bước cần. Chẳng hạn, nếu tác vụ là so sánh giá của năm đối thủ cạnh tranh, harness có thể đưa vào trang bảng giá của từng công ty thay vì toàn bộ trang web của họ. Với các tác vụ dài, harness cũng có thể thay bản ghi chi tiết về các bước trước đó bằng một bản tóm tắt ngắn, để mô hình nắm được những gì đã làm mà không để lịch sử đó chiếm đầy cửa sổ.

3. Công cụ

Công cụ là phần mã thực hiện các hành động mà mô hình yêu cầu. Mỗi công cụ xử lý một loại hành động, chẳng hạn như tìm kiếm trên web, mở và đọc một trang web, chạy mã hoặc chỉnh sửa tệp. Khi mô hình viết một lệnh gọi công cụ, harness sẽ chuyển lệnh đó đến đúng công cụ và trả về kết quả.

Nhiều harness cũng bao gồm trình kết nối, tức là các công cụ liên kết tác nhân với một ứng dụng cụ thể, chẳng hạn như email, lịch hoặc ổ đĩa dùng chung, thông qua quyền truy cập mà người dùng đã cấp. Ví dụ, với trình kết nối lịch, tác nhân có thể kiểm tra lịch trống của một người trước khi đề xuất thời gian họp.

4. Bộ nhớ

Bộ nhớ là thông tin được lưu trữ và chuyển tiếp từ phiên này sang phiên tiếp theo. Harness lưu các ghi chú ngắn trong một phiên, chẳng hạn như sở thích của một người hoặc tiến độ của một dự án. Khi bắt đầu phiên tiếp theo, harness thêm những ghi chú đó vào cửa sổ ngữ cảnh, để mô hình đọc chúng trước khi đọc truy vấn mới. Chẳng hạn, đó là cách một tác nhân có thể tiếp tục làm báo cáo hằng tuần từ chỗ đã dừng thay vì bắt đầu lại từ đầu.

5. Quyền hạn

Quyền hạn là các quy tắc về những gì một tác nhân có thể truy cập và thực hiện. Quy tắc truy cập xác định những tệp, ứng dụng hoặc trang web mà tác nhân có thể mở. Quy tắc phê duyệt xác định những hành động phải chờ một người phê duyệt, chẳng hạn như gửi tin nhắn hoặc mua hàng.

Công ty tạo ra tác nhân thiết lập một số quy tắc này trong mã của harness. Sau đó, quản trị viên của một tổ chức có thể thêm quy tắc riêng, và từng người dùng có thể chọn những thứ như tài khoản nào sẽ được kết nối.

6. Xác minh

Xác minh là phần mã kiểm tra công việc của tác nhân trước khi kết quả đến tay người dùng. Phần mã này sử dụng hai loại kiểm tra:

• Quy tắc cố định, tức là các bài kiểm tra cụ thể luôn cho kết quả đạt hoặc không đạt theo cùng một cách mỗi lần chạy, chẳng hạn như xác nhận rằng mọi số liệu trong báo cáo đều xuất hiện trong một tài liệu mà tác nhân thực sự đã đọc.
• Đánh giá từ một mô hình AI khác, mô hình này sẽ đọc và nhận xét công việc. Cách này có thể phát hiện những vấn đề khó chuyển thành quy tắc, chẳng hạn như một bản tóm tắt bỏ sót một ý quan trọng.

Không có cách kiểm tra đơn lẻ nào phát hiện được mọi vấn đề, vì vậy harness thường kết hợp cả hai loại. Khi một bước kiểm tra phát hiện vấn đề, harness sẽ thêm mô tả về vấn đề đó vào cửa sổ ngữ cảnh của mô hình và gửi tác vụ trở lại vòng lặp tác nhân. Mô hình khắc phục vấn đề và thử lại, nhờ vậy nhiều lỗi được sửa trước khi người dùng nhìn thấy kết quả.

Ví dụ về kỹ thuật harness

Chuẩn bị cho cuộc họp với khách hàng

Tác vụ: Một quản lý tài khoản yêu cầu tác nhân chuẩn bị bản tóm tắt cho cuộc họp với khách hàng vào ngày mai, bao gồm các vấn đề còn tồn đọng và bản nháp chương trình họp.

Những việc harness thực hiện:

• Thông qua trình kết nối email, tác nhân tìm kiếm trong hộp thư đến của người quản lý các thư trao đổi với khách hàng.
• Quyền hạn cho phép tác nhân đọc email nhưng không được gửi email nào.
• Quản lý ngữ cảnh chỉ chuyển cho mô hình các thư trao đổi với khách hàng đó trong ba tháng gần nhất, chứ không phải toàn bộ hộp thư đến.
• Vòng lặp tác nhân chạy nhiều lượt tìm kiếm và đọc, và mô hình nhóm những gì tìm được thành các vấn đề còn tồn đọng.
• Sau đó, bước xác minh kiểm tra để đảm bảo mọi vấn đề trong bản tóm tắt đều liên kết với một email có thật.

Kết quả có thể đạt được: Người quản lý nhận được bản tóm tắt dài một trang, trong đó mọi điểm đều có thể truy ngược về email nguồn.

Cập nhật báo cáo doanh số hằng tháng

Tác vụ: Một trưởng nhóm vận hành yêu cầu tác nhân cập nhật báo cáo doanh số hằng tháng với số liệu của tháng này.

Những việc harness thực hiện:

• Bộ nhớ tải các ghi chú từ phiên của tháng trước, bao gồm định dạng báo cáo và yêu cầu của trưởng nhóm về việc làm tròn số liệu đến hàng nghìn.
• Một công cụ tệp mở bảng tính doanh số trên ổ đĩa dùng chung của nhóm.
• Quyền hạn cho phép tác nhân chỉnh sửa bản nháp báo cáo nhưng không được chỉnh sửa bảng tính nguồn, nhờ vậy số liệu gốc không thể bị thay đổi do nhầm lẫn.
• Bước xác minh kiểm tra để đảm bảo các tổng số trong báo cáo khớp với bảng tính.

Kết quả có thể đạt được: Báo cáo được gửi đến với cùng định dạng như tháng trước mà người dùng không cần giải thích lại.

Phân loại hộp thư đến dùng chung

Tác vụ: Một nhóm hỗ trợ yêu cầu tác nhân phân loại các yêu cầu gửi đến trong buổi sáng theo chủ đề và soạn thảo câu trả lời cho những yêu cầu phổ biến.

Những việc harness thực hiện:

• Vòng lặp tác nhân xử lý lần lượt từng thư trong hộp thư đến.
• Với mỗi thư, mô hình chọn một nhãn chủ đề và harness gắn nhãn đó thông qua trình kết nối email.
• Khi bắt đầu tác vụ, harness thêm các mẫu trả lời đã được nhóm phê duyệt vào cửa sổ ngữ cảnh để làm hướng dẫn, nhờ vậy mô hình soạn mỗi bản nháp dựa trên một mẫu.
• Một quy tắc phê duyệt giữ mọi câu trả lời ở dạng bản nháp cho đến khi một thành viên trong nhóm xem xét và gửi đi.

Kết quả có thể đạt được: Nhóm bắt đầu ngày làm việc với các yêu cầu đã được phân loại và các câu trả lời đang chờ xem xét.

Sửa lỗi trên một trang web

Tác vụ: Một nhà phát triển yêu cầu tác nhân lập trình sửa lỗi khiến nút thanh toán không hoạt động.

Những việc harness thực hiện:

• Tác nhân làm việc trong sandbox, một bản sao mã tách biệt, nơi các thay đổi của nó không thể ảnh hưởng đến trang web đang hoạt động.
• Một công cụ mã cho phép mô hình đọc và chỉnh sửa tệp.
• Sau mỗi thay đổi, bước xác minh sẽ chạy các bài kiểm thử tự động của dự án.
• Mọi bài kiểm thử không đạt đều được gửi lại cho mô hình dưới dạng thông tin mới.

Kết quả có thể đạt được: Tác nhân tiếp tục điều chỉnh bản sửa lỗi cho đến khi các bài kiểm thử đạt. Sau đó, nhà phát triển xem xét thay đổi trước khi đưa vào hoạt động.

Kỹ thuật harness so với kỹ thuật prompt và kỹ thuật ngữ cảnh

Kỹ thuật prompt là công việc xây dựng và tối ưu hóa một truy vấn đơn lẻ. Kỹ thuật ngữ cảnh là công việc quản lý mọi thứ mà mô hình nhìn thấy. Kỹ thuật harness là quá trình thiết kế và cải thiện toàn bộ hệ thống mà mô hình hoạt động bên trong.

Cách người dùng có thể tác động đến harness AI

Phần lớn harness của tác nhân đến từ công ty tạo ra tác nhân đó, nhưng nhiều sản phẩm AI cho phép người dùng điều chỉnh một phần harness thông qua các cài đặt như hướng dẫn tùy chỉnh, ứng dụng đã kết nối và phê duyệt.

Người dùng có thể định hình harness của tác nhân và cải thiện kết quả của tác nhân theo bốn cách:

1. Hướng dẫn cố định

Hướng dẫn cố định là những ghi chú mà một người viết một lần để harness có thể thêm chúng vào cửa sổ ngữ cảnh khi bắt đầu mọi tác vụ. Bạn nên thiết lập hướng dẫn cố định cho những điều mà nếu không có chúng, người dùng sẽ phải nhắc lại ở hết truy vấn này đến truy vấn khác: họ là ai và làm công việc gì, họ muốn văn bản được viết như thế nào, hoặc các quy tắc cho một công việc định kỳ như báo cáo hằng tháng cho khách hàng.

Nhiều sản phẩm AI cung cấp hướng dẫn cố định ở hai cấp độ. Hướng dẫn cho toàn bộ tài khoản phù hợp với những điều áp dụng cho mọi công việc, như tùy chọn chính tả. Hướng dẫn cho dự án phù hợp với một khách hàng hoặc quy trình làm việc riêng lẻ, để hướng dẫn dành cho khách hàng hay quy trình này không bị áp dụng sang khách hàng hay quy trình khác.

Hướng dẫn cố định hoạt động theo cùng một cách trong trợ lý trò chuyện và tác nhân, nhưng tác nhân phụ thuộc vào chúng nhiều hơn. Trong một cuộc trò chuyện, người dùng có thể sửa AI sau mỗi câu trả lời. Một tác nhân có thể thực hiện nhiều bước trước khi có ai xem công việc của nó, vì vậy hướng dẫn được đưa ra từ trước là một trong số ít cách để định hướng tác nhân trong suốt quá trình.

Cách viết hướng dẫn cố định hiệu quả

• Bắt đầu với một hướng dẫn ngắn, chẳng hạn như: “Tôi là quản lý marketing tại một công ty phần mềm. Hãy viết bằng tiếng Anh đơn giản, giữ các bản tóm tắt dưới 200 từ và dùng chính tả kiểu Mỹ.”
• Bổ sung hướng dẫn khi AI mắc lỗi. Nếu AI cứ làm tròn những số liệu mà nhóm cần giữ chính xác, hãy thêm một dòng nêu rõ điều đó.
• Đưa ra hướng dẫn cụ thể: “Cung cấp số liệu chính xác, không bao giờ làm tròn” hiệu quả hơn “Hãy chính xác.”
• Giữ danh sách ngắn gọn và xóa các dòng khi chúng không còn hữu ích, vì mỗi dòng đều chiếm chỗ trong cửa sổ ngữ cảnh.

2. Ứng dụng đã kết nối

Ứng dụng đã kết nối liên kết sản phẩm AI với các công cụ mà người dùng đang sử dụng, chẳng hạn như email, lịch hoặc ổ đĩa dùng chung. Khi một ứng dụng đã được kết nối, AI có thể làm việc với thông tin của chính người dùng thay vì chỉ với những gì được dán vào cuộc trò chuyện.

Bạn nên thiết lập kết nối khi một tác vụ phụ thuộc vào thông tin nằm trong các ứng dụng đó, chẳng hạn như chuẩn bị bản tóm tắt cuộc họp từ các chuỗi email hoặc tóm tắt tài liệu trên ổ đĩa dùng chung.

Cách kết nối ứng dụng an toàn

• Chỉ kết nối những ứng dụng mà tác vụ cần, vì mỗi kết nối lại tạo thêm khả năng xảy ra lỗi.
• Chọn quyền truy cập chỉ đọc khi có tùy chọn này. Chẳng hạn, một tác nhân chuẩn bị bản tóm tắt cuộc họp cần đọc email chứ không cần gửi email.
• Thiết lập kết nối theo từng dự án nếu sản phẩm cho phép. Ví dụ, trong Perplexity, người dùng có thể chọn những trình kết nối mà mỗi Dự án sử dụng.
• Hãy nhớ ngắt kết nối các ứng dụng không còn sử dụng.

3. Cài đặt phê duyệt

Cài đặt phê duyệt quyết định những hành động nào phải chờ người dùng phê duyệt trước khi AI tiếp tục. Một số yêu cầu phê duyệt được tích hợp sẵn trong sản phẩm, và một số sản phẩm cho phép người dùng chọn những hành động khác cần được phê duyệt.

Cách thiết lập quy tắc phê duyệt

• Yêu cầu phê duyệt đối với những hành động không thể hoàn tác, chẳng hạn như gửi tin nhắn, mua hàng hoặc xóa tệp.
• Giữ danh sách các mục cần phê duyệt thật ngắn gọn. Nếu tác nhân xin xác nhận cho từng bước nhỏ, mọi người sẽ bắt đầu phê duyệt mà không đọc kỹ.

4. Tiêu chuẩn và kiểm tra

Hầu hết các sản phẩm AI đều có sẵn một số tiêu chuẩn. Ví dụ, Perplexity đính kèm trích dẫn trong câu trả lời để có thể kiểm chứng từng nhận định. Các tiêu chuẩn do người dùng đặt ra bổ sung những điều mà sản phẩm không thể tự biết, chẳng hạn như định dạng báo cáo mà một nhóm ưa dùng.

Cách thiết lập tiêu chuẩn cho công việc của AI

• Cung cấp mẫu cho công việc định kỳ để AI có sẵn một cấu trúc cố định để điền nội dung vào.
• Chia sẻ một ví dụ về công việc trước đây mà nhóm ưng ý để AI có thể theo đúng giọng điệu và mức độ chi tiết.
• Yêu cầu kèm liên kết nguồn bên cạnh mọi số liệu.
• Xem xét kỹ các kết quả ban đầu và biến mọi thiếu sót lặp lại thành một chỉ dẫn cố định mới.

Cách Perplexity tiếp cận harness tác nhân

Perplexity Computer chạy trên một harness không phụ thuộc vào mô hình, giúp đưa hơn 20 mô hình tiên tiến vào cùng một hệ thống. Computer chia mỗi tác vụ thành các tác vụ con, giao chúng cho các tác nhân con (các tác nhân riêng biệt, mỗi tác nhân đảm nhận một phần) và chuyển từng phần việc đến mô hình phù hợp với phần việc đó.

Tìm hiểu cách thiết lập chỉ dẫn, tệp và trình kết nối trong hướng dẫn về dự án Perplexity.

Câu hỏi thường gặp

Kỹ sư harness là gì?

Kỹ sư harness thiết kế và duy trì hệ thống giúp mô hình AI làm việc một cách đáng tin cậy. Công việc đó có thể là bổ sung một công cụ mới cho tác nhân sử dụng, tìm ra nguyên nhân khiến tác nhân liên tục mắc cùng một lỗi, hoặc siết chặt các bước kiểm tra mà tác nhân thực hiện trước khi hoàn thành một tác vụ. Đây chưa phải là một chức danh công việc phổ biến, dù điều đó có thể thay đổi. Công việc này thường do các kỹ sư phần mềm tại các công ty AI hoặc trong các nhóm xây dựng tác nhân đảm nhận. Trong ngành sản xuất, chức danh này lại dùng để chỉ người thiết kế bó dây điện (wire harness), tức các bó cáp bên trong ô tô và máy móc.

Harness tác nhân là gì?

Harness tác nhân thường là mọi thứ trong một tác nhân AI ngoài bản thân mô hình. Điều đó bao gồm phần mã chạy vòng lặp tác nhân, quản lý ngữ cảnh, thực hiện các lệnh gọi công cụ, lưu trữ bộ nhớ, thực thi quyền hạn và kiểm tra kết quả làm việc của tác nhân trước khi kết quả đến tay con người.

Có phải công cụ AI nào cũng có harness không?

Đúng vậy. Ngay cả một trợ lý trò chuyện cơ bản cũng dựa vào harness để theo dõi cuộc trò chuyện, vì bản thân mô hình không tự ghi nhớ các tin nhắn trước đó.

Nhà phát triển cũng có thể sử dụng mô hình bằng cách gửi yêu cầu đến mô hình từ phần mềm của chính họ thông qua API (một kết nối cho phép một chương trình gửi yêu cầu đến chương trình khác). Khi đó, chính mã của nhà phát triển đảm nhận vai trò của harness.

Liệu các mô hình tốt hơn có khiến harness trở nên không cần thiết?

Các mô hình tốt hơn có thể cần ít hướng dẫn từng bước hơn, vì vậy một phần công việc mà harness đang đảm nhận hiện nay có thể bị thu hẹp. Nhưng tự bản thân mô hình chỉ biến văn bản thành văn bản. Mô hình không có kết nối internet và không có quyền truy cập vào các ứng dụng khác. Việc truy cập tệp, thực hiện hành động và thực thi quy tắc phê duyệt đều diễn ra trong phần mềm bao quanh mô hình, nên công việc đó nhiều khả năng vẫn thuộc về harness, dù các mô hình có trở nên mạnh mẽ đến đâu.