Skill tự cải thiện

Cách Perplexity Brain học các quy trình lặp lại từ kinh nghiệm và liên tục cập nhật chúng.

Tác giảPerplexity Engineering

Giới thiệu

Người dùng có những sở thích và yêu cầu riêng cho từng quy trình làm việc mà một mô hình đa năng không thể biết trước. Tác nhân cần học những chi tiết này để điều chỉnh công việc cho phù hợp với người dùng, thay vì yêu cầu người dùng giải thích lại cùng một quy trình hoặc thực hiện cùng những chỉnh sửa trong mọi phiên. Học liên tục giúp điều này trở nên khả thi: trải nghiệm từ các tác vụ đã hoàn thành nên định hướng cách tác nhân tiếp cận công việc trong tương lai.

Brain, hệ thống tự cải tiến được cá nhân hóa của Computer, cho phép học hỏi qua trải nghiệm. Brain đã duy trì một wiki kiến thức có cấu trúc, liên kết thông tin về người dùng và công việc của họ với bằng chứng hỗ trợ. Các tác nhân nền cập nhật wiki khi thông tin mới tích lũy, nhờ đó hệ thống bộ nhớ ngày càng được cải thiện theo thời gian.

Skill cho tác nhân mang đến một cách khác để định hướng hành vi của tác nhân mà không cần thay đổi mô hình nền tảng. Skill là các hướng dẫn có thể tái sử dụng, dẫn dắt tác nhân thực hiện những tác vụ cụ thể. Skill ghi lại các yêu cầu và tài nguyên hỗ trợ cho những quy trình làm việc lặp lại mà nếu không có chúng, tác nhân sẽ phải tự suy ra từ bộ nhớ hoặc nhận từ người dùng mỗi lần, nhờ đó cải thiện hiệu suất trên các tác vụ nằm ngoài phân phối. Skill cũng có thể bao gồm các script cho những thủ tục lặp lại hoặc các bước xử lý có thể được biểu đạt một cách đáng tin cậy bằng mã, để tác nhân chỉ cần chạy các script đó khi phù hợp. Harness giúp các skill hiện có có thể được tìm thấy và tải hướng dẫn của chúng vào ngữ cảnh khi tác nhân yêu cầu. Người dùng cũng có thể chỉ định trực tiếp skill cần dùng trong lời nhắc.

Chúng tôi đang mở rộng Brain để tự động tạo và cập nhật skill cho tác nhân. Brain dựa trên bộ nhớ và lịch sử phiên của người dùng để viết và tinh chỉnh các skill cá nhân, ghi lại các thủ tục trong quy trình làm việc của người dùng đó. Chúng tôi áp dụng cách tiếp cận tương tự để cập nhật các skill tích hợp sẵn, vốn dành cho mọi người dùng Perplexity, dựa trên các mẫu hình tổng hợp từ tất cả các phiên.

Tác nhân kết hợp năng lực tổng quát với ngữ cảnh tác vụ được chọn lọc và kinh nghiệm cá nhân. Mô hình nền tảng sử dụng ngữ cảnh làm việc để chọn bước tiếp theo, và ngữ cảnh đó thay đổi khi tác vụ tiến triển. Brain cung cấp bộ nhớ và skill cá nhân, sau đó sử dụng bằng chứng phiên được chọn lọc cho các lần cập nhật sau, tùy thuộc vào các bước kiểm tra và sự cho phép. Cá nhân hóa thay đổi ngữ cảnh và hướng dẫn, không thay đổi trọng số mô hình. Các nguồn được chọn khi cần, chứ không tải tất cả cùng lúc; chế độ xem khái niệm này đơn giản hóa các cơ chế cập nhật.

Trước tiên, chúng tôi mô tả cơ chế tự cải tiến dùng chung cho mọi loại skill, rồi giải thích cách cơ chế này hoạt động đối với skill cá nhân và skill tích hợp sẵn.

Cơ chế tự cải tiến dùng chung

Một skill hữu ích vẫn cần thay đổi khi xuất hiện các sở thích mới hoặc khi trải nghiệm thực tế bộc lộ những thiếu sót trong hướng dẫn của nó. Brain chịu trách nhiệm phát hiện hành vi của tác nhân nên thay đổi như thế nào trong lần tiếp theo Computer gặp một tác vụ tương tự, đồng thời xác định skill nên thay đổi ra sao để đạt được kết quả mong muốn tốt hơn.

Quá trình cải tiến này tạo thành một vòng lặp gồm bốn giai đoạn:

  1. Bằng chứng. Brain tìm các phiên trước đây có sử dụng skill, đặc biệt là những phiên mà skill chưa đáp ứng tốt.
  2. Suy ngẫm. Một tác nhân cải tiến nghiên cứu bằng chứng đó và đề xuất các bản cập nhật cho skill.
  3. Xác minh. Các bước kiểm tra xác nhận rằng đề xuất có định dạng hợp lệ và có khả năng cải thiện kết quả.
  4. Kích hoạt. Thay đổi đã được xác minh sẽ được áp dụng. Các phiên trong tương lai sử dụng phiên bản mới, cung cấp bằng chứng cho vòng tiếp theo.
Brain chọn các phiên trước đây có sử dụng skill, đặc biệt là những phiên mà skill chưa đáp ứng tốt. Một tác nhân cải thiện đề xuất bản cập nhật, và các bước kiểm tra đánh giá xem bản cập nhật có đúng định dạng và có khả năng cải thiện kết quả hay không. Sau khi được áp dụng, phiên bản mới sẽ được dùng trong các phiên sau, cung cấp bằng chứng cho vòng tiếp theo.

Vòng lặp này dựa trên nhiều năng lực sẵn có được xây dựng cho Computer và Brain. Ở đây, chúng tôi mô tả cơ chế dùng chung giúp thu thập bằng chứng và suy ngẫm. Quy trình xác minh và kích hoạt phụ thuộc vào việc một thay đổi tác động đến một người dùng hay mọi người dùng Perplexity, vì vậy chúng tôi sẽ trình bày chúng trong các phần tiếp theo về vòng lặp cải tiến skill cá nhân và skill tích hợp sẵn.

Bằng chứng từ các phiên trước

Việc suy ngẫm đòi hỏi phải tìm được các phiên đã sử dụng một skill, đặc biệt là những phiên vẫn còn chỗ để cải thiện. Harness của Computer ghi lại các tín hiệu giúp thực hiện điều này. Khi tác nhân tải một skill, harness ghi lại một sự kiện tải skill liên kết skill đó với phiên. Khi tác nhân nhận thấy người dùng thất vọng, hành vi bị lỗi hoặc sự kém hiệu quả rõ ràng, tác nhân sẽ gửi một bản chẩn đoán ngắn có cấu trúc, và harness sẽ đính kèm các skill đang được sử dụng. Những tín hiệu này đặc biệt hữu ích với các skill tích hợp sẵn, vốn có thể liên quan đến bất kỳ phiên nào, nên hệ thống cần một cách để nhanh chóng thu hẹp tập bằng chứng.

Các tác nhân sẽ làm việc tốt hơn khi có quyền truy cập vào toàn bộ bản ghi, thay vì đưa ra đánh giá dựa trên kết quả hoặc một bản tóm tắt ngắn. Computer lưu trữ các phiên trước đây bằng các biểu diễn quỹ đạo không phụ thuộc nhà cung cấp, ghi lại tin nhắn, lệnh gọi công cụ, quá trình suy luận và kết quả. Chúng tôi cũng đã xây dựng một bộ công cụ dòng lệnh mà các tác nhân có thể dùng để giải mã các quỹ đạo này và tái dựng toàn bộ phiên. Nhờ đó, tác nhân suy ngẫm có thể kiểm tra từng lần tải skill và lệnh gọi công cụ cụ thể, xác định chính xác những điểm phát sinh vấn đề hoặc có thể cải thiện.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Ví dụ sử dụng các công cụ nội bộ để kiểm tra quỹ đạo thực thi của Computer. Đường dẫn và mã định danh được đơn giản hóa để minh họa; tên lệnh và đối số tuân theo bản triển khai thực tế.

Suy ngẫm với các tác nhân nền

Brain sử dụng một nhóm tác nhân nền để liên tục tối ưu hóa trải nghiệm cho từng người dùng. Ví dụ, các tác nhân Dream xem xét trải nghiệm tích lũy để cập nhật wiki kiến thức. Tương tự, việc cải tiến skill được vận hành bởi các tác nhân cải tiến, vốn suy ngẫm về bằng chứng sử dụng skill để đề xuất các bản cập nhật.

Mỗi tác nhân làm việc trong sandbox riêng với một mô hình tiên phong, các bằng chứng liên quan và thư viện skill hiện tại, được dẫn dắt bởi các plugin và skill. Tác nhân quyết định đọc những phiên nào, rút ra một bài học cụ thể từ mỗi phiên và nhóm các bài học cùng đòi hỏi một hành vi có thể tái sử dụng. Vì cách khắc phục cho một lỗi có thể mâu thuẫn với một hướng dẫn khác hoặc làm phát sinh thêm công việc ở chỗ khác, tác nhân đọc toàn bộ skill trước khi đề xuất chỉnh sửa và sẽ không đề xuất khi bằng chứng không đủ cơ sở.

Các tác nhân cải tiến chạy trên cùng harness với Computer. Chúng tôi đã thiết kế harness theo dạng mô-đun để một ứng dụng tác nhân mới có thể tái sử dụng cơ chế của harness cho việc suy luận, sử dụng công cụ và quản lý ngữ cảnh, đồng thời tự định nghĩa hướng dẫn và năng lực riêng thông qua plugin. Một cụm máy xử lý nền chuyên dụng cho phép chúng tôi mở rộng quy mô xử lý này độc lập với các tác vụ tiền cảnh.

Tác nhân tương tác và tác nhân cải thiện chạy nền cùng chạy trên một harness của Computer. Tác nhân cải thiện sử dụng bằng chứng phiên và các skill hiện tại để đề xuất thay đổi hoặc không đề xuất gì. Một đề xuất phải vượt qua các bước kiểm tra dành riêng cho loại skill trước khi phiên bản mới được cung cấp cho các phiên sau.

Vòng lặp cải tiến skill cá nhân

Trước tiên, chúng tôi mô tả cách cơ chế tự cải tiến dùng chung được áp dụng cho vòng lặp cải tiến cá nhân, vốn biến lịch sử tác vụ của người dùng thành các skill cá nhân mới hoặc được cập nhật. Hình dưới đây theo dõi một skill mẫu qua toàn bộ vòng lặp, kết thúc ở phiên bản đã sửa đổi.

Vòng lặp skill cá nhân đi từ bằng chứng từ phiên, qua tác nhân cải tiến, bước kiểm tra đề xuất và kích hoạt. Skill hiện tại cũng cung cấp thông tin cho tác nhân cải tiến; các thay đổi đã kích hoạt sẽ có sẵn cho các phiên trong tương lai.

Trong mỗi lượt tạo hằng ngày, tác nhân cải tiến xem xét các phiên gần đây của người dùng để xác định những thay đổi đáng thực hiện. Một tập hợp các phiên gần đây được tải sẵn vào sandbox, cùng với dữ liệu sử dụng skill; phần còn lại trong lịch sử phiên của người dùng có thể được truy xuất khi cần. Tác nhân cải tiến cũng nhận được danh mục các skill hiện có. Tác nhân này không có quyền truy cập internet hay các trình kết nối khác.

Các plugin và skill được thiết kế cho quy trình làm việc cải tiến skill cá nhân sẽ dẫn dắt quá trình suy ngẫm, dựa trên các nguyên tắc của chúng tôi về điều gì tạo nên một bản cập nhật tốt. Trước tiên, tác nhân phân tích toàn bộ quỹ đạo để xác định một bài học cụ thể trong mỗi phiên. Sau đó, tác nhân so sánh các bài học với hướng dẫn hiện có và quyết định nên cập nhật một skill, tạo skill mới hay không thay đổi gì. Việc tạo một skill đòi hỏi hai lần xuất hiện độc lập của cùng một hành vi có thể tái sử dụng, trong khi một bản cập nhật cho skill hiện có có thể được chứng minh là hợp lý chỉ bằng một lần xuất hiện có căn cứ.

Tác nhân không trực tiếp sửa đổi skill. Thay vào đó, tác nhân tạo ra một đề xuất, ghi lại các thay đổi dự kiến cùng lập luận và bằng chứng hỗ trợ. Mỗi lượt chạy chỉ thực hiện một thay đổi cho mỗi skill. Các bước kiểm tra tất định xác minh rằng đề xuất có định dạng hợp lệ và có thể áp dụng cho skill. Bên cạnh đó, một giám khảo LLM kiểm tra các đề xuất được lấy mẫu, đánh giá xem bằng chứng có hỗ trợ thay đổi hay không và skill thu được có cung cấp hướng dẫn hữu ích hay không.

Kích hoạt biến một đề xuất đã được xác minh thành thay đổi trong thư viện skill của người dùng, để phiên bản mới có thể được tải và sử dụng trong các phiên sau. Vì harness tải chỉ mục của tất cả skill hiện có khi bắt đầu mỗi phiên, một thư viện skill quá lớn có thể làm tắc nghẽn cửa sổ ngữ cảnh và khiến tác nhân khó tìm và tải các skill liên quan hơn. Do đó, hệ thống chỉ giữ lại những skill có giá trị nhất, loại bỏ các skill không cần thiết để duy trì một thư viện nhỏ, được tuyển chọn. Cụ thể, chúng tôi áp dụng giới hạn 10 skill được tạo tự động cho mỗi người dùng. Khi đã đạt giới hạn, tác nhân cải tiến vẫn có thể cập nhật hoặc xóa skill, nhưng để thêm một skill mới, tác nhân phải loại bỏ một skill hiện có và giải thích lý do skill mới hữu ích hơn cho công việc của người dùng.

Vòng lặp cải tiến skill tích hợp sẵn

Chúng tôi cũng mở rộng khung cải tiến skill liên tục của Brain sang các skill tích hợp sẵn. Thay vì dùng bộ nhớ và lịch sử phiên của một người dùng để cải tiến các skill cá nhân của người dùng đó, vòng lặp tích hợp sẵn sử dụng bằng chứng từ nhiều người dùng để cải tiến các skill dành cho mọi người dùng Perplexity. Vì bất kỳ ai cũng có thể dùng skill tích hợp sẵn, tiêu chuẩn cho các thay đổi rất cao; những bản cập nhật vô tình làm giảm hiệu suất có thể ảnh hưởng đến hàng nghìn phiên. Tác nhân cải tiến skill tích hợp sẵn chỉ thay đổi các phiên bản ứng viên của skill. Để trở thành phiên bản chính thức của skill, các bản cập nhật này phải trải qua bước phát lại theo cặp và bước con người xem xét nội bộ. Một lần nữa, chúng tôi theo dõi toàn bộ vòng lặp với một skill mẫu và bằng chứng hỗ trợ.

Các phiên thất bại cho ra nguyên nhân gốc rễ và các kịch bản lỗi được giữ lại riêng. Tác nhân cải tiến sử dụng nguyên nhân gốc rễ và các ví dụ sạch để đề xuất bản sửa đổi; tác nhân này không bao giờ được xem các kịch bản đó. Phát lại theo cặp so sánh skill hiện tại và skill đã sửa đổi trên cùng các bài kiểm tra; các bản ứng viên thành công sẽ được chuyển sang bước con người xem xét trước khi phê duyệt và hợp nhất.

Vòng lặp cải tiến tích hợp sẵn sử dụng bằng chứng đã được làm sạch từ các phiên đủ điều kiện dùng cho huấn luyện. Các bản chẩn đoán và tín hiệu lỗi được dùng để chọn bằng chứng liên quan, cùng với các phiên đối chứng trong đó skill được sử dụng mà không phát sinh cảnh báo nào. Một quy trình làm sạch dữ liệu loại bỏ thông tin xác thực và các bí mật khác, cùng với tệp đính kèm và nội dung đa phương tiện.

Một tác nhân tạo kịch bản biến bằng chứng đã được làm sạch thành các kịch bản lỗi cụ thể. Tác nhân này chỉ giữ lại ngữ cảnh cần thiết để hiểu trường hợp lỗi và cải tiến skill; phần còn lại của phiên được tái dựng bằng dữ liệu tổng hợp, tạo ra một bài kiểm tra độc lập cho quá trình xác minh. Các kịch bản phải chạy được mà không cần ứng dụng được kết nối hay đăng nhập; nếu tác vụ gốc phụ thuộc vào một trình kết nối, dữ liệu đầu vào đó sẽ được thay bằng các tệp tổng hợp trong kịch bản. Một bước kiểm tra riêng xác minh rằng skill thất bại trên kịch bản được tạo.

Việc suy ngẫm diễn ra thông qua một tiến trình sửa đổi chạy hằng tuần, biến các lỗi quan sát được thành bản sửa lỗi. Tiến trình này tìm các lỗi skill lặp lại trên nhiều phiên, để một phiên tệ duy nhất không dẫn đến việc chỉnh sửa. Mỗi lỗi lặp lại được xử lý bằng một lượt chạy tác nhân cải tiến riêng. Tác nhân nhận được mô tả về nguyên nhân gốc rễ, cùng với các bản ghi đã được làm sạch từ những phiên thành công. Tác nhân dùng bằng chứng này để viết một bản sửa đổi ứng viên cho skill. Tác nhân không nhận được toàn bộ kịch bản lỗi, vì chúng được dùng để đánh giá.

Một tiến trình phát lại riêng sử dụng các kịch bản đã tạo để so sánh phiên bản gốc và phiên bản đã sửa đổi của skill. Một giám khảo LLM đánh giá câu trả lời và quỹ đạo của tác nhân dựa trên tiêu chí chấm điểm của từng kịch bản. Để đề xuất được thông qua, mọi kịch bản kiểm tra phải đạt với skill đã sửa đổi, và ít nhất một kịch bản phải thất bại với skill gốc. Các kịch bản được xây dựng từ phiên đối chứng cũng được phát lại để xác nhận rằng không có gì ngừng hoạt động. Với các kịch bản lỗi, giám khảo cũng kiểm tra xem lỗi cụ thể đó có thực sự xảy ra hay không, thay vì coi một tác vụ không thành công là bằng chứng của cùng một vấn đề.

Quy trình làm việc đóng gói các thay đổi ứng viên và kết quả đánh giá thành một pull request để con người xem xét nội bộ. Các thay đổi chỉ có hiệu lực nếu một kỹ sư phê duyệt PR.

Đánh giá

Cải tiến skill tự động đã giúp tăng đáng kể số lượng skill được tạo và mức độ sử dụng skill. Brain đã viết hơn 80.000 skill cá nhân cho hơn 20.000 người dùng từ ngày 1 tháng 8 đến ngày 14 tháng 11. Ngoài ra, hơn 100.000 bản cập nhật tự động đã được áp dụng cho hơn 30.000 skill cá nhân hiện có từ ngày 4 tháng 9 đến ngày 14 tháng 11.

Các skill này trải rộng trên nhiều lĩnh vực và tác vụ, từ xác minh phần mềm, đối soát bảng lương đến thiết kế hình minh họa. Chúng tôi phân loại các skill do Brain tạo dựa trên quy trình làm việc mà chúng mô tả. Ngay cả lĩnh vực lớn nhất là kỹ thuật phần mềm cũng chỉ chiếm 11% số skill; tiếp theo là nghiên cứu và báo cáo tóm tắt (10,1%), bán hàng và vận hành (9,9%), cùng tài chính và đầu tư (9,9%).

Trong số 64.230 skill cá nhân được tạo tự động từ ngày 1 tháng 8 đến ngày 4 tháng 11, kỹ thuật phần mềm chiếm tỷ trọng lớn nhất (11,0%), tiếp theo là nghiên cứu và báo cáo tóm tắt (10,1%). Mười lĩnh vực được hiển thị chiếm 80,3% tổng số skill trong mẫu.

Chúng tôi đã tiến hành một thử nghiệm ngẫu nhiên kéo dài tám tuần trên lưu lượng thực tế, so sánh nhóm người dùng được bật tính năng tự động cải tiến skill cá nhân với nhóm đối chứng bị tắt tính năng này. 72,9% người được bật cải tiến skill nhận được ít nhất một skill cá nhân mới, trong khi chỉ 6,5% người không có tính năng này tự thêm skill mới. Hơn một nửa nhóm thử nghiệm (53%) có skill cá nhân được tải trong một cuộc hội thoại do họ bắt đầu, so với 13% ở nhóm đối chứng; các lượt trao đổi của họ tải skill cá nhân thường xuyên hơn khoảng 3,6 lần. Trong số những khách hàng nhận được skill do Brain viết, 63% đã dùng lại một skill như vậy trong một cuộc hội thoại sau đó trong vòng bốn tuần.

Trong một thử nghiệm ngẫu nhiên kéo dài tám tuần trên môi trường thực tế, 72,9% người dùng đã bật tính năng tự động cải thiện skill có ít nhất một skill cá nhân mới, so với 6,5% ở nhóm đối chứng. Skill cá nhân được tải trong cuộc hội thoại do người dùng bắt đầu ở 53% nhóm đã bật và 13% nhóm đối chứng.

Các đánh giá của chúng tôi nhằm xác định những skill mới và được cập nhật này tác động thế nào đến việc thực thi tác vụ và hiệu suất tổng thể.

Kết quả từ cùng thử nghiệm ngẫu nhiên đó cho thấy tỷ lệ lệnh gọi công cụ thất bại và mức độ không hài lòng của người dùng đều giảm. Với người dùng có tính năng tự động cải tiến skill, tỷ lệ lệnh gọi công cụ thất bại giảm 11% trên toàn bộ hoạt động của Computer. Khi loại trừ các lượt chạy nền của chính hệ thống, lệnh gọi công cụ vẫn thất bại ít hơn khoảng 7%, cho thấy độ tin cậy đã được cải thiện trong công việc của người dùng. Mức độ không hài lòng của người dùng, được đo bằng số chuỗi có mức không hài lòng trung bình/cao trên mỗi người dùng, giảm 7,6%. Chúng tôi không ghi nhận thay đổi đáng kể nào về chi phí hay thời gian phản hồi. Những thử nghiệm ban đầu này cho thấy kết quả đầy hứa hẹn, và chúng tôi kỳ vọng mức cải thiện sẽ tăng dần theo thời gian khi chúng tôi tinh chỉnh hệ thống và triển khai skill tự cải tiến cho nhiều người dùng hơn.

Các thử nghiệm ngoại tuyến cũng ghi nhận những cải thiện trong các bối cảnh hẹp hơn. Trong một thử nghiệm SkillLearnBench, Computer đã sử dụng các quỹ đạo tác vụ trước đó để tạo một skill cá nhân cho mỗi nhóm trong chín nhóm tác vụ. Trên 16 trường hợp đánh giá theo cặp, tỷ lệ hoàn thành tác vụ tăng từ 43,8% khi không có skill lên 62,5% khi có skill được tạo, cho thấy bằng chứng rằng các skill rút ra từ trải nghiệm trước đây có thể cải thiện hiệu suất trên các tác vụ lặp lại. Trong một nghiên cứu điển hình về skill tích hợp sẵn, các chỉnh sửa cho một skill thương mại điện tử đã giúp tăng 6% chất lượng với chi phí thấp hơn 32%, trong đó chất lượng được đo bằng một giám khảo tự động.

Kết luận

Skill tự cải tiến mang đến cho Computer thêm một cách để học hỏi từ công việc mà nó thực hiện. Tính năng này mở rộng Brain để tạo và duy trì bộ nhớ thủ tục, giúp cải thiện hiệu suất trên các quy trình làm việc phức tạp. Cải tiến skill tự động đã giúp tăng mức sử dụng skill, giảm tỷ lệ lỗi công cụ và giảm mức độ không hài lòng của người dùng.

Tính năng cải tiến skill cá nhân hiện đã có cho tất cả người đăng ký Max tại Hoa Kỳ. Tính năng này được bật theo mặc định cho người dùng đủ điều kiện, nhưng có thể tắt. Tab plugin hiển thị các skill hiện có, xác định những skill do Brain tạo và cho phép người dùng chọn skill nào được bật.

Tiếp theo, chúng tôi sẽ mở rộng việc cải tiến sang nhiều loại skill hơn, bao gồm skill do người dùng tạo, skill được chia sẻ trong dự án và skill của tổ chức. Chúng tôi sẽ tiếp tục tinh chỉnh quy trình cải tiến và các phương pháp đánh giá để các bản sửa đổi mang lại quy trình đáng tin cậy hơn và kết quả tốt hơn.

Trích dẫn

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}