Cách thức hoạt động của công cụ phát hiện AI và lý do điểm số đơn thuần không thể chứng minh quyền tác giả

Dán một bài luận, bài báo hoặc email vào công cụ phát hiện AI, và vài giây sau, nó có thể trả về kết quả như “85% AI.”

Có vẻ chính xác. Nhưng cũng có thể dễ bị hiểu lầm.

Công cụ phát hiện không quan sát cách tài liệu được viết. Nó phân tích văn bản hoàn chỉnh để tìm các mẫu liên quan đến văn bản do AI tạo ra. Tùy thuộc vào công cụ, con số 85% đó có thể đại diện cho ước tính xác suất do AI tạo ra hoặc tỷ lệ phần trăm văn bản mà công cụ phát hiện đã gắn cờ.

Điều đó làm cho công cụ phát hiện AI hữu ích như một tín hiệu, đặc biệt là khi cần xem xét kỹ hơn. Nhưng điểm số vẫn cần bối cảnh và bằng chứng hỗ trợ trước khi bất kỳ ai đưa ra kết luận về người đã viết văn bản hoặc cách họ tạo ra văn bản đó. Hiểu cách các công cụ phát hiện tạo ra điểm số giúp giải thích cả những gì chúng có thể bắt gặp và lý do tại sao đôi khi chúng đánh giá sai.

Công cụ phát hiện AI là gì?

Một công cụ phát hiện văn bản AI xem xét một đoạn văn bản hoàn chỉnh và ước tính xem nó có giống với văn bản do mô hình ngôn ngữ sản xuất hay không. Người dùng thường dán văn bản vào hoặc tải tài liệu lên. Trong vòng vài giây, công cụ có thể trả về nhãn, tỷ lệ phần trăm, các đoạn văn được đánh dấu hoặc cả ba.

• Giáo viên và các cơ sở giáo dục sử dụng các công cụ này khi xem xét bài làm của học sinh, sinh viên.
• Các nhà xuất bản và đội ngũ nội dung có thể sử dụng các công cụ này để sàng lọc các bài viết được gửi hoặc đặt hàng, trong khi một số công ty cung cấp công cụ phát hiện lại tiếp thị các phiên bản dành cho các đội ngũ tuyển dụng đang xem xét tài liệu ứng tuyển.
• Người viết đôi khi cũng tự kiểm tra tác phẩm của mình để hiểu cách giáo viên, biên tập viên, khách hàng hoặc nền tảng có thể phân loại tác phẩm đó.

Lưu ý: Các công cụ kiểm tra đạo văn phục vụ một mục đích có liên quan nhưng riêng biệt. Chúng so sánh một tài liệu với tài liệu đã xuất bản và các nguồn khác để tìm ngôn ngữ khớp nhau. Các công cụ phát hiện AI đánh giá các mẫu trong văn bản được gửi. Do đó, một đoạn văn hoàn toàn nguyên bản có thể nhận được cờ báo AI, trong khi văn bản sao chép của con người có thể không chứa tín hiệu mạnh mẽ nào về việc do AI tạo ra.

Cách các công cụ phát hiện AI phân tích văn bản

Nhiều công cụ phát hiện AI dựa vào trình phân loại, một mô hình học máy được huấn luyện trên các ví dụ về văn bản do con người và AI tạo ra. Khi so sánh hai loại này, mô hình học được các mẫu nào có xu hướng xuất hiện trong mỗi loại, bao gồm các mẫu trong việc lựa chọn từ và cấu trúc câu. Sau đó, nó tìm kiếm các mẫu đó trong văn bản mới và đưa ra dự đoán.

Những gì công cụ phát hiện học được phụ thuộc vào những gì nó nhìn thấy trong quá trình huấn luyện. Một công cụ được huấn luyện trên phạm vi viết hạn chế có thể gặp khó khăn với một chủ đề mới, phong cách không quen thuộc hoặc đầu ra từ một mô hình AI mà nó chưa từng gặp trước đây. Nghiên cứu trên các loại văn bản và mô hình AI khác nhau đã phát hiện ra rằng hiệu suất phát hiện có thể giảm xuống trong những điều kiện đó.

Một số phương pháp áp dụng cách tiếp cận khác. Thay vì huấn luyện một trình phân loại riêng biệt, chúng sử dụng các ước tính xác suất của chính mô hình ngôn ngữ để đánh giá mức độ khả thi khi tạo ra một đoạn văn.

• Ví dụ: DetectGPT so sánh văn bản gốc với các phiên bản đã được thay đổi nhẹ để tìm các mẫu liên quan đến việc tạo nội dung bằng AI. Nghiên cứu của họ mô tả đây là phương pháp "không cần huấn luyện" (zero-shot) vì phương pháp này không yêu cầu một bộ phát hiện được huấn luyện riêng biệt. Kết quả có thể bao gồm điểm số tổng thể, các câu được đánh dấu hoặc cả hai.
• GPTZero cho biết các phần được đánh dấu của họ cho thấy câu nào có ảnh hưởng lớn nhất đến dự đoán tổng thể của mô hình. Vì mô hình này cũng đánh giá toàn bộ tài liệu rộng hơn, một đoạn văn được quét riêng lẻ có thể không nhận được kết quả tương tự khi nó xuất hiện như một phần của một bài viết dài hơn.

Mỗi kết quả phản ánh cả văn bản lẫn hệ thống đánh giá văn bản đó, đó là lý do tại sao các công cụ phát hiện khác nhau có thể đưa ra các kết luận khác nhau về cùng một đoạn văn.

Phóng to

Những gì chỉ số độ khó và tính đột biến đo lường

Perplexity và tính đột biến thường xuất hiện trong các giải thích về việc phát hiện AI. Chúng có thể tiết lộ các mẫu hữu ích trong một đoạn văn bản, nhưng không có phương án nào chỉ ra một cách viết duy nhất và đặc trưng của AI.

Một chi tiết có khả năng gây nhầm lẫn: perplexity đang thực hiện hai nhiệm vụ ở đây. Ở dạng chữ thường, đó là một phép đo thống kê. Với chữ P viết hoa, đó là chúng tôi.

Perplexity đo lường mức độ dễ dự đoán của văn bản

Các mô hình ngôn ngữ tạo ra văn bản bằng cách gán xác suất cho các token tiếp theo có thể xảy ra, có thể là toàn bộ từ hoặc các phần của từ. Perplexity đo lường mức độ dự đoán chính xác của một mô hình đối với các token trong một đoạn văn.

• Độ khó thấp hơn: Văn bản tuân theo các mẫu mà mô hình thấy quen thuộc.
• Độ khó cao hơn: Từ ngữ ít có khả năng dự đoán hơn.

Điểm số là đặc thù đối với mô hình thực hiện đánh giá và cách văn bản được xử lý, vì vậy cùng một đoạn văn có thể nhận được các điểm số perplexity khác nhau dưới các thiết lập khác nhau.

Lấy câu: “Vui lòng cho tôi biết nếu bạn có bất kỳ câu hỏi nào.” Mô hình ngôn ngữ có thể đã gặp các từ ngữ tương tự nhiều lần, khiến mỗi từ tương đối dễ dự đoán. Điều đó cho chúng ta biết điều gì đó về mức độ quen thuộc của câu. Nó hoàn toàn không đưa ra kết luận chắc chắn về việc ai đã viết câu đó.

Tính đột biến đo lường mức độ biến động của các mẫu đó

Tính đột biến (burstiness) được sử dụng một cách linh hoạt hơn trong các cuộc thảo luận về phát hiện AI. Nhìn chung, khái niệm này mô tả mức độ thay đổi của văn bản trong một đoạn văn. Điều đó có thể bao gồm sự thay đổi về độ dài và cấu trúc câu, hoặc sự chuyển đổi giữa ngôn ngữ dễ đoán cao và ngôn ngữ gây bất ngờ hơn.

• Tính đột biến thấp hơn: Các câu tuân theo độ dài, cấu trúc hoặc nhịp điệu đồng nhất hơn.
• Tính đột biến cao hơn: Văn bản luân phiên giữa các phát biểu ngắn gọn, các giải thích dài hơn và cách diễn đạt ít có khả năng dự đoán hơn.

Một số văn bản do AI tạo ra có tính nhất quán và dễ đoán, đó là lý do tại sao tính đột biến lại gắn liền với việc phát hiện. Văn bản của con người có thể có các phẩm chất tương tự, đặc biệt là trong bối cảnh kinh doanh, học thuật và kỹ thuật. Các mô hình AI cũng có thể tạo ra ngôn ngữ đa dạng hơn khi được nhắc hoặc chỉnh sửa để làm như vậy.

GPTZero cho biết perplexity và tính đột biến là hai trong số một số tính năng được sử dụng bởi phiên bản trước của công cụ phát hiện của họ.

Những gì các phép đo này hiển thị: Perplexity và tính đột biến mô tả các mẫu trong một đoạn văn. Những mẫu đó có thể giúp giải thích tại sao văn bản bị gắn cờ, nhưng chúng không thể xác định ai đã viết văn bản đó.

Ý nghĩa điểm số của công cụ phát hiện AI

Kết quả “80% AI” thoạt nhìn có vẻ rõ ràng. Ý nghĩa của nó phụ thuộc vào công cụ phát hiện.

GPTZero mô tả tỷ lệ phần trăm là xác suất ước tính của mô hình rằng AI hoặc con người đã viết tài liệu. Turnitin sử dụng tỷ lệ phần trăm để cho biết bao nhiêu phần trăm văn xu đủ điều kiện bị mô hình của họ gắn cờ là có khả năng do AI tạo ra hoặc được sửa đổi bằng các công cụ AI nhất định.

Do đó, nhãn “80% AI” tương tự có thể có nghĩa là:

• Công cụ phát hiện ước tính có 80% khả năng AI đã tạo ra tài liệu đó.
• Công cụ phát hiện đã gắn cờ 80% số đoạn văn mà nó đánh giá.

Đó là các phát hiện khác nhau. Một phát hiện đưa ra dự đoán về toàn bộ tài liệu. Phát hiện còn lại xác định mức độ văn bản khớp với các tiêu chí của công cụ phát hiện.

Điểm xác suất cần một bước kiểm tra khác: hiệu chuẩn. Nếu một công cụ phát hiện cung cấp cho 100 tài liệu xác suất AI khoảng 80%, thì khoảng 80 tài liệu trong số đó thực sự nên do AI tạo ra để điểm số đó được hiệu chuẩn tốt. Kiểm tra mô hình dựa trên các ví dụ có nguồn gốc đã biết cho thấy mức độ sát nhau giữa xác suất của mô hình với kết quả thực tế.

Một tỷ lệ phần trăm có vẻ chính xác trước khi ý nghĩa hoặc độ tin cậy của nó rõ ràng. Nhãn, phương pháp tính điểm và hiệu suất của công cụ phát hiện đều quyết định những gì con số đó có thể hỗ trợ.

Phóng to

Ngưỡng cắt quyết định nội dung nào bị gắn cờ

Công cụ phát hiện vẫn phải quyết định thời điểm điểm số đủ cao để đưa ra hành động. Ranh giới đó được gọi là ngưỡng cắt hoặc ngưỡng.

Giả sử một công cụ chấm điểm văn bản từ 0 đến 100 và gắn cờ bất kỳ thứ gì trên 70. Việc hạ mức cắt xuống 60 sẽ giữ nguyên mọi điểm số đồng thời làm tăng số lượng tài liệu bị gắn cờ.

• Ngưỡng cắt thấp hơn thường phát hiện nhiều văn bản do AI tạo ra hơn nhưng cũng gắn cờ sai nhiều văn bản do con người viết hơn.
• Mức cắt cao hơn làm giảm các cờ báo không chính xác, đồng thời cho phép nhiều văn bản do AI tạo ra hơn đi qua mà không bị phát hiện. Sự đánh đổi này áp dụng chung cho các hệ thống phân loại.

Hai sai lầm có thể xảy ra có tên gọi khác nhau.

• Tỷ lệ dương tính giả xảy ra khi văn bản do con người viết bị gắn cờ là do AI tạo ra.
• Tỷ lệ âm tính giả xảy ra khi văn bản do AI tạo ra không bị phát hiện.

Nơi công cụ phát hiện vạch ra ranh giới phản ánh lỗi mà nó được thiết kế để tránh. Lựa chọn đó mang trọng lượng lớn hơn khi cờ báo có thể ảnh hưởng đến điểm số, công việc hoặc uy tín của ai đó.

Cách tỷ lệ lỗi 2% có thể tạo ra gần 30% cờ báo sai

Tác động của tỷ lệ dương tính giả 2% phụ thuộc vào lượng văn bản do con người viết mà công cụ phát hiện xem xét.

Hãy xem xét một tập hợp giả định gồm 1.000 bài báo:

• 50 bài do AI tạo ra.
• 950 bài do con người viết.
• Công cụ phát hiện bắt được 90% các bài viết do AI tạo ra.
• Nó gắn cờ sai 2% số bài viết do con người viết.

Dưới đây là những gì sẽ xảy ra:

Công cụ phát hiện gắn cờ tổng cộng 64 bài viết. Mười chín bài do con người viết, vì vậy gần 30% các cờ báo của công cụ này là sai.

Số liệu 2% và 30% đo lường những yếu tố khác nhau. Công cụ phát hiện gắn cờ sai 2% trong tổng số bài viết do con người viết. Những sai sót đó sau đó chiếm gần 30% tổng số bài viết mà công cụ này gắn cờ.

Các con số cộng lại theo cách này vì công cụ phát hiện đã xem xét các bài viết do con người viết nhiều hơn hẳn so do AI tạo ra. Ngay cả một tỷ lệ lỗi nhỏ cũng có thể tạo ra một số lượng đáng kể các cờ báo không chính xác khi nó áp dụng cho một nhóm lớn hơn nhiều.

Thuật ngữ tỷ lệ cơ sở mô tả mức độ phổ biến của văn bản do AI tạo ra trong tài liệu đang được kiểm tra. Khi tỷ lệ đó thay đổi, ý nghĩa của kết quả dương tính cũng thay đổi theo. Nếu tỷ lệ dương tính thật và dương tính giả của công cụ phát hiện giữ nguyên, thì cờ báo thường sẽ đáng tin cậy hơn khi văn bản do AI tạo ra phổ biến trong bộ sưu tập và ít đáng tin cậy hơn khi văn bản đó hiếm.

Những con số này mang tính giả định và không mô tả một công cụ phát hiện cụ thể nào. Trong một cuộc đánh giá thực tế, tỷ lệ văn bản do AI tạo ra thường là ẩn số. Sự không chắc chắn đó là một lý do khác để coi cờ báo là lý do để xem xét kỹ hơn, chứ không phải là bằng chứng về cách một tài liệu được viết.

Độ chính xác phụ thuộc vào những gì công cụ phát hiện được thử nghiệm

Tỷ lệ chính xác mô tả hiệu suất trong một tập hợp điều kiện cụ thể. Trước khi áp dụng tỷ lệ đó cho một văn bản khác, hãy kiểm tra:

• Phiên bản của công cụ phát hiện
• Độ dài, ngôn ngữ, chủ đề và định dạng của văn bản
• Mô hình AI và các cài đặt được sử dụng để tạo ra tài liệu thử nghiệm
• Liệu văn bản đã được chỉnh sửa hoặc sửa đổi có chủ ý hay chưa
• Những người viết có mặt trong các mẫu do con người viết

Bắt đầu với các đầu vào được công cụ hỗ trợ

Ví dụ: Turnitin yêu cầu ít nhất 300 từ văn xu dạng dài. Công cụ này cho biết mô hình của họ không phát hiện đáng tin cậy các bài thơ, kịch bản, mã nguồn hoặc các định dạng không phải văn xu do AI tạo ra. Do đó, hiệu suất mạnh mẽ trên các bài luận không cho chúng ta biết nhiều về cách cùng một công cụ phát hiện đó sẽ xử lý một bài thơ hoặc một email ngắn.

So sánh bài kiểm tra với văn bản thực tế

Vào năm 2024, các nhà nghiên cứu đã thử nghiệm 12 công cụ phát hiện sử dụng RAID, một chuẩn mực chứa hơn 6 triệu đoạn văn do AI tạo ra trên 11 mô hình và tám lĩnh vực chủ đề. Hiệu suất giảm xuống khi các công cụ phát hiện gặp các mô hình không quen thuộc, các cài đặt tạo khác nhau hoặc văn bản được sửa đổi có chủ ý.

Một thử thách năm 2025 sử dụng RAID đã mang lại kết quả khả quan hơn trong các điều kiện quen thuộc hơn. Một số người tham gia đã phát hiện ra hơn 99% văn bản do máy tạo ra trong khi vẫn duy trì tỷ lệ dương tính giả là 5%. Các lĩnh vực chủ đề và mô hình AI được sử dụng trong bài kiểm tra cũng có trong dữ liệu huấn luyện.

Nhìn chung, các kết quả cho thấy các công cụ phát hiện có thể hoạt động tốt trên các tài liệu đa dạng mà chúng được huấn luyện để nhận dạng, trong khi các tài liệu không quen thuộc vẫn khó đánh giá hơn.

Xem xét những ai đã được đưa vào

Trong một nghiên cứu năm 2023, bảy công cụ phát hiện đã phân loại sai trung bình 61,3% trong tổng số 91 bài luận TOEFL do những người không phải người bản xứ tiếng Anh viết là do AI tạo ra. Kết quả đó áp dụng cho các công cụ và mẫu được thử nghiệm vào thời điểm đó. Nghiên cứu cũng cho thấy lý do tại sao tỷ lệ chính xác tổng thể có thể không mô tả hiệuσ suất tốt như nhau đối với mọi nhóm tác giả.

Cách đọc một tuyên bố về độ chính xác: Văn bản được gửi càng giống với tài liệu được sử dụng trong thử nghiệm, thì kết quả được báo cáo càng trở nên có liên quan.

Tài liệu cuối cùng chỉ thể hiện một phần cách nó được viết

AI có thể đóng nhiều vai trò trong quá trình viết. Ai đó có thể sử dụng AI để nghiên cứu một chủ đề, sắp xếp ghi chú, dịch một đoạn văn, trau chuốt một câu hoặc tạo ra bản nháp đầu tiên.

Những quy trình làm việc đó có thể dẫn đến các tài liệu rất khác nhau. Một người viết có thể sử dụng AI để nghiên cứu và tự soạn thảo từng câu một cách độc lập. Người khác có thể viết lại đáng kể bản nháp do AI tạo ra. Người thứ ba có thể thêm một đoạn văn do AI tạo vào bài viết vốn do con người viết.

Công cụ phát hiện văn bản chỉ nhìn thấy các từ đã được gửi. Nó không có quyền truy cập vào các câu lệnh nhắc, các bản chỉnh sửa hoặc các quyết định có trước đó. Điểm số của công cụ không thể tái tạo lại toàn bộ quy trình viết hoặc xác định xem tác giả có tuân theo một chính sách cụ thể hay không. Ví dụ:

• Một trường học có thể cho phép việc động não (brainstorming) nhưng yêu cầu học sinh tự viết bài làm của mình.
• Nhà xuất bản có thể cho phép chỉnh sửa có sự hỗ trợ của AI khi được tiết lộ.
• Nơi làm việc có thể quan tâm đến độ chính xác thực tế, tính bảo mật hoặc việc ghi nhận nguồn hơn là việc AI có đóng góp vào phần từ ngữ hay không.

Việc áp dụng các quy tắc đó đòi hỏi bằng chứng về quy trình cũng như văn bản hoàn chỉnh. Lịch sử bản nháp, ghi chú nghiên cứu và lời giải thích của tác giả có thể cung cấp bối cảnh mà công cụ phát hiện không thể có. Turnitin khuyến cáo rõ ràng các nhà giáo dục không nên sử dụng điểm số viết bằng AI của họ làm cơ sở duy nhất để đưa ra hành động bất lợi đối với học sinh, sinh viên.

Công cụ phát hiện có thể xác định ngôn ngữ giống với các mẫu mà nó liên kết với AI. Việc quyết định chuyện gì đã xảy ra và có được phép hay không đòi hỏi phải xem xét rộng hơn.

Dấu thủy văn bổ sung một loại tín hiệu khác

Một số hệ thống AI có thể thêm một mẫu có thể phát hiện được khi chúng tạo ra văn bản. Quá trình này được gọi là đóng dấu thủy văn.

Cách thức hoạt động của dấu thủy văn văn bản

Google DeepMind’s SynthID cung cấp một ví dụ:

1. Hệ thống điều chỉnh xác suất token. Nó làm thay đổi nhẹ khả năng mô hình sẽ chọn các từ hoặc bộ phận của từ nhất định.
2. Các lựa chọn đó tạo ra một mẫu. Dấu thủy văn được thiết kế để không bị người đọc phát hiện.
3. Công cụ phát hiện tương thích sẽ kiểm tra điều đó. Công cụ phát hiện phân tích văn bản để tìm tín hiệu thống kê dự kiến.

Vì mẫu được thêm vào trong quá trình tạo nội dung, nó có thể cung cấp thông tin gắn liền với hệ thống đã tạo ra văn bản.

Những điểm hạn chế trong việc phát hiện dấu thủy văn

• Hệ thống tạo nội dung phải thêm dấu thủy văn. Hệ thống AI cần hỗ trợ và áp dụng dấu thủy văn. Việc vắng mặt dấu thủy văn không chứng minh được rằng một người đã viết văn bản.
• Phần lớn mẫu phải được giữ lại. Google báo cáo rằng SynthID có thể chịu được một số thao tác cắt xén, thay đổi từ và diễn giải nhẹ. Việc viết lại hoặc dịch thuật rộng rãi có thể làm giảm độ tin cậy của công cụ.

Dấu thủy văn có thể củng cố bằng chứng khi một hệ thống tương thích tạo ra văn bản và phần lớn tín hiệu vẫn còn lại. Chúng không thể xác định mọi tác phẩm do AI tạo ra.

Các hồ sơ khác có thể bổ sung thêm nhiều chi tiết cho bức tranh tổng thể

• Lịch sử bản nháp cho thấy tài liệu đã thay đổi như thế nào theo thời gian.
• Ghi chú nghiên cứu liên kết các tuyên bố của tài liệu với các nguồn.
• Các tương tác AI được tiết lộ cho thấy nơi công cụ đóng góp.

Các hồ sơ này cung cấp bối cảnh trực tiếp hơn về quy trình viết so với chỉ riêng điểm số dựa trên mẫu.

CoIi cờ báo là điểm khởi đầu cho việc xem xét

Kết quả của công cụ phát hiện trở nên hữu ích hơn khi nó có vai trò được xác định rõ ràng. Trước khi hành động dựa trên một cờ báo, người đánh giá nên hiểu công cụ đã đo lường những gì, xác nhận rằng văn bản nằm trong phạm vi của công cụ và kiểm tra các bằng chứng khác có sẵn.

Năm bước kiểm tra có thể hữu ích:

1. Đọc định nghĩa điểm số. Xác định xem tỷ lệ phần trăm đại diện cho xác suất cấp độ tài liệu hay tỷ lệ văn bản bị gắn cờ.
2. Kiểm tra phạm vi của công cụ. Xác nhận rằng ngôn ngữ, độ dài và định dạng của tài liệu khớp với những gì công cụ phát hiện hỗ trợ.
3. Xem xét bằng chứng. Kiểm tra các đoạn văn được đánh dấu cùng với các bản nháp, ghi chú nguồn và lời giải thích của tác giả.
4. Áp dụng chính sách có liên quan. Xác định những trường hợp sử dụng AI nào được cho phép và bằng chứng nào sẽ chứng minh hành vi vi phạm.
5. Đánh giá chính bản thân tác phẩm. Xem xét độ chính xác thực tế, việc ghi nhận nguồn, tính nguyên bản và chất lượng theo các tiêu chí riêng của chúng.

Mức độ nghiêm trọng phải quyết định độ sâu của việc xem xét. Biên tập viên có thể sử dụng cờ báo để quyết định bài viết nào cần được xem xét lại. Một quyết định ảnh hưởng đến điểm số, công việc hoặc thỏa thuận xuất bản đòi hỏi bằng chứng vững chắc hơn và cơ hội để tác giả giải thích quy trình của họ.

Công cụ phát hiện AI nén một phán đoán phức tạp thành một điểm số. Việc diễn giải điểm số đó đòi hỏi thông tin mà con số không chứa: công cụ đã đo lường những gì, nó đã sử dụng ngưỡng nào, nó đã hoạt động như thế nào trên văn bản có thể so sánh được và văn bản do AI tạo ra phổ biến như thế nào trong tài liệu đang được xem xét. Điểm số có thể định hướng sự chú ý. Điểm số của công cụ phát hiện có thể đóng góp vào quá trình đánh giá đó, nhưng bất kỳ kết luận nào về quyền tác giả cũng đòi hỏi bằng chứng về quy trình viết.

Các câu hỏi thường gặp

Các công cụ phát hiện AI có thể bị sai không?

Có. Tỷ lệ dương tính giả xảy ra khi công cụ phát hiện gắn cờ văn bản do con người viết là do AI tạo ra. Tỷ lệ âm tính giả xảy ra khi văn bản do AI tạo ra không bị phát hiện. Tần suất của mỗi lỗi phụ thuộc vào công cụ phát hiện, ngưỡng của công cụ đó và mức độ tương đồng giữa văn bản được gửi với tài liệu dùng để kiểm thử.

Các công cụ phát hiện AI chính xác đến mức nào?

Không có một tỷ lệ chính xác duy nhất nào cho các công cụ phát hiện AI. Hiệu suất có thể thay đổi tùy theo ngôn ngữ, độ dài, chủ đề, phong cách viết, mô hình tạo và số lượng chỉnh sửa. Tuyên bố về độ chính xác hữu ích nhất khi các điều kiện thử nghiệm giống với văn bản đang được xem xét và kết quả báo cáo tỷ lệ dương tính giả cũng như phát hiện thành công.

Tỷ lệ phần trăm phát hiện AI có ý nghĩa gì?

Định nghĩa phụ thuộc vào công cụ. Nó có thể đại diện cho xác suất ước tính rằng một tài liệu do AI tạo ra, tỷ lệ phần trăm văn xu đủ điều kiện bị gắn cờ hoặc một hình thức độ tin cậy đối với kết quả. Tài liệu của công cụ phát hiện phải giải thích phép đo nào được báo cáo.

Liệu công cụ phát hiện AI có thể chứng minh ai đó đã sử dụng AI không?

Điểm số của công cụ phát hiện đơn thuần không thể chứng minh văn bản được tạo ra như thế nào. Nó phân tích văn bản được gửi mà không thấy các câu lệnh nhắc (prompt), bản nháp, bản chỉnh sửa hoặc nghiên cứu đằng sau nó. Quá trình đánh giá đáng tin cậy xem xét điểm số cùng với bằng chứng về quy trình và chính sách quản lý việc sử dụng AI được chấp nhận.

Tại sao văn bản do con người viết đôi khi bị gắn cờ là AI?

Văn bản do con người viết và do AI tạo ra có thể có chung các mẫu thống kê. Ngôn ngữ công thức, cách diễn đạt dễ đoán, từ vựng hạn chế hoặc phong cách khác biệt với dữ liệu huấn luyện của công cụ phát hiện có thể góp phần gây ra kết quả dương tính giả. Nghiên cứu cũng phát hiện ra rằng một số công cụ phát hiện được thử nghiệm vào năm 2023 đã gắn cờ không cân xứng đối với các bài luận do những người không phải người bản xứ tiếng Anh viết.