AI 檢測器如何運作以及為什麼單憑分數無法證明作者身份

將論文、文章或電子郵件貼到 AI 檢測器中，幾秒鐘後它可能會返回類似「85% AI」的結果。

似乎很精確。但也容易被誤讀。

檢測器並未觀察文件是如何撰寫的。它分析了完成的文字中與 AI 生成寫作相關的模式。根據工具的不同，這 85% 可能代表 AI 生成該文件的估計可能性，或檢測器標記的文字比例。

這使得 AI 檢測器作為一個信號非常有用，特別是在需要仔細檢查某些東西的時候。但在任何人對誰寫了這段文字或他們是如何創建它的得出結論之前，分數仍然需要背景資訊和支持證據。了解檢測器如何產生其分數有助於解釋它們能捕捉到什麼以及為什麼有時會出錯。

什麼是 AI 檢測器？

AI 寫作檢測器會查看完成的文字片段，並評估它是否類似於語言模型產生的寫作。使用者通常會貼上文字或上傳文件。幾秒鐘之內，該工具可能會返回標籤、百分比、反白顯示的段落，或三者兼具。

• 教師和學術機構在審查學生作業時會使用它們。
• 出版商和內容團隊可能會使用它們來篩選提交或委託的寫作，而一些檢測器公司則向審查申請材料的招聘團隊推銷相關版本。
• 作家有時也會檢查自己的作品，以了解教師、編輯、客戶或平台可能會如何對其進行分類。

注意：抄襲檢查器的用途相關但獨立。它們將文件與已出版的材料和其他來源進行比較以尋找相配的語言。AI 檢測器則評估提交寫作中的模式。因此，完全原創的段落可能會收到 AI 標記，而複製的人類寫作可能不包含 AI 生成的強烈信號。

AI 檢測器如何分析文字

許多 AI 檢測器依賴分類器，這是一種在人類和 AI 生成寫作範例上訓練的機器學習模型。在比較兩者的過程中，它了解哪些模式傾向於出現在每一個中，包括用詞選擇和句子結構的模式。然後它會在新的文字中尋找這些模式並產生預測。

檢測器學到什麼取決於它在訓練期間看到的內容。在有限範圍的寫作上訓練的工具可能會在處理新主題、不熟悉的風格或它以前未見過的 AI 模型輸出時遇到困難。 針對不同類型文字和 AI 模型的研究發現，在這些條件下檢測效能可能會下降。

某些方法採用不同的方法。它們不訓練單獨的分類器，而是使用語言模型自己的機率估計來判斷它產生段落的可能性有多大。

• 例如，DetectGPT 會將原始文字與稍微修改過的版本進行比較，以尋找與 AI 生成相關的模式。 其研究將此描述為「零樣本」(zero-shot) 方法，因為它不需要另外訓練的檢測器。其結果可能包括整體分數、反白顯示的句子，或兩者兼有。
• GPTZero 表示其反白顯示內容顯示了哪些句子對其整體預測影響最大。由於它也評估更廣泛的文件，因此單獨掃描的段落作為較長文章的一部分出現時，可能不會收到相同的結果。

每個結果都反映了文字和評估它的系統，這就是為什麼不同的檢測器可以對相同的段落得出不同的結論。

放大

困惑度與突發性衡量了什麼

困惑度與突發性在解釋 AI 檢測時經常出現。它們可以揭示寫作中有用的模式，但兩者都不能指向單一、獨特的 AI 寫作方式。

一個可能令人困惑的細節：困惑度在這裡身兼數職。小寫時，它是一個統計指標。大寫 P 時，就是我們。

困惑度衡量文字的可預測程度

語言模型透過為可能的下一個標記（可能是完整的單字或單字的一部分）分配機率來生成文字。困惑度衡量模型預測段落中標記的準確程度。

• 較低的困惑度：文字遵循模型認為熟悉的模式。
• 較高的困惑度： 用詞較少人預料到。

分數對於進行評估的模型和處理文字的方式是特定的，因此相同的段落可以在不同的設定下獲得不同的困惑度分數。

以這句話為例：「如果您有任何問題，請讓我知道。」語言模型很可能多次遇到類似的措辭，使得每個詞都相對容易預測。這告訴我們一些關於該句子熟悉度的資訊。但對於是誰寫的，它並沒有給出任何確鑿的結論。

突發性衡量了這些模式的變化程度

在關於 AI 檢測的討論中，「突發性」(burstiness) 的使用更為寬泛。它通常描述一段文字在不同段落中的變化程度。這可能包括句子長度和結構的變化，或在高度可預測與更令人驚訝的語言之間的轉變。

• 較低的突發性：句子的長度、結構或節奏更加一致。
• 較高的突發性：寫作在較短的陳述、較長的解釋和較少人預料到的措辭之間切換。

某些 AI 生成的文字是一致且可預測的，這就是為什麼突發性會與檢測產生關聯。人類寫作也可以具備相同的特質，特別是在商業、學術和技術環境中。當被提示或編輯這樣做時，AI 模型也可以產生更多變的語言。

GPTZero 表示，困惑度和突發性是其檢測器早期版本使用的幾個特徵中的兩個。

這些衡量標準顯示了什麼：困惑度與突發性描述了段落中的模式。這些模式可能有助於解釋文字被標記的原因，但它們無法確定是誰寫的。

AI 檢測器的分數代表什麼

「80% AI」的結果看起來很直觀。其含義取決於檢測器。

GPTZero 將百分比描述為其模型對 AI 或人類撰寫該文件的估計機率。 Turnitin 使用百分比來顯示其模型將多少符合條件的散文標記為可能由 AI 生成或使用某些 AI 工具修改過。

因此，相同的「80% AI」標籤可能意味著：

• 檢測器估計該文件由 AI 生成的機率為 80%。
• 檢測器已將其評估的散文標記為 80%。

這些是不同的發現。一個是對整個文件做出預測。另一個則識別了多少文字符合檢測器的標準。

機率分數需要進行另一項檢查：校準。如果檢測器給予 100 份文件大約 80% 的 AI 機率，為了讓分數 充分校準，其中大約 80 份實際上應該是 AI 生成的。針對已知來源的範例測試模型，可以顯示其機率與實際結果的吻合程度。

百分比在明確其含義或可靠性之前可能看起來很確切。標籤、評分方法和檢測器的效能共同決定了數字所能支援的內容。

放大

閾值決定了什麼會被標記

檢測器仍然必須決定何時分數高到足以採取行動。這條分界線稱為截止點或閾值。

假設某個工具對 0 到 100 之間的文字進行評分，並標記 70 以上的任何內容。將分界線移至 60 會使每個分數保持不變，同時增加被標記文件的數量。

• 較低的閾值通常能檢測出更多 AI 生成的寫作，但也更常錯誤地標記人類寫作。
• 較高的閾值減少了錯誤標記，同時允許更多 AI 生成的寫作未被檢測到。 這種權衡廣泛適用於分類系統。

這兩種可能的錯誤有不同的名稱。

• 當人類寫作被標記為 AI 生成時，就會發生誤報。
• 當 AI 生成的寫作未被檢測到時，就會發生漏報。

檢測器劃分界線的地方反映了它旨在避免哪種錯誤。當標記可能影響成績、工作或某人的信譽時，這種選擇承載了更大的分量。

2% 的錯誤率如何產生近 30% 的錯誤標記

2% 誤報率的影響取決於檢測器審查了多少人類撰寫的文字。

考慮一組假設的 1,000 篇文章：

• 50 篇是 AI 生成的。
• 950 篇是由人類撰寫的。
• 檢測器捕捉到了 90% 的 AI 生成文章。
• 它錯誤地標記了 2% 的人類撰寫文章。

情況如下：

檢測器總共標記了 64 篇文章。其中 19 篇是人類撰寫的，因此近 30% 的標記是錯誤的。

2% 與 30% 這兩個數字衡量的是不同的事物。檢測器錯誤標記了 2% 的所有人類撰寫文章。這些錯誤隨後佔了它標記的所有內容的將近 30%。

數字之所以這樣加起來，是因為檢測器審查的人類撰寫文章遠多於 AI 生成的文章。當應用於大得多的群體時，即使是很小的錯誤率也會產生一定數量的錯誤標記。

術語基線率 (base rate)描述了被檢查材料中 AI 生成寫作的常見程度。隨著該比例的變化，陽性結果的含義也會改變。如果檢測器的真陽性和假陽性率保持不變，當集合中 AI 生成的寫作常見時，標記通常會更可靠，而在稀少時則較不可靠。

這些數字是假設的，並不描述特定的檢測器。在實際審查中，AI 生成寫作的比例通常是未知的。這種不確定性是將標記視為仔細觀察的原因而不是文件撰寫方式證明之另一原因。

準確度取決於檢測器測試的內容

準確度率描述了一特定條件下的效能。在將該比率套用到另一篇寫作之前，請檢查：

• 檢測器版本
• 文字的長度、語言、主題和格式
• 用於生成測試材料的 AI 模型和設定
• 文字是否經過編輯或蓄意修改
• 人類撰寫樣本中代表的作家

從工具支援的輸入開始

例如，Turnitin 要求至少 300 字的長篇散文。它表示其模型無法可靠地檢測 AI 生成的詩歌、劇本、程式碼或其他非散文格式。因此，在論文上的強勁表現幾乎無法說明同一檢測器將如何處理詩歌或短篇電子郵件。

將測試與真實世界的寫作進行比較

2024 年，研究人員使用 RAID 測試了 12 個檢測器，這是一個基準測試，包含跨越 11 個模型和 8 個學科領域的超過 600 萬個 AI 生成段落。當檢測器遇到不熟悉的模型、不同的生成設定或故意修改的文字時，效能就會下降。

一項使用 RAID 的 2025 年挑戰賽在更熟悉的條件下產生了更好的結果。幾位參與者檢測出了超過 99% 的機器生成文字，同時維持了 5% 的誤報率。測試中使用的學科領域和 AI 模型也包含在訓練資料中。

綜合起來，結果表明檢測器在它們經過訓練識別的各種材料上表現良好，而不熟悉的材料仍然更難評估。

看看誰被代表了

在一項 2023 年的研究中，七個檢測器將非英語母語人士所寫的 91 篇 TOEFL 文章中，平均有 61.3% 錯誤地歸類為 AI 生成。該結果適用於當時測試的工具和樣本。它還表明，為什麼整體準確度率可能無法很好地描述每個作家群體的效能。

如何解讀準確度聲明：提交的文字越接近測試中使用的材料，報告的結果就越相關。

最終文件只顯示了它是如何被撰寫的一部分

AI 在寫作過程中可以扮演許多角色。某人可能會用它來研究主題、組織筆記、翻譯段落、潤色句子或產生初稿。

這些工作流程可能會導致截然不同的文件。一位作家可能會使用 AI 進行研究並獨立撰寫每個句子。另一位作家可能會大幅重寫 AI 生成的草稿。第三位作家可能會將一個生成的段落新增到原本由人類撰寫的文章中。

文字檢測器只能看到提交的文字。它無法存取之前的提示、編輯或決定。它的分數無法重建完整的寫作過程，也無法確定作者是否遵循了特定的政策。例如，

• 學校可能會允許腦力激盪，同時要求學生自己撰寫作業。
• 出版商可能會在披露的情況下允許 AI 協助編輯。
• 工作場所可能更關心事實準確性、保密性或來源歸屬，而不是 AI 是否對措辭有所貢獻。

套用這些規則需要關於過程以及完成的文字的證據。草稿歷史、研究筆記和作者的解釋可以提供檢測器無法提供的背景資訊。 Turnitin 明確建議教育工作者不要將其 AI 寫作分數作為對學生採取不利行動的唯一依據。

檢測器可以識別類似於它與 AI 關聯模式的語言。決定發生了什麼事以及是否被允許，需要更廣泛的審查。

水印新增了不同種類的信號

某些 AI 系統可以在生成文字時加入可檢測的模式。這個過程稱為加水印。

文字水印是如何運作的

Google DeepMind 的 SynthID提供了一個範例：

1. 系統會調整標記機率。它稍微改變了模型選擇某些字詞或字詞部分的可能性。
2. 這些選擇創造了一種模式。該水印旨在對讀者保持隱形。
3. 相容的檢測器會進行檢查。檢測器會分析文字中的預期統計信號。

由於該模式是在生成過程中加入的，因此它可以提供與生成該文字的系統相關的資訊。

水印檢測的限制是什麼

• 生成器必須加入它。AI 系統需要支援並套用水印。沒有水印並不代表文字是由真人所寫。
• 必須保留足夠的模式。Google 報告稱，SynthID 可以承受一些裁剪、文字更改和輕微的釋義。大量的重寫或翻譯可能會降低其信心。

當相容系統生成了文字且保留了足夠的信號時，水印可以增強證據。它們無法識別每一篇 AI 生成的寫作。

其他記錄可以補充更多背景

• 草稿歷史顯示了文件隨時間如何變化。
• 研究筆記將其主張與來源連結起來。
• 已披露的 AI 互動顯示了工具發揮作用的地方。

與單純基於模式的分數相比，這些記錄提供了關於寫作過程更直接的背景資訊。

將標記視為審查的開始

當檢測器結果具有明確的角色時，它會變得更有用。在對標記採取行動之前，審查員應了解該工具測量的內容、確認文字符合其範圍，並檢查其他可用的證據。

五個檢查點可以提供幫助：

1. 閱讀分數定義。確定百分比是代表文件層級的機率，還是被標記文字的比例。
2. 檢查工具的範圍。確認文件的語言、長度和格式與檢測器支援的內容相符。
3. 審查證據。檢查反白顯示的段落以及草稿、來源筆記和作者的解釋。
4. 套用相關政策。識別允許哪些 AI 的使用，以及什麼證據可以證明違規。
5. 評估作品本身。根據事實準確性、來源歸屬、原創性和品質本身進行審查。

利害關係應該決定審查的深度。編輯可能會使用標記來決定哪篇文章需要重新審視。影響成績、工作或出版協議的決定需要更有力的證據，並為作者提供解釋其過程的機會。

AI 檢測器將複雜的判斷壓縮為分數。解讀該分數需要該數字未包含的資訊：工具測量了什麼、使用了哪個閾值、它在類似寫作上的表現如何，以及被審查材料中 AI 生成文字的常見程度。分數可以指導注意力。檢測器分數可以對該審查做出貢獻，但關於作者身份的任何結論也需要關於寫作過程的證據。

常見問題集

AI 檢測器會出錯嗎？

會的。當檢測器將人類撰寫的內容標記為 AI 生成時，就會發生誤報 (false positive)。當 AI 生成的寫作未被檢測到時，就會發生漏報 (false negative)。每種錯誤的頻率取決於檢測器、其閾值，以及提交的文字與用於測試它的材料相似的程度。

AI 檢測器的準確度有多高？

AI 檢測器沒有單一的準確度率。效能可能會隨著語言、長度、主題、寫作風格、生成模型和編輯量而變化。當測試條件類似於正在審查的寫作，且結果同時報告誤報和成功檢測時，準確度聲明最為有用。

AI 檢測百分比代表什麼意思？

定義取決於工具。它可能代表文件由 AI 生成的估計機率、被標記符合條件文字的百分比，或者是對結果的某種信心形式。檢測器的說明文件應解釋它報告的是哪種測量結果。

AI 檢測器能證明某人使用了 AI 嗎？

單憑檢測器分數無法證明文件的建立方式。它在未看到背后的提示、草稿、編輯或研究的情況下分析提交的文字。可靠的審查會將分數與過程證據以及管轄可接受 AI 使用的政策一併考量。

為什麼人類寫作有時會被標記為 AI？

人類和 AI 生成的寫作可以共用相同的統計模式。公式化的語言、可預測的措辭、有限的詞彙，或與檢測器訓練資料不同的風格，可能會導致誤報。研究還發現，2023 年測試的一些檢測器不成比例地標記了非英語母語人士寫的文章。