AI 檢測器如何運作以及為什麼單憑分數無法證明作者身份

將論文、文章或電子郵件貼到 AI 檢測器中，幾秒鐘後它可能會傳回類似「85% AI」的結果。

似乎很精確。但它也很容易被誤解。

檢測器沒有觀察文件是如何撰寫的。它分析了完成的文字中與 AI 生成寫作相關的模式。根據工具的不同，這 85% 可能代表 AI 生成文件的估計可能性，或者是檢測器標記的文字比例。

這使得 AI 檢測器作為一種信號非常有用，特別是在需要仔細檢視的時候。但在任何人對誰寫了文字或他們是如何創作的得出結論之前，分數仍然需要上下文和支持證據。了解檢測器如何產生分數有助於解釋它們能捕捉到什麼，以及為什麼它們有時會弄錯。

什麼是 AI 檢測器？

AI 寫作檢測器著眼於完成的文字作品，並評估它是否類似於語言模型產生的寫作。使用者通常會貼上文字或上傳文件。幾秒鐘內，該工具可能會傳回標籤、百分比、反白顯示的段落，或三者皆有。

• 教師和學術機構在審查學生作業時會使用它們。
• 出版商和內容團隊可能會使用它們來篩選提交或委託的寫作，而一些檢測器公司則向審查申請材料的招聘團隊推銷版本。
• 作家有時也會檢查自己的作品，以了解老師、編輯、客戶或平台可能會如何對其進行分類。

注意：抄襲檢測器服務於相關但獨立的目的。它們將文件與已發布的材料和其他來源進行比較，以尋找匹配的語言。AI 檢測器評估提交寫作中的模式。因此，完全原創的段落可能會收到 AI 標記，而已複製的人類寫作可能不包含 AI 生成的強烈信號。

AI 檢測器如何分析文字

許多 AI 檢測器依賴分類器，這是一種在人類和 AI 生成寫作範例上訓練的機器學習模型。在比較兩者的過程中，它學習了哪些模式傾向於出現在每個之中，包括用詞選擇和句子結構中的模式。然後它在新文字中尋找這些模式並產生預測。

檢測器學習到什麼取決於它在訓練期間看到的內容。在有限範圍的寫作上訓練的工具可能會在新的主題、不熟悉的風格或它以前未見過的 AI 模型輸出上遇到困難。 跨不同類型文字和 AI 模型的研究發現，檢測效能在這些條件下可能會下降。

有些方法採用不同的方法。它們不訓練單獨的分類器，而是使用語言模型自己的機率估計來判斷它產生段落的可能性有多大。

• 例如，DetectGPT 會將原始文字與稍微修改過的版本進行比較，以尋找與 AI 生成相關的模式。 其研究將此描述為「零樣本」（zero-shot）方法，因為它不需要另外訓練檢測器。結果可能包含整體分數、反白顯示的句子，或兩者皆有。
• GPTZero 表示其反白顯示內容顯示了哪些句子對其整體預測影響最大。因為它還評估了更廣泛的文件，所以單獨掃描的段落作為較長文章的一部分出現時，可能不會收到相同的結果。

每個結果都反映了文字和評估它的系統，這就是為什麼不同的檢測器可以對相同的段落得出不同的結論。

放大

困惑度和突發性衡量了什麼

困惑度和突發性在 AI 檢測的解釋中經常出現。它們可以揭示寫作中有用的模式，但兩者都無法指向單一、獨特的 AI 寫作方式。

一個可能令人困惑的細節：困惑度在這裡扮演雙重角色。小寫時，它是一個統計指標。大寫 P 時，就是我們。

困惑度衡量了文字的可預測程度

語言模型透過為可能的下一個 token（可能是整個單字或單字的一部分）指派機率來生成文字。困惑度衡量模型預測段落中 token 的能力。

• 較低的困惑度：文字遵循模型熟悉的模式。
• 較高的困惑度： 措辭較不容易預測。

該分數對於進行評估的模型和處理文字的方式是特定的，因此相同的段落可以在不同的設定下收到不同的困惑度分數。

以這句話為例：「如果您有任何問題，請讓我知道。」語言模型可能已經多次遇到類似的措辭，使得每個字都相對容易預測。這告訴我們一些關於句子熟悉度的資訊。它對於誰寫的並沒有說出任何決定性的結論。

突發性衡量了這些模式的變化程度

在討論 AI 檢測時，「突發性」（burstiness）的使用通常比較寬泛。它通常描述寫作在整個段落中的變化程度。這可能包括句子長度和結構的變化，或者高度可預測與更令人驚訝的語言之間的轉變。

• 較低的突發性：句子遵循更一致的長度、結構或節奏。
• 較高的突發性：寫作在較短的陳述、較長的解釋和較少預期措辭之間切換。

有些 AI 生成的文字是一致且可預測的，這就是為什麼突發性會與檢測產生關聯。人類寫作也可以具備相同的品質，特別是在商業、學術和技術環境中。當被提示或編輯這樣做時，AI 模型也可以產生更多樣化的語言。

GPTZero 表示，困惑度和突發性是其檢測器早期版本使用的幾個特徵中的兩個。

這些測量顯示了什麼：困惑度和突發性描述了段落中的模式。這些模式可能助於解釋為什麼文字被標記，但它們無法確立是誰寫的。

AI 檢測器的分數意味著什麼

「80% AI」的結果看起來很直觀。其含義取決於檢測器。

GPTZero 將百分比描述為其模型對 AI 或人類寫作該文件的估計機率。 Turnitin 使用百分比來顯示其模型將多少合格散文標記為可能由 AI 生成或使用某些 AI 工具修改。

因此，相同的「80% AI」標籤可能意味著：

• 檢測器估計 AI 生成該文件的機率為 80%。
• 檢測器已標記了其評估的 80% 的散文。

這些是不同的發現。一個是對整個文件做出預測。另一個則是識別了多少文字符合檢測器的標準。

機率分數需要進行另一項檢查：校準。如果檢測器給予 100 個文件大約 80% 的 AI 機率，為了讓分數 充分校準，其中大約 80 個實際上應該是 AI 生成的。針對已知來源的範例測試模型，顯示其機率與實際結果的匹配程度。

百分比在其實義或可靠性明確之前可能看起來很精確。標籤、計分方法和檢測器的效能都決定了數字可以支持的內容。

放大

截止點決定了什麼會被標記

檢測器仍然必須決定何時分數高到足以採取行動。這條分界線稱為截止點或閾值。

假設某個工具對文字進行 0 到 100 的評分，並將高於 70 的所有內容標記出來。將截止點移至 60 則會讓每個分數保持不變，同時增加被標記的檔案數量。

• 較低的截止點通常能檢測出更多 AI 生成的寫作，但也更常錯誤地標記人類寫作。
• 較高的截止點減少了不正確的標記，同時允許更多 AI 生成的寫作未被檢測到。 這種權衡廣泛適用於分類系統。

這兩種可能的錯誤有不同的名稱。

• 當人類寫作被標記為 AI 生成時，就會發生偽陽性。
• 當 AI 生成的寫作未被檢測到時，就會發生偽陰性。

檢測器劃分界限的地方反映了它旨在避免哪種錯誤。當標記可能影響成績、工作或某人的信譽時，該選擇會具有更大的權重。

2% 的錯誤率如何產生近 30% 的不正確標記

2% 偽陽性率的影響取決於檢測器審查了多少人類寫作。

考慮一組假設的 1,000 篇文章：

• 50 篇是 AI 生成的。
• 950 篇是人類撰寫的。
• 檢測器捕捉到 90% 的 AI 生成文章。
• 它錯誤地標記了 2% 的人類撰寫文章。

以下是發生的情況：

檢測器總共標記了 64 篇文章。其中 19 篇是人類撰寫的，因此近 30% 的標記是錯誤的。

2% 和 30% 的數據衡量的是不同的東西。檢測器錯誤地標記了 2% 的所有人工撰寫的文章。這些錯誤隨後佔其標記內容的近 30%。

數字之所以這樣累積，是因為檢測器審查的人類撰寫文章遠多於 AI 生成的文章。當應用於更大的群體時，即使是很小的錯誤率也能產生有意義的錯誤標記數量。

術語基率描述了所檢查材料中 AI 生成寫作的常見程度。隨著該比例的變化，陽性結果的含義也會隨之改變。如果檢測器的真陽性和偽陽性率保持不變，那麼當 AI 生成的寫作在集合中很常見時，標記通常更可靠，而在稀少時則較不可靠。

這些數字是假設的，並不描述特定的檢測器。在實際審查中，AI 生成寫作的比例通常是未知的。這種不確定性是將標記視為更仔細檢視的原因而非文件撰寫方式證據的另一個原因。

準確度取決於檢測器測試的內容

準確度率描述了特定條件下的效能。在將該比率套用到另一篇寫作之前，請檢查：

• 檢測器版本
• 文字的長度、語言、主題和格式
• 用於生成測試材料的 AI 模型和設定
• 文字是否經過編輯或故意修改
• 人類寫作樣本中代表的作家

從工具支援的輸入開始

例如，Turnitin 要求至少 300 字的長篇散文。它表示其模型無法可靠地檢測 AI 生成的詩歌、劇本、程式碼或其他非散文格式。因此，在文章上的強勁表現幾乎無法告訴我們同一個檢測器將如何處理詩歌或短小的電子郵件。

將測試與真實世界的寫作進行比較

在 2024 年，研究人員使用 RAID 測試了 12 個檢測器，這是一個基準測試，包含跨 11 個模型和 8 個學科領域的超過 600 萬個 AI 生成段落。當檢測器遇到不熟悉的模型、不同的生成設定或故意修改的文字時，效能就會下降。

一項使用 RAID 的 2025 年挑戰賽在更熟悉的條件下產生了更好的結果。幾位參與者檢測到了超過 99% 的機器生成文字，同時維持了 5% 的偽陽性率。測試中使用的學科領域和 AI 模型也體現在訓練數據中。

總體而言，結果表明檢測器可以在它們被訓練識別的各種材料上表現良好，而陌生的材料仍然更難評估。

看看代表了誰

在 2023 年的一項研究中，七個檢測器錯誤地將非英語母語人士所寫的 91 篇 TOEFL 文章中平均 61.3% 的文章分類為 AI 生成。該結果適用於當時測試的工具和樣本。它還表明，為什麼整體準確度可能無法很好地描述每個作家群體的效能。

如何解讀準確度宣告：提交的文字越接近測試中使用的材料，所報告的結果就越具相關性。

最終文件只顯示了它是如何被寫出來的一部分

AI 可以在寫作過程中扮演許多角色。有人可能會用它來研究主題、組織筆記、翻譯段落、潤飾句子或產生初稿。

這些工作流程可能會導致非常不同的文件。一個作家可能會使用 AI 進行研究並獨立撰寫每個句子。另一個作家可能會大幅重寫 AI 生成的草稿。第三個作家可能會將一個生成的段落加入到本來由人類撰寫的文章中。

文字檢測器只能看到提交的字詞。它無法存取之前的提示、編輯或決定。它的分數無法重建完整的寫作過程，也無法確定作者是否遵循了特定的政策。例如，

• 學校可能允許腦力激盪，同時要求學生自己撰寫作業。
• 出版商可能會在揭露的情況下允許 AI 輔助編輯。
• 工作場所可能更關心事實準確性、保密性或來源歸屬，而不是 AI 是否對措辭做出了貢獻。

套用這些規則需要關於過程以及完成文字的證據。草稿歷史記錄、研究筆記和作家的解釋可以提供檢測器無法提供的上下文。 Turnitin 明確建議教育工作者不要將其 AI 寫作分數作為對學生採取不利行動的唯一依據。

檢測器可以識別類似於它與 AI 相關聯模式的語言。決定發生了什麼事以及是否被允許，需要更廣泛的審查。

水印加入了不同類型的信號

一些 AI 系統可以在生成文字時加入可檢測的模式。這個過程稱為加水印。

文字水印是如何運作的

Google DeepMind 的 SynthID提供了一個範例：

1. 系統會調整 token 機率。它會稍微改變模型選擇某些字詞或字詞部分的可能性。
2. 這些選擇創造了一個模式。水印的設計保持對讀者不可見。
3. 相容的檢測器會檢查它。檢測器會分析文字以尋找預期的統計信號。

因為該模式是在生成過程中加入的，所以它能提供與產生該文字的系統相關的資訊。

什麼限制了水印檢測

• 生成器必須加入它。AI 系統需要支援並套用水印。沒有水印並不能證明文字是由人寫的。
• 模式必須保留足夠的部分。Google 報告稱，SynthID 可以承受一些裁剪、字詞更改和溫和的釋義。大量的重寫或翻譯會降低其信心。

當相容系統生成了文字且足夠的信號仍然存在時，水印可以加強證據。它們無法識別每一篇 AI 生成的寫作。

其他記錄可以填補更多全貌

• 草稿歷史記錄顯示了文件隨時間的變化情況。
• 研究筆記將其主張與來源連結起來。
• 揭露的 AI 互動顯示了工具做出貢獻的地方。

與單純的模式化分數相比，這些記錄提供了關於寫作過程更直接的上下文。

將標記視為審查的開始

當檢測器結果具有明確的角色時，它會變得更有用。在根據標記採取行動之前，審查人員應了解工具測量的內容，確認文字在其範圍內，並檢查其他可用的證據。

五個檢查有助於：

1. 閱讀分數定義。確定百分比代表文件層級的機率，還是被標記文字的比例。
2. 檢查工具的範圍。確認文件的語言、長度與格式符合檢測器支援的內容。
3. 審查證據。檢查反白顯示的段落以及草稿、來源筆記和作者的解釋。
4. 套用相關政策。識別允許哪些 AI 的使用，以及什麼證據可以證明違規。
5. 評估作品本身。根據事實準確性、來源歸屬、原創性和品質來進行審查。

利害關係應該決定審查的深度。編輯可能會使用標記來決定哪篇文章需要重新檢閱。影響成績、工作或出版協議的決定需要更強而有力的證據，並讓作者有機會解釋他們的過程。

AI 檢測器將複雜的判斷壓縮為分數。解讀該分數需要該數字不包含的資訊：工具測量了什麼、它使用了哪個閾值、它在可比寫作上的表現如何，以及所審查材料中 AI 生成文字的常見程度。分數可以指引注意力。檢測器分數可以對該審查做出貢獻，但關於作者身份的任何結論也需要關於寫作過程的證據。

常見問題

AI 檢測器會出錯嗎？

是的。當檢測器將人類寫作標記為 AI 生成時，就會發生偽陽性（誤判）。當 AI 生成的寫作未被檢測到時，就會發生偽陰性（漏報）。每個錯誤的頻率取決於檢測器、其閾值，以及提交的文字與用於測試它的材料的相似程度。

AI 檢測器的準確度有多高？

AI 檢測器沒有單一的準確度率。效能可能會隨著語言、長度、主題、寫作風格、生成模型和編輯量而變化。當測試條件類似於正在審查的寫作，且結果回報了偽陽性以及成功檢測時，準確度宣告最有用。

AI 檢測百分比是什麼意思？

定義取決於工具。它可能代表文件為 AI 生成的估計機率、被標記合格文字的百分比，或對結果的一種信心形式。檢測器的文件應該解釋它報告了哪種測量。

AI 檢測器能證明有人使用了 AI 嗎？

單靠檢測器分數無法證明文件的建立方式。它分析提交的文字，而看不到其背後的提示、草稿、編輯或研究。可靠的審查會將分數與過程證據以及管理可接受 AI 使用的政策結合起來考慮。

為什麼人類寫作有時會被標記為 AI？

人類和 AI 生成的寫作可以共享相同的統計模式。公式化的語言、可預測的措辭、有限的詞彙量，或與檢測器訓練數據不同的風格，都可能導致偽陽性。研究還發現，2023 年測試的一些檢測器不成比例地標記了非英語母語人士寫的文章。