AI検出器の仕組みと、スコア単体では執筆者を証明できない理由

エッセイ、記事、またはメールをAI検出器に貼り付けると、数秒後に「AI 85%」のような結果が返されることがあります。

正確に見えます。しかし、誤読しやすい側面もあります。

検出器は、文書がどのように書かれたかを観察したわけではありません。AIが生成した文章に関連するパターンがないか、完成したテキストを分析したのです。ツールによっては、その85%という数字は、AIがその文書を作成したと推定される確率や、検出器がフラグを立てたテキストの割合を表している場合があります。

そのため、AI検出器は、特に詳細な確認が必要な場合に、シグナルとして有用です。しかし、誰がテキストを書いたのか、あるいはどのように作成したのかについて結論を下す前に、そのスコアには依然として文脈と裏付けとなる証拠が必要です。検出器がどのようにスコアを生成するかを理解することは、それらが何を捉えられるか、そしてなぜ時々間違えるのかの両方を説明するのに役立ちます。

AI検出器とは何ですか？

AIライティング検出器は、完成した文章を調べ、それが言語モデルによって作成された文章に似ているかどうかを推定します。ユーザーは通常、テキストを貼り付けるか、文書をアップロードします。数秒以内に、ツールはラベル、パーセンテージ、ハイライトされたパッセージ、またはその3つすべてを返すことがあります。

• 教員および学術機関は、学生の課題をレビューする際にこれらを使用します。
• パブリッシャーやコンテンツチームは、提出されたまたは依頼された文章をスクリーニングするためにこれらを使用する場合がありますが、一部の検出器企業は採用応募資料をレビューする採用チーム向けにバージョンを販売しています。
• ライターもまた、教員、編集者、クライアント、またはプラットフォームがそれをどのように分類するかを理解するために、自身の作品をチェックすることがあります。

注：盗作チェッカーは、関連しているものの異なる目的を果たします。これらは、一致する言語を見つけるために、文書を公開された資料や他のソースと比較します。AI検出器は、提出された文章のパターンを評価します。したがって、完全にオリジナルのパッセージがAIフラグを受け取る一方で、コピーされた人間の文章にはAI生成の強いシグナルが含まれていない場合があります。

AI検出器がテキストを分析する仕組み

多くのAI検出器は、人間およびAI生成の文章の例でトレーニングされた機械学習モデルである分類器に依存しています。2つを比較する中で、単語の選択や文の構造におけるパターンを含め、それぞれの文章にどのようなパターンが現れる傾向があるかを学習します。その後、新しいテキストでそれらのパターンを探し、予測を出力します。

検出器が学習する内容は、トレーニング中に目にするものによって決まります。限られた範囲の文章でトレーニングされたツールは、新しい主題、馴染みのないスタイル、またはこれまでに遭遇したことのないAIモデルからの出力に苦戦する可能性があります。さまざまなタイプのテキストやAIモデルにわたる 研究により、そのような条件下では検出パフォーマンスが低下することが判明しています。

別のアプローチをとる方法もあります。別の分類器をトレーニングする代わりに、言語モデル自体の確率推定を使用して、パッセージを生成する確率がどれほど高いかを判断します。

• たとえばDetectGPTは、AI生成に関連するパターンを探すために、元のテキストと少し変更されたバージョンを比較します。 その研究では、個別にトレーニングされた検出器を必要としないため、これを「ゼロショット」法と呼んでいます。その結果には、総合スコア、ハイライトされた文、またはその両方が含まれる場合があります。
• GPTZeroによると、ハイライトは全体的な予測に最も大きな影響を与えた文を示しています。より広い文書も評価するため、個別にスキャンされたパッセージは、より長い作品の一部として表示される場合には同じ結果を受け取らない可能性があります。

すべての結果はテキストとそれを評価するシステムの両方を反映しているため、異なる検出器が同じパッセージについて異なる結論に達することがあります。

拡大

パープレキシティとバースト性が測定するもの

パープレキシティとバースト性は、AI検出の説明において頻繁に登場します。これらは文章の中で有用なパターンを明らかにすることができますが、どちらも唯一無二のAI特有の書き方を指し示すものではありません。

1つの紛らわしい詳細：ここではパープレキシティが二役を演じています。小文字の場合、それは統計的尺度です。大文字のPの場合、それは私たち自身です。

パープレキシティはテキストの予測可能性を測定します

言語モデルは、次のトークン（単語全体または単語の一部の場合がある）の可能性に確率を割り当てることでテキストを生成します。パープレキシティは、モデルがパッセージ内のトークンをどれだけうまく予測できるかを測定します。

• 低いパープレキシティ: テキストがモデルにとって馴染みのあるパターンに従っています。
• 高いパープレキシティ: 表現がより予想外のものです。

スコアは評価を行うモデルとテキストの処理方法に固有のものであるため、同じパッセージでも異なるセットアップの下では異なるパープレキシティスコアを受け取る可能性があります。

「ご質問がございましたら、お知らせください」という文を考えてみてください。言語モデルはおそらく同様の表現に何度も遭遇しているため、各単語の予測が比較的容易になります。それはその文の親しみやすさについて何かを伝えてくれますが、誰が書いたのかについては何も決定的には語っていません。

バースト性は、それらのパターンがどれほど変化するかを測定します

バースト性（文章の波）は、AI検出に関する議論において、より広義に使用されます。一般的には、パッセージ全体で文章がどれだけ変化するかを表します。これには、文の長さや構造の変動、あるいは予測しやすい言葉とより意外性のある言葉の間の移行などが含まれます。

• 低いバースト性：文章の長さ、構造、またはリズムがより一貫しています。
• 高いバースト性：短い記述、より長い説明、そして予想外の表現の間を文章が行き来します。

AIが生成したテキストの一部は一貫性があり予測可能であり、それがバースト性が検出に関連付けられるようになった理由です。人間が書いた文章も、特にビジネス、学術、および技術的な文脈において、同じ品質を持つことができます。AIモデルは、プロンプトを指示されたり編集されたりすることで、より多様な言語を生成することもできます。

GPTZeroによると、パープレキシティとバースト性は、その検出器の以前のバージョンで使用されたいくつかの特徴のうちの2つでした。

これらの測定が示すもの：パープレキシティとバースト性はパッセージ内のパターンを説明します。それらのパッセージはテキストにフラグが立てられた理由を説明するのに役立つかもしれませんが、誰が書いたのかを立証することはできません。

AI検出器のスコアの意味

「AI 80%」という結果は分かりやすく見えます。その意味は検出器によって異なります。

GPTZeroは、そのパーセンテージを、AIまたは人間がその文書を書いたというモデルの推定確率として説明しています。 Turnitinはそのパーセンテージを使用して、適格な散文のどれだけがAI生成の可能性がある、あるいは特定のAIツールで修正されたものとしてモデルによってフラグ付けされるかを示します。

したがって、同じ「AI 80%」というラベルは、以下を意味する可能性があります。

• 検出器は、AIがその文書を生成した確率が80%であると推定しています。
• 検出器は、評価した文章の80%にフラグを立てました。

それらは異なる結果です。1つは文書全体についての予測を行います。もう1つは、テキストのどれだけが検出器の基準に一致したかを特定します。

確率スコアには別のチェック、つまりキャリブレーション（較正）が必要です。検出器が100の文書に約80%のAI確率を与えた場合、スコアが 十分にキャリブレーションされているためには、そのうちの約80が実際にAI生成のものである必要があります。由来が既知の例に対してモデルをテストすることで、その確率が現実の結果とどれほど一致しているかがわかります。

パーセンテージは、その意味や信頼性が明らかになる前には正確に見えることがあります。ラベル、スコアリング方法、および検出器のパフォーマンスのすべてが、その数字が何を裏付けることができるかを決定します。

拡大

カットオフによって何にフラグが立てられるかが決まります

検出器は依然として、行動を起こすのに十分な高さのスコアとは何かを決定する必要があります。その境界線はカットオフ、またはしきい値と呼ばれます。

ツールがテキストを0から100までスコア付けし、70を超えるものすべてにフラグを立てると仮定します。カットオフを60に下げると、すべてのスコアは変更されないまま、フラグが立てられる文書の数が増加します。

• 低いカットオフは、一般的にAIが生成した文章をより多く検出しますが、人間が書いた文章にもより多く誤ってフラグを立ててしまいます。
• 高いカットオフは誤ったフラグを減らし、一方でAIが生成した文章が検出されないままになることを許容します。 このトレードオフは分類システム全般に当てはまります。

2つの起こりうる間違いには異なる名前があります。

• 人間による文章がAI生成のものとしてフラグ付けされると、誤検知（偽陽性）が発生します。
• AIが生成した文章が検出されないままになると、見逃し（偽陰性）が発生します。

検出器が線を引く場所は、それが回避するように設計されているエラーを反映しています。その選択は、フラグが成績、仕事、あるいは誰かの信頼性に影響を与える可能性がある場合に、より大きな重みを持ちます。

2%のエラー率が約30%の誤ったフラグを生み出す仕組み

2%の誤検知率がもたらす影響は、検出器が人間による文章をどれだけレビューするかによって異なります。

1,000の記事の仮説上のセットを考えてみましょう：

• 50はAI生成されたものです。
• 950は人間が書いたものです。
• 検出器はAI生成された記事の90%を捕捉します。
• 人間が書いた記事の2%を誤ってフラグ付けします。

以下のようなことが起こります：

検出器は合計64の記事にフラグを立てました。そのうち19は人間が書いたものであるため、フラグの約30%が誤りです。

2%と30%という数字は、それぞれ異なるものを測定しています。検出器は、人間が書いたすべての記事の2%を誤ってフラグ付けします。そして、それらの間違いが、検出器がフラグ付けしたものの約30%を占めることになります。

検出器がAI生成された記事よりも人間が書いた記事をはるかに多くレビューしたため、数字はこのように積み上がります。小さなエラー率であっても、はるかに大きなグループに適用されると、意味のある数の誤ったフラグを生み出す可能性があります。

用語ベースレートは、チェック対象の資料においてAI生成の文章がどれほど一般的であるかを表します。その割合が変化するにつれて、ポジティブな結果の意味も変化します。検出器の真陽性率と偽陽性率が同じままであれば、AI生成の文章がコレクション内で一般的である場合にはフラグの信頼性が一般的に高くなり、稀である場合には信頼性が低くなります。

これらの数字は仮説上のものであり、特定の検出器を説明するものではありません。実際のレビューでは、AI生成の文章の割合は通常不明です。その不確実性こそが、文書がどのように書かれたかの証明としてではなく、より詳細に調べる理由としてフラグを扱うべきもう一つの理由です。

精度は検出器が何をテストされたかによって異なります

精度率は、特定の条件のセットの下でのパフォーマンスを表します。その率を別の文章に適用する前に、以下を確認してください：

• 検出器のバージョン
• テキストの長さ、言語、主題、およびフォーマット
• テスト素材の生成に使用されたAIモデルと設定
• テキストが編集されたか、意図的に変更されたか
• 人間が書いたサンプルに代表されるライター

ツールのサポートされている入力から始める

たとえばTurnitinは、長文の散文で少なくとも300語を必要とします。そのモデルは、AIが生成した詩、台本、コード、その他の非散文フォーマットを信頼性の高い方法で検出しないと述べています。したがって、エッセイに対する高いパフォーマンスは、同じ検出器が詩や短いメールをどのように処理するかについてはほとんど何も語っていません。

テストと現実世界の文章を比較する

2024年、研究者らは11のモデルと8つの主題分野にわたる600万以上のAI生成パッセージを含むベンチマークである RAIDを使用して、12の検出器をテストしました。検出器が馴染みのないモデル、異なる生成設定、または意図的に変更されたテキストに遭遇したときに、パフォーマンスが低下しました。

RAIDを使用した 2025年のチャレンジでは、より慣れ親しんだ条件の下で、より強力な結果が得られました。複数の参加者が、5%の誤検知率を維持しながら、機械生成されたテキストの99%以上を検出しました。テストで使用された主題分野とAIモデルも、トレーニングデータに含まれていました。

総合すると、これらの結果は、検出器が認識するように訓練された多様な資料に対して良好に機能する一方で、馴染みのない資料の評価は依然として困難であることを示しています。

誰が代表されていたかを確認する

2023年の研究では、7つの検出器が、英語を母語としない人々によって書かれた91のTOEFLエッセイの平均61.3%を、AIが生成したものとして誤って分類しました。その結果は、当時テストされたツールとサンプルに適用されます。また、全体的な精度がすべてのライターグループに対して同様によくパフォーマンスを表すとは限らない理由も示しています。

精度に関する主張の読み方：提出されたテキストがテストで使用された資料に近いほど、報告された結果の関連性が高まります。

最終的な文書は、それがどのように書かれたかの一部しか示していません

AIはライティングのプロセスにおいて多くの役割を果たすことができます。トピックのリサーチ、ノートの整理、パッセージの翻訳、文の洗練、あるいは初稿の作成のためにAIを使用するかもしれません。

そうしたワークフローは、大きく異なる文書につながる可能性があります。あるライターはリサーチにAIを使用し、すべての文を独自に作成するかもしれません。別のライターは、AIが生成した下書きを大幅に書き直すかもしれません。3番目のライターは、人間が書いた記事に生成された段落を1つ追加するかもしれません。

テキスト検出器は、提出された単語を確認します。その前に行われたプロンプト、編集、または決定にはアクセスできません。そのスコアでは、完全な執筆プロセスを再構築することも、著者が特定のポリシーに従ったかどうかを判断することもできません。例えば、

• 学校によっては、学生が自分で課題を書くことを義務付けながら、ブレインストーミングを許可している場合もあります。
• パブリッシャーは、開示されている場合に限り、AI支援による編集を許可する場合があります。
• 職場においては、AIが表現に貢献したかどうかよりも、事実の正確性、機密保持、あるいは情報源の帰属の方に関心が向く場合があります。

これらのルールを適用するには、完成したテキストだけでなく、プロセスに関する証拠も必要です。下書きの履歴、リサーチノート、およびライターの説明は、検出器には得られない文脈を提供できます。 Turnitinは、学生に対する不利益な措置の唯一の根拠としてAIライティングのスコアを使用しないよう、教育者に明示的に勧告しています。

検出器はAIに関連付けるパターンに似た言語を識別することができます。何が起こったのか、そしてそれが許可されていたのかを決定するには、より幅広いレビューが必要です。

ウォーターマークは異なる種類のシグナルを追加します

一部のAIシステムは、テキストを生成しながら検出可能なパターンを追加することができます。このプロセスはウォータースモーキング（またはウォーターマーキング）と呼ばれます。

テキストウォーターマークの仕組み

Google DeepMindの SynthIDはその一例です：

1. システムはトークンの確率を調整します。モデルが特定の単語や単語の一部を選択する可能性をわずかに変更します。
2. それらの選択によってパターンが作成されます。ウォーターマークは、読者には見えないように設計されています。
3. 互換性のある検出器がそれをチェックします。検出器は、期待される統計的シグナルについてテキストを分析します。

パターンは生成時に追加されるため、テキストを生成したシステムに結びついた情報を提供できます。

ウォーターマーク検出の限界とは

• ジェネレーターがそれを追加する必要があります。AIシステムはウォーターマークをサポートし、適用する必要があります。ウォーターマークがないからといって、人間がそのテキストを書いたとは立証されません。
• パターンが十分に維持されている必要があります。Googleによると、SynthIDは一部の切り抜き、単語の変更、および軽度な言い換えに耐えることができます。大規模な書き直しや翻訳は、その信頼性を低下させる可能性があります。

ウォーターマークは、互換性のあるシステムがテキストを生成し、シグナルが十分に維持されている場合に証拠を強化することができます。すべてのAI生成の文章を識別できるわけではありません。

他の記録によって、全体像がより鮮明になります

• 下書きの履歴は、文書が時間とともにどのように変化したかを示します。
• リサーチノートは、その主張と情報源を結びつけます。
• 開示されたAIのやり取りは、ツールがどこに貢献したかを示しています。

これらの記録は、パターンに基づくスコア単体に比べて、執筆プロセスに関するより直接的な文脈を提供します。

フラグをレビューの開始点として扱う

AI検出器の結果は、明確な役割を持つことでより有用になります。フラグに基づいて行動を起こす前に、レビュワーはツールが何を測定したかを理解し、テキストがそのスコープ内に収まっていることを確認し、利用可能な他の証拠を調査する必要があります。

5つのチェックが役立ちます：

1. スコアの定義を読む。パーセンテージが文書レベルの確率を表しているのか、フラグが立てられたテキストの割合を表しているのかを判断します。
2. ツールのスコープを確認する。文書の言語、長さ、およびフォーマットが検出器のサポート対象と一致していることを確認します。
3. 証拠をレビューする。ハイライトされたパッセージを、下書き、ソースノート、および著者からの説明と照らし合わせて調査します。
4. 関連するポリシーを適用する。AIのどの利用が許可されているか、またどのような証拠が違反を実証することになるかを特定します。
5. 作品自体を評価する。事実の正確性、情報源の帰属、オリジナリティ、および品質をそれ自体の基準でレビューします。

賭け金の大きさに応じて、レビューの深度を決めるべきです。編集者は、どの記事をもう一度確認すべきかを判断するためにフラグを使用するかもしれません。成績、仕事、または出版契約に影響を与える決定を下すには、より強力な証拠と、作者が自身のプロセスを説明する機会が必要です。

AI検出器は複雑な判断を1つのスコアに圧縮します。そのスコアを解釈するには、その数値には含まれていない情報が必要です：ツールが何を測定したか、どのしきい値を使用したか、比較可能な文章でどのようにパフォーマンスを発揮したか、そしてレビュー対象の資料にAI生成のテキストがどれほど一般的であるか。スコアは注意を向けることができます。検出器のスコアはそのレビューに貢献できますが、著作権（執筆者）に関する結論には執筆プロセスに関する証拠も必要です。

よくある質問

AI検出器が間違っていることはありますか？

はい。誤検知（偽陽性）は、人間が書いた文章をAIが生成したものとして検出器がフラグ付けしたときに発生します。見逃し（偽陰性）は、AIが生成した文章が検出されないままになるときに発生します。各エラーの頻度は、検出器、そのしきい値、および提出されたテキストがテストに使用された資料にどれほど似ているかによって異なります。

AI検出器の精度はどのくらいですか？

AI検出器の単一の精度率というものはありません。パフォーマンスは、言語、長さ、主題、文章スタイル、生成モデル、および編集の量によって異なる場合があります。精度に関する主張は、テスト条件がレビュー対象の文章と似ており、結果が成功した検出だけでなく誤検知（偽陽性）も報告している場合に最も有用です。

AI検出パーセンテージの意味とは？

定義はツールによって異なります。文書がAI生成されたと推定される確率、フラグが立てられた適格なテキストの割合、または結果に対する確信の度合いを表している場合があります。検出器のドキュメントには、どの測定値を報告しているかが説明されているはずです。

AI検出器は、誰かがAIを使用したことを証明できるでしょうか？

検出器のスコア単体では、文書がどのように作成されたかを証明することはできません。背後にあるプロンプト、下書き、編集、またはリサーチを見ることなく、提出されたテキストを分析しているだけです。信頼性の高いレビューでは、スコアをプロセス証拠や許容されるAI利用を規定するポリシーと並行して検討します。

人間が書いた文章にAIとしてフラグが立てられることがあるのはなぜですか？

人間が書いた文章とAIが生成した文章は、同じ統計的パターンを共有している場合があります。定型的な言葉、予測可能な表現、限られた語彙、あるいは検出器のトレーニングデータとは異なるスタイルが、誤検知の原因となることがあります。また、研究により、2023年にテストされた一部の検出器が、英語を母語としない人々によって書かれたエッセイに不釣り合いにフラグを立てていたことも判明しています。