Как работают детекторы ИИ и почему одна оценка не доказывает авторство

Вставьте эссе, статью или письмо в детектор ИИ, и через несколько секунд он может выдать результат вроде «85% ИИ».

Выглядит точным. Но его также легко неверно истолковать.

Детектор не наблюдал за тем, как создавался документ. Он проанализировал готовый текст на предмет закономерностей, связанных с текстами ИИ. В зависимости от инструмента эти 85% могут означать либо расчетную вероятность того, что документ создан ИИ, либо долю текста, отмеченную детектором.

Это делает детектор ИИ полезным сигналом, особенно когда что-то требует более тщательного изучения. Однако для вынесения выводов о том, кто и как написал текст, оценке по-прежнему необходимы контекст и подтверждающие доказательства. Понимание того, как детекторы выставляют баллы, помогает объяснить как то, что они способны обнаружить, так и причины их ошибок.

Что такое детектор ИИ?

Детектор текстов ИИ анализирует готовый фрагмент текста и оценивает, насколько он похож на материал, созданный языковой моделью. Пользователь обычно вставляет текст или загружает документ. За считанные секунды инструмент может выдать метку, процентное соотношение, выделенные фрагменты или все сразу.

• Преподаватели и учебные заведения используют их при проверке студенческих работ.
• Издатели и контент-команды могут использовать их для проверки представленных или заказанных текстов, в то время как некоторые компании-разработчики детекторов продают версии для команд по найму, проверяющих материалы соискателей.
• Авторы также иногда проверяют собственные работы, чтобы понять, как их могут классифицировать преподаватель, редактор, клиент или платформа.

Примечание: средства проверки на плагиат служат схожей, но иной цели. Они сравнивают документ с опубликованными материалами и другими источниками для поиска совпадающего текста. Детекторы ИИ оценивают закономерности в предоставленном тексте. Поэтому абсолютно оригинальный отрывок может получить отметку ИИ, в то время как скопированный человеческий текст может не содержать явных признаков генерации ИИ.

Как детекторы ИИ анализируют текст

Многие детекторы ИИ полагаются на классификатор — модель машинного обучения, обученную на примерах текстов, написанных людьми и созданных ИИ. Сравнивая их, модель узнает, какие паттерны обычно появляются в каждом случае, включая закономерности в выборе слов и структуре предложений. Затем она ищет эти паттерны в новом тексте и выдает прогноз.

То, чему обучается детектор, зависит от данных, которые он видел в процессе обучения. Инструмент, обученный на ограниченном спектре текстов, может испытывать трудности при столкновении с новой темой, незнакомым стилем или текстом от модели ИИ, с которой он раньше не сталкивался. Исследования различных типов текстов и моделей ИИ показывают, что в таких условиях эффективность обнаружения может снижаться.

Некоторые методы используют иной подход. Вместо обучения отдельного классификатора они используют собственные вероятностные оценки языковой модели, чтобы судить о том, насколько вероятно создание ею определенного отрывка.

• Например, DetectGPT сравнивает исходный текст с немного измененными версиями, чтобы найти закономерности, характерные для текстов, созданных ИИ. В исследовании разработчиков этот подход называется методом нулевого обучения (zero-shot), поскольку он не требует отдельно обученного детектора. Результат может включать общий балл, выделенные предложения или и то, и другое.
• GPTZero утверждает, что подсветка показывает, какие предложения сильнее всего повлияли на общий прогноз. Поскольку система также оценивает документ в целом, отрывок, проверенный отдельно, может получить иной результат в составе более длинного текста.

Каждый результат отражает как сам текст, так и оценивающую его систему, именно поэтому разные детекторы могут приходить к разным выводам по поводу одного и того же отрывка.

Развернуть

Что измеряют перплексия и вариативность

Перплексия и вариативность часто упоминаются в объяснениях работы детекторов ИИ. Они могут выявлять полезные закономерности в тексте, но ни одна из них не указывает на какой-то единственный, уникальный для ИИ стиль письма.

Одна потенциально запутанная деталь: перплексия здесь выполняет двойную функцию. С маленькой буквы — это статистическая мера. С заглавной П — это мы.

Перплексия измеряет предсказуемость текста

Языковые модели генерируют текст, присваивая вероятности возможным следующим токенам, которыми могут быть целые слова или части слов. Перплексия измеряет, насколько хорошо модель может предсказать токены в отрывке.

• Низкая перплексия: текст следует шаблонам, которые модель считает привычными.
• Более высокая перплексия: формулировки менее ожидаемы.

Оценка специфична для модели, проводящей оценку, и способа обработки текста, поэтому один и тот же отрывок может получать разные оценки перплексии при разных настройках.

Возьмем предложение: «Пожалуйста, дайте мне знать, если у вас возникнут вопросы». Языковая модель наверняка встречала подобные формулировки множество раз, поэтому каждое слово легко предсказать. Это говорит нам что-то о предсказуемости предложения, но никак не доказывает, кто его написал.

Вариативность измеряет степень изменения этих закономерностей

В обсуждениях детекторов ИИ термин «вариативность» (burstiness) используется более вольно. Как правило, он описывает степень изменения текста на протяжении отрывка. Сюда могут относиться различия в длине и структуре предложений или переходы от предсказуемого языка к более неожиданному.

• Низкая вариативность: предложения имеют более одинаковую длину, структуру или ритм.
• Более высокая вариативность: текст чередует более короткие утверждения, более длинные пояснения и менее ожидаемые формулировки.

Некоторые тексты, созданные ИИ, последовательны и предсказуемы, именно поэтому вариативность стала ассоциироваться с обнаружением. Тексты людей могут обладать теми же качествами, особенно в деловом, академическом и техническом контекстах. Модели ИИ также могут создавать более разнообразный язык при соответствующих подсказках или редактировании.

GPTZero утверждает, что перплексия и вариативность были двумя из нескольких признаков, используемых более ранней версией его детектора.

Что показывают эти показатели: перплексия и вариативность описывают паттерны в отрывке. Эти паттерны могут помочь объяснить, почему текст был помечен, но они не могут установить, кто его написал.

Что означает оценка детектора ИИ

Результат «80% ИИ» выглядит однозначно. Однако его значение зависит от конкретного детектора.

GPTZero описывает процентное соотношение как расчетную вероятность модели того, что документ написан ИИ или человеком. Turnitin использует этот процент, чтобы показать, какая доля соответствующей критериям прозы помечена его моделью как потенциально созданная ИИ или измененная с помощью определенных инструментов ИИ.

Таким образом, одна и та же метка «80% ИИ» может означать:

• Детектор оценивает вероятность того, что документ создан ИИ, в 80%.
• Детектор пометил 80% проверенной им прозы.

Это разные выводы. Один делает прогноз по документу в целом. Другой определяет, какая часть текста соответствует критериям детектора.

Показатели вероятности нуждаются в еще одной проверке: калибровке. Если для 100 документов детектор выдает вероятность ИИ около 80%, примерно 80 из них действительно должны быть созданы ИИ, чтобы оценка была хорошо откалиброванной. Тестирование модели на примерах с известным происхождением показывает, насколько близко ее вероятности совпадают с реальными результатами.

Процент может выглядеть точным до того, как станут ясны его смысл или надежность. Метка, метод оценки и эффективность детектора — все это определяет, на что указывает данное число.

Развернуть

Пороговое значение определяет, что попадает под пометку

Детектору все равно приходится решать, когда оценка достаточно высока для принятия мер. Эта разделительная линия называется порогом или пороговым значением.

Предположим, инструмент оценивает текст по шкале от 0 до 100 и помечает все, что выше 70. Смещение порога до 60 оставит каждую оценку прежней, но увеличит количество помеченных документов.

• Более низкий порог обычно позволяет обнаружить больше текста, созданного ИИ, но также чаще ошибочно помечает текст, написанный человеком.
• Более высокий порог сокращает количество неверных пометок, позволяя при этом большему количеству текстов, созданных ИИ, оставаться необнаруженными. Этот компромисс характерен для систем классификации в целом.

Две возможные ошибки имеют разные названия.

• Ложноположительный результат возникает, когда текст, написанный человеком, помечается как созданный ИИ.
• Ложноотрицательный результат возникает, когда текст, созданный ИИ, остается необнаруженным.

То место, где детектор проводит черту, отражает ошибку, которую он призван предотвратить. Этот выбор имеет большее значение, когда пометка может повлиять на оценку, работу или чью-либо репутацию.

Как 2-процентная погрешность может дать почти 30% неверных пометок

Влияние 2-процентной частоты ложноположительных срабатываний зависит от того, какой объем человеческого текста проверяет детектор.

Рассмотрим гипотетический набор из 1000 статей:

• 50 созданы ИИ.
• 950 написаны людьми.
• Детектор улавливает 90% статей, созданных ИИ.
• Он ошибочно помечает 2% статей, написанных людьми.

Вот что происходит:

В общей сложности детектор пометил 64 статьи. Из них 19 написаны людьми, то есть почти 30% его пометок ошибочны.

Значения 2% и 30% описывают разные вещи. Детектор ошибочно помечает 2% всех написанных людьми статей. На эти ошибки приходится почти 30% от всего объема помеченного им контента.

Цифры складываются таким образом, потому что детектор проверил гораздо больше статей, написанных людьми, чем созданных ИИ. Даже небольшой уровень ошибок может привести к значительному числу неверных пометок при применении к гораздо большей группе.

Термин базовая частота описывает распространенность текстов, созданных ИИ, в проверяемом материале. По мере изменения этой доли меняется и значение положительного результата. Если показатели истинной и ложной срабатываемости детектора остаются прежними, пометка обычно более надежна, когда текст, созданный ИИ, распространен в коллекции, и менее надежна, когда он редкий.

Эти цифры гипотетичны и не описывают какой-то конкретный детектор. При реальной проверке доля текстов, созданных ИИ, обычно неизвестна. Эта неопределенность — еще одна причина относиться к пометке как к поводу для более внимательного изучения, а не как к доказательству того, как был написан документ.

Точность зависит от того, на чем тестировался детектор

Показатель точности описывает производительность в определенном наборе условий. Прежде чем применять этот показатель к другому тексту, проверьте:

• Версия детектора
• Длина, язык, тема и формат текста
• Модель ИИ и настройки, использованные для создания тестового материала
• Был ли текст отредактирован или намеренно изменен
• Авторы, представленные в образцах текстов, написанных людьми

Начните с поддерживаемых инструментом входных данных

Например, Turnitin требует как минимум 300 слов развернутой прозы. Компания заявляет, что ее модель ненадежно определяет сгенерированные ИИ стихи, сценарии, код и другие форматы, не являющиеся прозой. Таким образом, высокая эффективность на эссе мало говорит о том, как этот же детектор справится со стихотворением или коротким электронным письмом.

Сравните тест с текстами из реальной жизни

В 2024 году исследователи протестировали 12 детекторов с помощью RAID — бенчмарка, содержащего более 6 миллионов созданных ИИ отрытков по 11 моделям и восьми предметным областям. Эффективность снижалась, когда детекторы сталкивались с незнакомыми моделями, другими настройками генерации или намеренно измененным текстом.

Проведенный в 2025 году конкурс с использованием бенчмарка RAID дал более надежные результаты в более привычных условиях. Несколько участников обнаружили более 99% созданного машиной текста при сохранении уровня ложноположительных срабатываний на отметке 5%. Предметные области и модели ИИ, задействованные в тесте, также присутствовали в обучающих данных.

В совокупности результаты показывают, что детекторы могут хорошо работать с разнообразными материалами, которые они обучены распознавать, в то время как незнакомые материалы по-прежнему сложнее поддаются оценке.

Посмотрите, кто был представлен в выборке

В исследовании 2023 года семь детекторов ошибочно классифицировали в среднем 61,3% из 91 эссе по тесту TOEFL, написанных не носителями английского языка, как созданные ИИ. Этот результат относится к инструментам и выборкам, тестировавшимся в то время. Он также демонстрирует, почему показатель общей точности может некорректно отражать производительность для определенных групп авторов.

Как интерпретировать заявления о точности: чем ближе отправленный текст к материалам, использовавшимся при тестировании, тем актуальнее становится заявленный результат.

Итоговый документ демонстрирует лишь часть того, как он был написан

ИИ может играть множество ролей в процессе написания текста. Кто-то может использовать его для исследования темы, упорядочивания заметок, перевода отрывка, полировки предложения или создания черновика.

Подобные рабочие процессы могут приводить к совершенно разным документам. Один автор может использовать ИИ для сбора информации и самостоятельно составлять каждое предложение. Другой может существенно переписать черновик, созданный ИИ. Третий — добавить один сгенерированный абзац в статью, в остальном написанную человеком.

Детектор текста видит слова, которые были отправлены. У него нет доступа к подсказкам, правкам или решениям, которые предшествовали им. Его оценка не может восстановить весь процесс написания или определить, следовал ли автор определенным правилам. Например,

• Школа может разрешать мозговой штурм, требуя при этом, чтобы студенты писали работу самостоятельно.
• Издатель может разрешить редактирование с помощью ИИ при условии его раскрытия.
• Для организации могут быть важнее фактическая точность, конфиденциальность или указание источников, а не то, внес ли ИИ вклад в формулировки.

Применение этих правил требует доказательств процесса наряду с готовым текстом. История правок, исследовательские заметки и объяснения автора могут предоставить контекст, который недоступен детектору. Turnitin прямо не рекомендует преподавателям использовать показатель использования ИИ в качестве единственного основания для применения санкций к студенту.

Детектор может идентифицировать язык, напоминающий паттерны, которые он связывает с ИИ. Определение того, что произошло и было ли это разрешено, требует более широкого рассмотрения.

Водяные знаки добавляют иной тип сигнала

Некоторые системы ИИ могут добавлять обнаруживаемый паттерн по мере генерации текста. Этот процесс называется нанесением водяных знаков.

Как работает текстовый водяной знак

Примером может служить SynthID от Google DeepMind:

1. Система корректирует вероятности токенов. Она незначительно изменяет вероятность того, что модель выберет определенные слова или части слов.
2. Эти выборы создают паттерн. Водяной знак разработан так, чтобы оставаться невидимым для читателя.
3. Совместимый детектор проверяет его наличие. Детектор анализирует текст на предмет ожидаемого статистического сигнала.

Поскольку эта закономерность добавляется в процессе генерации, она может содержать информацию, привязанную к системе, которая создала текст.

Что ограничивает обнаружение водяных знаков

• Генератор должен добавить его. Система ИИ должна поддерживать и применять водяной знак. Отсутствие водяного знака не доказывает, что текст написан человеком.
• Должна сохраниться достаточная часть паттерна. Google сообщает, что SynthID выдерживает некоторую обрезку, замену слов и мягкое перефразирование. Глубокая переработка или перевод могут снизить уверенность системы.

Водяные знаки могут усилить доказательную базу, когда система совместима и создала текст, а значительная часть сигнала сохранилась. Они не могут идентифицировать абсолютно каждый текст, созданный ИИ.

Другие записи могут дополнить картину

• История правок показывает, как документ менялся с течением времени.
• Исследовательские заметки связывают утверждения автора с источниками.
• Раскрытые взаимодействия с ИИ показывают, где именно инструмент внес свой вклад.

Эти записи обеспечивают более прямой контекст процесса написания, чем одна лишь оценка на основе паттернов.

Воспринимайте пометку как начало проверки

Результат детектора становится более полезным, когда у него есть четкая роль. Прежде чем предпринимать какие-либо действия на основе пометки, проверяющим следует понять, что именно измерил инструмент, убедиться, что текст соответствует сфере его применения, и изучить другие доступные доказательства.

Пять проверок могут помочь:

1. Изучите определение оценки. Определите, представляет ли процент вероятность для всего документа или долю помеченного текста.
2. Проверьте область применения инструмента. Убедитесь, что язык, длина и формат документа соответствуют тем, которые поддерживает детектор.
3. Изучите доказательства. Проверьте выделенные фрагменты наряду с черновиками, заметками к источникам и объяснениями автора.
4. Примените соответствующую политику. Определите, какое использование ИИ разрешено и какие доказательства будут свидетельствовать о нарушении.
5. Оцените саму работу. Проверьте фактическую точность, указание источников, оригинальность и качество по существу.

Серьезность последствий должна определять глубину проверки. Редактор может использовать отметку лишь для того, чтобы решить, какая статья требует повторного просмотра. Решение, влияющее на оценку, трудоустройство или публикацию, требует веских доказательств и возможности для автора объяснить свой рабочий процесс.

Детектор ИИ сжимает сложное суждение до одной оценки. Интерпретация этой оценки требует информации, которой число не содержит: что измерил инструмент, какой порог он использовал, как он показал себя на сопоставимых текстах и насколько распространен текст, созданный ИИ, в проверяемом материале. Оценка может направить внимание. Оценка детектора может внести свой вклад в проверку, но любой вывод об авторстве также требует доказательств процесса написания.

Часто задаваемые вопросы

Могут ли детекторы ИИ ошибаться?

Да. Ложноположительный результат возникает, когда детектор помечает текст человека как созданный ИИ. Ложноотрицательный результат — когда текст, созданный ИИ, остается нераспознанным. Частота каждой из ошибок зависит от самого детектора, его порогового значения и от того, насколько отправленный текст похож на материалы, использовавшиеся для его тестирования.

Насколько точны детекторы ИИ?

Единого показателя точности для детекторов ИИ не существует. Эффективность может зависеть от языка, длины, темы, стиля письма, модели-генератора и объема редактирования. Заявление о точности наиболее полезно, когда условия теста похожи на проверяемый текст, а в результатах указаны как ложноположительные, так и успешные срабатывания.

Что означает процент обнаружения ИИ?

Определение зависит от инструмента. Оно может представлять собой расчетную вероятность того, что документ создан ИИ, процент помеченного квалифицированного текста или степень уверенности в результате. Документация детектора должна пояснять, какое именно измерение она сообщает.

Может ли детектор ИИ доказать, что кто-то использовал ИИ?

Оценка детектора сама по себе не может доказать, как был создан документ. Она анализирует отправленный текст без учета подсказок (промптов), черновиков, правок и исследовательской работы. Надежная проверка учитывает оценку наряду с доказательствами процесса и правилами, регулирующими допустимое использование ИИ.

Почему человеческий текст иногда помечается как ИИ?

Человеческий текст и текст, созданный ИИ, могут иметь одинаковые статистические закономерности. Формальный язык, предсказуемые фразы, ограниченный словарный запас или стиль, отличающийся от обучающих данных детектора, могут привести к ложноположительному срабатыванию. Исследования также показали, что некоторые детекторы, протестированные в 2023 году, непропорционально часто помечали эссе, написанные не носителями английского языка.