Як працюють детектори ШІ і чому бал сам по собі не доводить авторство

Вставте есе, статтю чи електронний лист у детектор ШІ, і за кілька секунд він може повернути результат на кшталт «85% ШІ».

Виглядає точно. Але це також легко неправильно зрозуміти.

Детектор не спостерігав за тим, як був написаний документ. Він проаналізував готовий текст на наявність шаблонів, пов'язаних із написанням за допомогою ШІ. Залежно від інструменту ці 85% можуть представляти оцінну ймовірність того, що ШІ створив документ, або частку тексту, яку позначив детектор.

Це робить детектор ШІ корисним сигналом, особливо коли щось потребує ближчого розгляду. Але бал усе одно потребує контексту та підтверджуючих доказів, перш ніж хтось зробить висновок про те, хто написав текст або як він був створений. Розуміння того, як детектори формують свої бали, допомагає пояснити як те, що вони можуть зловити, так і чому вони іноді помиляються.

Що таке детектор ШІ?

Детектор написання ШІ дивиться на готовий текст і оцінює, чи нагадує він текст, створений мовною моделлю. Користувач зазвичай вставляє текст або завантажує документ. Протягом кількох секунд інструмент може повернути ярлик, відсоток, виділені уривки або всі три варіанти.

• Викладачі та академічні заклади використовують їх під час перевірки студентських робіт.
• Видавці та команди контенту можуть використовувати їх для перевірки надісланих або замовлених текстів, тоді як деякі компанії-розробники детекторів пропонують версії для рекрутерів, які перевіряють матеріали заявок.
• Автори також іноді перевіряють власні роботи, щоб зрозуміти, як учитель, редактор, клієнт чи платформа можуть їх класифікувати.

Примітка: Перевіреники на плагіат служать для пов'язаної, але окремої мети. Вони порівнюють документ із опублікованими матеріалами та іншими джерелами, щоб знайти відповідну мову. Детектори ШІ оцінюють патерни в надісланому тексті. Тому абсолютно оригінальний уривок може отримати позначку ШІ, тоді як скопійований людський текст може не містити жодних сильних сигналів генерації ШІ.

Як детектори ШІ аналізують текст

Багато детекторів ШІ покладаються на класифікатор — модель машинного навчання, навчену на прикладах текстів, написаних людиною та згенерованих ШІ. Порівнюючи їх, вона дізнається, які патерни зазвичай з'являються в кожному з них, зокрема патерни у виборі слів та структурі речень. Потім вона шукає ці патерни в новому тексті та формує прогноз.

Те, чого навчається детектор, залежить від того, що він бачить під час навчання. Інструмент, навчений на обмеженому діапазоні текстів, може мати труднощі з новою темою, незнайомим стилем або виводом від моделі ШІ, з якою він раніше не стикався. Дослідження різних типів текстів і моделей ШІ показали, що ефективність виявлення може знижуватися за таких умов.

Деякі методи використовують інший підхід. Замість навчання окремого класифікатора вони використовують власні оцінки ймовірності мовної моделі, щоб оцінити, наскільки ймовірно вона згенерувала б уривок.

• DetectGPT, наприклад, порівнює оригінальний текст із дещо зміненими версіями, щоб шукати шаблони, пов'язані з генерацією ШІ. У його дослідженні це описується як метод «zero-shot», оскільки він не потребує окремо навченого детектора. Результат може включати загальний бал, виділені речення або те й інше.
• GPTZero заявляє, що його виділення показують, які речення мають найбільший вплив на загальний прогноз. Оскільки він також оцінює документ у цілому, уривок, просканований окремо, може не отримати такого ж результату, коли він з'являється як частина довшого твору.

Кожен результат відображає як текст, так і систему, що його оцінює, тому різні детектори можуть доходити різних висновків щодо одного й того ж уривка.

Розгорнути

Що вимірюють перплексія та варіативність

Перплексія та варіативність часто згадуються в поясненнях щодо виявлення ШІ. Вони можуть виявити корисні патерни в тексті, але жоден із них не вказує на єдиний унікальний спосіб написання за допомогою ШІ.

Одна потенційно заплутана деталь: перплексія тут виконує подвійну роль. З маленької літери це статистична міра. З великоїтери П — це ми.

Перплексія вимірює передбачуваність тексту

Мовні моделі генерують текст, призначаючи ймовірності можливим наступним токенам, якими можуть бути цілі слова або частини слів. Перплексія вимірює, наскільки добре модель може передбачити токени в уривку.

• Менша перплексія: Текст відповідає шаблонам, які модель вважає знайомими.
• Вища перплексія: Формулювання є менш очікуваним.

Бал є специфічним для моделі, що проводить оцінку, і способу обробки тексту, тому той самий уривок може отримувати різні бали перплексії за різних налаштувань.

Візьмемо речення: «Будь ласка, дайте мені знати, якщо у вас виникнуть запитання». Мовна модель, ймовірно, стикалася з подібним формулюванням багато разів, що робить кожне слово відносно легким для прогнозування. Це говорить нам дещо про звичність речення. Це нічого остаточно не говорить про те, хто його написав.

Варіативність вимірює, наскільки сильно ці шаблони відрізняються

Варіативність (burstiness) у дискусіях про виявлення ШІ використовується більш вільно. Зазвичай вона описує, наскільки сильно текст змінюється в межах уривка. Це може включати варіації в довжині та структурі речень або переходи між дуже передбачуваною та більш дивовижною мовою.

• Менша варіативність: Речення дотримуються більш послідовної довжини, структури чи ритму.
• Вища варіативність: Текст переходить між коротшими твердженнями, довшими поясненнями та менш очікуваними формулюваннями.

Деякий текст, згенерований ШІ, є послідовним і передбачуваним, тому варіативність стала асоціюватися з виявленням. Текст, написаний людиною, може мати такі самі якості, особливо в бізнес-, академічних та технічних контекстах. Моделі ШІ також можуть створювати більш різноманітну мову, коли отримують відповідну підказку або редагуються.

GPTZero заявляє, що перплексія та варіативність були двома з кількох характеристик, які використовувала попередня версія його детектора.

Що показують ці вимірювання: Перплексія та варіативність описують патерни в уривку. Ці патерни можуть допомогти пояснити, чому текст був позначений, але вони не можуть встановити, хто його написав.

Що означає бал детектора ШІ

Результат «80% ШІ» виглядає однозначним. Його значення залежить від детектора.

GPTZero описує відсоток як оцінну ймовірність своєї моделі того, що документ написав ШІ або людина. Turnitin використовує відсоток, щоб показати, яку частину відповідної прози його модель позначає як потенційно згенеровану ШІ або змінену за допомогою певних інструментів ШІ.

Тому той самий ярлик «80% ШІ» може означати:

• Детектор оцінює ймовірність того, що ШІ згенерував документ, у 80%.
• Детектор позначив 80% прози, яку він оцінив.

Це різні висновки. Один робить прогноз щодо документа в цілому. Інший визначає, яка частина тексту відповідає критеріям детектора.

Оцінки ймовірності потребують ще однієї перевірки: калібрування. Якщо детектор дає 100 документам ймовірність ШІ близько 80%, приблизно 80 з них насправді мають бути згенеровані ШІ, щоб бал був добре каліброваним. Тестування моделі на прикладах із відомим походженням показує, наскільки близько її ймовірності відповідають реальним результатам.

Відсоток може виглядати точним до того, як стане зрозумілим його значення чи надійність. Ярлик, метод підрахунку та робота детектора – усе це визначає, що саме може підтвердити це число.

Розгорнути

Поріг визначає, що саме буде позначено

Детектор все одно повинен вирішити, коли бал є достатньо високим, щоб діяти. Цю розділову лінію називають порогом.

Припустимо, інструмент оцінює текст від 0 до 100 і позначає все, що вище 70. Перенесення граничного значення на 60 залишить кожен бал незмінним, водночас збільшивши кількість позначених документів.

• Нижчий поріг зазвичай виявляє більше тексту, згенерованого ШІ, але також частіше помилково позначає написане людиною.
• Вищий поріг зменшує кількість хибних позначок, водночас дозволяючи більшій кількості тексту, згенерованого ШІ, залишатися непоміченим. Цей компроміс загалом застосовується до систем класифікації.

Дві можливі помилки мають різні назви.

• Хибнопозитивний результат виникає, коли написане людиною позначається як створене ШІ.
• Хибнонегативний результат виникає, коли написане ШІ залишається непоміченим.

Те, де детектор проводить межу, відображає те, уникнення якої помилки закладено в його дизайн. Цей вибір має більшу вагу, коли позначка може вплинути на оцінку, роботу чи чиюсь репутацію.

Як 2% рівня помилок може призвести до майже 30% некоректних позначок

Вплив 2% рівня хибнопозитивних результатів залежить від того, скільки написаного людиною тексту перевіряє детектор.

Розглянемо гіпотетичний набір із 1000 статей:

• 50 згенеровані ШІ.
• 950 написані людьми.
• Детектор виявляє 90% статей, згенерованих ШІ.
• Він помилково позначає 2% статей, написаних людиною.

Ось що відбувається:

Загалом детектор позначає 64 статті. Дев'ятнадцять написані людиною, тому майже 30% його позначок є хибними.

Показники 2% і 30% вимірюють різні речі. Детектор помилково позначає 2% усіх написаних людиною статей. Потім ці помилки становлять майже 30% від усього, що він позначає.

Цифри складаються таким чином, оскільки детектор перевірив набагато більше статей, написаних людьми, ніж згенерованих ШІ. Навіть невеликий рівень помилок може призвести до значної кількості неправильних позначок, якщо він застосовується до набагато більшої групи.

Термін базова ставка описує, наскільки поширеним є текст, згенерований ШІ, у перевірюваному матеріалі. Зі зміною цієї частки змінюється і значення позитивного результату. Якщо рівень істиннопозитивних і хибнопозитивних результатів детектора залишається незмінним, позначка зазвичай буде більш надійною, коли текст, згенерований ШІ, є поширеним у колекції, і менш надійною, коли він рідкісний.

Ці цифри є гіпотетичними і не описують конкретний детектор. У реальному огляді частка тексту, згенерованого ШІ, зазвичай невідома. Ця невизначеність є ще однією причиною розглядати позначку як привід для ретельнішого огляду, а не як доказ того, як був написаний документ.

Точність залежить від того, на чому тестувався детектор

Показник точності описує роботу за певного набору умов. Перш ніж застосовувати цей показник до іншого тексту, перевірте:

• Версія детектора
• Довжина, мова, тема та формат тексту
• Модель ШІ та налаштування, що використовувалися для генерації тестового матеріалу
• Чи був текст відредагований або навмисно змінений
• Автори, представлені у зразках, написаних людьми

Почніть із вхідних даних, що підтримуються інструментом

Turnitin, наприклад, вимагає принаймні 300 слів довгої прози. Він заявляє, що його модель не надійно виявляє згенеровані ШІ поезію, сценарії, код чи інші формати, що не є прозою. Тому високі результати на есе мало говорять про те, як той самий детектор впорається з віршем чи коротким електронним листом.

Порівняйте тест із реальним текстом

У 2024 році дослідники протестували 12 детекторів за допомогою RAID — бенчмарка, що містить понад 6 мільйонів уривків, згенерованих ШІ, у 11 моделях та восьми предметних областях. Продуктивність падала, коли детектори стикалися з незнайомими моделями, іншими налаштуваннями генерації або навмисно зміненим текстом.

Змагання 2025 року з використанням RAID дало кращі результати за більш звичних умов. Кілька учасників виявили понад 99% згенерованого машиною тексту, підтримуючи 5% рівень хибнопозитивних результатів. Тематичні галузі та моделі ШІ, які використовувалися в тесті, також були представлені в навчальних даних.

Разом результати показують, що детектори можуть добре працювати з різноманітними матеріалами, які вони навчилися розпізнавати, тоді як незнайомі матеріали залишаються складнішими для оцінки.

Подивіться, хто був представлений

У дослідженні 2023 року сім детекторів помилково класифікували в середньому 61,3% із 91 есе TOEFL, написаних носіями інших мов, як створені ШІ. Цей результат стосується інструментів і зразків, які тестувалися на той момент. Це також показує, чому загальний показник точності може не однаково добре описувати результативність для кожної групи авторів.

Як читати заяви про точність: Що ближче надісланий текст до матеріалу, який використовувався під час тестування, то релевантнішим стає опублікований результат.

Кінцевий документ показує лише частину того, як він був написаний

ШІ може відігравати багато ролей у процесі письма. Хтось може використовувати його для дослідження теми, організації нотаток, перекладу уривка, полірування речення чи створення першої версії.

Такі робочі процеси можуть призводити до дуже різних документів. Один автор може використовувати ШІ для дослідження та самостійно складати кожне речення. Інший може суттєво переписати згенерований ШІ чорновик. Третій може додати один згенерований абзац до статті, яка в іншому написана людиною.

Детектор тексту бачить слова, які були надіслані. Він не має доступу до підказок, правок чи рішень, які передували їм. Його бал не може відтворити повний процес написання або визначити, чи дотримувався автор певної політики. Наприклад,

• Школа може дозволити мозковий штурм, вимагаючи від учнів писати завдання самостійно.
• Видавець може дозволити редагування за допомогою ШІ, якщо це розкрито.
• Робоче місце може більше дбати про фактичну точність, конфіденційність або посилання на джерела, ніж про те, чи зробив ШІ внесок у формулювання.

Застосування цих правил вимагає доказів щодо процесу, а також готового тексту. Історія чорновичків, нотатки з досліджень та пояснення автора можуть надати контекст, який детектор надати не може. Turnitin прямо радить викладачам не використовувати свій бал написання ШІ як єдину підставу для негативних дій проти студента.

Детектор може ідентифікувати мову, яка нагадує патерни, що асоціюються у нього з ШІ. Вирішення того, що сталося і чи було це дозволено, вимагає ширшого перегляду.

Водяні знаки додають інший вид сигналу

Деякі системи ШІ можуть додавати виявлений шаблон під час генерації тексту. Цей процес називається водяним знаком.

Як працює текстовий водяний знак

Google DeepMind SynthID надає один із прикладів:

1. Система регулює ймовірності токенів. Вона дещо змінює ймовірність того, що модель вибере певні слова чи частини слів.
2. Ці вибори створюють шаблон. Водяний знак розроблений так, щоб залишатися невидимим для читача.
3. Сумісний детектор перевіряє його наявність. Детектор аналізує текст на наявність очікуваного статистичного сигналу.

Оскільки шаблон додається під час генерації, він може надавати інформацію, прив'язану до системи, яка створила текст.

Що обмежує виявлення водяних знаків

• Генератор повинен його додати. Система ШІ повинна підтримувати та застосовувати водяний знак. Відсутність водяного знака не доводить, що текст написала людина.
• Побільша частина шаблону має залишитися. Google повідомляє, що SynthID може витримувати певне обрізання, зміну слів та м'яке перефразування. Масштабне переписування або переклад можуть знизити його впевненість.

Водяні знаки можуть посилити докази, коли сумісна система згенерувала текст і достатня частина сигналу збереглася. Вони не можуть ідентифікувати кожну частину тексту, згенерованого ШІ.

Інші записи можуть доповнити загальну картину

• Історія чорновичків показує, як документ змінювався з часом.
• Примітки з досліджень пов'язують його твердження з джерелами.
• Розкрита взаємодія з ШІ показує, де інструмент зробив свій внесок.

Ці записи надають більш прямий контекст про процес написання, ніж лише оцінка на основі патернів.

Сприймайте позначку як початок перевірки

Результат детектора стає більш корисним, коли він має чітку роль. Перш ніж діяти на основі позначки, рецензенти повинні зрозуміти, що виміряв інструмент, підтвердити, що текст підпадає під його сферу дії, та вивчити інші доступні докази.

П'ять перевірок можуть допомогти:

1. Прочитайте визначення бала. Визначте, чи представляє відсоток ймовірність на рівні документа, чи частку позначеного тексту.
2. Перевірте область дії інструменту. Переконайтеся, що мова, довжина та формат документа відповідають тим, які підтримує детектор.
3. Перегляньте докази. Вивчіть виділені уривки разом із чорновиками, нотатками джерел та поясненнями автора.
4. Застосуйте відповідну політику. Визначте, яке використання ШІ дозволено і які докази демонструватимуть порушення.
5. Оцініть саму роботу. Перевірте фактичну точність, посилання на джерела, оригінальність та якість за власними критеріями.

Ставки мають визначати глибину перевірки. Редактор може використати позначку, щоб вирішити, яка стаття потребує повторного перегляду. Рішення, яке впливає на оцінку, роботу чи угоду про публікацію, вимагає переконливіших доказів і можливості для автора пояснити свій процес.

Детектор ШІ стискає складне судження до бала. Інтерпретація цього бала вимагає інформації, якої число не містить: що вимірював інструмент, який поріг він використовував, як він працював на подібному тексті та наскільки поширеним є згенерований ШІ текст у перевірюваному матеріалі. Бал може спрямувати увагу. Бал детектора може сприяти цьому перегляду, але будь-який висновок про авторство також вимагає доказів щодо процесу написання.

Часті запитання

Чи можуть детектори ШІ помилятися?

Так. Хибнопозитивний результат виникає, коли детектор позначає написане людиною як створене ШІ. Хибнонегативний результат виникає, коли текст, створений ШІ, залишається непоміченим. Частота кожної помилки залежить від детектора, його порогу та того, наскільки надісланий текст схожий на матеріал, який використовувався для його тестування.

Наскільки точні детектори ШІ?

Не існує єдиного показника точності для детекторів ШІ. Ефективність може змінюватися залежно від мови, довжини, теми, стилю написання, моделі генерації та обсягу редагування. Заява про точність є найбільш корисною, коли умови тесту схожі на текст, що перевіряється, а результат повідомляє як про хибнопозитивні результати, так і про успішні виявлення.

Що означає відсоток виявлення ШІ?

Визначення залежить від інструменту. Воно може представляти оцінну ймовірність того, що документ згенеровано ШІ, відсоток позначеного відповідного тексту або форму впевненості в результаті. Документація детектора має пояснювати, яке вимірювання вона звітує.

Чи може детектор ШІ довести, що хтось використовував ШІ?

Один лише бал детектора не може довести, як був створений документ. Він аналізує надісланий текст, не бачачи підказок, чорновичків, редагувань чи досліджень, що стоять за ним. Надійний перегляд розглядає бал разом із доказами процесу та політикою, що регулює прийнятне використання ШІ.

Чому написане людиною іноді позначається як ШІ?

Написане людиною та згенероване ШІ може мати однакові статистичні патерни. Формульна мова, передбачувані фрази, обмежений словниковий запас або стиль, який відрізняється від навчальних даних детектора, можуть сприяти хибнопозитивному результату. Дослідження також виявили, що деякі детектори, випробувані у 2023 році, непропорційно часто позначали есе, написані носіями інших мов.