Как работят детекторите на ИИ и защо една оценка не може да докаже авторство

Поставете есе, статия или имейл в детектор на ИИ и няколко секунди по-късно той може да върне резултат като „85% ИИ“.

Изглежда прецизно. Но също така може лесно да бъде разчетено погрешно.

Детекторът не е наблюдавал как е написан документът. Той е анализирал готовия текст за модели, свързани с писане, генерирано от ИИ. В зависимост от инструмента, тези 85% могат да представляват изчислената вероятност ИИ да е произвел документа или дела от текста, който детекторът е маркирал.

Това прави детектора на ИИ полезен като сигнал, особено когато нещо се нуждае от по-обстоен преглед. Но оценката все пак се нуждае от контекст и подкрепящи доказателства, преди някой да си направи заключение кой е написал текста или как го е създал. Разбирането на начина, по който детекторите генерират своите оценки, помага да се обясни както какво могат да уловят, така и защо понякога бъркат.

Какво е детектор на ИИ?

Детекторът на писане с ИИ разглежда готово парче текст и преценява дали то прилича на писане, произведено от езиков модел. Потребителят обикновено поставя текста или качва документ. В рамките на секунди инструментът може да върне етикет, процент, маркирани пасажи или и трите.

• Учителите и академичните институции ги използват, когато преглеждат работата на студентите.
• Издателите и екипите за съдържание могат да ги използват за скрининг на подадено или поръчано писане, докато някои компании за детектори предлагат версии за екипи по подбор на персонал, преглеждащи материали за кандидатстване.
• Писателите понякога проверяват и собствената си работа, за да разберат как учител, редактор, клиент или платформа биха я класифицирали.

Забележка: Проверките за плагиатство служат за свързана, но отделна цел. Те сравняват документ с публикуван материал и други източници, за да намерят съвпадащ език. Детекторите на ИИ оценяват модели в подаденото писане. Следователно напълно оригинален пасаж може да получи маркиране за ИИ, докато копираното човешко писане може да не съдържа силен сигнал за генериране от ИИ.

Как детекторите на ИИ анализират текста

Много детектори на ИИ разчитат на класификатор — модел за машинно обучение, обучен на примери за човешко писане и писане, генерирано от ИИ. Докато сравнява двете, той научава кои модели са склонни да се появяват във всяко от тях, включително модели в избора на думи и структурата на изреченията. След това той търси тези модели в нов текст и прави прогноза.

Какво научава детекторът зависи от това какво вижда по време на обучението. Инструмент, обучен на ограничен набор от писане, може да изпитва затруднения с нова тема, непознат стил или изходни данни от модел на ИИ, с който не се е сблъсквал преди. Изследванията сред различни видове текстове и модели на ИИ установяват, че ефективността на детекцията може да спадне при тези условия.

Някои методи използват различен подход. Вместо да обучават отделен класификатор, те използват собствените вероятностни оценки на езиковия модел, за да преценят колко вероятно би било той да произведе пасаж.

• DetectGPT например сравнява оригиналния текст с леко променени версии, за да търси модели, свързани с генериране от ИИ. Неговото изследване описва това като метод „без предварително обучение“ (zero-shot), тъй като той не изисква отделно обучен детектор. Резултатът може да включва общ резултат, маркирани изречения или и двете.
• GPTZero твърди, че акцентите му показват кои изречения оказват най-голямо влияние върху общата му прогноза. Тъй като той оценява и по-широкия документ, пасаж, сканиран самостоятелно, може да не получи същия резултат, когато се появява като част от по-дълго произведение.

Всеки резултат отразява както текста, така и системата, която го оценява, поради което различните детектори могат да стигнат до различни заключения за същия пасаж.

Уголеми

Какво измерват объркването (perplexity) и избухливостта

Объркването (Perplexity) и избухливостта се появяват често в обясненията за детекция на ИИ. Те могат да разкрият полезни модели в дадено писане, но нито едното от тях не сочи към единствена, уникална за ИИ форма на писане.

Един потенциално объркващ детайл: объркването (perplexity) тук има двойна роля. С малка буква то е статистическа мярка. С главна буква P това сме ние.

Объркването (Perplexity) измерва колко предсказуем е текстът

Езиковите модели генерират текст, като задават вероятности на възможни следващи токени, които могат да бъдат цели думи или части от думи. Объркването (Perplexity) измерва колко добре моделът може да предскаже токените в даден пасаж.

• По-ниско объркване (perplexity): Текстът следва модели, които моделът намира за познати.
• По-високо объркване (perplexity): Формулировката е по-малко очаквана.

Оценката е специфична за модела, извършващ оценяването, и начина, по който се обработва текстът, така че същият пасаж може да получи различни оценки за объркване при различни настройки.

Вземете изречението: „Моля, уведомете ме, ако имате някакви въпроси.“ Езиков модел вероятно се е сблъсквал с подобна формулировка много пъти, което прави всяка дума относително лесна за предсказване. Това ни казва нещо за познатостта на изречението. То не казва нищо окончателно за това кой го е написал.

Избухливостта измерва доколко тези модели варират

Избухливостта (burstiness) се използва по-свободно в дискусиите относно детекцията на ИИ. Тя обикновено описва до каква степен писането се променя в рамките на даден пасаж. Това може да включва вариации в дължината и структурата на изреченията или преходи между силно предсказуем и по-изненадващ език.

• По-ниска избухливост: Изреченията следват по-постоянна дължина, структура или ритъм.
• По-висока избухливост: Писането преминава между по-кратки изявления, по-дълги обяснения и по-малко очаквани формулировки.

Някои текстове, генерирани от ИИ, са последователни и предсказуеми, поради което избухливостта се свързва с детекцията. Човешкото писане може да има същите качества, особено в бизнес, академични и технически контексти. Моделите на ИИ могат също така да произведат по-разнообразен език, когато бъдат подканени или редактирани да го направят.

GPTZero заявява, че объркването и избухливостта са били две от няколко функции, използвани от по-ранна версия на неговия детектор.

Какво показват тези мерки: Объркването (Perplexity) и избухливостта описват модели в пасаж. Тези модели могат да помогнат да се обясни защо текстът е бил маркиран, но те не могат да установят кой го е написал.

Какво означава оценката на детектора на ИИ

Резултат „80% ИИ“ изглежда ясен. Неговото значение обаче зависи от детектора.

GPTZero описва процента като изчислена от нейния модел вероятност ИИ или човек да са написали документа. Turnitin използва процента, за да покаже колко от квалифициращата проза нейният модел маркира като потенциално генерирана от ИИ или модифицирана с определени инструменти за ИИ.

Следователно същият етикет „80% ИИ“ може да означава:

• Детекторът изчислява 80% вероятност ИИ да е генерирал документа.
• Детекторът е маркирал 80% от прозата, която е оценил.

Това са различни констатации. Едната прави прогноза за документа като цяло. Другата идентифицира колко от текста съответства на критериите на детектора.

Оценките на вероятността се нуждаят от друга проверка: калибриране. Ако даден детектор даде на 100 документа вероятност за ИИ около 80%, приблизително 80 от тях действително трябва да са генерирани от ИИ, за да бъде оценката добре калибрирана. Тестването на модела спрямо примери с известен произход показва колко близко съответстват неговите вероятности на реалните резултати.

Даден процент може да изглежда точен, преди неговото значение или надеждност да са ясни. Етикетът, методът на оценяване и производителността на детектора определят какво може да подкрепи числото.

Уголеми

Прагът определя какво се маркира

Детекторът все пак трябва да реши кога една оценка е достатъчно висока, за да се предприемат действия. Тази делителна линия се нарича граница или праг (threshold).

Да предположим, че даден инструмент оценява текст от 0 до 100 и маркира всичко над 70. Преместването на границата до 60 би оставило всяка оценка непроменена, като същевременно увеличи броя на маркираните документи.

• По-ниският праг (cutoff) обикновено засича повече писане, генерирано от ИИ, но също така грешно маркира повече човешко писане.
• По-високият праг (cutoff) намалява неправилните маркирания, като същевременно позволява на повече генерирано от ИИ писане да остане недетектирано. Този компромис важи в общи линии за класификационните системи.

Двете възможни грешки имат различни имена.

• Фалшивоположителен резултат възниква, когато човешко писане бъде маркирано като генерирано от ИИ.
• Фалшивоотрицателен резултат възниква, когато генерирано от ИИ писане остане недетектирано.

Къде детекторът поставя границата отразява коя грешка е проектиран да избягва. Този избор носи по-голяма тежест, когато маркирането може да засегне оценка, работа или чиято и да е кредибилност.

Как 2% процент на грешки може да доведе до близо 30% неправилни маркирания

Въздействието на 2% процент на фалшивоположителни резултати зависи от това колко човешко писане преглежда детекторът.

Помислете за хипотетичен набор от 1000 статии:

• 50 са генерирани от ИИ.
• 950 са написани от хора.
• Детекторът улавя 90% от генерираните от ИИ статии.
• То неправилно маркира 2% от написаните от хора статии.

Ето какво се случва:

Детекторът маркира общо 64 статии. Деветнадесет са написани от хора, така че близо 30% от маркираните от него статии са погрешни.

Фигурите от 2% и 30% измерват различни неща. Детекторът погрешно маркира 2% от всички написани от хора статии. След това тези грешки съставляват близо 30% от всичко, което той маркира.

Числата се събират по този начин, защото детекторът е прегледал много повече написани от хора статии, отколкото генерирани от ИИ такива. Дори малък процент на грешки може да доведе до значителен брой неправилни маркирания, когато се прилага към много по-голяма група.

Терминът базова честота (base rate) описва колко често срещано е генерираното от ИИ писане в проверявания материал. Тъй като този дял се променя, се променя и значението на положителния резултат. Ако истински положителните и фалшивоположителните проценти на детектора останат същите, маркирането обикновено ще бъде по-надеждно, когато генерираното от ИИ писане е често срещано в колекцията, и по-малко надеждно, когато е рядко.

Тези числа са хипотетични и не описват конкретен детектор. При реален преглед делът на генерираното от ИИ писане обикновено е неизвестен. Тази несигурност е друга причина да се третира маркирането като повод за по-обстоен преглед, а не като доказателство за това как е бил написан документът.

Точността зависи от това върху какво е тестван детекторът

Процентът на точност описва представянето при определен набор от условия. Преди да приложите този процент към друг текст, проверете:

• Версията на детектора
• Дължината, езикът, темата и форматът на текста
• Моделът на ИИ и настройките, използвани за генериране на тестовия материал
• Дали текстът е бил редактиран или умишлено модифициран
• Писателите, представени в написаните от хора проби

Започнете с поддържаните от инструмента входни данни

Turnitin например изисква поне 300 думи разширена проза. Тя твърди, че нейният модел не открива надеждно генерирана от ИИ поезия, сценарии, код или други формати, които не са проза. Следователно силната производителност при есетата ни казва малко за това как същият детектор ще се справи с поема или кратък имейл.

Сравнете теста с писането от реалния свят

През 2024 г. изследователи тестват 12 детектора, използвайки RAID — бенчмарк, съдържащ повече от 6 милиона пасажа, генерирани от ИИ, в 11 модела и осем предметни области. Производителността спада, когато детекторите се сблъскат с непознати модели, различни настройки за генериране или умишлено модифициран текст.

Предизвикателство от 2025 г., използващо RAID, даде по-силни резултати при по-познати условия. Няколко участници засякоха над 99% от генерирания от машина текст, като същевременно поддържаха 5% процент на фалшивоположителни резултати. Предметните области и моделите на ИИ, използвани в теста, бяха представени и в обучителните данни.

В съвкупност резултатите показват, че детекторите могат да се представят добре с разнообразни материали, които са били обучени да разпознават, докато непознатите материали остават по-трудни за оценка.

Вижте кой е бил представен

В проучване от 2023 г. седем детектора неправилно класифицират средно 61,3% от 91 есета по TOEFL, написани от неносители на английски език, като генерирани от ИИ. Този резултат важи за инструментите и пробите, тествани по това време. Той също така показва защо общият процент на точност може да не описва еднакво добре представянето за всяка група автори.

Как да разчетем твърдение за точност: Колкото по-близък е подаденият текст до материала, използван при тестването, толкова по-релевантен става отложеният резултат.

Крайният документ показва само част от това как е бил написан

ИИ може да играе много роли в процеса на писане. Някой може да го използва за проучване на тема, организиране на бележки, превод на пасаж, полиране на изречение или създаване на първа чернова.

Тези работни процеси могат да доведат до много различни документи. Един писател може да използва ИИ за проучване и да състави всяко изречение самостоятелно. Друг може съществено да пренапише генерирана от ИИ чернова. Трети може да добави един генериран параграф към статия, която иначе е написана от човек.

Детекторът на текст вижда думите, които са били подадени. Той няма достъп до подканите, редакциите или решенията, които са предхождали тези думи. Неговата оценка не може да възстанови пълния процес на писане или да определи дали авторът е спазил определена политика. Например,

• Училището може да разреши брейнсторминга, като същевременно изисква учениците да напишат заданието сами.
• Издателят може да разреши редактиране, подпомогнато от ИИ, когато това е разкрито.
• Работното място може да се интересува повече от фактическа точност, поверителност или приписване на източници, отколкото от това дали ИИ е допринесъл за формулировката.

Прилагането на тези правила изисква доказателства както за процеса, така и за готовия текст. Историята на черновите, изследователските бележки и обяснението на писателя могат да осигурят контекст, който детекторът не може. Turnitin изрично съветва преподавателите да не използват своя резултат за писане с ИИ като единствена основа за неблагоприятни действия срещу студент.

Детекторът може да идентифицира език, който прилича на моделите, които той асоциира с ИИ. Решаването какво се е случило и дали то е било позволено изисква по-широк преглед.

Водните знаци добавят различен тип сигнал

Някои системи за ИИ могат да добавят детектируем модел, докато генерират текст. Този процес се нарича поставяне на воден знак.

Как работи текстовият воден знак

Google DeepMind’s SynthID предоставя един пример:

1. Системата коригира вероятностите на токените. Тя леко променя вероятността моделът да избере определени думи или части от думи.
2. Тези избори създават модел. Водният знак е проектиран да остане неvizимо за читателя.
3. Съвместим детектор проверява за него. Детекторът анализира текста за очаквания статистически сигнал.

Тъй като моделът се добавя по време на генерирането, той може да предостави информация, обвързана със системата, която е произвела текста.

Какво ограничава детекцията на водни знаци

• Генераторът трябва да го добави. Системата за ИИ трябва да поддържа и прилага водния знак. Липсата на воден знак не установява, че текстът е написан от човек.
• Достатъчна част от модела трябва да остане. Google съобщава, че SynthID може да издържи на известно изрязване, промяна на думи и леко префразиране. Обширното пренапишване или превод може да намали неговата увереност.

Водните знаци могат да засилят доказателствата, когато съвместима система е генерирала текста и е останала достатъчна част от сигнала. Те не могат да идентифицират всяко парче писане, генерирано от ИИ.

Други записи могат да допълнят картината

• Историята на черновите показва как се е променил документът с течение на времето.
• Изследователските бележки свързват твърденията му с източници.
• Разкритите взаимодействия с ИИ показват къде даден инструмент е допринесъл.

Тези записи осигуряват по-директен контекст за процеса на писане, отколкото само една оценка, базирана на модели.

Третирайте маркирането като начало на преглед

Резултатът от детектора става по-полезен, когато има дефинирана роля. Преди да предприемат действия въз основа на маркиране, проверяващите трябва да разберат какво е измерил инструментът, да потвърдят, че текстът попада в неговия обхват, и да разгледат останалите налични доказателства.

Пет проверки могат да помогнат:

1. Прочетете определението за оценка. Определете дали процентът представлява вероятност на ниво документ или дела на маркирания текст.
2. Проверете обхвата на инструмента. Потвърдете, че езикът, дължината и форматът на документа съответстват на това, което детекторът поддържа.
3. Прегледайте доказателствата. Разгледайте маркираните пасажи заедно с черновите, бележките за източниците и обяснението на автора.
4. Приложете съответната политика. Идентифицирайте кои употреби на ИИ са позволени и какви доказателства биха показали нарушение.
5. Оценете самата работа. Прегледайте фактическата точност, приписването на източници, оригиналността и качеството според собствените им достойнства.

Залозите трябва да определят дълбочината на прегледа. Един редактор може да използва маркиране, за да реши коя статия се нуждае от повторен поглед. Решение, засягащо оценка, работа или споразумение за публикуване, изисква по-силни доказателства и възможност за автора да обясни своя процес.

Детекторът на ИИ компресира сложно съждение в оценка. Тълкуването на тази оценка изисква информация, която числото не съдържа: какво е измерил инструментът, какъв праг е използвал, как се е представил при сравним текст и колко често срещан е генерираният от ИИ текст в проверявания материал. Оценката може да насочи вниманието. Резултатът от детектора може да допринесе за този преглед, но всяко заключение относно авторството изисква и доказателства за процеса на писане.

Често задавани въпроси

Може ли детекторите на ИИ да грешат?

Да. Фалшивоположителен резултат възниква, когато детекторът маркира човешко писане като генерирано от ИИ. Фалшивоотрицателен резултат възниква, когато генерирано от ИИ писане остане недетектирано. Честотата на всяка грешка зависи от детектора, неговия праг и колко близък е подаденият текст до материала, използван за тестването му.

Колко точни са детекторите на ИИ?

Няма единен процент на точност за детекторите на ИИ. Производителността може да варира в зависимост от езика, дължината, темата, стила на писане, генериращия модел и количеството редактиране. Твърдението за точност е най-полезно, когато тестовите условия приличат на проверявания текст, а резултатът отчита както фалшивоположителни резултати, така и успешни детекции.

Какво означава процентът на детекция на ИИ?

Определението зависи от инструмента. То може да представлява изчислената вероятност даден документ да е генериран от ИИ, процентът на маркирания квалифициращ текст или форма на увереност в резултата. Документацията на детектора трябва да обяснява кое измерване отчита.

Може ли детекторът на ИИ да докаже, че някой е използвал ИИ?

Само една оценка от детектор не може да докаже как е създаден даденият документ. Тя анализира подадения текст, без да вижда подканите (prompts), черновите, редакциите или изследванията зад него. Надеждният преглед разглежда оценката наред с доказателствата за процеса и политиката, уреждаща приемливата употреба на ИИ.

Защо човешкото писане понякога получава маркиране за ИИ?

Човешкото писане и това, генерирано от ИИ, могат да споделят едни и същи статистически модели. Формалният език, предсказуемите фрази, ограниченият речник или стилът, който се различава от обучителните данни на детектора, могат да допринесат за фалшивоположителен резултат. Изследванията също така установяват, че някои детектори, тествани през 2023 г., непропорционално са маркирали есета, написани от неносители на английски език.