Како детектори вјештачке интелигенције раде и зашто резултат сам по себи не може доказивати ауторство

Налијепите есеј, чланак или имејл у детектор вјештачке интелигенције, и неколико секунди касније он може вратити резултат попут „85% AI“.

Изгледа прецизно. Али такође може бити лако погрешно прочитано.

Детектор није посматрао како је документ написан. Анализирао је завршни текст у потрази за обрасцима повезаним са писањем генерисаним од стране вјештачке интелигенције. У зависности од алата, тих 85% може представљати процењену вјероватноћу да је вјештачка интелигенција произвела документ или удео текста који је детектор означио.

Због тога је детектор вјештачке интелигенције користан као сигнал, посебно када нечему треба пажљивији преглед. Али резултату је и даље потребан контекст и пратећи докази прије него што било ко донесе закључак о томе ко је написао текст или како га је креирао. Разумевање како детектори производе своје резултате помаже да се објасни и шта могу да ухвате и зашто понекад греше.

Шта је детектор вјештачке интелигенције?

Детектор писања вјештачке интелигенције посматра завршени комад текста и процењује да ли личи на писање које производи језички модел. Корисник обично налепи текст или отпреми документ. У року од неколико секунди, алат може вратити ознаку, проценат, истакнуте одломке или све то троје.

• Наставници и академске институције их користе када прегледају рад ученика.
• Издавачи и тимови садржаја могу их користити за скрининг поднетих или наручених текстова, док неке компаније за детекцију пласирају верзије за тимове за запошљавање који прегледају материјале за пријаву.
• Писци такође понекад провјеравају сопствени рад како би схватили како би га наставник, уредник, клијент или платформа могли класификовати.

Напомена: Провјеривачи плагијата служе повезаној, али одвојеној сврси. Они упоређују документ са објављеним материјалом и другим изворима како би пронашли подударајући језик. Детектори вјештачке интелигенције процењују обрасце у поднетом писању. Потпуно оригинални одломак може стога добити ознаку вјештачке интелигенције, док копирано писање људи можда не садржи снажан сигнал генерисања помоћу вјештачке интелигенције.

Како детектори вјештачке интелигенције анализирају текст

Многи детектори вјештачке интелигенције се ослањају на класификатор, модел машинског учења обучен на примерима писања људи и оних генерисаних од стране вјештачке интелигенције. Док упоређује то двоје, он учи који се обрасци обично појављују у сваком, укључујући обрасце у избору речи и структури реченица. Затим тражи те обрасце у новом тексту и производи предвиђање.

Оно што детектор учи зависи од онога што види током обуке. Алат обучен на ограниченом опсегу писања може имати проблема са новом темом, непознатим стилом или излазом из модела вјештачке интелигенције са којим се раније није сусретао. Истраживања широм различитих типова текста и модела вјештачке интелигенције утврдила су да перформансе детекције могу опасти под тим условима.

Неке методе приступају другачије. Умјесто обучавања посебног класификатора, оне користе сопствене процјене вјероватноће језичког модела да процијене колика је вјероватноћа да ће произвести одломак.

• DetectGPT, на пример, упоређује оригинални текст са нешто измењеним верзијама како би тражио обрасце повезане са генерисањем помоћу вјештачке интелигенције. Његово истраживање ово описује као метод „без претходне обуке“ (zero-shot) јер не захтева посебно обучени детектор. Резултат може да укључи укупан резултат, истакнуте реченице или обоје.
• GPTZero каже да његови нагласци показују које реченице имају највећи утицај на његову укупну прогнозу. Пошто такође процењује шири документ, одломак скениран сам за себе можда неће добити исти резултат када се појави као део дужег текста.

Сваки резултат рефлектује и текст и систем који га оцењује, због чега различити детектори могу доћи до различитих закључака о истом одломку.

Увећај

Шта збуњујућност (perplexity) и променљивост темпа мере

Збуњујућност (Perplexity) и променљивост темпа (burstiness) се често појављују у објашњењима детекције вјештачке интелигенције. Они могу открити корисне обрасце у неком тексту, али ниједан не указује на јединствен начин писања специфичан само за вјештачку интелигенцију.

Један потенцијално збуњујући детаљ: збуњујућност (perplexity) овдје ради двоструко. У малим словима, то је статистичка мера. Са великим словом П, то смо ми.

Збуњујућност (perplexity) мери колико је текст предвидљив

Језички модели генеришу текст додељивањем вјероватноћа могућим сљедећим токенима, који могу бити целе речи или делови речи. Збуњујућност (Perplexity) мери колико добро модел може предвидети токене у одломку.

• Мања збуњујућност: Текст прати обрасце које модел сматра познатим.
• Већа збуњујућност: Формулација је мање очекивана.

Резултат је специфичан за модел који врши оцену и начин на који се текст обрађује, тако да исти одломак може добити различите резултате збуњујућности под различитим поставкама.

Узмите реченицу: „Молим вас јавите ми ако имате било каквих питања.“ Језички модел се вероватно много пута сусретао са сличном формулацијом, чинећи сваку реч релативно лаком за предвиђање. То нам говори нешто о познатости реченице. То не говори ништа коначно о томе ко ју је написао.

Променљивост темпа мери колико се ти обрасци разликују

Променљивост темпа (burstiness) се у расправама о детекцији вјештачке интелигенције користи слободније. Она углавном описује колико се писање мења кроз одломак. То може укључивати варијације у дужини и структури реченица, или прелазе између врста језика који су веома предвидљиви и оних који су изненађујући.

• Мања променљивост темпа: Реченице прате конзистентнију дужину, структуру или ритам.
• Већа променљивост темпа: Писање се креће између краћих изјава, дужих објашњења и мање очекиваних фраза.

Неки текст генерисан од стране вјештачке интелигенције је конзистентан и предвидљив, због чега је променљивост темпа постала повезана са детекцијом. Писање људи може имати исте квалитете, посебно у пословним, академским и техничким контекстима. Модели вјештачке интелигенције такође могу произвести разноврснији језик када се од њих то затражи или када су уредно уређени.

GPTZero каже да су збуњујућност и променљивост темпа биле две од неколико карактеристика које је користила ранија верзија његовог детектора.

Шта ове мјере показују: Збуњујућност и променљивост темпа описују обрасце у одломку. Ти обрасци могу помоћи да се објасни зашто је текст означен, али не могу утврдити ко га је написао.

Шта значи резултат детектора вјештачке интелигенције

Резултат „80% ВА“ изгледа једноставно. Његово значење зависи од детектора.

GPTZero описује проценат као процењену вјероватноћу свог модела да је вјештачка интелигенција или човек написао документ. Turnitin користи проценат да покаже колико квалификоване прозе његов модел означава као потенцијално генерисано од стране вјештачке интелигенције или модификовано одређеним алатима вјештачке интелигенције.

Иста ознака „80% AI“ би стога могла значити:

• Детектор процењује 80% шансе да је вјештачка интелигенција генерисала документ.
• Детектор је означио 80% прозе коју је оцењивао.

То су различити налази. Један прави предвиђање о документу у цјелини. Други идентификује колико се текста подудара са критеријумима детектора.

Резултатима вјероватноће је потребна још једна провјера: калибрација. Ако детектор даје за 100 докумената вјероватноћу вјештачке интелигенције од око 80%, отприлике 80 њих би заправо требало да буде генерисано од стране вјештачке интелигенције да би резултат био добро калибрисан. Тестирање модела у односу на примере са познатим поријеклом показује колико се његове вјероватноће подударају са стварним исходима.

Проценат може изгледати тачан пре него што му значење или поузданост постану јасни. Ознака, метод бодовања и перформансе детектора заједно одређују шта тај број може да подржи.

Увећај

Граница одређује шта се означава

Детектор ипак мора одлучити када је резултат довољно висок да се покрене акција. Та линија раздвајања назива се граница или праг.

Претпоставимо да алат бодује текст од 0 до 100 и означи све изнад 70. Померање границе на 60 оставило би сваки резултат непромењеним док би повећало број означених докумената.

• Нижа граница углавном детектује више писања генерисаног од стране вјештачке интелигенције, али такође погрешно означава више писања људи.
• Виша граница смањује нетачне ознаке, док омогућава да више писања генерисаног од стране вјештачке интелигенције остане недетектовано. Овај компромис се генерално примењује на системе класификације.

Двије могуће грешке имају различите називе.

• Лажно позитиван резултат се јавља када се писање људи означи као генерисано од стране вјештачке интелигенције.
• Лажно негативан резултат се јавља када писање генерисано од стране вјештачке интелигенције остане недетектовано.

Гдје детектор повлачи црту одражава коју грешку је дизајниран да избегне. Тај избор носив већу тежину када би ознака могла утицати на оцјену, посао или нечији кредибилитет.

Како стопа грешке од 2% може произвести скоро 30% нетачних ознака

Утицај стопе лажно позитивних резултата од 2% зависи од тога колико писања људи детектор прегледа.

Размотрите хипотетички скуп од 1.000 чланака:

• 50 је генерисано од стране вјештачке интелигенције.
• 950 је написало људи.
• Детектор хвата 90% чланака генерисаних од стране вјештачке интелигенције.
• Погрешно означава 2% чланака које су написали људи.

Ево шта се дешава:

Детектор укупно означи 64 чланка. Деветнаест су написали људи, тако да је скоро 30% његових ознака погрешно.

Цифре од 2% и 30% мере различите ствари. Детектор погрешно означава 2% свих чланака које су написали људи. Те грешке затим чине скоро 30% свега што он означи.

Бројеви се збрајају на овај начин зато што је детектор прегледао много више чланака које су написали људи него оних генерисаних од стране вјештачке интелигенције. Чак и мала стопа грешке може произвести смислен број нетачних ознака када се примењује на много већу групу.

Термин основна стопа описује колико је уобичајено писање генерисано од стране вјештачке интелигенције у материјалу који се провјерава. Како се тај удео мења, тако се мења и значење позитивног резултата. Ако стопе истински позитивних и лажно позитивних резултата детектора остану исте, ознака ће генерално бити поузданија када је писање генерисано од стране вјештачке интелигенције уобичајено у колекцији, а мање поуздана када је ријетко.

Ови бројеви су хипотетички и не описују одређени детектор. У стварном прегледу, удео писања генерисаног од стране вјештачке интелигенције је обично непознат. Та неизвесност је још један разлог да се ознака третира као разлог за пажљивије посматрање, а не као доказ о томе како је документ написан.

Тачност зависи од тога на чему је детектор тестиран

Стопа тачности описује перформансе под одређеним скупom услова. Пре примене те стопе на други текст, провјерите:

• Верзија детектора
• Дужина, језик, предмет и формат текста
• Модел вјештачке интелигенције и подешавања коришћена за генерисање тестног материјала
• Да ли је текст уређен или намерно модификован
• Писци представљени у узорцима које су написали људи

Почните са подржаним улазима алата

Turnitin, на пример, захтева најмање 300 речи дуге прозе. Он каже да његов модел не детектује поуздано поезију, сценарије, код или друге формате који нису проза, генерисане од стране вјештачке интелигенције. Снажне перформансе на есејима стога мало говоре о томе како ће исти детектор руковати поезијом или кратким имејлом.

Упоредите тест са писањем из стварног свијета

Године 2024, истраживачи су тестирали 12 детектора користећи RAID, референтну вредност која садржи више од 6 милиона одломака генерисаних од стране вјештачке интелигенције у 11 модела и осам области предмета. Перформансе су пале када су се детектори сусрели са непознатим моделима, различитим подешавањима генерисања или намерно измењеним текстом.

Изазов из 2025. године који користи RAID дао је снажније резултате под познатијим условима. Неколико учесника детектовало је преко 99% текста генерисаног од стране машине уз одржавање стопе лажно позитивних резултата од 5%. Области и модела вјештачке интелигенције коришћени у тесту такође су били представљени у подацима за обуку.

Заједно, резултати показују да детектори могу добро да функционишу на разноврсном материјалу који су обучени да препознају, док непознати материјал остаје тежи за процену.

Погледајте ко је био представљен

У студији из 2023. године, седам детектора је погрешно класификовало у просеку 61,3% од 91 TOEFL есеја које су написали говорници којима енглески није матерњи језик као генерисане од стране вјештачке интелигенције. Тај резултат се односи на алате и узорке тестиране у то вријеме. Такође показује зашто укупна стопа тачности можда не описује перформансе подједнако добро за сваку групу писаца.

Како читати тврдњу о тачности: Што је поднети текст ближи материјалу коришћеном у тестирању, пријављени резултат постаје релевантнији.

Коначни документ приказује само део тога како је написан

Вјештачка интелигенција може играти многе улоге у процесу писања. Неко је може користити за истраживање теме, организовање биљешки, превођење одломка, дотеривање реченице или производњу првог нацрта.

Ти токови рада могу довести до веома различитих докумената. Један писац може користити вјештачку интелигенцију за истраживање и саставити сваку реченицу независно. Други може суштински преписати нацрт генерисан од стране вјештачке интелигенције. Трећи може додати један генерисани пасус у чланак који је иначе написао човек.

Детектор текста види речи које су поднети. Он нема приступ упутствима (промптовима), изменама или одлукама које су претходиле. Његов резултат не може реконструисати целокупан процес писања нити утврдити да ли је аутор следио одређену политику. На пример,

• Школа може дозволити размишљање уз захтев да ученици сами напишу задатак.
• Издавач може дозволити уређивање уз помоћ вјештачке интелигенције када је то откривено.
• Радно место може више марити за чињеничну тачност, поверљивост или приписивање извора него за то да ли је вјештачка интелигенција допринела формулацији.

Примена тих правила захтева доказе о процесу као и о завршном тексту. Историја нацрта, истраживачке биљешке и објашњење писаца могу пружити контекст који детектор не може. Turnitin експлицитно саветује едукаторе да не користе свој резултат писања вјештачке интелигенције као једину основу за негативне акције против ученика.

Детектор може идентификовати језик који личи на обрасце које повезује са вјештачком интелигенцијом. Одлучивање о томе шта се догодило и да ли је то било дозвољено захтева шири преглед.

Водени жигови додају другачију врсту сигнала

Неки системи вјештачке интелигенције могу додати детектабилни образац док генеришу текст. Овај процес се назива стављањем воденог жига.

Како ради водени жиг текста

Google DeepMind-ов SynthID пружа један пример:

1. Систем прилагођава вјероватноће токена. Он мало мења вјероватноћу да ће модел изабрати одређене речи или делове речи.
2. Те изборе креирају образац. Водени жиг је дизајниран да остане невидљив чистачу.
3. Компатибилни детектор га провјерава. Детектор анализира текст у потрази за очекиваним статистичким сигналом.

Пошто се образац додаје током генерисања, он може пружити информације везане за систем који је произвео текст.

Шта ограничава детекцију воденог жига

• Женерратор га мора додати. Систем вјештачке интелигенције треба да подржава и примењује водени жиг. Одсутан водени жиг не утврђује да је особа написала текст.
• Довољно од обрасца мора остати. Google извештава да SynthID може издржати одређено обрезивање, промене речи и благи парафраз. Екстензивно преписивање или превођење може смањити његово поуздање.

Водени жигови могу ојачати доказе када систем компатибилан са њима генерише текст и када остане довољно сигнала. Они не могу идентификовати сваки комад писања генерисаног од стране вјештачке интелигенције.

Други записи могу попунити остатак слике

• Историја нацрта показује како се документ мењао током времена.
• Истраживачке биљешке повезују његове тврдње са изворима.
• Откривене интеракције са вјештачком интелигенцијом показују где је алат допринео.

Ови записи пружају директнији контекст о процесу писања него сам резултат заснован на обрасцима.

Третирајте ознаку као почетак прегледа

Резултат детектора постаје кориснији када има дефинисану улогу. Пре него што поступе према ознаци, ревидентри треба да схвате шта је алат мерио, потврде да текст спада у његов опсег и испитају друге доступне доказе.

Пет провјера може помоћи:

1. Прочитајте дефиницију резултата. Одредите да ли проценат представља вјероватноћу на нивоу документа или удео означеног текста.
2. Провјерите опсег алата. Потврдите да језик, дужина и формат документа одговарају ономе што детектор подржава.
3. Прегледајте доказе. Испитајте истакнуте одломке заједно са нацртима, биљешкама извора и ауторским објашњењем.
4. Принимите релевантну политику. Идентификујте које су употребе вјештачке интелигенције дозвољене и који би докази демонстрирали кршење.
5. Процијените сам рад. Прегледајте чињеничну тачност, приписивање извора, оригиналност и квалитет под сопственим условима.

Улози би требало да обликују дубину прегледа. Уредник може користити ознаку да одлучи ком чланку је потребан поновни преглед. Одлука која утиче на оцјену, посао или уговор о објављивању захтева чвршће доказе и прилику за аутора да објасни свој процес.

Детектор вјештачке интелигенције сажима сложену суд о резултату. Тумачење тог резултата захтева информације које број не садржи: шта је алат мерио, који праг је користио, како се показао на упоредивом писању и колико је уобичајен текст генерисан од стране вјештачке интелигенције у материјалу који се прегледа. Резултат може усмерити пажњу. Резултат детектора може допринети том прегледу, али сваки закључак о ауторству такође захтева доказе о процесу писања.

Често постављана питања

Могу ли детектори вјештачке интелигенције погријешити?

Јесте. Лажно позитиван резултат се јавља када детектор означи писање људи као генерисано од стране вјештачке интелигенције. Лажно негативан резултат се јавља када писање генерисано од стране вјештачке интелигенције остане недетектовано. Учесталост сваке грешке зависи од детектора, његовог прага и тога колико поднети текст личи на материјал коришћен за његово тестирање.

Колико су тачни детектори вјештачке интелигенције?

Не постоји јединствена стопа тачности за детекторе вјештачке интелигенције. Перформансе могу варирати у зависности од језика, дужине, предмета, стила писања, модела генерисања и количине уређивања. Тврдња о тачности је најкориснија када услови тестирања личе на писање које се прегледа и када резултат извештава о лажно позитивним резултатима као и о успешним детекцијама.

Шта значи проценат детекције вјештачке интелигенције?

Дефиниција зависи од алата. Она може представљати процењену вјероватноћу да је документ генерисан од стране вјештачке интелигенције, проценат означеног квалификованог текста или облик поуздања у резултат. Документација детектора треба да објасни које мерење пријављује.

Може ли детектор вјештачке интелигенције да докаже да је неко користио вјештачку интелигенцију?

Сам резултат детектора не може доказати како је документ креиран. Он анализира поднети текст без увида у упутства (промптове), нацрте, измене или истраживање које стоји иза њега. Поуздан преглед узима у обзир резултат заједно са доказима о процесу и политиком која регулише прихватљиву употребу вјештачке интелигенције.

Зашто писање људи понекад буде означено као вјештачка интелигенција?

Писање људи и оно генерисано од стране вјештачке интелигенције могу дијелити исте статистичке обрасце. Формулачни језик, предвидљива фразеологија, ограничен вокабулар или стил који се разликује од података за обуку детектора могу допринети лажно позитивном резултату. Истраживања су такође утврдила да су неки детектори тестирани 2023. године несразмерно означили есеје које су написали говорници којима енглески није матерњи језик.