Cum funcționează detectoarele AI și de ce un scor nu poate dovedi autorul

Lipiți un eseu, un articol sau un e-mail într-un detector de IA, iar câteva secunde mai târziu acesta poate returna un rezultat de genul „85% AI”.

Pare precis. Dar poate fi și ușor de înțeles greșit.

Detectorul nu a observat cum a fost scris documentul. A analizat textul finalizat pentru a detecta tipare asociate cu scrierea generată de IA. În funcție de instrument, acel 85% ar putea reprezenta probabilitatea estimată că IA a produs documentul sau ponderea textului pe care detectorul l-a marcat.

Acest lucru face ca un detector de IA să fie util ca semnal, în special atunci când ceva are nevoie de o privire mai atentă. Dar scorul are totuși nevoie de context și de dovezi de susținere înainte ca cineva să tragă o concluzie despre cine a scris textul sau cum l-a creat. Înțelegerea modului în care detectoarele își produc scorurile ajută la explicarea atât a ceea ce pot detecta, cât și a motivului pentru care uneori greșesc.

Ce este un detector de IA?

Un detector de scriere AI analizează o bucată de text terminată și estimează dacă seamănă cu scrierea produsă de un model de limbaj. Un utilizator lipește de obicei textul sau încarcă un document. În câteva secunde, instrumentul poate returna o etichetă, un procent, pasaje evidențiate sau pe toate trei.

• Profesorii și instituțiile academice le folosesc atunci când revizuiesc munca studenților.
• Editorii și echipele de conținut le pot folosi pentru a examina scrierile trimise sau comandate, în timp ce unele companii de detectoare comercializează versiuni pentru echipele de recrutare care examinează materialele de candidatură.
• Scriitorii își verifică uneori și propria muncă pentru a înțelege cum ar putea-o clasifica un profesor, un editor, un client sau o platformă.

Notă: Verificatoarele de plagiat servesc unui scop înrudit, dar separat. Ele compară un document cu material publicat și alte surse pentru a găsi limbaj care se potrivește. Detectoarele de IA evaluează tiparele din scrierea trimisă. Un pasaj complet original poate primi așadar un marcaj de IA, în timp ce scrierea umană copiată poate să nu conțină niciun semnal puternic de generare prin IA.

Cum analizează detectoarele de IA textul

Multe detectoare de IA se bazează pe un clasificator, un model de învățare automată antrenat pe exemple de scriere umană și generată de IA. Pe măsură ce le compară, învață ce tipare tind să apară în fiecare, inclusiv tipare în alegerea cuvintelor și în structura propozițiilor. Apoi caută acele tipare în textul nou și produce o predicție.

Ce învață detectorul depinde de ceea ce vede în timpul antrenamentului. Un instrument antrenat pe o gamă limitată de scrieri poate avea dificultăți cu un subiect nou, un stil nefamiliar sau un output de la un model de IA pe care nu l-a mai întâlnit înainte. Cercetările efectuate pe diferite tipuri de text și modele de IA au descoperit că performanța de detectare poate scădea în acele condiții.

Unele metode adoptă o altă abordare. În loc să antreneze un clasificator separat, ele folosesc propriile estimări de probabilitate ale unui model de limbaj pentru a judeca cât de probabil ar fi să producă un pasaj.

• DetectGPT, de exemplu, compară textul original cu versiuni ușor modificate pentru a căuta tipare asociate generării de către inteligența artificială. Cercetarea sa descrie acest lucru ca pe o metodă „zero-shot”, deoarece nu necesită un detector antrenat separat. Rezultatul poate include un scor general, propoziții evidențiate sau ambele.
• GPTZero spune că elementele evidențiate arată care propoziții au cea mai mare influență asupra predicției sale generale. Deoarece evaluează și documentul mai larg, un pasaj scanat pe cont propriu poate să nu primească același rezultat atunci când apare ca parte a unei piese mai lungi.

Fiecare rezultat reflectă atât textul, cât și sistemul care îl evaluează, motiv pentru care detectoarele diferite pot ajunge la concluzii diferite despre același pasaj.

Extinde

Ce măsoară perplexitatea și burstiness

Perplexity și burstiness apar adesea în explicațiile privind detectarea IA. Ele pot dezvălui tipare utile într-o bucată de scriere, dar niciunul nu indică un singur mod de scriere unic pentru IA.

Un detaliu potențial confuz: perplexitatea joacă un rol dublu aici. Scris cu literă mică, este o măsură statistică. Cu un P mare, suntem noi.

Perplexitatea măsoară cât de predictibil este textul

Modelele de limbaj generează text atribuind probabilități posibilelor tokenuri următoare, care pot fi cuvinte întregi sau părți de cuvinte. Perplexitatea măsoară cât de bine poate prezice un model tokenurile dintr-un pasaj.

• Perplexitate scăzută: Textul urmează tipare pe care modelul le consideră familiare.
• Perplexitate mai mare: Formularea este mai puțin așteptată.

Scorul este specific modelului care face evaluarea și modului în care este procesat textul, astfel încât același pasaj poate primi scoruri de perplexitate diferite în diferite setări.

Luați propoziția: „Vă rog să mă anunțați dacă aveți întrebări.” Un model de limbaj a întâlnit probabil o formulare similară de multe ori, făcând fiecare cuvânt relativ ușor de prezis. Asta ne spune ceva despre familiaritatea propoziției. Nu spune nimic concludent despre cine a scris-o.

Burstiness măsoară cât de mult variază aceste tipare

Burstiness (dinamica ritmului) este utilizat mai vag în discuțiile despre detectarea IA. Descrie în general cât de mult se schimbă scrierea într-un pasaj. Aceasta poate include variații în lungimea și structura propozițiilor sau treceri de la un limbaj extrem de predictibil la unul mai surprinzător.

• Burstiness redus: Propozițiile urmează o lungime, o structură sau un ritm mai consistent.
• Burstiness ridicat: Scrierea trece de la afirmații mai scurte la explicații mai lungi și formulări mai puțin așteptate.

Unele texte generate de IA sunt consistente și predictibile, motiv pentru care burstiness a devenit asociat cu detectarea. Scrierile umane pot avea aceleași calități, în special în contexte de afaceri, academice și tehnice. Modelele de IA pot produce, de asemenea, un limbaj mai variat atunci când li se solicită sau sunt editate să facă acest lucru.

GPTZero spune că perplexitatea și burstiness au fost două dintre mai multe caracteristici utilizate de o versiune anterioară a detectorului său.

Ce arată aceste măsuri: Perplexitatea și burstiness descriu tipare dintr-un pasaj. Aceste tipare pot ajuta la explicarea motivului pentru care textul a fost marcat, dar nu pot stabili cine l-a scris.

Ce înseamnă scorul unui detector de IA

Un rezultat de „80% AI” pare clar. Semnificația lui depinde de detector.

GPTZero descrie procentul ca fiind probabilitatea estimată a modelului său că IA sau un om a scris documentul. Turnitin folosește procentul pentru a arăta cât din proza eligibilă este marcată de modelul său ca fiind potențial generată de IA sau modificată cu anumite instrumente de IA.

Aceeași etichetă „80% AI” ar putea însemna prin urmare:

• Detectorul estimează o șansă de 80% ca IA să fi generat documentul.
• Detectorul a marcat 80% din proza pe care a evaluat-o.

Acestea sunt constatări diferite. Una face o predicție despre document în ansamblu. Cealaltă identifică cât la sută din text s-a potrivit cu criteriile detectorului.

Scorurile de probabilitate au nevoie de o altă verificare: calibrarea. Dacă un detector oferă pentru 100 de documente o probabilitate de IA de aproximativ 80%, aproximativ 80 dintre ele ar trebui să fie de fapt generate de IA pentru ca scorul să fie bine calibrat. Testarea modelului împotriva unor exemple cu origini cunoscute arată cât de strâns se potrivesc probabilitățile sale cu rezultatele reale.

Un procent poate părea exact înainte ca semnificația sau fiabilitatea sa să fie clare. Eticheta, metoda de notare și performanța detectorului determină toate ceea ce poate susține numărul.

Extinde

Limita determină ce este marcat

Un detector trebuie totuși să decidă când un scor este suficient de ridicat pentru a se acționa pe baza lui. Această linie de demarcație se numește limită sau prag.

Să presupunem că un instrument notează textul de la 0 la 100 și marchează tot ce depășește 70. Mutarea limitei la 60 ar lăsa fiecare scor neschimbat, crescând în același timp numărul de documente marcate.

• O limită mai joasă detectează în general mai multă scriere generată de IA, dar marchează și mai multă scriere umană în mod incorect.
• O limită mai ridicată reduce marcajele incorecte, permițând în același timp ca mai multă scriere generată de IA să treacă neobservată. Acest compromis se aplică în general sistemelor de clasificare.

Cele două greșeli posibile au nume diferite.

• Un fals pozitiv apare atunci când scrierea umană este marcată ca fiind generată de IA.
• Un fals negativ apare atunci când scrierea generată de IA trece neobservată.

Locul în care un detector trage linia reflectă ce eroare este conceput să evite. Această alegere are mai multă greutate atunci când un marcaj ar putea afecta o notă, un loc de muncă sau credibilitatea cuiva.

Cum poate o rată de eroare de 2% să producă aproape 30% marcaje incorecte

Impactul unei rate de fals-pozitiv de 2% depinde de cât de multă scriere umană revizuiește detectorul.

Luați în considerare un set ipotetic de 1.000 de articole:

• 50 sunt generate de IA.
• 950 sunt scrise de oameni.
• Detectorul prinde 90% din articolele generate de IA.
• Marchează incorect 2% din articolele scrise de oameni.

Iată ce se întâmplă:

Detectorul marchează în total 64 de articole. Nouăsprezece sunt scrise de oameni, așa că aproape 30% dintre marcajele sale sunt greșite.

Cifrele de 2% și 30% măsoară lucruri diferite. Detectorul etichetează incorect 2% din totalul articolelor scrise de oameni. Aceste greșeli reprezintă apoi aproape 30% din tot ceea ce etichetează.

Numerele se adună în acest fel deoarece detectorul a revizuit mult mai multe articole scrise de oameni decât unele generate de IA. Chiar și o rată mică de eroare poate produce un număr semnificativ de marcaje incorecte atunci când se aplică unui grup mult mai mare.

Termenul rată de bază descrie cât de comună este scrierea generată de IA în materialul care este verificat. Pe măsură ce acea pondere se schimbă, se schimbă și semnificația unui rezultat pozitiv. Dacă ratele de adevărat-pozitiv și fals-pozitiv ale detectorului rămân aceleași, un marcaj va fi în general mai fiabil atunci când scrierea generată de IA este comună în colecție și mai puțin fiabilă atunci când este rară.

Aceste numere sunt ipotetice și nu descriu un anumit detector. Într-o revizuire reală, ponderea scrierii generate de IA este de obicei necunoscută. Această incertitudine este un alt motiv pentru a trata un marcaj ca pe un motiv de a privi mai atent, mai degrabă decât ca pe o dovadă a modului în care a fost scris un document.

Acuratețea depinde de ceea ce a fost testat pe detector

O rată de acuratețe descrie performanța în anumite condiții. Înainte de a aplica acea rată unei alte scrieri, verificați:

• Versiunea detectorului
• Lungimea, limba, subiectul și formatul textului
• Modelul de IA și setările utilizate pentru a genera materialul de testare
• Dacă textul a fost editat sau modificat în mod deliberat
• Scriitorii reprezentați în eșantioanele scrise de oameni

Începeți cu intrările acceptate de instrument

Turnitin, de exemplu, necesită cel puțin 300 de cuvinte de proză de lungă durată. Acesta afirmă că modelul său nu detectează în mod fiabil poezia, scenariile, codul sau alte formate non-proză generate de IA. Performanța puternică la eseuri ne spune așadar puține lucruri despre modul în care același detector va gestiona o poezie sau un e-mail scurt.

Comparați testul cu scrierea din lumea reală

În 2024, cercetătorii au testat 12 detectoare folosind RAID, un benchmark care conține mai mult de 6 milioane de pasaje generate de IA în 11 modele și opt domenii de subiecte. Performanța a scăzut atunci când detectoarele au întâlnit modele nefamiliare, setări de generare diferite sau text modificat în mod deliberat.

O provocare din 2025 care a folosit RAID a produs rezultate mai puternice în condiții mai familiare. Mai mulți participanți au detectat peste 99% din textul generat de mașină, menținând în același timp o rată de fals-pozitiv de 5%. Domeniile de subiecte și modelele de IA utilizate în test au fost, de asemenea, reprezentate în datele de antrenament.

Împreună, rezultatele arată că detectoarele pot funcționa bine pe material variat pe care au fost antrenate să îl recunoască, în timp ce materialul nefamiliar rămâne mai greu de evaluat.

Uitați-vă cine a fost reprezentat

Într-un studiu din 2023, șapte detectoare au clasificat incorect o medie de 61,3% din 91 de eseuri TOEFL scrise de non-vorbitori nativi de limba engleză ca fiind generate de IA. Acest rezultat se aplică instrumentelor și eșantioanelor testate la acea vreme. De asemenea, arată de ce o rată de acuratețe globală poate să nu descrie performanța la fel de bine pentru fiecare grup de scriitori.

Cum se citește o pretenție de acuratețe: Cu cât textul trimis este mai aproape de materialul utilizat în testare, cu atât rezultatul raportat devine mai relevant.

Documentul final arată doar o parte din modul în care a fost scris

IA poate juca multe roluri în procesul de scriere. Cineva ar putea-o folosi pentru a cerceta un subiect, a organiza note, a traduce un pasaj, a finisa o propoziție sau a produce o primă ciornă.

Aceste fluxuri de lucru pot duce la documente foarte diferite. Un scriitor poate folosi IA pentru cercetare și poate compune fiecare propoziție în mod independent. Altul poate rescrie substanțial o ciornă generată de IA. Un al treilea poate adăuga un paragraf generat la un articol altfel scris de un om.

Un detector de text vede cuvintele care au fost trimise. Nu are acces la mesajele, editările sau deciziile care au venit înaintea lor. Scorul său nu poate reconstrui procesul complet de scriere sau determina dacă autorul a urmat o anumită politică. De exemplu,

• O școală poate permite brainstormingul, cerând totuși studenților să scrie singuri tema.
• Un editor poate permite editarea asistată de IA atunci când acest lucru este divulgat.
• Un loc de muncă poate acorda mai multă importanță acurateței factuale, confidențialității sau atribuirii surselor decât faptului că IA a contribuit la formulare.

Aplicarea acelor reguli necesită dovezi despre proces, precum și despre textul finalizat. Istoricul ciornelor, notele de cercetare și explicația unui scriitor pot oferi un context pe care un detector nu îl poate oferi. Turnitin sfătuiește în mod explicit cadrele didactice să nu folosească scorul său de scriere IA ca unică bază pentru o acțiune negativă împotriva unui student.

Un detector poate identifica un limbaj care seamănă cu tiparele pe care le asociază cu IA. Decizia a ceea ce s-a întâmplat și dacă a fost permis necesită o revizuire mai amplă.

Filigranele adaugă un alt tip de semnal

Unele sisteme de IA pot adăuga un tipar detectabil pe măsură ce generează text. Acest proces se numește filigranare.

Cum funcționează un filigran de text

SynthID al Google DeepMind oferă un exemplu:

1. Sistemul ajustează probabilitățile tokenilor. Modifică ușor probabilitatea ca modelul să selecteze anumite cuvinte sau părți de cuvinte.
2. Aceste alegeri creează un tipar. Filigranul este conceput pentru a rămâne invizibil pentru cititor.
3. Un detector compatibil îl verifică. Detectorul analizează textul pentru semnalul statistic așteptat.

Deoarece modelul este adăugat în timpul generării, el poate oferi informații legate de sistemul care a produs textul.

Ce limitează detectarea filigranului

• Generatorul trebuie să îl adauge. Sistemul de IA trebuie să accepte și să aplice filigranul. Un filigran absent nu stabilește că o persoană a scris textul.
• O parte suficientă din tipar trebuie să rămână. Google raportează că SynthID poate rezista la unele decupări, modificări de cuvinte și parafraze ușoare. Rescrierea sau traducerea extinsă îi pot reduce încrederea.

Filigranele pot consolida dovezile atunci când un sistem compatibil a generat textul și o parte suficientă din semnal rămâne. Ele nu pot identifica fiecare bucată de scriere generată de IA.

Alte înregistrări pot completa imaginea de ansamblu

• Istoricul ciornelor arată cum s-a schimbat un document în timp.
• Notele de cercetare conectează afirmațiile sale cu sursele.
• Interacțiunile divulgate cu IA arată unde a contribuit un instrument.

Aceste înregistrări oferă un context mai direct despre procesul de scriere decât un scor bazat pe tipare luat singur.

Tratați un marcaj ca pe începutul unei revizuiri

Un rezultat al detectorului devine mai util atunci când are un rol definit. Înainte de a acționa asupra unui marcaj, recenzenții ar trebui să înțeleagă ce a măsurat instrumentul, să confirme că textul se încadrează în domeniul său de aplicare și să examineze celelalte dovezi disponibile.

Cinci verificări pot fi de ajutor:

1. Citiți definiția scorului. Stabiliți dacă procentul reprezintă o probabilitate la nivel de document sau cota de text marcată.
2. Verificați domeniul de aplicare al instrumentului. Confirmați că limba, lungimea și formatul documentului se potrivesc cu ceea ce acceptă detectorul.
3. Examinați dovezile. Examinați pasajele evidențiate alături de ciorne, notele sursă și explicația autorului.
4. Aplicați politica relevantă. Identificați ce utilizări ale IA sunt permise și ce dovezi ar demonstra o încălcare.
5. Evaluați lucrarea în sine. Revizuiți acuratețea factuală, atribuirea surselor, originalitatea și calitatea în propriii termeni.

Mizele ar trebui să determine profunzimea revizuirii. Un editor poate folosi un marcaj pentru a decide care articol are nevoie de o nouă privire. O decizie care afectează o notă, un loc de muncă sau un acord de publicare necesită dovezi mai puternice și o oportunitate pentru autor de a-și explica procesul.

Un detector de IA comprimă o judecată complexă într-un scor. Interpretarea acelui scor necesită informații pe care numărul nu le conține: ce a măsurat instrumentul, ce prag a folosit, cum a performat pe o scriere comparabilă și cât de comun este textul generat de IA în materialul care este revizuit. Scorul poate direcționa atenția. Un scor al detectorului poate contribui la acea revizuire, dar orice concluzie despre autor, de asemenea, necesită dovezi despre procesul de scriere.

Întrebări frecvente

Pot detectoarele de IA să greșească?

Da. Un rezultat fals pozitiv apare atunci când un detector etichetează scrierea umană ca fiind generată de IA. Un rezultat fals negativ apare atunci când scrierea generată de IA trece neobservată. Frecvența fiecărei erori depinde de detector, de pragul acestuia și de cât de aproape seamănă textul trimis cu materialul folosit pentru a-l testa.

Cât de acurate sunt detectoarele de IA?

Nu există o singură rată de acuratețe pentru detectoarele de IA. Performanța poate varia în funcție de limbă, lungime, subiect, stil de scriere, modelul generator și cantitatea de editare. O afirmație de acuratețe este cea mai utilă atunci când condițiile de testare seamănă cu scrierea revizuită, iar rezultatul raportează atât rezultatele fals pozitive, cât și detecțiile reușite.

Ce înseamnă un procent de detectare a IA?

Definiția depinde de instrument. Poate reprezenta probabilitatea estimată că un document este generat de IA, procentul de text calificat marcat sau o formă de încredere în rezultat. Documentația detectorului ar trebui să explice ce măsurătoare raportează.

Poate un detector de IA să dovedească faptul că cineva a folosit IA?

Un scor de detector singur nu poate dovedi cum a fost creat un document. Acesta analizează textul trimis fără a vedea mesajele, ciornele, editările sau cercetările din spatele lui. O revizuire de încredere ia în considerare scorul alături de dovezile privind procesul și politica care guvernează utilizarea acceptabilă a IA.

De ce este scrisul uman marcat uneori ca fiind IA?

Scrierile umane și cele generate de IA pot împărtăși aceleași tipare statistice. Limbajul formulic, exprimarea predictibilă, vocabularul limitat sau un stil care diferă de datele de antrenament ale detectorului pot contribui la un rezultat fals pozitiv. Cercetările au descoperit, de asemenea, că unele detectoare testate în 2023 au marcat disproporționat eseuri scrise de non-vorbitori nativi de limba engleză.