Hogyan működnek az MI-detektorok, és miért nem bizonyíthatja önmagában a pontszám a szerzőséget

Illesszen be egy esszét, cikket vagy e-mailt egy MI-detektorba, és néhány másodperc múlva olyan eredményt kaphat, mint a „85% MI”.

Precíznek tűnik. De könnyen félre is érthető.

A detektor nem figyelte meg, hogyan íródott a dokumentum. A kész szöveget elemezte a mesterséges intelligencia által generált írásokra jellemző minták szempontjából. Eszköztől függően ez a 85% jelentheti a becsült valószínűségét annak, hogy a dokumentumot a mesterséges intelligencia hozta létre, vagy a detektor által megjelölt szövegrész arányát.

Emiatt az MI-detektor hasznos jelzésként szolgál, különösen akkor, ha valami alaposabb vizsgálatot igényel. A pontszám azonban továbbra is kontextust és alátámasztó bizonyítékokat igényel, mielőtt bárki következtetést vonna le arról, hogy ki írta a szöveget, vagy hogyan hozta létre. Annak megértése, hogy a detektorok hogyan állítják elő a pontszámaikat, segít megérteni mind azt, hogy mit tudnak elkapni, mind azt, hogy miért tévednek időnként.

Mi az az MI-detektor?

Egy MI-írásdetektor megnéz egy kész szöveget, és megbecsüli, hogy hasonlít-e egy nyelvmérleg (nyelvi modell) által előállított íráshoz. A felhasználó általában beilleszti a szöveget vagy feltölt egy dokumentumot. Az eszköz másodperceken belül visszaadhat egy címkét, egy százalékot, kiemelt szövegrészeket, vagy mind a hármat.

• A tanárok és az akadémiai intézmények használják ezeket a diákok munkáinak áttekintésekor.
• A kiadók és a tartalomgyártó csapatok használhatják a benyújtott vagy megrendelt írások szűrésére, míg egyes detektorcégek a pályázati anyagokat áttekintő toborzócsoportok számára forgalmaznak verziókat.
• A szerzők időnként maguk is ellenőrzik saját munkájukat, hogy megértsék, hogyan osztályozhatja azt egy tanár, szerkesztő, ügyfél vagy platform.

Megjegyzés: A plágiumkeresők kapcsolódó, de eltérő célt szolgálnak. Összehasonlítják a dokumentumot a publikált anyagokkal és más forrásokkal, hogy egyező nyelvezetet találjanak. Az MI-detektorok a beküldött írás mintáit értékelik. Egy teljesen eredeti szövegrészlet ezért kaphat MI-jelölést, míg a másolt emberi írás lehet, hogy nem tartalmazza a mesterséges intelligencia általi generálás erős jelét.

Hogyan elemzik a szöveget az MI-detektorok

Számos MI-detektor támaszkodik egy osztályozóra (classifier), egy olyan gépi tanulási modellre, amelyet az emberi és az MI által generált írások példáin tanítottak be. Ahogy összehasonlítja a kettőt, megtanulja, hogy milyen minták jelennek meg általában mindegyikben, beleértve a szófajt és a mondatszerkezetet. Ezután ezeket a mintákat keresi az új szövegben, és előrejelzést készít.

Az, hogy mit tanul meg a detektor, attól függ, mit lát a betanítás során. A korlátozott szövegtartományon betanított eszköz nehézségekbe ütközhet egy új téma, egy ismeretlen stílus vagy egy olyan korábban nem tapasztalt MI-modell kimenetével kapcsolatban. A különböző szövegtípusokon és MI-modelleken végzett kutatások azt találták, hogy a detektálási teljesítmény ilyen körülmények között csökkenhet.

Egyes módszerek más megközelítést alkalmaznak. Ahelyett, hogy külön osztályozót tanítanának be, egy nyelvi modell saját valószínűség-becsléseit használják annak megítélésére, hogy mekkora valószínűséggel hozna létre egy szövegrészletet.

• A DetectGPT például az eredeti szöveget enyhén módosított változatokkal hasonlítja össze, hogy mesterséges intelligencia által történő generálásra utaló mintákat keressen. Kutatása ezt „zero-shot” (betanítás nélküli) módszerként írja le, mivel nem igényel külön betanított detektort. Az eredmény tartalmazhat egy összesített pontszámot, kiemelt mondatokat vagy mindkettőt.
• A GPTZero szerint a kiemeléseik azt mutatják meg, hogy mely mondatok vannak a legnagyobb hatással az általános előrejelzésükre. Mivel a szélesebb dokumentumot is értékeli, előfordulhat, hogy egy önmagában beolvasott szövegrészlet nem ugyanazt az eredményt kapja, amikor egy hosszabb mű részeként jelenik meg.

Minden eredmény tükrözi a szöveget és az azt értékelő rendszert is, ezért érhetnek el a különböző detektorok eltérő következtetéseket ugyanarról a szövegrészről.

Nagyítás

Mit mér a perplexitás és a robbanékonyság

A Perplexity és a burstiness gyakran felmerül az MI-detektálás magyarázataiban. Hasznos mintákat fedhetnek fel egy írásban, de egyik sem mutat egyetlen, kizárólagosan MI-re jellemző írásmódra.

Egy potenciálisan zavaró részlet: a perplexity itt kettős feladatot lát el. Kisbetűvel statisztikai mérőszám. Nagy P-vel pedig mi vagyunk.

A perplexitás azt méri, hogy mennyire kiszámítható a szöveg

A nyelvi modellek úgy generálnak szöveget, hogy valószínűségeket rendelnek a lehetséges következő tokenekhez, amelyek lehetnek teljes szavak vagy szórészek. A perplexitás azt méri, hogy a modell milyen jól tudja előre jelezni a tokeneket egy szövegrészben.

• Alacsonyabb perplexitás: A szöveg olyan mintákat követ, amelyeket a modell ismerősnek talál.
• Magasabb perplexitás: A megfogalmazás kevésbé kiszámítható.

A pontszám specifikus az értékelést végző modellre és a szöveg feldolgozásának módjára, így ugyanaz a szövegrészlet különböző beállítások mellett eltérő perplexitási pontszámokat kaphat.

Vegyük a következő mondatot: „Kérem, jelezze, ha bármilyen kérdése van.” Egy nyelvi modell valószínűleg már sokszor találkozott hasonló megfogalmazással, ami miatt minden egyes szó viszonylag könnyen előre jelezhető. Ez árul el valamit a mondat ismerősségéről, de semmi konkluzívat nem mond arról, hogy ki írta.

A robbanékonyság azt méri, hogy mennyire változnak ezek a minták

A robbanékonyságot (burstiness) lazabban használják a mesterséges intelligencia detektálásával kapcsolatos megbeszélésekben. Általában azt írja le, hogy mennyire változik az írás egy-egy szövegrészleten belül. Ez magában foglalhatja a mondathossz és -szerkezet változásait, vagy az átmeneteket a szinte teljesen kiszámítható és a meglepőbb nyelvezet között.

• Alacsonyabb robbanékonyság: A mondatok hossza, szerkezete vagy ritmusa egységesebb.
• Magasabb robbanékonyság: Az írás rövidebb állítások, hosszabb magyarázatok és kevésbé kiszámítható megfogalmazások között mozog.

Bizonyos mesterséges intelligencia által generált szövegek konzisztensek és kiszámíthatók, ezért a robbanékonyság a detektáláshoz kapcsolódott. Az emberi írás is rendelkezhet ugyanezekkel a tulajdonságokkal, különösen üzleti, akadémiai és műszaki összefüggésekben. Az MI-modellek változatosabb nyelvezetet is előállíthatnak, ha arra utasítják vagy szerkesztik őket.

A GPTZero szerint a perplexitás és a robbanékonyság azon több jellemző közé tartozott, amelyeket a detektoruk korábbi verziója használt.

Mit mutatnak ezek a mérőszámok: A perplexitás és a robbanékonyság a szövegrészlet mintáit írja le. Ezek a minták segíthetnek megmagyarázni, hogy miért lett megjelölve a szöveg, de nem tudják megállapítani, hogy ki írta.

Mit jelent egy MI-detektor pontszáma

Egy „80%-os MI” eredmény egyértelműnek tűnik. A jelentése azonban a detektortól függ.

A GPTZero a százalékos értéket a modellje becsült valószínűségeként írja le, hogy a dokumentumot MI vagy ember írta. A Turnitin a százalékos értéket arra használja, hogy megmutassa, a modellje a minőségi próza mekkora részét jelöli meg potenciálisan MI által generáltként vagy bizonyos MI-eszközökkel módosítottként.

Ugyanez a „80%-os MI” címke ezért a következőket jelentheti:

• A detektor 80% esélyt becsül arra, hogy a mesterséges intelligencia generálta a dokumentumot.
• A detektor az általa értékelt szöveg 80%-át jelölte meg.

Ezek különböző megállapítások. Az egyik előrejelzést készít a dokumentumról egészében. A másik azt azonosítja, hogy a szöveg mekkora része felelt meg a detektor kritériumainak.

A valószínűségi pontszámok másik ellenőrzést is igényelnek: a kalibrációt. Ha egy detektor 100 dokumentumra mintegy 80%-os MI-valószínűséget ad, akkor a pontszám jó kalibráltságához a dokumentumok közül körülbelül 80-nak valóban MI által generáltnak kell lennie. A modell tesztelése ismert eredetű példákkal megmutatja, hogy valószínűségei mennyire szorosan illeszkednek a valós eredményekhez.

Egy százalékos érték pontosnak tűnhet anélkül, hogy a jelentése vagy megbízhatósága egyértelmű lenne. A címke, a pontozási módszer és a detektor teljesítménye mind meghatározzák, hogy mit tud alátámasztani a szám.

Nagyítás

A küszöbérték határozza meg, hogy mi kerül megjelölésre

Egy detektornak továbbra is el kell döntenie, hogy mikor elég magas egy pontszám a cselekvéshez. Ezt a választóvonalat küszöbértéknek vagy thresholdnak nevezzük.

Tegyük fel, hogy egy eszköz 0-tól 100-ig pontozza a szöveget, és minden 70 feletti értéket megjelöl. A határérték 60-ra történő áthelyezése minden pontszámot változatlanul hagyna, miközben növelné a megjelölt dokumentumok számát.

• Egy alacsonyabb küszöbérték általában több mesterséges intelligencia által generált írást detektál, de több emberi írást is tévesen jelöl meg.
• A magasabb küszöbérték csökkenti a hibás jelölések számát, miközben nagyobb teret enged a felderítetlenül maradó MI-generált írásoknak. Ez a kompromisszum általában érvényes a besorolási rendszerekre.

A két lehetséges hibának különböző neve van.

• Egy téves pozitív eredmény akkor fordul elő, amikor az emberi írást MI által generáltként jelölik meg.
• Egy téves negatív eredmény akkor fordul elő, amikor a mesterséges intelligencia által generált írás észrevétlen marad.

Az, hogy a detektor hol húzza meg a határt, azt tükrözi, hogy melyik hibát hivatott elkerülni. Ez a választás nagyobb súllyal bír, ha egy jelölés befolyásolhat egy osztályzatot, egy munkahelyet vagy valaki hitelességét.

Hogyan eredményezhet a 2%-os hibaarány közel 30%-nyi helytelen jelölést

A 2%-os téves pozitív arány hatása attól függ, hogy mennyi emberi írást vizsgál át a detektor.

Vegyünk egy hipotetikus, 1000 cikkből álló készletet:

• 50 MI által generált.
• 950 ember által írt.
• A detektor a mesterséges intelligencia által generált cikkek 90%-át kapja el.
• Tévesen jelöli meg az ember által írt cikkek 2%-át.

Ez történik:

A detektor összesen 64 cikket jelöl meg. Tizenkilenc ember által írt, így a jelölések közel 30%-a téves.

A 2%-os és a 30%-os számérték különböző dolgokat mér. A detektor az ember által írt cikkek 2%-át tévesen jelöli meg. Ezek a tévedések ezután az általa megjelölt összes tartalom közel 30%-át teszik ki.

A számok azért adódnak össze így, mert a detektor sokkal több ember által írt cikket vizsgált át, mint mesterséges intelligencia által generáltat. Még a kis hibaarány is jelentős számú helytelen jelölést eredményezhet, ha sokkal nagyobb csoportra vonatkozik.

Az alapjárat (alaparány) kifejezés azt írja le, hogy milyen gyakori a mesterséges intelligencia által generált írás az ellenőrzött anyagban. Ahogy ez az arány változik, úgy változik a pozitív eredmény jelentése is. Ha a detektor igaz-pozitív és téves-pozitív aránya változatlan marad, a jelölés általában megbízhatóbb lesz, ha az MI-generált írás gyakori a gyűjteményben, és kevésbé megbízható, ha ritka.

Ezek a számok hipotetikusak, és nem írnak le egy adott detektort. Egy valós felülvizsgálat során a mesterséges intelligencia által generált írások aránya általában ismeretlen. Ez a bizonytalanság egy újabb ok arra, hogy a jelölést az alaposabb vizsgálat okaként kezeljük, ne pedig a dokumentum megírásának bizonyítékaként.

A pontosság attól függ, hogy mit teszteltek a detektoron

Egy pontossági ráta egy adott feltételrendszer szerinti teljesítményt ír le. Mielőtt alkalmazná ezt az arányt egy másik írásra, ellenőrizze a következőket:

• A detektor verziója
• A szöveg hossza, nyelve, témája és formátuma
• A tesztanyag generálásához használt MI-modell és beállítások
• Hogy a szöveget szerkesztették-e vagy szándékosan módosították-e
• Az ember által írt mintákban képviselt írók

Kezdje az eszköz által támogatott bemenetekkel

A Turnitin például legalább 300 szavas hosszabb szöveget igényel. Állítása szerint a modellje nem detektálja megbízhatóan a mesterséges intelligencia által generált verseket, forgatókönyveket, kódokat vagy más nem prózai formátumokat. Az esszéken nyújtott erős teljesítmény ezért keveset árul el arról, hogy ugyanaz a detektor hogyan fog kezelni egy verset vagy egy rövid e-mailt.

Hasonlítsa össze a tesztet a valós írással

2024-ben a kutatók 12 detektort teszteltek a RAID használatával, amely egy olyan benchmark, amely több mint 6 millió mesterséges intelligencia által generált szövegrészletet tartalmaz 11 modellen és nyolc szakterületen keresztül. A teljesítmény visszaesett, amikor a detektorok ismeretlen modellekkel, eltérő generálási beállításokkal vagy szándékosan módosított szöveggel találkoztak.

Egy RAID-et használó 2025-ös kihívás jobb eredményeket hozott ismerősebb feltételek mellett. Számos résztvevő a gépi generálású szöveg több mint 99%-át detektálta, miközben fenntartotta az 5%-os téves pozitív arányt. A tesztben használt szakterületek és MI-modellek szintén szerepeltek a betanítási adatok között.

Összességében az eredmények azt mutatják, hogy a detektorok jól teljesíthetnek az olyan változatos anyagokon, amelyek felismerésére betanították őket, miközben az ismeretlen anyagokat továbbra is nehezebb felmérni.

Nézze meg, ki volt jelen

Egy 2023-as tanulmányban hét detektor a nem anyanyelvi angol beszélők által írt 91 TOEFL-esszé átlagosan 61,3%-át tévesztette össze mesterséges intelligencia által generáltként. Ez az eredmény az akkor tesztelt eszközökre és mintákra vonatkozik. Azt is megmutatja, hogy az általános pontossági ráta miért nem írja le egyformán jól a teljesítményt minden írói csoport esetében.

Hogyan kell értelmezni a pontossági állítást: Minél közelebb van a beküldött szöveg a tesztelés során használt anyaghoz, annál relevánsabbá válik a jelentett eredmény.

A végső dokumentum csak a megírásának egy részét mutatja

A mesterséges intelligencia számos szerepet tölthet be az írási folyamatban. Valaki használhatja egy téma kutatására, jegyzetek rendszerezésére, egy szövegrészlet lefordítására, egy mondat csiszolására vagy egy első vázlat elkészítésére.

Ezek a munkafolyamatok nagyon eltérő dokumentumokhoz vezethetnek. Az egyik író használhatja a mesterséges intelligenciát kutatáshoz, és minden mondatot önállóan fogalmazhat meg. Egy másik alaposan átírhat egy mesterséges intelligencia által generált vázlatot. Egy harmadik pedig hozzáadhat egy generált bekezdést egy egyébként ember által írt cikkhez.

Egy szövegdetektor azokat a szavakat látja, amelyeket beküldtek. Nincs hozzáférése az azokat megelőző promptokhoz, szerkesztésekhez vagy döntésekhez. Pontszáma nem tudja rekonstruálni a teljes írási folyamatot, és nem tudja eldönteni, hogy a szerző betartott-e egy adott irányelvet. Például:

• Előfordulhat, hogy egy iskola megengedi az ötletelést, miközben megköveteli a diákoktól, hogy maguk írják meg a feladatot.
• Előfordulhat, hogy egy kiadó engedélyezi az MI-támogatott szerkesztést, ha azt nyilvánosságra hozzák.
• Előfordulhat, hogy egy munkahelyen fontosabb a ténybeli helyesség, a bizalmasság vagy a forrásmegjelölés, mint az, hogy a mesterséges intelligencia hozzájárult-e a megfogalmazáshoz.

Ezeknek a szabályoknak az alkalmazása megköveteli a folyamatra vonatkozó bizonyítékokat, valamint a kész szöveget is. A vázlattörténet, a kutatási jegyzetek és a szerző magyarázata olyan kontextust biztosíthat, amelyet egy detektor nem. A Turnitin kifejezetten azt tanácsolja az oktatóknak, hogy ne használják az MI-írási pontszámot egy diák elleni hátrányos intézkedés kizárólagos alapjaként.

Egy detektor képes azonosítani azokat a nyelveket, amelyek hasonlítanak az MI-hez társított mintákhoz. Annak eldöntése, hogy mi történt, és hogy az megengedett volt-e, szélesebb körű felülvizsgálatot igényel.

A vízjelek más jellegű jelet adnak hozzá

Egyes MI-rendszerek képesek detektálható mintát hozzáadni a szöveg generálása közben. Ezt a folyamatot vízjelezésnek nevezzük.

Hogyan működik a szöveges vízjel

A Google DeepMind SynthID rendszere egy példa erre:

1. A rendszer beállítja a tokenek valószínűségét. Enyhén megváltoztatja annak valószínűségét, hogy a modell bizonyos szavakat vagy szótagokat válasszon.
2. Ezek a választások mintát hoznak létre. A vízjelet úgy tervezték, hogy az olvasó számára láthatatlan maradjon.
3. Egy kompatibilis detektor ellenőrzi. A detektor a várt statisztikai jel szempontjából elemzi a szöveget.

Mivel a minta a generálás során kerül hozzáadásra, olyan információkat biztosíthat, amelyek a szöveget előállító rendszerhez kapcsolódnak.

Mik a vízjelet detektálás korlátai

• A generátornak kell hozzáadnia. Az MI-rendszernek támogatnia és alkalmaznia kell a vízjelet. A vízjel hiánya nem bizonyítja, hogy a szöveget ember írta.
• A mintának elegendő része meg kell, hogy maradjon. A Google arról számol be, hogy a SynthID ellenáll a némi levágásnak, a szócseréknek és az enyhe átfogalmazásnak. A túlzott átírás vagy fordítás csökkentheti a megbízhatóságát.

A vízjelek megerősíthetik a bizonyítékot, ha egy kompatibilis rendszer generálta a szöveget, és a jelnek elegendő része megmaradt. Nem tudják minden egyes MI által generált írást azonosítani.

Más feljegyzések többet is elárulhatnak a teljes képről

• A vázlattörténet megmutatja, hogyan változott a dokumentum idővel.
• A kutatási jegyzetek összekapcsolják az állításait a forrásokkal.
• A felfedett MI-interakciók mutatják meg, hol járult hozzá egy eszköz a tartalomhoz.

Ezek a feljegyzések közvetlenebb kontextust biztosítanak az írási folyamatról, mint önmagában egy mintaalapú pontszám.

Kezelje a jelölést egy felülvizsgálat kezdeteként

Egy detektor eredménye akkor válik hasznosabbá, ha van egy meghatározott szerepe. Mielőtt egy jelölés alapján cselekednének, az ellenőröknek meg kell érteniük, hogy mit mért az eszköz, meg kell győződniük arról, hogy a szöveg a hatálya alá tartozik, és meg kell vizsgálniuk a rendelkezésre álló egyéb bizonyítékokat.

Öt ellenőrzés segíthet:

1. Olvassa el a pontszám definícióját. Határozza meg, hogy a százalékos érték dokumentumszintű valószínűséget vagy a megjelölt szövegrész arányát jelenti-e.
2. Ellenőrizze az eszköz hatályát. Győződjön meg arról, hogy a dokumentum nyelve, hossza és formátuma megegyezik a detektor által támogatottakkal.
3. Tekintse át a bizonyítékokat. Vizsgálja meg a kiemelt szövegrészeket a vázlatok, forrásjegyzetek és a szerző magyarázata mellett.
4. Alkalmazza a vonatkozó irányelvet. Határozza meg, hogy az MI mely felhasználási módjai megengedettek, és milyen bizonyíték mutatná be a szabálysértést.
5. Értékelje magát a munkát. Vizsgálja meg a ténybeli helytességet, a forrásmegjelölést, az eredetiséget és a minőséget a maga értéke alapján.

A tétnek kell meghatároznia az felülvizsgálat alaposságát. Egy szerkesztő használhat egy jelölést annak eldöntésére, hogy melyik cikk igényel újbóli átnézést. Egy osztályzatot, munkahelyet vagy kiadói megállapodást érintő döntés azonban erősebb bizonyítékokat és lehetőséget igényel a szerző számára a folyamat magyarázatára.

Egy MI-detektor egy összetett ítéletet sűrít bele egy pontszámba. Ennek a pontszámnak az értelmezése olyan információkat igényel, amelyeket a szám nem tartalmaz: mit mért az eszköz, milyen küszöbértéket használt, hogyan teljesített a hasonló írásokon, és milyen gyakori az MI által generált szöveg az áttekintett anyagban. A pontszám irányíthatja a figyelmet. Egy detektorpontszám hozzájárulhat ehhez a felülvizsgálathoz, de a szerzőségre vonatkozó bármilyen következtetés megköveteli az írási folyamatra vonatkozó bizonyítékokat is.

Gyakran ismételt kérdések

Tévedhetnek az MI-detektorok?

Igen. Téves pozitív eredmény akkor fordul elő, amikor egy detektor az emberi írást mesterséges intelligencia által generáltként jelöli meg. Téves negatív eredmény pedig akkor, amikor a mesterséges intelligencia által generált írás észrevétlen marad. Mindkét hiba gyakorisága a detektortól, annak küszöbértékétől, valamint attól függ, hogy a beküldött szövegmennyire hasonlít a teszteléséhez használt anyaghoz.

Mennyire pontosak az MI-detektorok?

Az MI-detektoroknak nincs egyetlen egységes pontossági rátája. A teljesítmény változhat a nyelv, a hossz, a téma, az írói stílus, a generáló modell és a szerkesztés mértéke függvényében. Egy pontossági állítás akkor a leghasznosabb, ha a tesztelési feltételek hasonlítanak az áttekintett íráshoz, és az eredmény a sikeres detektálások mellett a téves pozitív eredményeket is jelenteni.

Mit jelent az MI-detektálási százalék?

A definíció az eszköztől függ. Jelentheti a dokumentum becsült MI-generálási valószínűségét, a minősített szöveg megjelölt százalékát, vagy az eredménybe vetett bizalom egy formáját. A detektor dokumentációjának el kell magyaráznia, hogy melyik mérést jelenti.

Bizonyíthatja egy MI-detektor, hogy valaki mesterséges intelligenciát használt?

Önmagában egy detektorpontszám nem tudja bizonyítani, hogy hogyan jött létre egy dokumentum. A beküldött szöveget anélkül elemzi, hogy látná az azt megelőző promptokat, vázlatokat, szerkesztéseket vagy kutatásokat. Egy megbízható felülvizsgálat a pontszámot a folyamat bizonyítékaival és az elfogadható MI-használatot szabályzó irányelvekkel együtt veszi figyelembe.

Miért jelölik meg időnként az emberi írást is MI-ként?

Az emberi és a mesterséges intelligencia által generált írások osztozhatnak ugyanazokon a statisztikai mintákon. A formulaalapú nyelvezet, a kiszámítható megfogalmazás, a korlátozott szókincs, vagy a detektor betanítási adataitól eltérő stílus hozzájárulhat a téves pozitív eredményhez. A kutatások azt is kimutatták, hogy a 2023-ban tesztelt egyes detektorok aránytalanul gyakran jelölték meg a nem anyanyelvi angol beszélők által írt esszéket.