Hvernig gervigreindargreinar virka og hvers vegna einkunn ein og sér getur ekki sannað höfundarrétt

Límdu ritgerð, grein eða tölvupóst inn í gervigreindargreini og nokkrum sekúndum síðar gæti hann skilað niðurstöðu eins og „85% gervigreind“.

Virðist nákvæmt. En það getur líka verið auðvelt að misskilja.

Greinirinn fylgdist ekki með hvernig skjalið var skrifað. Hann greindi fullbúinn texta með tilliti til mynsturs sem tengist gervigreindarframleiddum texta. Það eftir því hvaða tól er notað gæti þetta 85% hlutfall táknað áætlaða líkingu þess að gervigreind hafi framleitt skjalið eða hlutdeild textans sem greinirinn merkti.

Það gerir gervigreindargreini gagnlegan sem merki, sérstaklega þegar eitthvað þarf nánari skoðun. En einkunnin þarf samt samhengi og stuðningsgögn áður en einhver dregur ályktun um hver skrifaði textann eða hvernig hann var búinn til. Skilningur á því hvernig greinar framleiða einkunnir sínar hjálpar til við að útskýra bæði hvað þeir geta náð og hafna og hvers vegna þeir skjátlast stundum.

Hvað er gervigreindargreinir?

Gervigreindarritunargreinir skoðar fullbúinn texta og áætlar hvort hann líkist skrifum sem framleidd eru af málmál líkani. Notandi límir venjulega textann inn eða hleður upp skjali. Innan nokkurra sekúndna gæti tólið skilað merki, prósentu, auðkenndum köflum eða öllu þrennu.

• Kennarar og fræðastofnanir nota þau þegar farið er yfir vinnu nemenda.
• Útgefendur og efnisteymi gætu notað þau til að skima innsend eða pöntuð skrif, á meðan sum gervigreindarfyrirtæki markaðsetja útgáfur fyrir ráðningarteymi sem fara yfir umsóknarefni.
• Höfundar athuga stundum einnig eigin verk til að skilja hvernig kennari, ritstjóri, viðskiptavinur eða vettvangur gæti flokkað það.

Athugið: Plagíatsskoðarar þjóna skyldum en aðskildum tilgangi. Þeir bera skjal saman við birt efni og aðrar heimildir til að finna samsvarandi mál. Gervigreindargreinar meta mynstur í innsendum skrifum. Fullkomlega frumlegur kafli getur því fengið gervigreindarmerki, á meðan afritaður mannlegur texti kann að innihalda engin sterk merki um gervigreindarsköpun.

Hvernig gervigreindargreinar greina texta

Margir gervigreindargreinar reiða sig á flokkara, vélnámslíkan sem þjálfað er á dæmum um mannleg og gervigreindarframleidd skrif. Þegar það ber þetta tvennt saman lærir það hvaða mynstur eiga það til að birtast í hvoru um sig, þar á meðal mynstur í orðavali og setningarbyggingu. Það leitar að þeim mynstrum í nýjum texta og skilar spá.

Það sem greinirinn lærir fer eftir því sem hann sér við þjálfun. Tól sem þjálfað er á takmörkuðu úrvali skrifa gæti átt í erfiðleikum með nýtt viðfangsefni, ókunnugan stíl eða útkomu frá gervigreindarlíkani sem það hefur ekki áður mætt. Rannsóknir á mismunandi gerðum texta og gervigreindarlíkana hafa leitt í ljós að árangur greiningar getur dregist saman við þær aðstæður.

Sumar aðferðir taka aðra nálgun. Í stað þess að þjálfa aðskilinn flokkara nota þær eigin líkindamat málmál líkans til að meta hve líklegt það væri að það framleiddi kafla.

• DetectGPT ber til dæmis saman upprunalegan texta við lítillega breyttar útgáfur til að leita að mynstrum sem tengjast gervigreindarsköpun. Rannsóknir þess lýsa þessu sem „núllskots“ aðferð þar sem hún krefst ekki sérstaklega þjálfaðs greinis. Niðurstaðan getur falið í sér heildareinkunn, auðkenndar setningar eða hvort tveggja.
• GPTZero segir að hápunktar sýni hvaða setningar hafi mest áhrif á heildarspá þess. Þar sem það metur einnig víðara skjal gæti kafli sem skannaður er einn sér ekki fengið sömu niðurstöðu þegar hann birtist sem hluti af lengra verki.

Hver niðurstaða endurspeglar bæði textann og kerfið sem metur hann, sem er ástæðan fyrir því að mismunandi greinar geta komist að ólíkum niðurstöðum um sama kafla.

Stækka

Hvað ruglingur og breytileiki mæla

Ruglingur og breytileiki koma oft upp í skýringum á gervigreindargreiningu. Þeir geta leitt í ljós gagnleg mynstur í textaverki, en hvorugt bendir á eina, sérstaka gervigreindaraðferð við skriftir.

Eitt smáatriði sem gæti vekja rugling: ruglingur er að gegna tvöföldu hlutverki hér. Í lágstöfum er það tölfræðilegur mælikvarði. Með stóru P er það við.

Ruglingur mælir hve fyrirsjáanlegur textinn er

Málmál líkön framleiða texta með því að úthluta líkum á mögulegum næstu táknum, sem geta verið heil orð eða hlutar orða. Ruglingur mælir hve vel líkan getur spáð fyrir um táknin í kafla.

• Minni ruglingur: Textinn fylgir mynstrum sem líkanið þekkir.
• Meiri ruglingur: Orðalagið er síður fyrirsjáanlegt.

Einkunnin er sérstök fyrir líkanið sem framkvæmir matinu og því hvernig textinn er unninn, þannig að sami kafli getur fengið mismunandi ruglingseinkunnir undir mismunandi uppsetningum.

Tökum setninguna: „Vinsamlegast láttu mig vita ef þú hefur einhverjar spurningar.“ Málmál líkan hefur líklega mætt svipuðu orðalagi oft, sem gerir hvert orð tiltölulega auðvelt að spá fyrir um. Það segir okkur eitthvað um kunnugleika setningarinnar. Það segir þó ekkert afgerandi um hver skrifaði hana.

Breytileiki mælir hve mikið þessi mynstur breytast

Breytileiki (burstiness) er notaður með meira svigrúmi í umræðum um gervigreindargreiningu. Hann lýsir almennt því hve mikið textinn breytist í gegnum textakafla. Það getur falið í sér breytileika í lengd og byggingu setninga, eða breytingar á milli mjög fyrirsjáanlegs máls og óvæntara.

• Minni breytileiki: Setningar fylgja samræmdari lengd, uppbyggingu eða hrynjandi.
• Meiri breytileiki: Textinn fer á milli styttri fullyrðinga, lengri skýringa og óvæntara orðalags.

Sumur gervigreindarframleiddur texti er stöðugur og fyrirsjáanlegur, sem er ástæðan fyrir því að breytileiki tengdist greiningu. Mannleg skrif geta haft sömu einkenni, sérstaklega í viðskipta-, fræðilegu og tæknilegu samhengi. Gervigreindarlíkön geta einnig framleitt fjölbreyttara mál þegar þau eru beðin um það eða ritstýrð til þess.

GPTZero segir að ruglingur og breytileiki hafi verið tveir af nokkrum eiginleikum sem fyrri útgáfa af greini þess notaði.

Hvað þessar mælingar sýna: Ruglingur og breytileiki lýsa mynstrum í kafla. Þessi mynstur geta hjálpað til við að útskýra hvers vegna texti var merktur, en þau geta ekki staðfest hver skrifaði hann.

Hvað einkunn gervigreindargreinis þýðir

Niðurstaða sem hljóðar upp á „80% gervigreind“ virðist skýr. Merking hennar fer þó eftir greininum.

GPTZero lýsir prósentunni sem áætluðum líkum líkans þess á að gervigreind eða manneskja hafi skrifað skjalið. Turnitin notar prósentuna til að sýna hve mikill hluti viðeigandi prósa er merktur af líkani þess sem hugsanlega gervigreindarframleiddur eða breyttur með tilteknum gervigreindartólum.

Sami „80% gervigreind“ merki gæti því þýtt:

• Greinirinn áætlar 80% líkur á að gervigreind hafi framleidd skjalið.
• Greinirinn hefur merkt 80% af þeim texta sem hann mat.

Þetta eru ólíkar niðurstöður. Önnur gerir spá um skjalið í heild sinni. Hin greinir hve mikill hluti textans passaði við skilyrði greinis.

Líkindaeinkunnir þurfa aðra athugun: kvörðun. Ef greinir gefur 100 skjölum gervigreindarlíkur upp á um 80%, ættu um 80 þeirra raunverulega að vera gervigreindarframleidd til að einkunnin sé vel kvörðuð. Að prófa líkanið gegn dæmum með þekktan uppruna sýnir hve nálægt líkur þess passa við raunverulega útkomu.

Prósenta getur virkað nákvæm áður en merking hennar eða áreiðanleiki er ljós. Merkið, stigagjöfin og frammistaða greinis ákvarða öll hverju talan getur stutt við.

Stækka

Skurðpunkturinn ákvarðar hvað er merkt

Greinir þarf samt að ákveða hvenær einkunn er nógu há til að bregðast við. Sú línuskil er kölluð skurðpunktur eða þröskuldur.

Segjum sem svo að tól gefi texta einkunn frá 0 til 100 og merki allt sem er yfir 70. Að færa mörkin í 60 myndi skilja hverja einkunn eftir óbreytta en auka fjölda skjala sem merkt eru.

• Lægri skurðpunktur greinir almennt meiri gervigreindarritun en merkir einnig fleiri mannleg skrif rangilega.
• Hærri skurðpunktur dregur úr röngum merkjum, á meðan fleiri gervigreindarframleidd skrif fá að fara óséð í gegn. Þessi málamiðlun á við um flokkunarkerfi almennt.

Mistökin tvö mögulegu hafa mismunandi nöfn.

• Falskvæddur falskur jákvæður á sér stað þegar mannleg skrif eru merkt sem gervigreindarframleidd.
• Falskt neikvætt á sér stað þegar gervigreindarframleidd skrif fara óséð í gegn.

Hvar greinir dregur línuna endurspeglar hvaða villu honum er ætlað að forðast. Sú ákvörðun hefur meiravægi þegar merki gæti haft áhrif á einkunn, starf eða trúverðugleika einhvers.

Hvernig 2% villuhlutfall getur leitt til næstum 30% rangra merkja

Áhrif 2% hlutfall rangra jákvæðra niðurstaðna fer eftir því hve mikinn mannlegan texta greinirinn fer yfir.

Ímyndum okkur dæmigerðar 1.000 greinar:

• 50 eru gervigreindarframleiddar.
• 950 eru mannritaðar.
• Greinirinn nær 90% af gervigreindarframleiddu greinunum.
• Það merkir rangilega 2% mannrituðu greinanna.

Hér er það sem gerist:

Greinirinn merkir 64 greinar samtals. Nítján eru mannritaðar, þannig að tæplega 30% af merkingum hans eru rangar.

Tölurnar 2% og 30% mæla sitthvað annað. Greinirinn merkir rangilega 2% af öllum mannrituðum greinum. Þau mistök gera síðan um það bil 30% af öllu því sem hann merkir.

Tölurnar leggjast saman með þessum hætti vegna þess að greinirinn fór yfir mun fleiri mannritaðar greinar en gervigreindarframleiddar. Jafnvel lítið villuhlutfall getur leitt til marktæks fjölda rangra merkja þegar það á við um mun stærri hóp.

Hugtakið grunnhlutfall lýsir því hve algeng gervigreindarframleidd skrif eru í því efni sem verið er að athuga. Þegar sú hlutdeild breytist, breytist einnig merking jákvæðrar niðurstöðu. Ef sönn jákvæð og fölsuk jákvæð hlutfall greinis haldast óbreytt, verður merki almennt áreiðanlegra þegar gervigreindarframleidd skrif eru algeng í safninu og óáreiðanlegra þegar þau eru sjaldgæf.

Þessar tölur eru ímyndaðar og lýsa ekki tilteknum greini. Í raunverulegri yfirferð er hlutdeild gervigreindarframleiddra skrifa venjulega óþekkt. Sú óvissa er önnur ástæða til að meðhöndla merki sem ástæðu til að líta nánar eftir, frekar en sönnun á því hvernig skjal var skrifað.

Nákvæmni fer eftir því við hverju greinirinn var prófaður

Nákvæmnihlutfall lýsir frammistöðu undir tilteknum skilyrðum. Áður en því hlutfalli er beitt á annað textaverk skal athuga:

• Útgáfa greinis
• Lengd, tungumál, efni og snið textans
• Gervigreindarlíkanið og Stillingar sem notaðar voru til að framleiða prófunarefnið
• Hvort textanum hafi verið breytt eða breytt vísvitandi
• Höfundarnir sem eru fulltrúar í mannrituðu úrtökunum

Byrjaðu á studdu inntaki tólsins

Turnitin krefst til dæmis að minnsta kosti 300 orða af lengri prósa. Það segir líkan sitt ekki greina áreiðanlega gervigreindarframleidda ljóðlist, handrit, kóða eða önnur snið sem eru ekki prósi. Sterk frammistaða í ritgerðum segir því fátt um hvernig sami greinir mun höndla ljóð eða stuttan tölvupóst.

Berið prófið saman við skrif úr hinum raunverulega heimi

Árið 2024 prófuðu vísindamenn 12 greina sem nota RAID, viðmið sem inniheldur meira en 6 milljónir gervigreindarframleiddra kafla í 11 líkönum og átta sviðum. Árangurinn dróst saman þegar greinar mættu ókunnuglegum líkönum, mismunandi kynningarstillingum eða viljandi breyttum texta.

Áskorun frá 2025 sem notaði RAID skilaði sterkari niðurstöðum við kunnuglegri aðstæður. Nokkrir þátttakendur greindu yfir 99% af vélrituðum texta á meðan þeir héldu 5% hlutfalli rangra jákvæðra niðurstaðna. Viðfangsefnin og gervigreindarlíkönin sem notuð voru í prófinu voru einnig til staðar í þjálfunargögnum.

Niðurstöðurnar sýna saman að greinar geta staðið sig vel á fjölbreyttu efni sem þeir voru þjálfaðir til að þekkja, á meðan ókunnuglegt efni er áfram erfiðara að meta.

Skoðaðu hverjir áttu fulltrúa

Í rannsókn frá 2023 flokkuðu sjö greinar rangt að meðaltali 61,3% af 91 TOEFL-ritgerð sem skrifaðar voru af enskumælandi aðilum sem ekki eru móðurmálsmenn sem gervigreindarframleiddar. Sú niðurstaða á við um þau tól og úrtak sem prófuð voru á þeim tíma. Hún sýnir einnig hvers vegna heildarnákvæmnihlutfall lýsir e.t.v. ekki frammistöðu jafn vel fyrir alla hópa höfunda.

Hvernig á að lesa nákvæmniskröfu: Því nær sem innsendur texti er því efni sem notað var við prófun, því þýðingarmeiri verður tilkynnt niðurstaða.

Lokaútgáfan sýnir aðeins hluta af því hvernig hún var skrifuð

Gervigreind getur gegnt mörgum hlutverkum í ritunarferlinu. Einhver gæti notað hana til að rannsaka efni, skipuleggja glósubækur, þýða kafla, pússa setningu eða framleiða fyrstu drög.

Þessi verkflæði geta leitt til mjög ólíkra skjala. Einn höfundur gæti notað gervigreind til rannsókna og samið hverja setningu sjálfstætt. Annar gæti endurskrifað gervigreindardrög að miklu leyti. Sá þriðji gæti bætt við einni myndaðri málsgrein við að öðru leyti mannritaða grein.

Textagreinir sér þau orð sem voru innsend. Hann hefur engan aðgang að fyrirmælum, breytingum eða ákvörðunum sem komu á undan þeim. Einkunn hans getur ekki endurskapað allt ritunarferlið eða ákvarðað hvort höfundur hafi fylgt tiltekinni stefnu. Til dæmis,

• Skóli gæti leyft hugmyndaflug en krafist þess að nemendur skrifi verkefnið sjálfir.
• Útgefandi gæti leyft ritstjórn með aðstoð gervigreindar þegar það er gefið upp.
• Vinnustaður gæti látið staðreyndanákvæmni, trúnað eða heimildatilvísun varða sig meira en hvort gervigreind hafi átt hlut að orðalaginu.

Að beita þessum reglum krefst sönnunargagna um ferlið sem og fullbúinn texta. Dragasaga, rannsóknarskýringar og útskýringar höfundar geta veitt samhengi sem greinir getur ekki útvegað. Turnitin ráðleggur kennurum sérstaklega að nota ekki gervigreindarritunareinkunn sína sem eina grundvöll neikvæðra aðgerða gegn nemanda.

Greinir getur greint mál sem líkist þeim mynstrum sem hann tengir við gervigreind. Að ákvarða hvað gerðist, og hvort það hafi verið leyft, krefst víðtækari yfirferðar.

Vatnsmerki bæta við annars konar merki

Sum gervigreindarkerfi geta bætt við greinanlegu mynstri þegar þau mynda texta. Þetta ferli er kallað vatnsmerking.

Hvernig textavatnsmerki virkar

Google DeepMind SynthID gefur eitt dæmi:

1. Kerfið stillir líkur á táknum. Það breytir örlítið líkum á því að líkanið velji tiltekin orð eða hluta orða.
2. Þessir valkostir búa til mynstur. Vatnsmerkinu er ætlað að vera ósýnilegt lesandanum.
3. Samhæfur greinir leitar að því. Greinirinn leitar að tilteknu tölfræðilegu merki í textanum.

Þar sem mynstrinu er bætt við við myndun getur það veitt upplýsingar sem tengjast kerfinu sem framleiddi textann.

Hvað takmarkar vatnsmerkjagreiningu

• Framleiðandinn verður að bæta því við. Gervigreindarkerfið þarf að styðja og beita vatnsmerkinu. Vatnsmerki sem vantar sannar ekki að manneskja hafi skrifað textann.
• Nóg af mynstrinu verður að vera eftir. Google greinir frá því að SynthID þoli einhverja skerðingu, orðabreytingar og væga endursögn. Umfangsmikil endurskrifuð eða þýðing getur dregið úr trausti þess.

Vatnsmerki geta styrkt sönnunargögnin þegar samhæft kerfi framleiddi textann og nóg er eftir af merkinu. Þau geta ekki borið kennsl á öll skrif sem framleidd eru af gervigreind.

Aðrar skrár geta gefið fyllri mynd

• Dragasaga sýnir hvernig skjal breyttist með tímanum.
• Rannsóknarskýringar tengja Fullyrðingar þess við heimildir.
• Upplýstar gervigreindarsamskipti sýna hvar verkfæri átti hlut að máli.

Þessar skrár veita beinni samhengi um ritunarferlið en mynsturbundin einkunn ein og sér.

Meðhöndlaðu merki sem upphaf yfirferðar

Niðurstaða greinis verður gagnlegri þegar hún hefur skilgreint hlutverk. Áður en brugðist er við merki ættu skoðunarmenn að skilja hvað tólið mældi, staðfesta að textinn falli innan gildissviðs þess og skoða önnur tiltæk sönnunargögn.

Fimm athuganir geta hjálpað:

1. Lestu skilgreiningu á einkunn. Ákveddu hvort prósentan tákni líkur á skjalastigi eða hlutdeild merks texta.
2. Athugaðu gildissvið tólsins. Staðfestu að tungumál, lengd og snið skjalsins passi við það sem greinirinn styður.
3. Farðu yfir sönnunargögnin. Skoðaðu auðkenndu kaflana samhliða drögum, heimildaglósum og útskýringum höfundar.
4. Beittu viðeigandi stefnu. Finndu út hvaða notkun á gervigreind er leyfð og hvaða sönnunargögn sýndu fram á brot.
5. Metið verkið sjálft. Farið yfir staðreyndanákvæmni, heimildatilvísun, frumleika og gæði á þeirra eigin forsendum.

Hagsmunirnir ættu að ráða dýpt yfirferðarinnar. Ritstjóri gæti notað merki til að ákveða hvaða grein þarf að skoða betur. Ákvörðun sem hefur áhrif á einkunn, starf eða útgáfusamning krefst sterkari sönnunargagna og tækifæris fyrir höfund til að útskýra vinnuferli sitt.

Gervigreindargreinir þjappar flóknum dómum saman í einkunn. Að túlka þá einkunn krefst upplýsinga sem talan inniheldur ekki: hvað tólið mældi, hvaða þröskuld það notaði, hvernig það stóð sig á sambærilegum skrifum og hve algengur gervigreindarframleiddur texti er í því efni sem verið er að fara yfir. Einkunnin getur beint athyglinni. Einkunn greinis getur stuðlað að þeirri yfirferð, en allar ályktanir um höfundarrétt krefjast einnig sönnunargagna um ritunarferlið.

Algengar spurningar

Geta gervigreindargreinar haft rangt fyrir sér?

Já. Falskvæddu á sér stað þegar greinir merkir mannlegan texta sem gervigreindarframleiddan. Falsknæddu á sér stað þegar gervigreindarframleiddur texti fer óséður í gegn. Tíðni hvorrar villu um sig fer eftir greininum, þröskuldi hans og hve nálægt innsendur texti líkist því efni sem notað var til að prófa hann.

Hve nákvæmir eru gervigreindargreinar?

Það er til eitt nákvæmnihlutfall fyrir gervigreindargreina. Árangur getur verið breytilegur eftir tungumáli, lengd, efni, ritstíl, framleiðslulíkani og magni breytinga. Nákvæmniskrafa er gagnlegust þegar prófunarskilyrði líkjast því ritaða efni sem verið er að fara yfir og niðurstaðan gefur til kynna bæði falskar jákvæðar niðurstöður og árangursríkar greiningar.

Hvað þýðir prósenta gervigreindargreiningar?

Merkingin fer eftir tólinu. Hún gæti táknað áætlaðar líkur á því að skjal sé gervigreindarframleitt, hlutfall merks viðeigandi texta eða form trausts á niðurstöðunni. Skjölun greinis ætti að útskýra hvaða mælingu hann gefur skýrslu um.

Getur gervigreindargreinir sannað að einhver hafi notað gervigreind?

Einkunn greinis ein og sér getur ekki sannað hvernig skjal var búið til. Hún greinir innsendan texta án þess að sjá fyrirmæli, drög, breytingar eða rannsóknir á bak við hann. Áreiðanleg yfirferð lítur til einkunnarinnar samhliða sönnunargögnum um ferlið og stefnunni sem gildir um leyfilega notkun gervigreindar.

Hvers vegna fá mannleg skrif stundum merki sem gervigreind?

Mannlegur og gervigreindarframleiddur texti getur deilt sömu tölfræðilegu mynstrum. Formúlumál, fyrirsjáanleg orðasambönd, takmarkaður orðaforði eða stíll sem er frábrugðinn þjálfunargögnum greinis getur stuðlað að falskri jákvæðni. Rannsóknir hafa einnig leitt í ljós að sumir greinar sem prófaðir voru árið 2023 merktu óhóflega ritgerðir sem skrifaðar voru af enskumælandi aðilum sem ekki eru móðurmálsmenn.