Jak działają detektory AI i dlaczego sam wynik nie udowodni autorstwa

Wklej esej, artykuł lub e-mail do detektora AI, a kilka sekund później możesz otrzymać wynik typu „85% AI”.

Wydaje się precyzyjne. Może być jednak również łatwe do błędnej interpretacji.

Detektor nie zaobserwował w jaki sposób dokument został napisany. Przeanalizował gotowy tekst pod kątem wzorców powiązanych z pisaniem przez AI. W zależności od narzędzia, wartość 85% może reprezentować szacowane prawdopodobieństwo, że AI wygenerowała ten dokument, lub udział tekstu, który detektor oznaczył.

Dzięki temu detektor AI jest przydatnym sygnałem, zwłaszcza gdy coś wymaga dokładniejszego sprawdzenia. Jednak wynik nadal potrzebuje kontekstu i dowodów potwierdzających, zanim ktokolwiek wyciągnie wnioski na temat tego, kto napisał tekst lub jak został stworzony. Zrozumienie, w jaki sposób detektory generują swoje wyniki, pomaga wyjaśnić zarówno to, co potrafią wychwycić, jak i dlaczego czasami się mylą.

Czym jest detektor AI?

Detektor tekstu AI analizuje gotowy fragment tekstu i szacuje, czy przypomina on pisanie wygenerowane przez model językowy. Użytkownik zazwyczaj wkleja tekst lub przesyła dokument. W ciągu kilku sekund narzędzie może zwrócić etykietę, odsetek, wyróżnione fragmenty lub wszystkie te elementy naraz.

• Nauczyciel i instytucje akademickie korzystają z nich podczas przeglądania prac uczniów.
• Wydawcy i zespoły ds. treści mogą z nich korzystać, aby weryfikować przesłane lub zamówione teksty, podczas gdy niektóre firmy zajmujące się detektorami oferują wersje dla zespołów rekrutacyjnych oceniających materiały aplikacyjne.
• Autorzy czasami sprawdzają również własną pracę, aby zrozumieć, jak nauczyciel, redaktor, klient lub platforma mogliby ją zaklasyfikować.

Uwaga: Narzędzia do sprawdzania plagiatu służą do celów pokrewnych, lecz odrębnych. Porównują one dokument z opublikowanymi materiałami oraz innymi źródłami w celu znalezienia pasującego tekstu. Detektory AI oceniają wzorce w przesłanej twórczości. W związku z tym całkowicie oryginalny fragment może otrzymać oznaczenie AI, podczas gdy skopiowany tekst napisany przez człowieka może nie zawierać silnych sygnałów generowania przez AI.

Jak detektory AI analizują tekst

Wiele detektorów AI opiera się na klasyfikatorze, czyli modelu uczenia maszynowego przeszkolonym na przykładach tekstów pisanych przez ludzi oraz generowanych przez AI. Porównując je, model uczy się, jakie wzorce pojawiają się w każdym z nich, w tym wzorce w doborze słów i strukturze zdań. Następnie szuka tych wzorców w nowym tekście i tworzy predykcję.

To, czego uczy się detektor, zależy od tego, z czym ma do czynienia podczas treningu. Narzędzie przeszkolone na ograniczonym zakresie tekstów może mieć problemy z nowym tematem, nieznanym stylem lub tekstem wygenerowanym przez model AI, z którym wcześniej się nie zetknęło. Badania przeprowadzone na różnych typach tekstów i modeli AI wykazały, że w takich warunkach skuteczność detekcji może spadać.

Niektóre metody przyjmują inne podejście. Zamiast trenować osobny klasyfikator, wykorzystują własne szacunki prawdopodobieństwa modelu językowego, aby ocenić, na ile prawdopodobne jest wygenerowanie przez niego danego fragmentu.

• Przykładowo DetectGPT porównuje oryginalny tekst z nieznacznie zmienionymi wersjami, aby wyszukać wzorce powiązane z generowaniem przez AI. Jego badania opisują to jako metodę „zero-shot”, ponieważ nie wymaga ona osobno przeszkolonego detektora. Wynik może obejmować ogólny wynik punktowy, wyróżnione zdania lub jedno i drugie.
• GPTZero twierdzi, że jego wyróżnienia pokazują, które zdania mają największy wpływ na jego ogołną predykcję. Ponieważ ocenia on również szerszy dokument, fragment sprawdzony w izolacji może nie otrzymać takiego samego wyniku, gdy występuje jako część dłuższego tekstu.

Każdy wynik odzwierciedla zarówno tekst, jak i oceniający go system, dlatego różne detektory mogą dojść do odmiennych wniosków odnośnie tego samego fragmentu.

Powiększ

Co mierzalne dla perplexity i zmienności

Perplexity i zmienność często pojawiają się w wyjaśnieniach dotyczących wykrywania AI. Mogą ujawnić przydatne wzorce w danym tekście, ale żaden z nich nie wskazuje na jeden, unikalny sposób pisania charakterystyczny dla sztucznej inteligencji.

Jeden szczegół mogący powodować dezorientację: perplexity pełni tu podwójną rolę. Z małej litery to miara statystyczna. Z wielką literą P to my.

Perplexity mierzy przewidywalność tekstu

Modele językowe generują tekst, przypisując prawdopodobieństwa możliwym kolejnym tokenom, którymi mogą być całe słowa lub ich części. Perplexity mierzy, jak dobrze model potrafi przewidzieć tokeny we fragmencie.

• Niższa perplexity: Tekst jest zgodny z wzorcami, które model uważa za znajome.
• Wyższa perplexity: Sformułowania są mniej oczywiste.

Wynik jest specyficzny dla modelu dokonującego oceny oraz sposobu przetwarzania tekstu, dlatego ten sam fragment może otrzymać różne wartości perplexity przy różnych ustawieniach.

Weźmy zdanie: „Daj mi znać, jeśli masz jakieś pytania”. Model językowy prawdopodobnie spotkał się z podobnym sformułowaniem wielokrotnie, przez co każde słowo jest stosunkowo łatwe do przewidzenia. Mówi nam to coś o stopniu znajomości tego zdania, ale nie wnosi nic rozstrzygającego na temat tego, kto je napisał.

Zmienność mierzy stopień zróżnicowania tych wzorców

Zmienność (burstiness) jest używana w dyskusjach na temat wykrywania AI w sposób bardziej swobodny. Zazwyczaj opisuje stopień, w jakim tekst zmienia się w obrębie danego fragmentu. Może to obejmować różnice w długości i strukturze zdań lub przejścia między językiem bardzo przewidywalnym a bardziej zaskakującym.

• Niższa zmienność: Zdania cechują się bardziej spójną długością, strukturą lub rytmem.
• Wyższa zmienność: Tekst lawiruje między krótszymi wypowiedziami, dłuższymi wyjaśnieniami a mniej oczywistym doborem słów.

Niektóre teksty generowane przez AI są spójne i przewidywalne, dlatego zmienność zaczęła być kojarzona z detekcją. Teksty pisane przez ludzi mogą wykazywać te same cechy, zwłaszcza w kontekście biznesowym, akademickim i technicznym. Modele AI potrafią również tworzyć bardziej zróżnicowany język, gdy otrzymają odpowiedni monit lub zostaną do tego edytowane.

GPTZero twierdzi, że perplexity i zmienność były dwoma z kilku elementów wykorzystywanych przez wcześniejszą wersję jego detektora.

Co pokazują te miary: Perplexity i zmienność opisują wzorce w danym fragmencie. Te wzorce mogą pomóc wyjaśnić, dlaczego tekst został oznaczony, ale nie są w stanie ustalić, kto go napisał.

Co oznacza wynik detektora AI

Wynik „80% AI” wygląda na jednoznaczny. Jego znaczenie zależy jednak od detektora.

GPTZero opisuje odsetek jako szacowane przez model prawdopodobieństwo, że dokument został napisany przez AI lub człowieka. Turnitin używa tej wartości procentowej, aby pokazać, jaka część kwalifikującej się prozy została oznaczona przez jego model jako potencjalnie wygenerowana przez AI lub zmodyfikowana przy użyciu określonych narzędzi AI.

Dlatego ta sama etykieta „80% AI” może oznaczać:

• Detektor szacuje 80-procentowe prawdopodobieństwo, że dokument został wygenerowany przez AI.
• Detektor oznaczył 80% przeanalizowanej prozy.

Są to odmienne wnioski. Jeden tworzy predykcję dotyczącą dokumentu jako całości. Drugi określa, jaka część tekstu spełniała kryteria detektora.

Wyniki prawdopodobieństwa wymagają jeszcze jednego sprawdzenia: kalibracji. Jeśli detektor przypisze 100 dokumentom prawdopodobieństwo AI na poziomie około 80%, w przybliżeniu 80 z nich powinno faktycznie zostać wygenerowanych przez AI, aby wynik był dobrze wyskalowany. Testowanie modelu na przykładach o znanym pochodzeniu pokazuje, jak blisko jego prawdopodobieństwa odpowiadają rzeczywistym wynikom.

Odsetek może wyglądać na precyzyjny, zanim jego znaczenie lub wiarygodność staną się jasne. Etykieta, metoda punktacji oraz wydajność detektora decydują o tym, co ta liczba faktycznie odzwierciedla.

Powiększ

Próg decyduje o tym, co zostaje oznaczone

Detektor nadal musi zdecydować, kiedy wynik jest na tyle wysoki, aby podjąć działania. Ta granica nazywana jest progiem odcięcia.

Załóżmy, że narzędzie ocenia tekst w skali od 0 do 100 i oznaczą wszystko powyżej 70. Przesunięcie granicy do 60 pozostawiłoby wszystkie wyniki bez zmian, jednocześnie zwiększając liczbę oznaczonych dokumentów.

• Niższy próg odcięcia zazwyczaj wykrywa więcej treści wygenerowanych przez AI, ale również częściej błędnie oznaczasz pisanie ludzkie.
• Wyższy próg ogranicza błędne oznaczenia, pozwalając jednocześnie na to, aby więcej tekstów wygenerowanych przez AI pozostało niewykrytych. Ten kompromis dotyczy systemów klasyfikacji ogółem.

Oba możliwe błędy mają różne nazwy.

• Wynik fałszywie pozytywny pojawia się, gdy tekst ludzki zostanie oznaczony jako wygenerowany przez AI.
• Wynik fałszywie negatywny pojawia się, gdy tekst wygenerowany przez AI pozostaje niewykryty.

Miejsce, w którym detektor stawia granicę, odzwierciedla to, jakiego błędu ma unikać. Ten wybór ma większą wagę, gdy oznaczenie może wpłynąć na ocenę, pracę lub czyjąś wiarygodność.

Jak 2-procentowy wskaźnik błędów może skutkować prawie 30% niepoprawnych oznaczeń

Wpływ 2-procentowego wskaźnika fałszywie pozytywnych wyników zależy od tego, jak wiele tekstów ludzkich analizuje detektor.

Rozważmy hipotetyczny zestaw 1000 artykułów:

• 50 wygenerowano przez AI.
• 950 napisano przez ludzi.
• Detektor wychwytuje 90% artykułów wygenerowanych przez AI.
• Błędnie oznaczasz 2% artykułów napisanych przez ludzi.

Oto co się dzieje:

Detektor oznaczył łącznie 64 artykuły. Dziewiętnaście zostało napisanych przez ludzi, więc prawie 30% jego oznaczeń jest błędnych.

Wartości 2% i 30% dotyczą czegoś innego. Detektor błędnie oznaczasz 2% wszystkich artykułów napisanych przez ludzi. Te błędy stanowią następnie prawie 30% wszystkiego, co zostanie oznaczone.

Liczby sumują się w ten sposób, ponieważ detektor przejrzał znacznie więcej artykułów napisanych przez ludzi niż wygenerowanych przez AI. Nawet mały wskaźnik błędów może wygenerować znaczącą liczbę niepoprawnych oznaczeń, gdy dotyczy znacznie większej grupy.

Pojęcie bazowego wskaźnika opisuje, jak powszechne są teksty generowane przez AI w sprawdzanych materiałach. Wraz ze zmianą tego udziału zmienia się również znaczenie pozytywnego wyniku. Jeśli wskaźniki prawdziwie pozytywnych i fałszywie pozytywnych wyników detektora pozostają bez zmian, oznaczenie będzie zazwyczaj bardziej wiarygodne, gdy tekst wygenerowany przez AI jest w zbiorze powszechny, a mniej wiarygodny, gdy występuje rzadko.

Te liczby mają charakter hipotetyczny i nie opisują konkretnego detektora. W rzeczywistej weryfikacji udział tekstów generowanych przez AI jest zazwyczaj nieznany. Ta niepewność to kolejny powód, by traktować oznaczenie jako sygnał do dokładniejszego przyjrzenia się sprawie, a nie dowód na to, jak napisano dokument.

Dokładność zależy od tego, na czym testowano detektor

Wskaźnik dokładności opisuje wydajność w określonych warunkach. Przed zastosowaniem tego wskaźnika do innego tekstu sprawdź:

• Wersja detektora
• Długość, język, temat i format tekstu
• Model AI oraz ustawienia użyte do wygenerowania materiału testowego
• Czy tekst był edytowany lub celowo zmodyfikowany
• Autorzy reprezentowani w próbach tekstów pisanych przez ludzi

Zacznij od danych wejściowych obsługiwanych przez narzędzie

Przykładowo Turnitin wymaga co najmniej 300 słów dłuższej prozy. Twierdzi, że jego model nie wykrywa w sposób wiarygodny poezji, skryptów, kodu ani innych formatów niebędących prozą wygenerowanych przez AI. Wysoka skuteczność w przypadku esejów mówi nam więc niewiele o tym, jak ten sam detektor poradzi sobie z wierszem lub krótką wiadomością e-mail.

Porównaj test z tekstami z prawdziwego świata

W 2024 roku badacze przetestowali 12 detektorów przy użyciu RAID – benchmarku zawierającego ponad 6 milionów fragmentów wygenerowanych przez AI w 11 modelach i ośmiu dziedzinach tematycznych. Skuteczność spadała, gdy detektory natrafiały na nieznane modele, inne ustawienia generowania lub celowo zmodyfikowany tekst.

Wyzwanie z 2025 r. wykorzystujące zestaw RAID przyniosło lepsze wyniki w bardziej znajomych warunkach. Kilku uczestników wykryło ponad 99% tekstu wygenerowanego maszynowo, utrzymując wskaźnik fałszywie pozytywnych wyników na poziomie 5%. Dziedziny tematyczne oraz modele AI użyte w teście były również reprezentowane w danych treningowych.

Wyniki te łącznie pokazują, że detektory radzą sobie dobrze z różnorodnymi materiałami, do rozpoznawania których zostały przeszkolone, podczas gdy nieznane materiały pozostają trudniejsze w ocenie.

Spójrz, kto był reprezentowany

W badaniu z 2023 r. siedem detektorów błędnie zaklasyfikowało średnio 61,3% spośród 91 esejów TOEFL napisanych przez osoby nienatywne dla języka angielskiego jako wygenerowane przez AI. Wynik ten odnosi się do narzędzi i próbek testowanych w tamtym czasie. Pokazuje on również, dlaczego ogólny wskaźnik dokładności może nie odzwierciedlać równie dobrze wydajności dla każdej grupy autorów.

Jak odczytywać twierdzenie o dokładności: Im bardziej przesłany tekst przypomina materiał użyty podczas testów, tym bardziej istotny staje się zgłoszony wynik.

Ostateczny dokument pokazuje tylko część procesu jego powstawania

AI może pełnić wiele ról w procesie pisania. Ktoś może użyć jej do wyszukania informacji na temat, uporządkowania notatek, przetłumaczenia fragmentu, dopracowania zdania lub stworzenia pierwszego szkicu.

Takie przepływy pracy mogą prowadzić do zupełnie innych dokumentów. Jeden autor może użyć AI do badań i napisać każde zdanie samodzielnie. Inny może w znacznym stopniu przepisać szkic wygenerowany przez AI. Trzeci może dodać jeden wygenerowany akapit do artykułu w przeciwnym razie napisanego przez człowieka.

Detektor tekstu widzi słowa, które zostały przesłane. Nie ma dostępu do instrukcji (promptów), edycji czy decyzji, które je poprzedzały. Jego wynik nie odtworzy pełnego procesu pisania ani nie określi, czy autor postępował zgodnie z określeniami polityki. Na przykład,

• Szkoła może zezwalać na burzę mózgów, wymagając jednocześnie, aby uczniowie napisali zadanie samodzielnie.
• Wydawca może zezwolić na edycję wspomaganą przez AI, jeśli zostanie to ujawnione.
• Dla miejsca pracy ważniejsza może być dokładność faktów, poufność lub przypisanie źródeł niż to, czy AI miała swój wkład w sformułowania.

Zastosowanie tych reguł wymaga dowodów dotyczących zarówno samego procesu, jak i gotowego tekstu. Historia wersji roboczych, notatki badawcze oraz wyjaśnienia autora mogą dostarczyć kontekstu, którego detektor nie jest w stanie zapewnić. Turnitin wyraźnie odradza pedagogom opieranie się wyłącznie na wyniku wykrywania AI jako jedynej podstawie do wyciągania negatywnych konsekwencji wobec ucznia.

Detektor potrafi zidentyfikować język przypominający wzorce kojarzone przez niego z AI. Rozstrzygnięcie, co się stało i czy było to dozwolone, wymaga szerszej weryfikacji.

Znaki wodne dodają inny rodzaj sygnału

Niektóre systemy AI mogą dodawać wykrywalny wzorzec podczas generowania tekstu. Ten proces nazywa się znakowaniem wodnym.

Jak działa tekstowy znak wodny

Przykładem jest SynthID od Google DeepMind:

1. System dostosowuje prawdopodobieństwa tokenów. Nieznacznie zmienia prawdopodobieństwo, że model wybierze określone słowa lub części słów.
2. Te wybory tworzą wzorzec. Znak wodny zaprojektowano tak, aby pozostawał niewidoczny dla czytelnika.
3. Kompatybilny detektor sprawdza jego obecność. Detektor analizuje tekst pod kątem oczekiwanego sygnału statystycznego.

Ponieważ wzorzec jest dodawany podczas generowania, może dostarczyć informacji powiązanych z systemem, który utworzył tekst.

Co ogranicza wykrywanie znaku wodnego

• Generator musi go dodać. System AI musi obsługiwać i nakładać znak wodny. Brak znaku wodnego nie dowodzi, że tekst napisała osoba.
• Musi pozostać wystarczająco dużo wzorca. Google podaje, że SynthID jest w stanie wytrzymać pewne przycięcie, zmiany słów oraz łagodne sparafrazowanie. Rozległe przepisanie lub tłumaczenie może obniżyć jego wiarygodność.

Znaki wodne mogą wzmocnić dowody, gdy kompatybilny system wygenerował tekst i pozostała odpowiednia część sygnału. Nie są one jednak w stanie zidentyfikować każdego tekstu wygenerowanego przez AI.

Inne zapisy mogą uzupełnić ten obraz

• Historia wersji roboczych pokazuje, jak dokument zmieniał się w czasie.
• Notatki badawcze powiązują twierdzenia ze źródłami.
• Ujawnione interakcje z AI pokazują, gdzie narzędzie miało swój wkład.

Te zapisy zapewniają bardziej bezpośredni kontekst na temat procesu pisania niż sam wynik oparty na wzorcach.

Traktuj oznaczenie jako początek weryfikacji

Wynik działania detektora staje się bardziej użyteczny, gdy ma określoną rolę. Przed podjęciem działań na podstawie oznaczenia osoby weryfikujące powinny zrozumieć, co zmierzyło narzędzie, upewnić się, że tekst mieści się w jego zakresie, oraz przeanalizować inne dostępne dowody.

Może pomóc pięć poniższych kroków:

1. Przeczytaj definicję wyniku. Ustal, czy odsetek reprezentuje prawdopodobieństwo na poziomie dokumentu, czy też udział oznaczonego tekstu.
2. Sprawdź zakres narzędzia. Upewnij się, że język, długość i format dokumentu są obsługiwane przez detektor.
3. Przejrzyj dowody. Przeanalizuj wyróżnione fragmenty wraz z wersjami roboczymi, notatkami źródłowymi oraz wyjaśnieniem autora.
4. Zastosuj odpowiednie zasady. Zidentyfikuj, które zastosowania AI są dozwolone i jakie dowody świadczyłyby o naruszeniu.
5. Oceń samą pracę. Przeanalizuj pod kątem jej własnych kryteriów dokładność faktograficzną, przypisanie źródeł, oryginalność oraz jakość.

Stawka powinna decydować o głębokości weryfikacji. Redaktor może użyć oznaczenia, aby zdecydować, które artykuły wymagają ponownego sprawdzenia. Decyzja wpływająca na ocenę, pracę lub umowę wydawniczą wymaga silniejszych dowodów oraz umożliwienia autorowi wyjaśnienia swojego procesu.

Detektor AI kompresuje złożoną ocenę do postaci wyniku punktowego. Interpretacja tego wyniku wymaga informacji, których liczba ta nie zawiera: co zmierzyło narzędzie, jakiego progu użyło, jak radziło sobie z porównywalnymi tekstami oraz jak powszechny jest tekst wygenerowany przez AI w sprawdzanych materiałach. Wynik może ukierunkować uwagę. Wynik detektora może przyczynić się do tej weryfikacji, ale wszelkie wnioski na temat autorstwa wymagają również dowodów dotyczących procesu pisania.

Często zadawane pytania

Czy detektory AI mogą się mylić?

Tak. Fałszywie pozytywny wynik występuje, gdy detektor oznaczy tekst napisany przez człowieka jako wygenerowany przez AI. Fałszywie negatywny wynik występuje, gdy tekst wygenerowany przez AI pozostaje niewykryty. Częstotliwość występowania każdego z błędów zależy od detektora, jego progu oraz tego, jak bardzo przesłany tekst przypomina materiał użyty do jego przetestowania.

Jak dokładne są detektory AI?

Nie ma jednego uniwersalnego wskaźnika dokładności dla detektorów AI. Wydajność może się różnić w zależności od języka, długości, tematu, stylu pisania, generującego modelu oraz zakresu edycji. Twierdzenie o dokładności jest najbardziej użyteczne, gdy warunki testowe przypominają recenzowany tekst, a wynik uwzględnia zarówno fałszywie pozytywne rezultaty, jak i udane detekcje.

Co oznacza odsetek wykrycia AI?

Definicja zależy od narzędzia. Może ona reprezentować szacowane prawdopodobieństwo, że dokument został wygenerowany przez AI, odsetek oznaczonego kwalifikującego się tekstu lub formę pewności co do wyniku. Dokumentacja detektora powinna wyjaśniać, który pomiar zgłasza.

Czy detektor AI może udowodnić, że ktoś skorzystał z sztucznej inteligencji?

Sam wynik detektora nie jest w stanie udowodnić, w jaki sposób utworzono dokument. Analizuje on przesłany tekst, nie mając wglądu w instrukcje (prompt), wersje robocze, edycję ani badania, które za nim stoją. Rzetelna weryfikacja bierze pod uwagę wynik punktowy wraz z dowodami dotyczącymi procesu oraz zasad regulujących akceptowalne korzystanie z AI.

Dlaczego teksty pisane przez ludzi są czasem oznaczane jako AI?

Teksty pisane przez ludzi i generowane przez AI mogą dzielić te same wzorce statystyczne. Język szablonowy, przewidywalne frazowanie, ograniczony zasób słownictwa lub styl odbiegający od danych treningowych detektora mogą przyczynić się do uzyskania fałszywie pozytywnego wyniku. Badania wykazały również, że niektóre detektory testowane w 2023 roku nieproporcjonalnie często oznaczasz eseje pisane przez osoby nienatywne dla języka angielskiego.