Πώς λειτουργούν οι ανιχνευτές AI και γιατί μια βαθμολογία από μόνη της δεν αποδεικνύει τη συγγραφή

Επικολλήστε ένα δοκίμιο, άρθρο ή email σε έναν ανιχνευτή τεχνητής νοημοσύνης και λίγα δευτερόλεπτα αργότερα μπορεί να επιστρέψει ένα αποτέλεσμα όπως «85% AI».

Φαίνεται ακριβές. Αλλά μπορεί επίσης να είναι εύκολο να παρερμηνευθεί.

Ο ανιχνευτής δεν παρατήρησε πώς γράφτηκε το έγγραφο. Ανέλυσε το τελικό κείμενο για μοτίβα που σχετίζονται με γραφή που παράγεται από τεχνητή νοημοσύνη. Ανάλογα με το εργαλείο, αυτό το 85% μπορεί να αντιπροσωπεύει την εκτιμώμενη πιθανότητα ότι η τεχνητή νοημοσύνη παρήγαγε το έγγραφο ή το μερίδιο του κειμένου που επισήμανε ο ανιχνευτής.

Αυτό καθιστά έναν ανιχνευτή τεχνητής νοημοσύνης χρήσιμο ως σήμα, ειδικά όταν κάτι χρειάζεται πιο προσεκτική ματιά. Αλλά η βαθμολογία εξακολουθεί να χρειάζεται πλαίσιο και υποστηρικτικά στοιχεία προτού κάποιος βγάλει συμπέρασμα σχετικά με το ποιος έγραψε το κείμενο ή πώς το δημιούργησε. Η κατανόηση του πώς οι ανιχνευτές παράγουν τις βαθμολογίες τους βοηθά να εξηγηθεί τόσο το τι μπορούν να εντοπίσουν όσο και γιατί μερικές φορές κάνουν λάθος.

Τι είναι ένας ανιχνευτής τεχνητής νοημοσύνης;

Ένας ανιχνευτής γραφής τεχνητής νοημοσύνης εξετάζει ένα τελικό κομμάτι κειμένου και εκτιμά αν μοιάζει με γραφή που παράγεται από ένα γλωσσικό μοντέλο. Ο χρήστης συνήθως επικοolla το κείμενο ή ανεβάζει ένα έγγραφο. Μέσα σε λίγα δευτερόλεπτα, το εργαλείο μπορεί να επιστρέψει μια ετικέτα, ένα ποσοστό, επισημασμένα αποσπάσματα ή και τα τρία.

• Οι εκπαιδευτικοί και τα ακαδημαϊκά ιδρύματα τα χρησιμοποιούν κατά την εξέταση της εργασίας των σπουδαστών.
• Οι εκδότες και οι ομάδες περιεχομένου ενδέχεται να τα χρησιμοποιήσουν για να ελέγξουν υποβληθείσα ή ανατεθείσα γραφή, ενώ ορισμένες εταιρείες ανιχνευτών προωθούν εκδόσεις για ομάδες προσλήψεων που εξετάζουν υλικό αιτήσεων.
• Οι συγγραφείς ελέγχουν επίσης μερικές φορές τη δική τους εργασία για να κατανοήσουν πώς ένας δάσκαλος, συντάκτης, πελάτης ή πλατφόρμα μπορεί να την ταξινομήσει.

Σημείωση: Οι έλεγχοι λογοκλοπής εξυπηρετούν έναν σχετικό αλλά ξεχωριστό σκοπό. Συγκρίνουν ένα έγγραφο με δημοσιευμένο υλικό και άλλες πηγές για να βρουν ταιριαστή γλώσσα. Οι ανιχνευτές τεχνητής νοημοσύνης αξιολογούν τα μοτίβα στην υποβληθείσα γραφή. Ένα απολύτως πρωτότυπο απόσπασμα μπορεί επομένως να λάβει επισήμανση AI, ενώ η αντιγραμμένη ανθρώπινη γραφή μπορεί να μην περιέχει ισχυρό σήμα δημιουργίας AI.

Πώς οι ανιχνευτές τεχνητής νοημοσύνης αναλύουν το κείμενο

Πολλοί ανιχνευτές τεχνητής νοημοσύνης βασίζονται σε έναν ταξινομητή, ένα μοντέλο μηχανικής μάθησης εκπαιδευμένο σε παραδείγματα ανθρώπινης και τεχνητής νοημοσύνης γραφής. Καθώς συγκρίνει τα δύο, μαθαίνει ποια μοτίβα τείνουν να εμφανίζονται σε καθένα, συμπεριλαμβανομένων των μοτίβων στην επιλογή λέξεων και στη δομή των προτάσεων. Στη συνέχεια, αναζητά αυτά τα μοτίβα σε νέο κείμενο και παράγει μια πρόβλεψη.

Αυτό που μαθαίνει ο ανιχνευτής εξαρτάται από το τι βλέπει κατά την εκπαίδευση. Ένα εργαλείο εκπαιδευμένο σε περιορισμένο φάσμα γραφής μπορεί να δυσκολευτεί με ένα νέο θέμα, ένα άγνωστο στυλ ή την έξοδο από ένα μοντέλο τεχνητής νοημοσύνης που δεν έχει ξανασυναντήσει. Η έρευνα σε διάφορους τύπους κειμένων και μοντέλων τεχνητής νοημοσύνης έχει διαπιστώσει ότι η απόδοση ανίχνευσης μπορεί να μειωθεί υπό αυτές τις συνθήκες.

Ορισμένες μέθοδοι ακολουθούν διαφορετική προσέγγιση. Αντί να εκπαιδεύσουν έναν ξεχωριστό ταξινομητή, χρησιμοποιούν τις δικές τους εκτιμήσεις πιθανότητας ενός γλωσσικού μοντέλου για να κρίνουν πόσο πιθανό θα ήταν να παράγουν ένα απόσπασμα.

• Το DetectGPT, για παράδειγμα, συγκρίνει το αρχικό κείμενο με ελαφρώς τροποποιημένες εκδόσεις για να αναζητήσει μοτίβα που σχετίζονται με τη δημιουργία μέσω τεχνητής νοημοσύνης. Η έρευνά του το περιγράφει ως μέθοδο «μηδενικής λήψης» (zero-shot) επειδή δεν απαιτεί ξεχωριστά εκπαιδευμένο ανιχνευτή. Το αποτέλεσμα μπορεί να περιλαμβάνει μια συνολική βαθμολογία, επισημασμένες προτάσεις ή και τα δύο.
• Το GPTZero λέει ότι οι επισημάνσεις του δείχνουν ποιες προτάσεις έχουν τη μεγαλύτερη επιρροή στη συνολική πρόβλεψή του. Επειδή αξιολογεί επίσης το ευρύτερο έγγραφο, ένα απόσπασμα που σαρώνεται μόνο του ενδέχεται να μην λάβει το ίδιο αποτέλεσμα όταν εμφανίζεται ως μέρος ενός μεγαλύτερου κειμένου.

Κάθε αποτέλεσμα αντανακλά τόσο το κείμενο όσο και το σύστημα που το αξιολογεί, γι' αυτό και διαφορετικοί ανιχνευτές μπορούν να καταλήξουν σε διαφορετικά συμπεράσματα σχετικά με το ίδιο απόσπασμα.

Μεγέθυνση

Τι μετρούν η perplexity και η εκρηκτικότητα

Η perplexity και η εκρηκτικότητα εμφανίζονται συχνά στις εξηγήσεις της ανίχνευσης τεχνητής νοημοσύνης. Μπορούν να αποκαλύψουν χρήσιμα μοτίβα σε ένα κομμάτι γραφής, αλλά κανένα από τα δύο δεν δείχνει έναν ενιαίο, μοναδικά τρόπο γραφής AI.

Μια πιθανώς συγχυτική λεπτομέρεια: η perplexity κάνει διπλή δουλειά εδώ. Με πεζά γράμματα, είναι στατιστικό μέτρο. Με κεφαλαίο P, είμαστε εμείς.

Η perplexity μετρά πόσο προβλέψιμο είναι το κείμενο

Τα γλωσσικά μοντέλα παράγουν κείμενο εκχωρώντας πιθανότητες σε πιθανότερα επόμενα tokens, τα οποία μπορεί να είναι ολόκληρες λέξεις ή μέρη λέξεων. Η perplexity μετρά πόσο καλά μπορεί ένα μοντέλο να προβλέψει τα tokens σε ένα απόσπασμα.

• Χαμηλότερη perplexity: Το κείμενο ακολουθεί μοτίβα που το μοντέλο θεωρεί οικεία.
• Υψηλότερη perplexity: Η διατύπωση είναι λιγότερο αναμενόμενη.

Η βαθμολογία είναι συγκεκριμένη για το μοντέλο που κάνει την αξιολόγηση και τον τρόπο με τον οποίο επεξεργάζεται το κείμενο, επομένως το ίδιο απόσπασμα μπορεί να λάβει διαφορετικές βαθμολογίες perplexity κάτω από διαφορετικές ρυθμίσεις.

Πάρτε την πρόταση: «Παρακαλώ ενημερώστε με αν έχετε απορίες.» Ένα γλωσσικό μοντέλο έχει πιθανότατα συναντήσει παρόμοια διατύπωση πολλές φορές, καθιστώντας κάθε λέξη σχετικά εύκολη στην πρόβλεψη. Αυτό μας λέει κάτι σχετικά με την οικειότητα της πρότασης. Δεν λέει τίποτα οριστικό για το ποιος την έγραψε.

Η εκρηκτικότητα μετρά πόσο ποικίλλουν αυτά τα μοτίβα

Η εκρηκτικότητα (burstiness) χρησιμοποιείται με μεγαλύτερη ελευθερία στις συζητήσεις σχετικά με την ανίχνευση τεχνητής νοημοσύνης. Γενικά περιγράφει πόσο αλλάζει η γραφή σε ένα απόσπασμα. Αυτό μπορεί να περιλαμβάνει διακυμάνσεις στο μήκος και τη δομή των προτάσεων ή μεταβάσεις μεταξύ εξαιρετικά προβλέψιμης και πιο εκπληκτικής γλώσσας.

• Χαμηλότερη εκρηκτικότητα: Οι προτάσεις ακολουθούν πιο συνεπές μήκος, δομή ή ρυθμό.
• Υψηλότερη εκρηκτικότητα: Η γραφή κινείται μεταξύ συντομότερων δηλώσεων, μακrύτερων εξηγήσεων και λιγότερο αναμενόμενης διατύπωσης.

Ορισμένα κείμενα που παράγονται από τεχνητή νοημοσύνη είναι συνεπή και προβλέψιμα, γι' αυτό και η εκρηκτικότητα συνδέθηκε με την ανίχνευση. Η ανθρώπινη γραφή μπορεί να έχει τις ίδιες ιδιότητες, ειδικά σε επιχειρηματικά, ακαδημαϊκά και τεχνικά πλαίσια. Τα μοντέλα τεχνητής νοημοσύνης μπορούν επίσης να παράγουν πιο ποικίλη γλώσσα όταν τους ζητηθεί ή όταν επεξεργαστούν ανάλογα.

Το GPTZero αναφέρει ότι η perplexity και η εκρηκτικότητα ήταν δύο από τα διάφορα χαρακτηριστικά που χρησιμοποιήθηκαν από μια προηγούμενη έκδοση του ανιχνευτή του.

Τι δείχνουν αυτά τα μέτρα: Η perplexity και η εκρηκτικότητα περιγράφουν μοτίβα σε ένα απόσπασμα. Αυτά τα μοτίβα μπορεί να βοηθήσουν να εξηγηθεί γιατί επισημάνθηκε το κείμενο, αλλά δεν μπορούν να καθορίσουν ποιος το έγραψε.

Τι σημαίνει η βαθμολογία ενός ανιχνευτή τεχνητής νοημοσύνης

Ένα αποτέλεσμα «80% AI» φαίνεται ξεκάθαρο. Η σημασία του εξαρτάται από τον ανιχνευτή.

Το GPTZero περιγράφει το ποσοστό ως την εκτιμώμενη πιθανότητα του μοντέλου του ότι η τεχνητή νοημοσύνη ή ένας άνθρωπος έγραψε το έγγραφο. Το Turnitin χρησιμοποιεί το ποσοστό για να δείξει πόσο από την προκριματική πεζογραφία επισημαίνει το μοντέλο του ως δυνητικά παραγόμενη από AI ή τροποποιημένη με ορισμένα εργαλεία AI.

Η ίδια ετικέτα «80% AI» θα μπορούσε επομένως να σημαίνει:

• Ο ανιχνευτής εκτιμά πιθανότητα 80% ότι η τεχνητή νοημοσύνη παρήγαγε το έγγραφο.
• Ο ανιχνευτής έχει επισημάνει το 80% της πεζογραφίας που αξιολόγησε.

Αυτά είναι διαφορετικά ευρήματα. Το ένα κάνει μια πρόβλεψη για το έγγραφο στο σύνολό του. Το άλλο προσδιορίζει πόσο από το κείμενο ταίριαζε με τα κριτήρια του ανιχνευτή.

Οι βαθμολογίες πιθανότητας χρειάζονται έναν άλλο έλεγχο: τη βαθμονόμηση. Εάν ένας ανιχνευτής δίνει σε 100 έγγραφα πιθανότητα AI γύρω στο 80%, περίπου 80 από αυτά θα πρέπει όντως να έχουν παραχθεί από τεχνητή νοημοσύνη για να είναι η βαθμολογία καλά βαθμονομημένη. Η δοκιμή του μοντέλου έναντι παραδειγμάτων με γνωστές προελεύσεις δείχνει πόσο στενά ταιριάζουν οι πιθανότητές του με τα πραγματικά αποτελέσματα.

Ένα ποσοστό μπορεί να φαίνεται ακριβές προτού η σημασία ή η αξιοπιστία του γίνουν σαφείς. Η ετικέτα, η μέθοδος βαθμολόγησης και η απόδοση του ανιχνευτή καθορίζουν τι μπορεί να υποστηρίξει ο αριθμός.

Μεγέθυνση

Το όριο καθορίζει τι επισημαίνεται

Ένας ανιχνευτής πρέπει ακόμα να αποφασίσει πότε μια βαθμολογία είναι αρκετά υψηλή ώστε να υπάρξει δράση. Αυτή η διαχωριστική γραμμή ο Gεῖται όριο ή κατώφλι (threshold).

Ας υποθέσουμε ότι ένα εργαλείο βαθμολογεί το κείμενο από το 0 έως το 100 και επισημαίνει οτιδήποτε πάνω από το 70. Η μετακίνηση του ορίου στο 60 θα άφηνε κάθε βαθμολογία αμετάβλητη, αυξάνοντας παράλληλα τον αριθμό των εγγράφων που επισημαίνονται.

• Ένα χαμηλότερο όριο γενικά ανιχνεύει περισσότερη γραφή που παράγεται από τεχνητή νοημοσύνη, αλλά επίσης επισημαίνει περισσότερη ανθρώπινη γραφή εσφαλμένα.
• Ένα υψηλότερο όριο μειώνει τις εσφαλμένες επισημάνσεις, επιτρέποντας παράλληλα να περάσει περισσότερη γραφή AI απαρατήρητη. Αυτή η ανταλλαγή ισχύει γενικά για τα συστήματα ταξινόμησης.

Τα δύο πιθανό λάθη έχουν διαφορετικά ονόματα.

• Ένα ψευδώς θετικό αποτέλεσμα συμβαίνει όταν η ανθρώπινη γραφή επισημαίνεται ως παραγόμενη από τεχνητή νοημοσύνη.
• Ένα ψευδώς αρνητικό αποτέλεσμα συμβαίνει όταν η γραφή που παράγεται από τεχνητή νοημοσύνη περνά απαρατήρητη.

Το πού χαράζει τη γραμμή ένας ανιχνευτής αντανακλά ποιο σφάλμα έχει σχεδιαστεί για να αποφεύγει. Αυτή η επιλογή έχει μεγαλύτερη βαρύτητα όταν μια επισήμανση θα μπορούσε να επηρεάσει έναν βαθμό, μια εργασία ή την αξιοπιστία κάποιου.

Πώς ένα ποσοστό σφάλματος 2% μπορεί να παράγει σχεδόν 30% εσφαλμένες επισημάνσεις

Ο αντίκτυπος ενός ποσοστού ψευδώς θετικών 2% εξαρτάται από το πόση ανθρώπινη γραφή εξετάζει ο ανιχνευτής.

Εξετάστε ένα υποθετικό σύνολο 1.000 άρθρων:

• 50 παράγονται από τεχνητή νοημοσύνη.
• 950 είναι γραμμένα από ανθρώπους.
• Ο ανιχνευτής πιάνει το 90% των άρθρων που παράγονται από τεχνητή νοημοσύνη.
• Επισημαίνει εσφαλμένα το 2% των άρθρων που έχουν γραφτεί από ανθρώπους.

Εδώ είναι τι συμβαίνει:

Ο ανιχνευτής επισημαίνει συνολικά 64 άρθρα. Δεκαεννέα έχουν γραφτεί από ανθρώπους, επομένως σχεδόν το 30% των επισημάνσεών του είναι λανθασμένες.

Τα σχήματα 2% και 30% μετρούν διαφορετικά πράγματα. Ο ανιχνευτής επισημαίνει εσφαλμένα το 2% όλων των άρθρων που έχουν γραφτεί από ανθρώπους. Αυτά τα λάθη αντιπροσωπεύουν σχεδόν το 30% όλων όσων επισημαίνει.

Οι αριθμοί αθροίζονται με αυτόν τον τρόπο επειδή ο ανιχνευτής εξέτασε πολύ περισσότερα άρθρα γραμμένα από ανθρώπους παρά από τεχνητή νοημοσύνη. Ακόμη και ένα μικρό ποσοστό σφάλματος μπορεί να παράγει έναν σημαντικό αριθμό εσφαλμένων επισημάνσεων όταν εφαρμόζεται σε μια πολύ μεγαλύτερη ομάδα.

Ο όρος βασικό ποσοστό (base rate) περιγράφει πόσο κοινή είναι η γραφή που παράγεται από τεχνητή νοημοσύνη στο υλικό που ελέγχεται. Καθώς αυτό το μερίδιο αλλάζει, το ίδιο συμβαίνει και με τη σημασία ενός θετικού αποτελέσματος. Εάν τα ποσοστά αληθώς θετικών και ψευδώς θετικών του ανιχνευτή παραμένουν τα ίδια, μια επισήμανση θα είναι γενικά πιο αξιόπιστη όταν η γραφή AI είναι κοινή στη συλλογή και λιγότερο αξιόπιστη όταν είναι σπάνια.

Αυτοί οι αριθμοί είναι υποθετικοί και δεν περιγράφουν έναν συγκεκριμένο ανιχνευτή. Σε μια πραγματική αναθεώρηση, το μερίδιο της γραφής που παράγεται από τεχνητή νοημοσύνη είναι συνήθως άγνωστο. Αυτή η αβεβαιότητα είναι ένας άλλος λόγος για να αντιμετωπιστεί μια επισήμανση ως λόγος για πιο προσεκτική εξέταση, παρά ως απόδειξη του πώς γράφτηκε ένα έγγραφο.

Η ακρίβεια εξαρτάται από το τι δοκιμάστηκε ο ανιχνευτής

Ένα ποσοστό ακρίβειας περιγράφει την απόδοση υπό ένα συγκεκριμένο σύνολο συνθηκών. Πριν εφαρμόσετε αυτό το ποσοστό σε ένα άλλο κομμάτι γραφής, ελέγξτε:

• Η έκδοση του ανιχνευτή
• Το μήκος, η γλώσσα, το θέμα και η μορφή του κειμένου
• Το μοντέλο τεχνητής νοημοσύνης και οι ρυθμίσεις που χρησιμοποιήθηκαν για τη δημιουργία του υλικού δοκιμής
• Εάν το κείμενο επεξεργάστηκε ή τροποποιήθηκε σκόπιμα
• Οι συγγραφείς που αντιπροσωπεύονται στα δείγματα που γράφτηκαν από ανθρώπους

Ξεκινήστε με τις υποστηριζόμενες εισόδους του εργαλείου

Το Turnitin, για παράδειγμα, απαιτεί τουλάχιστον 300 λέξεις πεζογραφίας μεγάλης φόρμας. Αναφέρει ότι το μοντέλο του δεν ανιχνεύει αξιόπιστα ποίηση, σενάρια, κώδικα ή άλλες μορφές εκτός πεζογραφίας που παράγονται από AI. Η ισχυρή απόδοση στα δοκίμια μας λέει επομένως λίγα πράγματα για το πώς ο ίδιος ανιχνευτής θα χειριστεί ένα ποίημα ή ένα σύντομο email.

Συγκρίνετε τη δοκιμή με τη γραφή του πραγματικού κόσμου

Το 2024, οι ερευνητές δοκίμασαν 12 ανιχνευτές χρησιμοποιώντας το RAID, ένα σημείο αναφοράς που περιέχει περισσότερα από 6 εκατομμύρια αποσπάσματα που παράγονται από τεχνητή νοημοσύνη σε 11 μοντέλα και οκτώ θεματικά πεδία. Η απόδοση μειώθηκε όταν οι ανιχνευτές συνάντησαν άγνωστα μοντέλα, διαφορετικές ρυθμίσεις παραγωγής ή σκόπιμα τροποποιημένο κείμενο.

Μια πρόκληση του 2025 που χρησιμοποίησε το RAID παρήγαγε ισχυρότερα αποτελέσματα υπό πιο οικείες συνθήκες. Αρκετοί συμμετέχοντες εντόπισαν πάνω από το 99% του κειμένου που παρήχθη από μηχανή, διατηρώντας παράλληλα ποσοστό ψευδώς θετικών 5%. Τα θεματικά πεδία και τα μοντέλα τεχνητής νοημοσύνης που χρησιμοποιήθηκαν στη δοκιμή αντιπροσωπεύονταν επίσης στα δεδομένα εκπαίδευσης.

Συνολικά, τα αποτελέσματα δείχνουν ότι οι ανιχνευτές μπορούν να αποδώσουν καλά σε ποικίλο υλικό που έχουν εκπαιδευτεί να αναγνωρίζουν, ενώ το άγνωστο υλικό παραμένει πιο δύσκολο να αξιολογηθεί.

Κοιτάξτε ποιος εκπροσωπήθηκε

Σε μια μελέτη του 2023, επτά ανιχνευτές κατέταξαν εσφαλμένα κατά μέσο όρο το 61,3% από 91 δοκίμια TOEFL γραμμένα από μη φυσικούς ομιλητές της αγγλικής γλώσσας ως παραγόμενα από τεχνητή νοημοσύνη. Αυτό το αποτέλεσμα ισχύει για τα εργαλεία και τα δείγματα που δοκιμάστηκαν εκείνη τη στιγμή. Δείχνει επίσης γιατί ένα συνολικό ποσοστό ακρίβειας ενδέχεται να μην περιγράφει την απόδοση εξίσου καλά για κάθε ομάδα συγγραφέων.

Πώς να διαβάσετε έναν ισχυρισμό ακρίβειας: Όσο πιο κοντά είναι το υποβληθέν κείμενο στο υλικό που χρησιμοποιήθηκε στη δοκιμή, τόσο πιο σχετικό γίνεται το αναφερόμενο αποτέλεσμα.

Το τελικό έγγραφο δείχνει μόνο μέρος του πώς γράφτηκε

Η τεχνητή νοημοσύνη μπορεί να παίξει πολλούς ρόλους στη διαδικασία συγγραφής. Κάποιος μπορεί να τη χρησιμοποιήσει για να ερευνήσει ένα θέμα, να οργανώσει σημειώσεις, να μεταφράσει ένα απόσπασμα, να γυαλίσει μια πρόταση ή να παράγει ένα πρώτο πρόχειρο.

Αυτές οι ροές εργασίας μπορούν να οδηγήσουν σε πολύ διαφορετικά έγγραφα. Ένας συγγραφέας μπορεί να χρησιμοποιήσει την τεχνητή νοημοσύνη για έρευνα και να συνθέσει κάθε πρόταση ανεξάρτητα. Ένας άλλος μπορεί να ξαναγράψει ουσιαστικά ένα προσχέδιο που παράγεται από τεχνητή νοημοσύνη. Ένας τρίτος μπορεί να προσθέσει μια παραγόμενη παράγραφο σε ένα κατά τα άλλα γρα από ανθρώπους άρθρο.

Ένας ανιχνευτής κειμένου βλέπει τις λέξεις που υποβλήθηκαν. Δεν έχει πρόσβαση στα προτροπές (prompts), τις διορθώσεις ή τις αποφάσεις που προηγήθηκαν αυτών. Η βαθμολογία του δεν μπορεί να ανασυνθέσει ολόκληρη τη διαδικασία γραφής ή να προσδιορίσει εάν ο συγγραφέας ακολούθησε μια συγκεκριμένη πολιτική. Για παράδειγμα,

• Ένα σχολείο μπορεί να επιτρέπει την ανταλλαγή απόψεων (brainstorming), απαιτώντας παράλληλα από τους μαθητές να γράψουν την εργασία μόνοι τους.
• Ένας εκδότης μπορεί να επιτρέψει την επεξεργασία με τη βοήθεια τεχνητής νοημοσύνης όταν αυτή αποκαλύπτεται.
• Ένας χώρος εργασίας μπορεί να ενδιαφέρεται περισσότερο για την ακρίβεια των γεγονότων, την εμπιστευτικότητα ή την απόδοση πηγών παρά για το αν η τεχνητή νοημοσύνη συνέβαλε στη διατύπωση.

Η εφαρμογή αυτών των κανόνων απαιτεί αποδεικτικά στοιχεία σχετικά με τη διαδικασία καθώς και το τελικό κείμενο. Το ιστορικό πρόχειρων, οι σημειώσεις έρευνας και η εξήγηση ενός συγγραφέα μπορούν να παρέχουν πλαίσιο που ένας ανιχνευτής δεν μπορεί. Το Turnitin συμβουλεύει ρητά τους εκπαιδευτικούς να μην χρησιμοποιούν τη βαθμολογία γραφής AI ως αποκλειστική βάση για δυσμενή ενέργεια εναντίον ενός μαθητή.

Ένας ανιχνευτής μπορεί να εντοπίσει γλώσσα που μοιάζει με τα μοτίβα που συνδέει με την τεχνητή νοημοσύνη. Η απόφαση για το τι συνέβη και αν επιτρεπόταν απαιτεί ευρύτερη αναθεώρηση.

Τα υδατογραφήματα προσθέτουν ένα διαφορετικό είδος σήματος

Ορισμένα συστήματα τεχνητής νοημοσύνης μπορούν να προσθέσουν ένα ανιχνεύσιμο μοτίβο καθώς παράγουν κείμενο. Αυτή η διαδικασία ονομάζεται υδατογράφηση.

Πώς λειτουργεί ένα υδατογράφημα κειμένου

Το SynthID του Google DeepMind παρέχει ένα παράδειγμα:

1. Το σύστημα προσαρμόζει τις πιθανότητες των token. Αλλάζει ελαφρώς την πιθανότητα να επιλέξει το μοντέλο συγκεκριμένες λέξεις ή μέρη λέξεων.
2. Αυτές οι επιλογές δημιουργούν ένα μοτίβο. Το υδατογράφημα έχει σχεδιαστεί για να παραμένει αόρατο στον αναγνώστη.
3. Ένας συμβατός ανιχνευτής το ελέγχει. Ο ανιχνευτής αναλύει το κείμενο για το αναμενόμενο στατιστικό σήμα.

Επειδή το μοτίβο προστίθεται κατά τη διάρκεια της δημιουργίας, μπορεί να παρέχει πληροφορίες συνδεδεμένες με το σύστημα που παρήγαγε το κείμενο.

Τι περιορίζει την ανίχνευση υδατογραφήματος

• Ο γεννήτορας πρέπει να το προσθέσει. Το σύστημα τεχνητής νοημοσύνης πρέπει να υποστηρίζει και να εφαρμόζει το υδατογράφημα. Ένα αποόν υδατογράφημα δεν αποδεικτίζει ότι ένα άτομο έγραψε το κείμενο.
• Πρέπει να παραμείνει αρκετό από το μοτίβο. Η Google αναφέρει ότι το SynthID μπορεί να αντέξει κάποια περικοπή, αλλαγές λέξεων και ήπια παράφραση. Η εκτεταμένη επανεγγραφή ή μετάφραση μπορεί να μειώσει την εμπιστοσύνη του.

Τα υδατογραφήματα μπορούν να ενισχύσουν τα αποδεικτικά στοιχεία όταν ένα συμβατό σύστημα παρήγαγε το κείμενο και παραμένει αρκετό από το σήμα. Δεν μπορούν να εντοπίσουν κάθε κομμάτι γραφής που παράγεται από τεχνητή νοημοσύνη.

Άλλα αρχεία μπορούν να συμπληρώσουν την εικόνα

• Το ιστορικό πρόχειρων δείχνει πώς άλλαξε ένα έγγραφο με την πάροδο του χρόνου.
• Οι σημειώσεις έρευνας συνδέουν τους ισχυρισμούς με τις πηγές.
• Οι δηulοσιοποιημένες αλληλεπιδράσεις τεχνητής νοημοσύνης δείχνουν πού συνέβαλε ένα εργαλείο.

Αυτά τα αρχεία παρέχουν πιο άμεσο πλαίσιο σχετικά με τη διαδικασία γραφής από ό,τι μια βαθμολογία βασισμένη σε μοτίβα μόνη της.

Αντιμετωπίστε μια επισήμανση ως την αρχή μιας αναθεώρησης

Το αποτέλεσμα ενός ανιχνευτή γίνεται πιο χρήσιμο όταν έχει έναν καθορισμένο ρόλο. Πριν ενεργήσουν βάσει μιας επισήμανσης, οι αξιολογητές θα πρέπει να κατανοήσουν τι μέτρησε το εργαλείο, να επιβεβαιώσουν ότι το κείμενο εμπίπτει στο πεδίο εφαρμογής του και να εξετάσουν τα άλλα διαθέσιμα αποδεικτικά στοιχεία.

Πέντε έλεγχοι μπορούν να βοηθήσουν:

1. Διαβάστε τον ορισμό της βαθμολογίας. Προσδιορίστε εάν το ποσοστό αντιπροσωπεύει πιθανότητα σε επίπεδο εγγράφου ή το μερίδιο του κειμένου που επισημάνθηκε.
2. Ελέγξτε το πεδίο εφαρμογής του εργαλείου. Επιβεβαιώστε ότι η γλώσσα, το μήκος και η μορφή του εγγράφου ταιριάζουν με αυτά που υποστηρίζει ο ανιχνευτής.
3. Εξετάστε τα αποδεικτικά στοιχεία. Εξετάστε τα επισημασμένα αποσπάσματα παράλληλα με πρόχειρα, σημειώσεις πηγών και την εξήγηση του συγγραφέα.
4. Εφαρμόστε τη σχετική πολιτική. Προσδιορίστε ποιες χρήσεις τεχνητής νοημοσύνης επιτρέπονται και ποια αποδεικτικά στοιχεία θα καταδείκνυαν παραβίαση.
5. Αξιολογήστε το ίδιο το έργο. Εξετάστε την ακρίβεια των γεγονότων, την απόδοση πηγών, την πρωτοτυπία και την ποιότητα με τους δικούς τους όρους.

Τα διακυβεύματα θα πρέπει να διαμορφώνουν το βάθος της αναθεώρησης. Ένας συντάκτης μπορεί να χρησιμοποιήσει μια επισήμανση για να αποφασίσει ποιο άρθρο χρειάζεται μια νέα ματιά. Μια απόφαση που επηρεάζει έναν βαθμό, μια εργασία ή μια συμφωνία δημοσίευσης απαιτεί ισχυρότερα αποδεικτικά στοιχεία και την ευκαιρία στον συγγραφέα να εξηγήσει τη διαδικασία του.

Ένας ανιχνευτής τεχνητής νοημοσύνης συμπιέζει μια σύνθετη κρίση σε μια βαθμολογία. Η ερμηνεία αυτής της βαθμολογίας απαιτεί πληροφορίες που ο αριθμός δεν περιέχει: τι μέτρησε το εργαλείο, ποιο όριο χρησιμοποίησε, πώς απέδωσε σε συγκρίσιμη γραφή και πόσο κοινό είναι το κείμενο που παράγεται από τεχνητή νοημοσύνη στο υλικό που εξετάζεται. Η βαθμολογία μπορεί να κατευθύνει την προσοχή. Η βαθμολογία ενός ανιχνευτή μπορεί να συμβάλει σε αυτήν την αναθεώρηση, αλλά οποιοδήποτε συμπέρασμα σχετικά με τη συγγραφή απαιτεί επίσης αποδεικτικά στοιχεία σχετικά με τη διαδικασία γραφής.

Συχνές ερωτήσεις

Μπορεί οι ανιχνευτές τεχνητής νοημοσύνης να κάνουν λάθος;

Ναι. Ένα ψευδώς θετικό αποτέλεσμα συμβαίνει όταν ένας ανιχνευτής επισημάνει ανθρώπινη γραφή ως παραγόμενη από τεχνητή νοημοσύνη. Ένα ψευδώς αρνητικό αποτέλεσμα συμβαίνει όταν η γραφή που παράγεται από τεχνητή νοημοσύνη παραμένει απαρατήρητη. Η συχνότητα κάθε σφάλματος εξαρτάται από τον ανιχνευτή, το όριό του και το πόσο στενά μοιάζει το υποβληθέν κείμενο με το υλικό που χρησιμοποιήθηκε για τη δοκιμή του.

Πόσο ακριβείς είναι οι ανιχνευτές τεχνητής νοημοσύνης;

Δεν υπάρχει ενιαίο ποσοστό ακρίβειας για τους ανιχνευτές τεχνητής νοημοσύνης. Η απόδοση μπορεί να ποικίλλει ανάλογα με τη γλώσسام, το μήκος, το θέμα, το στυλ γραφής, το μοντέλο παραγωγής και την ποσότητα επεξεργασίας. Ένας ισχυρισμός ακρίβειας είναι πιο χρήσιμος όταν οι συνθήκες δοκιμής μοιάζουν με τη γραφή που αξιολογείται και το αποτέλεσμα αναφέρει τόσο ψευδώς θετικά όσο και επιτυχείς ανιχνεύσεις.

Τι σημαίνει ένα ποσοστό ανίχνευσης τεχνητής νοημοσύνης;

Ο ορισμός εξαρτάται από το εργαλείο. Μπορεί να αντιπροσωπεύει την εκτιμώμενη πιθανότητα ότι ένα έγγραφο παράγεται από τεχνητή νοημοσύνη, το ποσοστό του προκριματικού κειμένου που επισημαίνεται ή μια μορφή εμπιστοσύνης στο αποτέλεσμα. Η τεκμηρίωση του ανιχνευτή θα πρέπει να εξηγεί ποια μέτρηση αναφέρει.

Μπορεί ένας ανιχνευτής τεχνητής νοημοσύνης να αποδείξει ότι κάποιος χρησιμοποίησε τεχνητή νοημοσύνη;

Μια βαθμολογία ανιχνευτή από μόνη της δεν μπορεί να αποδείξει πώς δημιουργήθηκε ένα έγγραφο. Αναλύει το υποβληθέν κείμενο χωρίς να βλέπει τα προτροπές (prompts), τα πρόχειρα, τις διορθώσεις ή την έρευνα πίσω από αυτό. Μια αξιόπιστη αναθεώρηση εξετάζει τη βαθμολογία παράλληλα με αποδεικτικά στοιχεία της διαδικασίας και την πολιτική που διέπει την αποδεκτή χρήση τεχνητής νοημοσύνης.

Γιατί η ανθρώπινη γραφή επισημαίνεται μερικές φορές ως AI;

Η ανθρώπινη γραφή και η γραφή που παράγεται από τεχνητή νοημοσύνη μπορούν να μοιράζονται τα ίδια στατιστικά μοτίβα. Η τυποποιημένη γλώσsa, η προβλέψιμη διατύπωση, το περιορισμένο λεξιλόγιο ή ένα στυλ που διαφέρει από τα δεδομένα εκπαίδευσης του ανιχνευτή ενδέχεται να συμβάλουν σε ένα ψευδώς θετικό αποτέλεσμα. Η έρευνα έχει επίσης διαπιστώσει ότι ορισμένοι ανιχνευτές που δοκιμάστηκαν το 2023 επισημάνθηκαν δυσανάλογα δοκίμια γραμμένα από μη φυσικούς ομιλητές της αγγλικής.