Πώς να παρακολουθείτε και να ελέγχετε τη δαπάνη tokens της ομάδας

Τι είναι η δαπάνη tokens

Η δαπάνη tokens είναι ο αριθμός των tokens που καταναλώνει μια ομάδα χρησιμοποιώντας AI, καθώς και το κόστος αυτών των tokens. Το token είναι μια μονάδα κειμένου, όπως μια λέξη, ένα τμήμα λέξης ή ένα σημείο στίξης, την οποία διαβάζει ή γράφει ένα μοντέλο AI. Στα αγγλικά, 1 token αντιστοιχεί περίπου σε 4 χαρακτήρες. Τα tokens δεν είναι τυποποιημένα μεταξύ μοντέλων ή παρόχων, οπότε το ίδιο κείμενο μπορεί να δώσει διαφορετικό πλήθος tokens σε διαφορετικά εργαλεία.

Οι αναφορές χρήσης συνήθως χωρίζουν τα tokens σε μερικούς τύπους:

• Τα tokens εισόδου είναι όλα όσα διαβάζει το μοντέλο για ένα αίτημα. Σε αυτά περιλαμβάνονται το ερώτημα, τυχόν συνημμένο κείμενο και το ιστορικό συνομιλίας που επαναχρησιμοποιεί το μοντέλο από προηγούμενα σημεία του ίδιου νήματος.
• Τα tokens εξόδου είναι η απάντηση που γράφει το μοντέλο. Συχνά κοστίζουν περισσότερο από τα tokens εισόδου. Στην τιμολόγηση του API της Perplexity, ορισμένα μοντέλα χρεώνουν έξι φορές περισσότερο για την έξοδο.
• Τα tokens συλλογιστικής είναι κείμενο που παράγει εσωτερικά ένα μοντέλο για να επεξεργαστεί ένα πρόβλημα πριν απαντήσει. Δεν εμφανίζονται στην απάντηση, επομένως μια μεγαλύτερη ορατή απάντηση δεν σημαίνει απαραίτητα ότι το μοντέλο χρησιμοποίησε συνολικά περισσότερα tokens.

Οι ομάδες που χρησιμοποιούν εργαλεία AI με συνδρομή σπάνια βλέπουν χρέωση ανά token. Ωστόσο, τα tokens εξακολουθούν να καθορίζουν τι λαμβάνουν, καθώς οι πιο απαιτητικές εργασίες εξαντλούν τις πιστώσεις ή φτάνουν τα όρια χρήσης γρηγορότερα. Αντίθετα, οι ομάδες που αναπτύσσουν τα δικά τους εργαλεία πάνω σε ένα μοντέλο AI συνήθως πληρώνουν ανά token, με τιμολόγηση βάσει χρήσης.

Πώς να παρακολουθείτε τη δαπάνη tokens

Παρακολούθηση της δαπάνης tokens σε συνδρομητικό πρόγραμμα

Τα συνδρομητικά εργαλεία συνήθως δεν εμφανίζουν το πλήθος των tokens. Αντίθετα, πολλά προγράμματα χρησιμοποιούν πιστώσεις, δηλαδή προπληρωμένες μονάδες που αφαιρούνται σταδιακά από το πρόγραμμα καθώς ολοκληρώνεται η εργασία. Οι πιστώσεις δεν είναι το ίδιο με τα tokens, αφού μία πίστωση μπορεί να καλύπτει κείμενο, εικόνες ή άλλη εργασία. Ωστόσο, οι εργασίες που χρησιμοποιούν περισσότερα tokens συνήθως χρησιμοποιούν και περισσότερες πιστώσεις, οπότε οι πιστώσεις αποτελούν τον καλύτερο οδηγό για τη δαπάνη tokens σε μια συνδρομή. Οι χρήστες μπορούν να παρακολουθούν τη δική τους χρήση πιστώσεων, ενώ ορισμένα προγράμματα περιλαμβάνουν επίσης πίνακα ελέγχου διαχειριστή που εμφανίζει τη χρήση πιστώσεων για ολόκληρη την ομάδα.

Στο Perplexity, για παράδειγμα, οι κανονικές αναζητήσεις δεν χρησιμοποιούν πιστώσεις. Τις χρησιμοποιεί μόνο το Perplexity Computer, ο βοηθός που χειρίζεται εργασίες πολλών βημάτων. Όσοι χρησιμοποιούν το Computer μπορούν να δουν πόσες πιστώσεις έχουν χρησιμοποιήσει και για ποιο σκοπό. Κάθε εργασία του Computer εμφανίζει επίσης το δικό της σύνολο πιστώσεων στο μενού «Χρήση» της αντίστοιχης συνομιλίας.

Μεγέθυνση

Στα προγράμματα Enterprise, οι διαχειριστές μπορούν να δουν πόσα άτομα χρησιμοποιούν το Perplexity και πόσα ερωτήματα εκτελούν κάθε εβδομάδα στον πίνακα ελέγχου Insights (διαθέσιμος για οργανισμούς με 50 ή περισσότερες θέσεις ή με τουλάχιστον ένα μέλος Enterprise Max).

Μεγέθυνση

Παρακολούθηση της δαπάνης tokens στις αναφορές χρήσης του API

Οι αναφορές χρήσης του παρόχου API εμφανίζουν απευθείας το πλήθος των tokens, συνήθως ανά τύπο token. Η κονσόλα API Platform της Perplexity, για παράδειγμα, επιτρέπει στους χρήστες να παρακολουθούν μετρικές όπως τη δαπάνη tokens εισόδου, εξόδου και συλλογιστικής στη σελίδα Χρεώσεων.

Γιατί αυξάνεται η δαπάνη tokens

Οι πράκτορες εκτελούν πολλά βήματα ανά εργασία και κάθε βήμα είναι ξεχωριστό αίτημα προς ένα μοντέλο. Μία μόνο εργασία μπορεί να φτάσει τις εκατοντάδες χιλιάδες ή ακόμη και τα εκατομμύρια tokens.

Επιπλέον, τα μοντέλα συλλογιστικής γίνονται όλο και πιο διαδεδομένα. Ένα μοντέλο συλλογιστικής καταγράφει τη σκέψη του πριν απαντήσει, και κάθε λέξη αυτής της σκέψης μετράει ως tokens. Έτσι, το ίδιο αίτημα συνήθως χρησιμοποιεί περισσότερα tokens σε ένα μοντέλο συλλογιστικής απ' ό,τι σε ένα τυπικό μοντέλο, παρόλο που η απάντηση στην οθόνη φαίνεται ίδιου μήκους.

Τέλος, καθώς όλο και περισσότεροι άνθρωποι και ροές εργασίας χρησιμοποιούν AI γενικότερα, η χρήση tokens συσσωρεύεται. Μέρος αυτής της αύξησης οφείλεται επίσης στο tokenmaxxing, όπου οι μηχανικοί εκτελούν πράκτορες κυρίως για να αυξήσουν το προσωπικό τους πλήθος tokens και να ανέβουν στις εσωτερικές κατατάξεις tokens.

Πώς να μειώσετε τη δαπάνη tokens

Η υψηλή δαπάνη tokens προέρχεται κυρίως από λίγα είδη εργασιών που χρησιμοποιούν περισσότερα tokens απ' ό,τι φαίνεται.

Μεγάλες συνομιλίες και εργασίες πρακτόρων

Κάθε φορά που ένα μοντέλο απαντά, συνήθως ξαναδιαβάζει ολόκληρη τη συνομιλία μέχρι εκείνη τη στιγμή. Κάθε νέο αίτημα περιλαμβάνει όλο το προηγούμενο ιστορικό της συνομιλίας μαζί με το τρέχον μήνυμα του χρήστη. Έτσι, μια σύντομη ερώτηση προς το τέλος ενός μεγάλου νήματος χρησιμοποιεί περισσότερα tokens από την ίδια ερώτηση σε ένα νέο νήμα. Οι εργασίες πρακτόρων λειτουργούν με τον ίδιο τρόπο, επειδή κάθε βήμα προσθέτει τα αποτελέσματά του στο ιστορικό που ξαναδιαβάζει το επόμενο βήμα.

Μεγέθυνση

Τι μπορείτε να κάνετε

• Ξεκινήστε νέα συνομιλία όταν αλλάζει το θέμα. Ανοίξτε την με μια σύνοψη δύο ή τριών γραμμών για όσα στοιχεία από το παλιό νήμα χρειάζεται ακόμη το μοντέλο.
• Χωρίστε τις μεγάλες εργασίες πρακτόρων σε μικρότερες. Εκτελέστε κάθε τμήμα ως ξεχωριστή εργασία και μεταβιβάστε μόνο τα αποτελέσματα που χρειάζεται το επόμενο τμήμα.
• Ελέγξτε αν τα εργαλεία πρακτόρων της ομάδας χρησιμοποιούν συμπύκνωση πλαισίου. Η συμπύκνωση συνοψίζει αυτόματα τα παλαιότερα τμήματα μιας εργασίας, ώστε το μοντέλο να ξαναδιαβάζει λιγότερο. Αν ένα εργαλείο την προσφέρει ως ρύθμιση, ενεργοποιήστε την.

Επεξεργασία των ίδιων εγγράφων ξανά και ξανά

Όταν κάποιος επισυνάπτει το ίδιο μεγάλο αρχείο, όπως ένα εγχειρίδιο πολιτικών ή έναν κατάλογο προϊόντων, σε πολλά ξεχωριστά ερωτήματα, το μοντέλο διαβάζει ολόκληρο το αρχείο κάθε φορά. Κάθε ανάγνωση μετράει ως tokens εισόδου.

Τι μπορείτε να κάνετε

• Εκπαιδεύστε τους χρήστες να αντιγράφουν στο αίτημα το σχετικό τμήμα ενός εγχειριδίου ή καταλόγου αντί να επισυνάπτουν ολόκληρο το αρχείο.
• Δημιουργήστε σύντομες εκδοχές των εγγράφων που χρησιμοποιεί συχνά η ομάδα. Μια σύνοψη μίας σελίδας για μια εκτενή πολιτική μπορεί να αντικαταστήσει το πλήρες έγγραφο στα συνηθισμένα ερωτήματα.

Επαναλήψεις και βρόχοι

Όταν μια απάντηση δεν είναι αυτό που χρειαζόταν κάποιος και εκτελεί ξανά την εργασία, κάθε προσπάθεια χρησιμοποιεί tokens. Το ίδιο συμβαίνει όταν ένας πράκτορας κολλάει επαναλαμβάνοντας το ίδιο βήμα.

Τι μπορείτε να κάνετε

• Περιγράψτε με σαφήνεια την εργασία, το αποτέλεσμα και τις πηγές στο πρώτο αίτημα. Για παράδειγμα: «Συνόψισε σε πέντε κουκκίδες τους κύριους λόγους για τους οποίους οι πελάτες ακύρωσαν τη συνδρομή τους το 3ο τρίμηνο, χρησιμοποιώντας μόνο τα συνημμένα αποτελέσματα του ερωτηματολογίου».
• Ελέγξτε τα πρώτα βήματα μιας εργασίας πράκτορα. Αν ο πράκτορας επαναλαμβάνει το ίδιο βήμα ή την ίδια αναζήτηση, σταματήστε τον και ξεκινήστε ξανά με ένα πιο στοχευμένο αίτημα.

Μεγάλα μοντέλα για απλές εργασίες

Τα πιο ικανά μοντέλα συνήθως κοστίζουν περισσότερο ανά token, οπότε οι συνηθισμένες εργασίες, όπως οι συνόψεις ή η αναμόρφωση κειμένου, μπορεί να εξαντλήσουν τον προϋπολογισμό μιας ομάδας γρηγορότερα απ' ό,τι χρειάζεται.

Τι μπορείτε να κάνετε

• Χρησιμοποιήστε δρομολόγηση μοντέλων, η οποία αντιστοιχίζει κάθε εργασία σε ένα μοντέλο που μπορεί να τη χειριστεί. Μια σύντομη αναδιατύπωση ή σύνοψη μπορεί να ανατεθεί σε ένα μικρότερο, φθηνότερο μοντέλο, ενώ το πιο ικανό μοντέλο φυλάσσεται για συλλογιστική πολλών βημάτων ή ανάλυση. Το API της Perplexity ακολουθεί αυτή την προσέγγιση με τις προρρυθμίσεις του, οι οποίες αναθέτουν ένα μικρότερο μοντέλο σε μια γρήγορη αναζήτηση και ένα μεγαλύτερο σε μια εξαντλητική ανάλυση.

Απότομες αυξήσεις μετά από νέες ροές εργασίας

Μια νέα αυτοματοποιημένη ροή εργασίας ή ένα εργαλείο που διατίθεται σε ολόκληρη την ομάδα μπορεί να αυξήσει τη χρήση από τη μία μέρα στην άλλη. Μια απότομη αύξηση δεν αποτελεί πρόβλημα από μόνη της, αλλά αξίζει να γνωρίζετε ποια εργασία την προκάλεσε.

Τι μπορείτε να κάνετε

• Δοκιμάστε πρώτα τις νέες ροές εργασίας με μια μικρή ομάδα χρηστών. Ελέγξτε τη χρήση τους για μία ή δύο εβδομάδες πριν διαθέσετε τη ροή εργασίας σε ολόκληρη την ομάδα.
• Ορίστε μηνιαίο προϋπολογισμό για κάθε ομάδα. Βασίστε τον στη χρήση ενός τυπικού μήνα, ώστε μια απότομη αύξηση να ξεχωρίζει.
• Απενεργοποιήστε την αυτόματη αναπλήρωση. Όταν η αυτόματη αναπλήρωση είναι απενεργοποιημένη, η εργασία σταματά μόλις εξαντληθούν οι πιστώσεις, αντί να αγοράζονται αυτόματα περισσότερες πιστώσεις.

Πώς να βελτιστοποιήσετε τη δαπάνη tokens στο Perplexity

Για την καθημερινή χρήση

Το Computer χρησιμοποιεί πιστώσεις, αλλά εκτελείται μόνο όταν το επιλέξετε: είτε κάνοντας κλικ στο εικονίδιο του Computer, είτε εργαζόμενοι σε ένα Έργο που έχει ως προεπιλογή το Computer, είτε χρησιμοποιώντας τη λειτουργία Work του Comet.

Μεγέθυνση

Για να επιστρέψετε στην κανονική αναζήτηση, επιλέξτε το εικονίδιο του Perplexity ώστε να μεταβείτε ξανά στη λειτουργία Ερώτησης. Για να δουν τη χρήση πιστώσεων, οι χρήστες μπορούν να ανοίξουν το εργαλείο παρακολούθησης πιστώσεων μέσα από το περιβάλλον του Perplexity.

Μεγέθυνση

Οι ομάδες που εργάζονται σε Έργα, τους κοινόχρηστους χώρους εργασίας του Perplexity, μπορούν να ορίσουν την προεπιλεγμένη λειτουργία κάθε Έργου σε Αναζήτηση ή Computer. Ένα Έργο που χρησιμοποιείται κυρίως για γρήγορη έρευνα μπορεί να έχει ως προεπιλογή την Αναζήτηση, ώστε κανείς να μην ξεκινήσει κατά λάθος μια εργασία του Computer.

Για διαχειριστές Enterprise

• Μάθετε τι περιλαμβάνει κάθε θέση. Οι χρήστες Enterprise Pro λαμβάνουν μηνιαία κατανομή 500 πιστώσεων και οι χρήστες Enterprise Max λαμβάνουν 15.000 πιστώσεις. Οι πιστώσεις αυτές λήγουν στο τέλος κάθε μηνιαίου κύκλου και δεν μεταφέρονται στον επόμενο.
• Ορίστε πρώτα ένα προεπιλεγμένο όριο χρήσης. Το όριο χρήσης θέτει ανώτατο όριο στις επιπλέον πιστώσεις που μπορεί να αντλήσει ένα μέλος από την κοινόχρηστη δεξαμενή, μόλις εξαντληθεί η δική του κατανομή.
• Δημιουργήστε όρια με ονομασία για διαφορετικά είδη χρηστών. Οι διαχειριστές μπορούν να ορίσουν όρια όπως «Τυπικό», «Προχωρημένος χρήστης» και «Εξωτερικός συνεργάτης» και να τα αναθέσουν σε ομάδες χρηστών ή σε μεμονωμένα μέλη. Οι ομάδες μπορούν να δημιουργούνται στο Perplexity ή να συγχρονίζονται από τον πάροχο ταυτότητας της εταιρείας. Αν κάποιος ανήκει σε περισσότερες από μία ομάδες, ισχύει το υψηλότερο όριο.
• Χρησιμοποιήστε προσωπικές παρακάμψεις για τις εξαιρέσεις. Όταν ένα άτομο χρειάζεται διαφορετικό ανώτατο όριο από εκείνο της ομάδας του, η προσωπική παράκαμψη υπερισχύει κάθε ομαδικού ή κοινόχρηστου ορίου. Αυτό είναι χρήσιμο για ένα σύντομο έργο με εντατική έρευνα, χωρίς να χρειάζεται να αυξηθεί το ανώτατο όριο για ολόκληρη την ομάδα.
• Βάλτε ανώτατο όριο στην αυτόματη αναπλήρωση. Η αυτόματη αναπλήρωση συμπληρώνει αυτόματα την κοινόχρηστη δεξαμενή. Συνοδεύεται από ένα παραμετροποιήσιμο μηνιαίο όριο αναπλήρωσης, ώστε οι δαπάνες να μην αυξάνονται χωρίς καθορισμένο μέγιστο.
• Αποφασίστε πώς θα ζητούν τα μέλη περισσότερες πιστώσεις. Η ρύθμιση «Να επιτρέπεται στα μέλη να ζητούν περισσότερες πιστώσεις» δίνει τη δυνατότητα σε όσους φτάνουν το όριό τους να ζητούν περισσότερες από έναν διαχειριστή, αντί να διακόπτεται απευθείας η εργασία τους.
• Ελέγχετε τη χρήση κάθε μήνα. Η σελίδα «Πιστώσεις οργανισμού» εμφανίζει τις πιστώσεις που έχουν χορηγηθεί, έχουν χρησιμοποιηθεί και απομένουν για κάθε μέλος, μαζί με τα όρια των ομάδων και το υπόλοιπο της δεξαμενής. Για οργανισμούς με 50 ή περισσότερες θέσεις ή με τουλάχιστον ένα μέλος Enterprise Max, ο πίνακας ελέγχου Insights προσθέτει τους μηνιαίως ενεργούς χρήστες και τα εβδομαδιαία ερωτήματα με την πάροδο του χρόνου. Για περισσότερες λεπτομέρειες, τα αρχεία καταγραφής ελέγχου περιλαμβάνουν την εκτέλεση εργασιών, τη χρήση συνδέσμων, την κατανάλωση πιστώσεων και τις χορηγήσεις πιστώσεων.

Για ομάδες που αναπτύσσουν λύσεις με το API

• Δώστε σε κάθε εργαλείο ή ομάδα το δικό του κλειδί API. Το Perplexity μπορεί να εμφανίζει τη χρέωση για κάθε κλειδί ξεχωριστά, και τα ξεχωριστά κλειδιά καθιστούν σαφές ποιο εργαλείο ευθύνεται για τη χρήση.
• Ελέγξτε στη σελίδα Χρεώσεων ποιος τύπος token αυξάνεται. Η σελίδα εμφανίζει τα tokens εισόδου, εξόδου και συλλογιστικής με την πάροδο του χρόνου. Η αύξηση των tokens εισόδου συνήθως σημαίνει ότι ένα εργαλείο στέλνει περισσότερο κείμενο απ' όσο χρειάζεται. Η αύξηση των tokens συλλογιστικής σημαίνει ότι οι εργασίες εκτελούνται σε μοντέλα που επεξεργάζονται τα προβλήματα διεξοδικά.
• Χρησιμοποιήστε το Search API όταν ένα εργαλείο χρειάζεται μόνο αποτελέσματα αναζήτησης. Επιστρέφει αποτελέσματα από τον ιστό χωρίς να γράφει απάντηση κάποιο μοντέλο, και χρεώνει ανά αίτημα χωρίς πρόσθετες χρεώσεις βάσει tokens.
• Ξεκινήστε τα εργαλεία πρακτόρων από μια προρρύθμιση. Οι προρρυθμίσεις της Perplexity αντιστοιχίζουν το μέγεθος της εργασίας με το μέγεθος του μοντέλου και κρατούν τα απλά αιτήματα μακριά από τα πιο ακριβά μοντέλα.

Εργασία με προτεραιότητα στην τοπική εκτέλεση

Ορισμένες εργασίες δεν χρειάζονται καθόλου επί πληρωμή μοντέλο cloud. Το Portable Computer είναι μια έκδοση του πράκτορα της Perplexity που εκτελείται στον υπολογιστή του ίδιου του χρήστη, χρησιμοποιώντας ένα μοντέλο AI αποθηκευμένο σε αυτό το μηχάνημα. Επειδή το μοντέλο εκτελείται τοπικά, οι συνηθισμένες εργασίες δεν χρησιμοποιούν tokens επί πληρωμή. Συνδέεται με τον ιστό, με συνδεδεμένες εφαρμογές ή με ένα ισχυρότερο μοντέλο cloud μόνο όταν το απαιτεί μια εργασία, και ζητά πρώτα την άδεια του χρήστη.

Εξερευνήστε πώς το Perplexity Computer χειρίζεται εργασίες πολλών βημάτων στον ιστό, στα αρχεία και στα συνδεδεμένα εργαλεία.

Συχνές ερωτήσεις

Ποια είναι η διαφορά ανάμεσα στη δαπάνη tokens και στο κόστος AI;

Η δαπάνη tokens μετρά πόση εργασία AI κάνει μια ομάδα, με μονάδα μέτρησης τα tokens. Το κόστος AI καλύπτει όλα όσα πληρώνει μια ομάδα για να χρησιμοποιεί AI, συμπεριλαμβανομένων των συνδρομών, των επιπλέον πιστώσεων και της αρχικής εγκατάστασης. Η δαπάνη tokens καθορίζει το τμήμα αυτού του λογαριασμού που βασίζεται στη χρήση.

Πληρώνουν οι συνδρομητές ανά token;

Συνήθως όχι άμεσα. Τα συνδρομητικά εργαλεία μετρούν τη χρήση σε μηνύματα, ερωτήματα ή πιστώσεις, και οι εργασίες που χρησιμοποιούν περισσότερα tokens τα εξαντλούν γρηγορότερα. Στο Perplexity, οι κανονικές αναζητήσεις δεν χρησιμοποιούν καθόλου πιστώσεις· τις χρησιμοποιούν μόνο οι εργασίες του Computer.

Γιατί οι πράκτορες AI χρησιμοποιούν τόσο πολλά tokens;

Ένας πράκτορας ολοκληρώνει μια εργασία σε πολλά βήματα, και κάθε βήμα είναι ξεχωριστό αίτημα που ξαναδιαβάζει την εργασία που έχει γίνει μέχρι εκείνη τη στιγμή. Επομένως, μια μεγάλη εργασία χρησιμοποιεί περισσότερα tokens με κάθε βήμα που κάνει.

Γιατί η χρήση tokens αυξάνεται απότομα;

Οι περισσότερες απότομες αυξήσεις ακολουθούν μια αλλαγή στον τρόπο εργασίας μιας ομάδας, όπως μια νέα αυτοματοποιημένη ροή εργασίας, ένα εργαλείο που διατέθηκε σε περισσότερα άτομα ή μια μεγάλη εργασία πράκτορα. Η σύγκριση της ημερομηνίας της αύξησης με τις πρόσφατες κυκλοφορίες συνήθως αποκαλύπτει την αιτία. Η δοκιμή νέων ροών εργασίας πρώτα με μια μικρή ομάδα χρηστών βοηθά στην αποτροπή απότομων αυξήσεων.