Ένας πράκτορας με προτεραιότητα την τοπική εκτέλεση για ιδιωτική και αποδοτική εργασία γνώσης

Το Perplexity Portable Computer είναι ένας πράκτορας με προτεραιότητα την τοπική εκτέλεση (local-first).

Ολόκληρη η στοίβα εκτελείται τοπικά από προεπιλογή. Το μοντέλο, το πλαίσιο (harness), η συνομιλία και η τροχιά βρίσκονται όλα στο μηχάνημα του χρήστη. Η εργασία που απαιτεί τον έξω κόσμο, όπως η αναζήτηση στον Ιστό, σύνδεσμος ή η κλιμάκωση σε ένα ισχυρότερο μοντέλο-συμβουλό στο cloud, καλείται μόνο όταν είναι απαραίτητο και πάντα με τον έλεγχο του χρήστη. Συνεπώς, τα ευαίσθητα δεδομένα δεν φεύγουν ποτέ από τη συσκευα χωρίς άδεια, και τα τοπικά μοντέλα δεν φέρουν χρέωση εξαγωγής συμπερασμάτων (inference fee): το σύστημα είναι ιδιωτικό και αποδοτικό από πλευράς κόστους λόγω σχεδιασμού.

Ένας αποτελεσματικός agent με προσέγγιση local-first απαιτεί ο model και το harness να σχεδιαστούν από κοινού. Τα γενικής χρήσης harnesses προϋποθέτουν ένα frontier model που μπορεί να απορροφά μεγάλα contexts, να πλοηγείται σε ένα ευρύ tool surface και να σχεδιάζει σε μεγάλους χρονικούς ορίζοντες. Τα local models είναι λιγότερο αξιόπιστα υπό αυτές τις απαιτήσεις. Αντί να ζητάμε από ένα μικρό model να διαχειριστεί ένα harness φτιαγμένο για ένα μεγάλο, διαμορφώσαμε τα δύο ώστε να αλληλοσυμπληρώνονται: ένα harness προσαρμοσμένο στο προφίλ ικανοτήτων του model και ένα model post-trained για να χρησιμοποιεί αυτό το harness αποτελεσματικά.

Εισαγωγή

Οι δυνατότητες πρακτόρευσης τους τελευταίους μήνες έχουν εξελιχθεί ραγδαία σε ένα ευρύ φάσμα εργασιών γνώσης. Ενώ αυτές οι εξελίξεις φέρνουν μεγάλα κέρδη σε παραγωγικότητα και αποδοτικότητα, θέτουν επίσης δύο προκλήσεις.

Η κατανάλωση token αυξάνεται γρήγορα, και μαζί της η συνολική δαπάνη. Όταν η ευφυΐα προσπελάζεται μέσω των API μοντέλων ανοιχτού κώδικα που εκτελούνται σε απομακρυσμένες συστοιχίες, οι ιδιωτικές πληροφορίες και η πνευματική ιδιοκτησία φεύγουν από τη συσκευα του χρήστη με κάθε αίτημα. Καθώς οι πράκτορες κλιμακώνονται σε μεμονωμένες ροή εργασίας και ολόκληρους οργανισμούς, η δαπάνη token και η μεταφορά δεδομένων γίνονται ολοένα και πιο δύσκολο να διαχειριστούν.

Την ίδια στιγμή, τα μοντέλα ανοιχτού κώδικα έχουν βελτιωθεί με ακόμη ταχύτερο ρυθμό. Η πρόοδος είναι πιο ορατή σε πολύ μικρά και αποδοτικά μοντέλα, όπως τα NVIDIA Nemotron 3.5 Lightning (30B συνολικές παράμετροι), Qwen 3.6 (35B) και Qwen 3.8 (27B). Αυτά τα μικρά μοντέλα αποδίδουν υπεράνω του βάρους τους και είναι πλέον ικανά για σύνθετες ροή εργασίας πρακτόρευσης. Το υλικό τοπικής εξαγωγής συμπερασμάτων προχωρά παράλληλα: συστήματα όπως το NVIDIA DGX Spark μπορούν πλέον να εκτελούν αυτά τα μοντέλα τοπικά. Μαζί, αυτές οι τάσεις καθιστούν την πλήρη λειτουργία στη συσκευα πρακτική, επιτρέποντας παράλληλα στους χρήστες να επιλέγουν εξωτερικές δυνατότητες όταν χρειάζεται, όπως αναζήτηση στον Ιστό, σύνδεσμος ή κλιμάκωση μοντέλου cloud.

Αυτή η προσέγγιση προτεραιότητας στην τοπική εκτέλεση επιτρέπει σημαντική εξοικονόμηση κόστους, καθώς η τοπική εξαγωγή συμπερασμάτων αποφεύγει τις χρεώσεις API ανά token. Επίσης, επιλύει φυσικά τις ανησυχίες περί απορρήτου και πνευματικής ιδιοκτησίας: τα ιδιωτικά token δεν χρειάζεται ποτέ να μετακινηθούν σε απομακρυσμένες συστοιχίες και παραμένουν με ασφάλεια εντός των ορίων της τοπικής συσκευής.

Τον Ιούνιο, παρουσιάσαμε τον πρώτο υβριδικό ερχεστρωτή εξαγωγής συμπερασμάτων τοπικού διακομιστή που αποφασίζει ποια εργασία θα εκτελεστεί στη συσκευα και ποια θα μεταβεί σε πράκτορες στο cloud. Εδώ εξηγούμε πώς κατασκευάσαμε έναν τέτοιο πράκτορα με προτεραιότητα την τοπική εκτέλεση, συμπεριλαμβανομένου του πλαισίου και των μοντέλων που έχουν βελτιστοποιηθεί από κοινού.

Παρέχουμε μια επισκόπηση των βασικών επιλογών σχεδιασμού, αξιολογώντας το Computer έναντι δημοφιλών πλαισίων γενικής χρήσης ανοιχτού κώδικα (Hermes και Pi) σε τρία δημόσια σημεία αναφοράς (benchmarks) και το εσωτερικό μας Local Knowledge Work Bench. Στο δικό μας σημείο αναφοράς, με το μοντέλο Qwen 3.8 27B να εκτελείται σε ένα NVIDIA DGX Spark, το Computer πετυχαίνει την υψηλότερη βαθμολογία, 82,6% έναντι 77,6% για το Pi και 74,0% για το Hermes. Το PPLX 27B, το μοντέλο μας που εκπαιδεύτηκε εκ των υστέρων πάνω στο Qwen 3.8 27B, ανεβάζει τη βαθμολογία περαιτέρω στο 85,4%.

Μεγέθυνση

Σχεδιασμός του πλαισίου γύρω από το τοπικό μοντέλο

Αν και τα συμπαγή μοντέλα επί της συσκευής είναι ήδη αρκετά ικανά, εξακολουθούν να υπολείπονται των μεγαλύτερων μοντέλων αιχμής σε απόδοση. Απαιτείται ένα προσεκτικά σχεδιασμένο πλαίσιο για την αποτελεσματική καθοδήγηση αυτών των μοντέλων και την αντιμετώπιση των περιορισμών τους.

Τα δημοφιλή πλαίσια ανοιχτού κώδικα, όπως το Pi και το Hermes, έχουν αποδειχθεί γενικά: λειτουργούν καλά με μια ευρεία ποικιλία μοντέλων σε διάφορα μεγέθη και κατηγορίες. Ωστόσο, δεν είναι βελτιστοποιημένα για τις δυνατότητες των μοντέλων επί της συσκευής. Σχεδιάσαμε το τοπικό πλαίσιο ειδικά για αυτό το περιβάλλον, γύρω από μερικές βασικές αρχές.

Αποδοτικότητα πλαισίου

Η κύρια εστίαση στον σχεδιασμό του πλαισίου μας ήταν η καλύτερη δυνατή αξιοποίηση του πλαισίου του μοντέλου.

Αν και τα on-device models όπως το Qwen 3.8 27B προσφέρουν context windows 260K tokens, διαπιστώσαμε εμπειρικά ότι αρχίζουν να δυσκολεύονται πέρα από τα 100K tokens. Γι’ αυτό κρατάμε το core harness συνοπτικό: ένα minimal system prompt και ένα μικρό σύνολο core tools.

Όλες οι άλλες δυνατότητες είναι αρθρωτές (modularized) σε δεξιότητα κατ' απαίτηση που φορτώνονται και εκφορτώνονται καθ' όλη τη διάρκεια της τροχιάς. Σχεδιάσαμε αυτές τις δεξιότητα για κοινές εργασίες εργασίας γνώσης: έρευνα, επιστήμη δεδομένων, οπτικοποίηση δεδομένων, δημιουργία εγγράφων, μηχανική λογισμικού και άλλα.

Το πλαίσιο υποστηρίζει επίσης τη συμπύκνωση πλαισίου, συνοψίζοντας το παλαιωμένο πλαίσιο όταν μια τροχιά μεγαλώνει, ώστε το μοντέλο να παραμένει εντός του αποτελεσματικού του παραθύρου.

Connectors ως εργαλεία γραμμής εντολών

Η καθημερινή εργασία γνώσης συχνά απαιτεί connectors όπως Gmail, GitHub, Outlook και Google Calendar. Αυτά συνήθως εκτίθενται σε ένα harness ως MCP servers, των οποίων οι εκτενείς ορισμοί εργαλείων καταναλώνουν σημαντικό μέρος του context. Αντί γι’ αυτό, μετατρέψαμε τα πιο συχνά χρησιμοποιούμενα MCPs σε συμπαγή, εύχρηστα εργαλεία γραμμής εντολών, συμπληρωμένα με προσαρμοσμένες δεξιότητες που αξιοποιούν πολύ καλύτερα το περιορισμένο αποτελεσματικό context.

Αυτο-επαλήθευση

Η απόδοση βελτιώνεται επίσης όταν ο πράκτορας επαληθεύει τη δική του εργασία. Η επαλήθευση προσθέτει επιπλέον βήματα, αλλά βελτιώνει σημαντικά τα τελικά αποτελέσματα και περιορίζει ουσιαστικά το χάσμα από τα μοντέλα αιχμής. Μπορεί να ενεργοποιηθεί από το ίδιο το μοντέλο ή από ένα σύνολο αγκίστρων (hooks) που παρακολουθούν την υγεία της τροχιάς και ζητούν αυτο-επαλήθευση όταν κάτι πάει στραβά.

Εκτέλεση σε Sandbox

Το harness εκτελεί εργαλεία σε ένα OS-level Sandbox στη συσκευή του χρήστη. Το όριο περιορίζει τις διεργασίες, τις διαδρομές του filesystem και την πρόσβαση στο δίκτυο σύμφωνα με την πολιτική. Αυτό περιορίζει την έκταση ζημιάς μιας λανθασμένης εντολής. Αν το Sandbox δεν είναι διαθέσιμο, το harness απενεργοποιείται πριν από οποιεσδήποτε κλήσεις εργαλείων, αντί να υποβαθμιστεί σε εκτέλεση χωρίς sandbox.

Αυτό διαφέρει από open-source harnesses όπως τα Pi και Hermes, τα οποία εκτελούν εντολές απευθείας με τα δικαιώματα του χρήστη από προεπιλογή. Στο Computer, η απομόνωση είναι πάντα ενεργή, δεν απαιτεί καμία ρύθμιση και τα εργαλεία δεν μπορούν να εκτελεστούν χωρίς αυτήν.

Το διάγραμμα παρακάτω δείχνει πώς αυτές οι αρχές συνδυάζονται στον βρόχο εκτέλεσης. Ο orchestrator είναι ντετερμινιστικός κώδικας harness, όχι LLM: διατηρεί τον βρόχο, συγκεντρώνει context και επιβάλλει την πολιτική. Το local model προτείνει την επόμενη ενέργεια· ο orchestrator εκτελεί εγκεκριμένες κλήσεις εργαλείων στο Sandbox και επιστρέφει τα αποτελέσματά τους στο model. Η web search, οι connectors και οι κλήσεις advisor διασχίζουν το όριο της συσκευής μόνο όταν είναι ενεργοποιημένες και εγκεκριμένες.

Μεγέθυνση

Ένα τοπικό πλαίσιο αξιοποιεί περισσότερο το ίδιο μοντέλο

Χρησιμοποιώντας το ίδιο βασικό μοντέλο επί της συσκευής, συγκρίνουμε το τοπικό μας πλαίσιο με εναλλακτικές λύσεις γενικής χρήσης στην έρευνα ιστού και την πολυτροπική κατανόηση εγγράφων. Όλα τα πλαίσια χρησιμοποιούν το μοντέλο Qwen 3.8 27B με μέτριο συλλογισμό, εκτελούμενο σε ένα NVIDIA DGX Spark. Αυτή η σύγκριση απομονώνει τις δυνατότητες που συνεισφέρει το ίδιο το πλαίσιο, πριν από οποιαδήποτε εκπαίδευση του μοντέλου εκ των υστέρων.

Εστιάζουμε σε αυτές τις δύο δυνατότητες επειδή η εργασία γνώσης συνδυάζει συχνά ιδιωτικά έγγραφα στη συσκευα του χρήστη με δημόσιες πληροφορίες από τον Ιστό για την παραγωγή ενός τεκμηριωμένου αντικείμενο. Η αναζήτηση στον Ιστό απαιτεί συνδεσιμότητα, αλλά η εξαγωγή συμπερασμάτων του μοντέλου και η επεξεργασία ιδιωτικών εγγράφων παραμένουν τοπικές. Τα τοπικά αρχεία χρησιμεύουν ως η αυθεντική πηγή, οι δημόσιες πηγές προσθέτουν πλαίσιο και οι χρήστες μπορούν να απενεργοποιήσουν εντελώς την αναζήτηση στον Ιστό για πλήρως offline εργασία.

Έρευνα ιστού

Κατασκευάζουμε το τοπικό μας πλαίσιο παράλληλα με τη μηχανή αναζήτησης του Perplexity, η οποία έχει πετύχει κορυφαίες κατατάξεις σε εξρευνήσεις ανεξάρτητων αξιολογήσεων. Το πλαίσιο έχει πρόσβαση σε αυτήν μέσω της διεπαφής Search as Code.

Αξιολογούμε την ποιότητα της έρευνας σε 1.266 εργασίες BrowseComp. Το Computer χρησιμοποιεί την υποδομή αναζήτησης του Perplexity μαζί με το τοπικό μας πλαίσιο, ενώ το Pi και το Hermes βασίζονται στο Brave, τον προτεινόμενο πάροχο αναζήτησης. Το Computer φτάνει σε ακρίβεια 66,7%, σε σύγκριση με 50,2% για το Pi και 43,9% για το Hermes.

Το Computer έχει επίσης τον χαμηλότερο μέσο καταγεγραμμένο χρόνο τοίχου (wall time) και χρήση token: 402,1 δευτερόλεπτα και 852k token ανά εργασία, σε σύγκριση με 1.020,9 δευτερόλεπτα και 1,01 εκατομμύρια token για το Hermes, και 826,0 δευτερόλεπτα και 2,82 εκατομμύρια token για το Pi. Συνεπώς, το Computer χρησιμοποιεί 61% λιγότερο χρόνο τοίχου και 16% λιγότερα token από το Hermes, και 51% λιγότερο χρόνο τοίχου και 70% λιγότερα token από το Pi.

Μεγέθυνση

Πολυτροπική κατανόηση εγγράφων επί της συσκευής

Πολλά έγγραφα μεταφέρουν πληροφορίες οπτικά και είναι δύσκολο να αναλυθούν ως απλό κείμενο: PDF, σαρωμένες σελίδες, στιγμιότυπα οθόνης, διαγράμματα και παρουσιάσεις. Αυτές οι ροή εργασίας εξαρτώνται από το OCR και την κατανόηση εικόνας, και επωφελούνται περισσότερο από ένα εγγενώς πολυτροπικό μοντέλο.

Το πλαίσιο μεταβιβάζει σελίδες εγγράφων και εικόνες απευθείας στο μοντέλο, το οποίο τις κατανοεί και συνδυάζει οπτικά στοιχεία με το εξαγόμενο κείμενο. Η επεξεργασία αυτών των αρχείων στη συσκευα διατηρεί τα ευαίσθητα έγγραφα και το εξαγόμενο περιεχόμενό τους ιδιωτικά.

Αξιολογούμε την πολυτροπική κατανόηση εγγράφων στο ParseBench-100, ένα υποσύνολο 100 εργασιών του σημείου αναφοράς ParseBench, με 20 εργασίες η κάθε μία για διαγράμματα, διάταξη, πίνακες, περιεχόμενο κειμένου και μορφοποίηση.

Το Computer φτάνει σε μέση βαθμολογία 65,1%, σε σύγκριση με 34,6% για το Hermes και 13,9% για το Pi. Ολοκληρώνει επίσης εργασίες με τον λιγότερο χρόνο και τα λιγότερα token: κατά μέσο όρο 60,6 δευτερόλεπτα και 20,1k token ανά εργασία, σε σύγκριση με 108,3 δευτερόλεπτα και 32,1k token για το Hermes, και 410,5 δευτερόλεπτα και 829,1k token για το Pi. Το Computer προηγείται και στις πέντε κατηγορίες εγγράφων, με το μεγαλύτερο πλεονέκτημά του στα διαγράμματα. Η διάταξη παραμένει δύσκολη και για τα τρία πλαίσια.

Μεγέθυνση

Πίνακας 1. Μέση βαθμολογία ParseBench-100 ανά κατηγορία εγγράφου για τα πλαίσια Computer, Hermes και Pi με το μοντέλο Qwen 3.8 27B επί της συσκευής. Το Computer προηγείται και στις πέντε κατηγορίες.

Μείωση του χάσματος της αιχμής με κλιμάκωση συμβούλου (advisor escalation)

Ακόμα και με ένα προσεκτικά σχεδιασμένο harness, οι δυσκολότερες εργασίες εξακολουθούν να υπερβαίνουν τις δυνατότητες ενός συμπαγούς on-device model. Για τέτοιες εργασίες, το harness εκθέτει ένα advisor tool: το local model μπορεί να συμβουλευτεί ένα ισχυρότερο frontier model όταν χρειάζεται βοήθεια με τον σχεδιασμό, την επίλυση ασάφειας, την ανάκαμψη από επαναλαμβανόμενες αποτυχίες ή την επαλήθευση του τελικού αποτελέσματος.

Το local model αποφασίζει πότε θα ζητήσει συμβουλή, ενώ ο orchestrator του harness διατηρεί την αρμοδιότητα για τα εργαλεία και ελέγχει ποιο context αποστέλλεται. Η κλιμάκωση είναι προαιρετική. Ο χρήστης αποφασίζει αν θα την ενεργοποιήσει και αν θα εγκρίνει κάθε κλήση advisor χειροκίνητα ή αυτόματα.

Πριν από μια κλήση advisor, το harness επιλέγει το σχετικό context, εφαρμόζει έναν ταξινομητή PII για να επισημάνει ευαίσθητες πληροφορίες και δείχνει στον χρήστη τι θα έβγαινε από τη συσκευή. Ο advisor λαμβάνει μόνο το εγκεκριμένο context και επιστρέφει καθοδήγηση σε μορφή κειμένου· δεν έχει άμεση πρόσβαση στα αρχεία, τα εργαλεία ή τις συνομιλίες της συσκευής. Αυτό βελτιώνει τόσο το κόστος όσο και το απόρρητο, και σχεδιάζουμε να εξερευνήσουμε περαιτέρω αυτή την κατεύθυνση σε μελλοντική εργασία.

Μεγέθυνση

Δοκιμάζουμε αυτήν την προσέγγιση σε απαιτητικές εργασίες μηχανικής λογισμικού, οι οποίες απαιτούν ισχυρό συλλογισμό και είναι ο τομέας όπου ένα τοπικό μοντέλο υστερεί συχνότερα. Για αυτό χρησιμοποιούμε το Terminal Bench 2.1, ένα δημοφιλές σημείο αναφοράς 89 εργασιών για πράκτορες κωδικοποίησης.

Θέλουμε να απαντήσουμε σε δύο ερωτήσεις: πόσο από το χάσμα προς ένα μοντέλο αιχμής μπορεί να κλείσει η κλιμάκωση συμβούλου και με ποιο κόστος. Τα πλήρως τοπικά μοντέλα δεν κοστίζουν σχεδόν τίποτα στην εκτέλεση, καθώς η εξαγωγή συμπερασμάτων συμβαίνει στο υλικό του χρήστη. Ωστόσο, μόλις το μοντέλο αρχίσει να καλεί τον σύμβουλο, αρχίζει να επιβαρύνεται με κόστη API.

Ως baseline για frontier performance, χρησιμοποιούμε το Claude Opus 5 σε λειτουργία στο local harness· το local model είναι το Qwen 3.8 27B. Τέλος, συνδυάζουμε τα δύο: το Qwen 3.8 27B εκτελεί την εργασία και κλιμακώνεται σε έναν Claude Opus 5 advisor όταν χρειάζεται βοήθεια. Δεν αξιολογούμε την κλιμάκωση προς advisor με τα Pi ή Hermes επειδή κανένα από τα δύο δεν παρέχει ισοδύναμο advisor tool· η προσθήκη ενός τέτοιου εργαλείου θα απαιτούσε τροποποίηση του tool surface και της λογικής orchestration, οπότε το αποτέλεσμα δεν θα αντιπροσώπευε πλέον το off-the-shelf harness.

Η κλιμάκωση συμβούλου αυξάνει τη βαθμολογία του Computer από 59,6% σε 73,0%, μια αύξηση 13,5 ποσοστιαίων μονάδων, με εκτιμώμενο κόστος API 0,415 $ ανά ανάπτυξη (rollout). Η εκτέλεση του Claude Opus 5 μόνο του φτάνει στο 82,4% με 0,65 $ ανά ανάπτυξη. Συνεπώς, η κλιμάκωση ανακτά περίπου τα τρία πέμπτα του χάσματος προς την αιχμή με περίπου τα δύο τρίτα του κόστους της αιχμής, και ο χρήστης αποφασίζει πότε αξίζει να κάνει αυτήν την ανταλλαγή.

Μεγέθυνση

Εκπαίδευση εκ των υστέρων (post-training) για το πλαίσιο και την εργασία γνώσης

Μέχρι στιγμής, έχουμε διατηρήσει το τοπικό μοντέλο αμετάβλητο για να απομονώσουμε τι συνεισφέρει το πλαίσιο. Με τον σχεδιασμό του πλαισίου στη θέση του, τα μεγαλύτερα εναπομείναντα κέρδη προέρχονται από την προσαρμογή του ίδιου του μοντέλου. Τα δεδομένα χρήσης του Perplexity Computer μας δείχνουν τι κάνουν πραγματικά οι άνθρωποι για την εργασία γνώσης, τα οποία χρησιμοποιούμε για να συνθέσουμε δεδομένα εκπαίδευσης. Εκπαιδεύουμε εκ των υστέρων το τοπικό μοντέλο μέσα στο πλαίσιο του Computer, καθοδηγούμενοι από την πραγματική κατανομή των εργασιών που εκτελούν οι χρήστες.

Συγκεκριμένα, εντοπίζουμε ένα ποικίλο σύνολο use cases που αξιοποιούν διαφορετικές δυνατότητες model, tools και connectors. Από αυτά τα use cases συνθέτουμε ρεαλιστικά reinforcement learning environments και ορίζουμε απαιτητικές αλλά επαληθεύσιμες εργασίες: κάθε εργασία αποτελείται από μια instruction, ένα environment και έναν verifier που βαθμολογεί το τελικό αποτέλεσμα, όπου το environment είναι ένα Docker container μέσα στο οποίο λειτουργεί το harness. Σημαντικό είναι ότι, επειδή οι εργασίες είναι συνθετικές, δεν περιέχουν πραγματικά έγγραφα ή πληροφορίες χρήστη.

Χρησιμοποιούμε αυτά τα περιβάλλοντα για εκπαίδευση δύο σταδίων: fine-tuning απόρριψης ακολουθούμενο από μάθηση ενίσχυσης. Στο πρώτο στάδιο, αναπτύσσουμε το μοντέλο έναντι κάθε εργασίας πολλαπλές φορές, επιλέγουμε τις καλύτερες τροχιές με βάση τη βαθμολογία του επαληθευτή και εκπαιδεύουμε σε αυτές με επιβλεπόμενη μάθηση. Αυτό το στάδιο προετοιμάζει το μοντέλο για το συγκεκριμένο πλαίσιο και την κατανομή εργασιών. Στο δεύτερο στάδιο, η μάθηση ενίσχυσης βελτιώνει περαιτέρω το μοντέλο, καθιστώντας το πιο ισχυρό.

Ένα υποσύνολο εργασιών κρατείται εκτός εκπαίδευσης και χρησιμοποιείται για την τελική αξιολόγηση· αποκαλούμε αυτό το σύνολο που κρατήθηκε Local Knowledge Work Bench: 53 εργασίες που εκτείνονται σε επτά κατηγορίες καθημερινής εργασίας γνώσης, από βαθιά έρευνα έως δημιουργία εγγράφων. Σύντομα θα δημοσιεύσουμε μια τεχνική αναφορά που περιγράφει λεπτομερώς την εκπαίδευση του μοντέλου και σχεδιάζουμε να διαθέσουμε αυτό το σημείο αναφοράς αξιολόγησης ως ανοιχτού κώδικα.

Εκπαιδεύσαμε εκ των υστέρων το Qwen 3.8 27B με αυτήν την προσέγγιση, παράγοντας ένα μοντέλο που αποκαλούμε PPLX 27B, και το αξιολογήσαμε στο Local Knowledge Work Bench. Με το βασικό μοντέλο Qwen 3.8 27B, το Computer πετυχαίνει την υψηλότερη βαθμολογία (82,6%, σε σύγκριση με 77,6% για το Pi και 74,0% για το Hermes) και χρησιμοποιεί τα λιγότερα token (520k, έναντι 681k για το Pi και 634k για το Hermes). Το Pi ολοκληρώνει τις εργασίες ταχύτερα σε 176 δευτερόλεπτα ανά εργασία, σε σύγκριση με 218 δευτερόλεπτα για το Computer και 292 δευτερόλεπτα για το Hermes. Το PPLX 27B ανεβάζει τη βαθμολογία του Computer στο 85,4%, με κόστος περισσότερα token (678k έναντι 520k). Ο εκτιμώμενος χρόνος τοίχου του είναι 250 δευτερόλεπτα.

Μεγέθυνση

Πίνακας 2. Κατηγορίες εργασιών του Local Knowledge Work Bench.

Συμπέρασμα

Η έρευνά μας δείχνει ότι ένα ισχυρό μοντέλο ανοιχτού κώδικα, με ικανό τοπικό υλικό και ένα πλαίσιο χτισμένο γι' αυτά, μπορεί να χειριστεί πραγματική εργασία γνώσης με σχεδόν μηδενικό κόστος εξαγωγής συμπερασμάτων, χωρίς να απαιτείται η απομάκρυνση ευαίσθητων δεδομένων από τη συσκευα.

Σε όλα τα διάφορα σημεία αναφοράς, το Computer ταίριαξε ή ξεπέρασε το Hermes και το Pi σε ακρίβεια, εκτελώντας το Qwen 3.8 27B σε ένα NVIDIA DGX Spark. Μεταξύ των τριών σημείων αναφοράς που αναφέρουν τη λανθάνουσα κατάσταση (latency) και τη χρήση token, το Computer ήταν το ταχύτερο στο BrowseComp και το ParseBench-100 και χρησιμοποίησε τα λιγότερα token και στα τρία· το Pi ήταν το ταχύτερο στο Local Knowledge Work Bench.

Τα κέρδη προήλθαν από τις επιλογές που κάναμε. Δημιουργήσαμε ένα συνοπτικό local harness με δεξιότητες που φορτώνονται on demand. Μετατρέψαμε τα connectors σε συμπαγή CLI tools αντί για MCP servers. Η εκτέλεση έγινε sandboxed για λόγους ασφαλείας.

Τα αποτελέσματα δείχνουν επίσης πού τα συμπαγή μοντέλα έχουν περιθώρια βελτίωσης. Για παράδειγμα, στις απαιτητικές εργασίες κωδικοποίησης του Terminal Bench 2.1, το τοπικό μοντέλο υστερεί σε σχέση με το μοντέλο αιχμής και στα τρία πλαίσια. Η κλιμάκωση συμβούλου στενεύει αλλά δεν κλείνει πλήρως το χάσμα· εξακολουθούν να απαιτούνται συνεχιζόμενες βελτιώσεις στις δυνατότητες των μοντέλων και στο τοπικό υλικό για να προωθηθεί η απόδοση περαιτέρω.

Ο σκοπός της κατασκευής του πλαισίου και του μοντέλου για τοπικούς περιορισμούς είναι να δοθεί στους χρήστες ρητός έλεγχος σχετικά με το ποια πληροφορία φεύγει από τα μηχανάνειά τους. Υπάρχουν επίσης οφέλη κόστους για τον χρήστη. Τα βλέπουμε αυτά ως μέρος μιας ευρύτερης μετατόπισης στην οποία ολοένα και πιο ικανοί πράκτορες μετακινούνται από την απομακρυσμένη υποδομή σε μεμονωμένες και τοπικές συσκευές. Αναμένουμε ότι οι εξελίξεις στα τσιπ, τα μοντέλα και τις συσκευές θα επεκτείνουν συνεχώς το εύρος και την ποιότητα της εργασίας γνώσης που χειρίζεται το Portable Computer τοπικά.

Παραπομπή

@online{perplexity2026ALocalFirstAgentForPrivateAndCostEffectiveKnowledgeWork,
  author = {{Perplexity} and Denis Yarats and Jack Ma and Joey Zhong and Phi Hoang and Jeremy Yang and Jesse Dwyer},
  title = {{A local-first agent for private and cost-effective knowledge work}},
  date = {2026-08-25},
  url = {https://www.perplexity.ai/hub/blog/a-local-first-agent-for-private-and-cost-effective-knowledge-work}
}