Το κέντρο δεδομένων μεταφέρεται στη συσκευή σας

Σήμερα ανακοινώσαμε το επόμενο βήμα για το Personal Computer: τον πρώτο υβριδικό τοπικό-διακομιστή ορχηστρωτή εξαγωγής συμπερασμάτων.

Ο σωστός στόχος για ένα σύστημα τεχνητής νοημοσύνης είναι να παρέχει τη μέγιστη αξία token ανά watt για κάθε χρήστη. Αυτό ακούγεται απλό. Δεν είναι, επειδή τρία πράγματα αλληλοσυγκρούονται.

Η ακρίβεια απαιτεί τα πιο ικana μοντέλα, τα οποία είναι δαπανηρά στη λειτουργία τους. Η ιδιωτικότητα απαιτεί ορισμένες εργασίες να μην εγκαταλείπουν ποτέ τη συσκευή σας. Το κόστος και η ενέργεια απαιτούν να μην ξοδεύετε την υπολογιστική ισχύ ενός κορυφαίου μοντέλου σε μια εργασία που μπορεί να χειριστεί ένα μικρότερο. Δεν μπορείτε να μεγιστοποιήσετε το ένα χωρίς να σέβεστε τα άλλα.

Η εξισορρόπηση και των τριών είναι ένα πρόβλημα ορχήστρωσης. Και η ορχήστρωση είναι αυτό που έκανε πάντα το Perplexity.

Σήμερα ανακοινώσαμε το επόμενο βήμα για το Personal Computer: τον πρώτο υβριδικό τοπικό-διακομιστή ορχηστρωτή εξαγωγής συμπερασμάτων (inference orchestrator). Αξιολογεί ποια εργασία πρέπει να εκτελεστεί στη συσκευή σας και ποια πρέπει να σταλεί σε πράκτορες στο cloud, και δρομολογεί κάθε μέρος μιας εργασίας στο σωστό μέρος αυτόματα.

Από τα μοντέλα στην υπολογιστική ισχύ

Το Perplexity ξεκίνησε ορχηστρώνοντας εργαλεία και πηγές για να παράγει ακριβείς, τεκμηριωμένες απαντήσεις. Το Computer το επέκτεινε σε ένα πλαίσιο για εκατοντάδες πράκτορες, που ενεργοποιούνται σε περισσότερα από είκοσι κορυφαία μοντέλα, επιλέγοντας το κατάλληλο για κάθε εργασία. Τώρα μπορούμε να επεκτείνουμε την ίδια ιδέα στην ίδια την υπολογιστική ισχύ: ποιο μοντέλο, πού εκτελείται και γιατί.

Η υβριδική εξαγωγή συμπερασμάτων από πράκτορες προορίζεται για εργασίες που περιλαμβάνουν ευαίσθητα δεδομένα αλλά απαιτούν ισχυρή τεχνητή νοημοσύνη. Πράγματα όπως οικονομικά αρχεία, πληροφορίες υγείας και προσωπικά αρχεία. Το συμπαγές μοντέλο εκτελείται τοπικά στη συσκευή σας για να καθορίσει πότε τα ευαίσθητα δεδομένα πρέπει επίσης να διατηρούνται τοπικά.

Εν τω μεταξύ, η εργασία που απαιτεί την πλήρη ικανότητα ενός κορυφαίου μοντέλου εκτελείται στον διακομιστή. Οι περισσότερες πραγματικές εργασίες είναι ένας συνδυασμός, οπότε το Personal Computer τις χωρίζει και συντονίζει τα μέρη. Σε αντίθεση με τα εργαλεία που σας ζητούν να επιλέξετε τοπικό ή cloud εκ των προτέρων, αυτό συμβαίνει μόνο του, εργασία προς εργασία.

Η συσκευή είναι το κέντρο δεδομένων

Για χρόνια, το πιο ικανό πυρίτιο σήμαινε κυρίως ταχύτερες εφαρμογές και μεγαλύτερη διάρκεια ζωής της μπαταρίας. Αυτό αλλάζει όταν το τσιπ μπορεί να εκτελέσει πραγματική εξαγωγή συμπερασμάτων. Όσο καλύτερο είναι το τοπικό υλικό, τόσα περισσότερα μπορεί να κρατήσει ο ορχηστρωτής στο μηχάνημά σας, και τόσα περισσότερα μπορεί να κρατήσει ο διακομιστής αποκλειστικά για την εργασία που το απαιτεί πραγματικά.

Το αποκαλύψαμε αυτό με την Intel, και το ίδιο πλαίσιο που είναι ανεξάρτητο από μοντέλα εκτελείται σε άλλο τοπικό πυρίτιο, συμπεριλαμβανομένου του RTX Spark της NVIDIA. Η κούρσα για την τοπική υπολογιστική ισχύ έχει ξεκινήσει. Καθώς τα τσιπ εξελίσσονται, μόνο το Perplexity διαθέτει το πλαίσιο πρακτόρων και την εφαρμοσμένη μηχανική εξαγωγής συμπερασμάτων για πραγματικά απρόσκοπτη ορχήστρωση.

Αυτό αλλάζει επίσης τα δεδομένα για όλους όσους παρακολουθούν την έλλειψη υπολογιστικής ισχύος. Όταν οι ευαίσθητες και οι καθημερινές εργασίες μετακινούνται στις συσκευές που οι άνθρωποι ήδη κατέχουν, δεν χρειάζεται να κατασκευάσετε τόση κεντρική υποδομή για να τις εξυπηρετήσετε. Αλλάζει επίσης το πώς μοιάζει η κυριαρχία: τα σημαντικά δεδομένα μπορούν να παραμείνουν στη δική τους δικαιοδοσία χωρίς να χρειάζεται μια χώρα να στήσει ένα κέντρο δεδομένων για να τα διατηρήσει εκεί.

Οι χρήστες προτιμούν να διαθέτουν ένα κέντρο δεδομένων στον φορητό τους υπολογιστή παρά να βασίζονται σε ένα που δεν ελέγχουν.

Η σωστή αρχιτεκτονική για αποτελεσματικότητα

Υπάρχει λόγος για τον οποίο αυτή η αρχιτεκτονική ταιριάζει στο Perplexity. Η επιχείρησή μας ήταν πάντα η ακριβής τεχνητή νοημοσύνη, όχι η μεγιστοποίηση των token που πουλάμε. Αυτό είναι το σωστό κίνητρο για τη βελτιστοποίηση της αξίας ανά watt: κερδίζουμε όταν η απάντηση είναι σωστή και η εργασία ολοκληρώνεται, όχι όταν καταναλώνει περισσότερη υπολογιστική ισχύ.

Η υβριδική τεχνητή νοημοσύνη αποτελεί φιλοδοξία της βιομηχανίας εδώ και πολύ καιρό. Το Personal Computer με τοπική εξαγωγή συμπερασμάτων, που κυκλοφορεί τον Ιούλιο, είναι το πρώτο προϊόν που την κάνει πραγματικότητα και το πρώτο που αντιμετωπίζει την υπολογιστική ισχύ ως ένα ακόμη στοιχείο που πρέπει να ορχηστρωθεί έξυπνα, σε όλο το μηχάνημά σας και το cloud.