Βελτιώσεις σε κάθε επίπεδο προσπάθειας του Agent API

Τα επίπεδα προσπάθειας στο Perplexity Agent API επιτρέπουν στους προγραμματιστές να επιλέγουν την ισορροπία μεταξύ κόστους, ταχύτητας και βάθους έρευνας για κάθε εργασία. Από σήμερα, κάθε επίπεδο προσπάθειας κοστίζει λιγότερο ανά ερώτημα, με ποιότητα έρευνας υψηλότερη ή αμετάβλητη. Ένα νέο επίπεδο ultra είναι διαθέσιμο για την πιο ευρεία και ολοκληρωμένη έρευνα. Κάθε αίτημα που επιλέγει το επίπεδο με το όνομά του, όπως effort="fast", λαμβάνει αυτόματα την ενημερωμένη διαμόρφωση.

Η δημιουργία ενός πράκτορα έρευνας σημαίνει επιλογή της σωστής ισορροπίας μεταξύ κόστους, ταχύτητας και βάθους για κάθε εργασία. Τα επίπεδα προσπάθειας στο Agent API παίρνουν αυτή την απόφαση για λογαριασμό του χρήστη. Κάθε επίπεδο είναι μια ενιαία διαμόρφωση που ορίζει το μοντέλο, τον προϋπολογισμό βημάτων, τις ρυθμίσεις αναζήτησης και τα εργαλεία για έναν συγκεκριμένο τύπο εργασίας. Η Perplexity αξιολογεί και ενημερώνει κάθε επίπεδο με την πάροδο του χρόνου, ώστε να προσφέρει την καλύτερη έρευνα με το τρέχον κόστος του ή χαμηλότερο.

Αυτά τα οφέλη προήλθαν από δύο είδη αλλαγών. Οι προϋπολογισμοί, η διαχείριση του πλαισίου και η εξαγωγή μείωσαν το κόστος κάθε εκτέλεσης, ενώ οι δεξιότητες, η επιλογή μοντέλου και οι παράλληλοι πράκτορες αύξησαν ή διατήρησαν την ποιότητα της απάντησης.

Η απόδοση του medium βελτιώθηκε από 55% σε 77% στα BrowseComp και DSQA, ενώ το κόστος μειώθηκε σχεδόν κατά 90%. Τα BrowseComp και DSQA είναι δημόσια benchmark έρευνας· το WANDR είναι το benchmark της Perplexity για εκτενείς ερευνητικές εργασίες με πολλές οντότητες. Το xhigh εκτελεί εργασίες πρακτόρων, όπως η εκτέλεση κώδικα σε sandbox, η διατήρηση μακρών βρόχων χρήσης εργαλείων και η ταυτόχρονη εργασία σε πολλές πηγές. Το xhigh διατήρησε τη βαθμολογία του στο WANDR στο 76,5%, με κόστος περίπου στο 25% εκείνου της διαμόρφωσης του Αυγούστου 2026.

Ένα αίτημα εις βάθος έρευνας μπορεί να εκτελέσει δεκάδες αναζητήσεις, να διαβάσει εκατοντάδες σελίδες και να ελέγξει στοιχεία πριν απαντήσει. Κάθε μία από αυτές τις ενέργειες προσθέτει token στο πλαίσιο και δολάρια στον λογαριασμό. Χωρίς όρια, ένας πράκτορας συνεχίζει να εκτελεί ενέργειες που αυξάνουν το κόστος και γεμίζουν το πλαίσιο χωρίς να βελτιώνουν την απάντηση. Πέντε παράγοντες καθορίζουν το μεγαλύτερο μέρος αυτού του κόστους:

Κατανομή προϋπολογισμού. Οι πράκτορες με καθορισμένο προϋπολογισμό μπορεί να εξαντλήσουν τα βήματά τους και να τερματίσουν πρόωρα την εκτέλεσή τους πριν ολοκληρώσουν την εργασία τους. Αντίθετα, οι πράκτορες χωρίς σταθερό προϋπολογισμό μπορεί να συνεχίζουν να εκτελούνται, επιβαρύνοντας το κόστος χωρίς να βελτιώνουν την τελική απάντηση.
Επιβάρυνση πλαισίου. Τα αποτελέσματα αναζήτησης και οι σελίδες που ανακτώνται περιέχουν τα στοιχεία, αλλά, αν δεν ελέγχεται, το παράθυρο πλαισίου μπορεί γρήγορα να γεμίσει με άσχετες πληροφορίες. Τα παράθυρα πλαισίου μεταφέρουν κόστος από βήμα σε βήμα, και τα υπερφορτωμένα παράθυρα μπορούν να μειώσουν την απόδοση του πράκτορα.
Επιλογή ροής εργασίας. Διαφορετικές εργασίες χρειάζονται διαφορετικές προσεγγίσεις. Η αναζήτηση ενός μεμονωμένου γεγονότος, μια ερώτηση πολλαπλών αλμάτων και μια ευρεία επισκόπηση πηγών απαιτούν η καθεμία διαφορετική ροή εργασίας. Όταν αφήνεται να επιλέξει μόνο του, ένα μοντέλο συχνά επιλέγει μια αναποτελεσματική. Η λεπτομερής περιγραφή κάθε διαθέσιμης στρατηγικής στην προτροπή του πράκτορα δεν λύνει το πρόβλημα. Οι επιπλέον οδηγίες μεταφέρονται ως token σε κάθε βήμα και, με τον καιρό, το μοντέλο ακολουθεί την καθεμία λιγότερο αξιόπιστα.
Επιλογή μοντέλου. Η μετάβαση σε ένα μεγαλύτερο μοντέλο μπορεί να μην προσφέρει βελτίωση της απόδοσης ανάλογη με το επιπλέον κόστος. Τα νέα μοντέλα κυκλοφορούν με εντυπωσιακούς τίτλους και δημοσιευμένες βαθμολογίες σε benchmark. Ωστόσο, οι βελτιώσεις στα benchmark μπορεί να είναι αλλοιωμένες ή να αντανακλούν υπερπροσαρμογή του μοντέλου. Χωρίς αξιολόγηση σε πραγματικές εργασίες, μια αλλαγή μοντέλου μπορεί να αυξήσει το κόστος χωρίς να αυξήσει την ποιότητα.
Κλιμάκωση με πολλούς πράκτορες. Ένας μεμονωμένος πράκτορας μπορεί να αναζητήσει, να διαβάσει και να επεξεργαστεί συλλογιστικά έναν πεπερασμένο αριθμό πηγών ανά εκτέλεση. Η παράλληλη εκτέλεση πολλών πρακτόρων βελτιώνει την ποιότητα στις πιο απαιτητικές εργασίες, αλλά αυξάνει επίσης το κόστος και προσθέτει πολυπλοκότητα αν δεν γίνει σωστή διαχείριση.

Η επίλυση καθεμίας από αυτές τις προκλήσεις μείωσε το κόστος για κάθε επίπεδο προσπάθειας χωρίς να μειώσει την απόδοση.

Κάθε επίπεδο προσπάθειας έχει σταθερό προϋπολογισμό έρευνας με τρία στοιχεία:

Όρια βημάτων: ο αριθμός των γύρων που μπορεί να εκτελέσει ο πράκτορας
Κλήσεις εργαλείων: ένα ανώτατο όριο στον συνολικό αριθμό κλήσεων εργαλείων σε ένα αίτημα. Ένα μόνο βήμα μπορεί να πραγματοποιήσει πολλές κλήσεις σε πολλά εργαλεία ταυτόχρονα, οπότε ένα όριο βημάτων από μόνο του δεν ελέγχει πόσες ενέργειες γίνονται μέσα σε ένα βήμα.
Υπενθυμίσεις προϋπολογισμού: περιοδικές ειδοποιήσεις για το πόσα βήματα απομένουν, ώστε ο πράκτορας να μπορεί να θέτει προτεραιότητες και να αφήνει περιθώριο για να γράψει την απάντηση, αντί να εξαντλήσει τον προϋπολογισμό στη μέση της εργασίας.

Ο προϋπολογισμός αποτελεί τον βασικό συμβιβασμό: περισσότερα βήματα σημαίνουν καλύτερες απαντήσεις, και κάθε βήμα έχει κόστος. Με το openai/gpt-6-luna, η αύξηση του ορίου βημάτων από 1 σε 15 ανεβάζει την ακρίβεια στο BrowseComp + DSQA από 41% σε 80%, ενώ το κόστος ανά ερώτημα αυξάνεται από 0,0017 $ σε 0,0152 $, δηλαδή περίπου 9 φορές το κόστος για περίπου 2 φορές τη βαθμολογία.

Ένα όριο βημάτων από μόνο του δεν ελέγχει το κόστος της έρευνας. Με τον ίδιο προϋπολογισμό πέντε βημάτων, το openai/gpt-6.1-terra πραγματοποιεί περισσότερες κλήσεις εργαλείων από το openai/gpt-6-luna, επειδή τα πιο ικανά μοντέλα τείνουν να πραγματοποιούν πολλές κλήσεις σε ένα μόνο βήμα. Τα επίπεδα προσπάθειας θέτουν ανώτατο όριο τόσο στις κλήσεις εργαλείων όσο και στα βήματα. Για αυτά τα μοντέλα, το όριο κλήσεων εργαλείων έχει την ίδια σημασία με το όριο βημάτων.

Κάθε επίπεδο προσπάθειας ρυθμίζει αυτά τα όρια, αλλά ο πράκτορας πρέπει επίσης να γνωρίζει πόσα βήματα και ενέργειες του απομένουν για να ολοκληρώσει το αίτημα. Χωρίς αυτή την πληροφορία, μπορεί να εξαντλήσει τα βήματα ή τις ενέργειες και να αναγκαστεί να απαντήσει πριν ολοκληρωθεί η έρευνα. Ο προϋπολογισμός δηλώνεται στην αρχή της εκτέλεσης και οι υπενθυμίσεις φτάνουν καθώς ο πράκτορας πλησιάζει τα όριά του, ώστε να υπάρχει περιθώριο για επαλήθευση και παράδοση των αποτελεσμάτων. Για το high, οι υπενθυμίσεις καλύπτουν τόσο τον προϋπολογισμό βημάτων όσο και τον προϋπολογισμό κλήσεων εργαλείων.

Δύο πράκτορες, ένας με υπενθύμιση προϋπολογισμού και ένας χωρίς, δοκιμάστηκαν σε μια εργασία του BrowseComp, όπου έπρεπε να αναγνωρίσουν μια τηλεοπτική σειρά της δεκαετίας του 1990 με βάση τα βιογραφικά τριών ηθοποιών της. Ο πράκτορας με υπενθύμιση βρήκε τη σωστή απάντηση χρησιμοποιώντας 13 από τα 40 βήματα του προϋπολογισμού. Ο πράκτορας χωρίς υπενθύμιση προϋπολογισμού χρησιμοποίησε και τα 40 βήματα και δεν βρήκε τη σωστή απάντηση. Ο βρόχος αυτού του πράκτορα τερματίστηκε απροσδόκητα και το μοντέλο δεν γνώριζε τον εναπομείναντα προϋπολογισμό έρευνας. Οι υπενθυμίσεις κρατούν τους πράκτορες εστιασμένους και τους βοηθούν να ιεραρχούν αποτελεσματικά τους εναπομείναντες πόρους.

Οι μακροχρόνιες ερευνητικές εργασίες γεμίζουν το παράθυρο πλαισίου του μοντέλου με αποτελέσματα αναζήτησης, σελίδες που έχουν ανακτηθεί και ενδιάμεσες σημειώσεις. Μόλις γεμίσει, ο πράκτορας πρέπει να σταματήσει να εργάζεται.

Η συμπύκνωση επιτρέπει στις μακροσκελείς εκτελέσεις να συνεχίζουν χωρίς να γεμίζει το παράθυρο πλαισίου. Όταν το πλαίσιο υπερβεί ένα όριο, ο πράκτορας αντικαθιστά την έως τώρα εργασία με μια συντομότερη σύνοψη όσων έχει βρει και όσων απομένουν και, στη συνέχεια, συνεχίζει.

Η συμπύκνωση διατηρεί πάντα τρία πράγματα στο πλαίσιο: την προτροπή συστήματος, το αρχικό αίτημα και όσες δεξιότητες έχει ήδη φορτώσει ο πράκτορας. Μετά από κάθε συμπύκνωση, ο πράκτορας λαμβάνει δύο σύντομες οδηγίες. Η πρώτη οδηγία είναι: «Συνέχισε να εργάζεσαι μέχρι να ολοκληρωθεί η εργασία.» Αυτό εμποδίζει τον πράκτορα να αντιμετωπίσει τη σύνοψη ως σημείο τερματισμού. Η δεύτερη οδηγία ενημερώνει τον πράκτορα πόσες συμπυκνώσεις έχουν γίνει, ώστε να μπορεί να σχεδιάσει τις υπόλοιπες ερευνητικές του εργασίες. Στις μακροσκελείς εκτελέσεις, ο αρχικός στόχος και το σχέδιο παραμένουν σε πρώτο πλάνο, και το κόστος των μακρών βρόχων μειώνεται χωρίς μείωση της ποιότητας.

Κάθε σελίδα που διαβάζει ο πράκτορας προστίθεται στο πλαίσιό του και ο πράκτορας τη μεταφέρει σε κάθε επόμενο βήμα. Μια ιστοσελίδα περιλαμβάνει πληροφορίες άσχετες με την ερώτηση, όπως στοιχεία πλοήγησης, τυποποιημένο κείμενο και άλλο περιεχόμενο.

Αντί να παραδίδει στον πράκτορα μια ολόκληρη σελίδα, το fetch_url εκτελεί πρώτα ένα πέρασμα εξαγωγής. Το κείμενο της σελίδας αποστέλλεται σε ένα μικρότερο μοντέλο μαζί με την τρέχουσα εργασία του πράκτορα. Το μοντέλο επιστρέφει μόνο τα σχετικά αποσπάσματα, αυτούσια, ώστε ο πράκτορας να μπορεί να τα παραθέσει ως πηγές. Σε μια αξιολόγηση, μια σελίδα 5.561 token μειώθηκε σε 293 token, ελευθερώνοντας χώρο για επιπλέον σχετικό πλαίσιο.

Η χρήση του fetch_url με εξαγωγή στο επίπεδο προσπάθειας high μείωσε τα token εισόδου ανά ερώτημα κατά περίπου 50%. Η εξαγωγή βελτίωσε επίσης την απόδοση στο benchmark, φτάνοντας το 88,0% με 0,073 $ ανά ερώτημα, έναντι 83,5% με 0,094 $ χωρίς εξαγωγή.

Η αναζήτηση στον ιστό είναι κεντρικής σημασίας για κάθε ερευνητικό αίτημα πράκτορα. Έγιναν τρεις αλλαγές στον τρόπο με τον οποίο αναζητούν οι πράκτορες:

Περισσότερο πλαίσιο ανά αναζήτηση: Κάθε αναζήτηση επιστρέφει πλέον αποτελέσματα έως 4K token αντί για 2K. Ο πράκτορας βρίσκει γρηγορότερα αυτό που χρειάζεται, με αποτέλεσμα λιγότερες αναζητήσεις και χαμηλότερο κόστος.

Νέα μηχανή αποσπασμάτων: Τα αποτελέσματα αναζήτησης λαμβάνουν αποσπάσματα που ταιριάζουν καλύτερα με το ερώτημα, ώστε ο πράκτορας να μην επιβαρύνεται με άσχετο κείμενο.
Γρήγορη αναζήτηση: Με κόστος 1,00 $ ανά 1.000 αιτήματα, το Fast Search μειώνει τόσο το κόστος όσο και τον χρόνο απόκρισης για κάθε κλήση αναζήτησης.

Η ομάδα Perplexity Search βελτιώνει συνεχώς την ποιότητα ανάκτησης σε ένα ευρύ φάσμα εργασιών. Οι πρόσφατες ενημερώσεις έφεραν βελτιώσεις σε κώδικα, τεκμηρίωση για προγραμματιστές, σελίδες αναφοράς, καθώς και νομικό και κανονιστικό περιεχόμενο.

Ορισμένες εργασίες απαιτούν την παράλληλη εκτέλεση πολλών αναζητήσεων· άλλες χρειάζονται προσεκτική ανάγνωση λίγων μεγάλων εγγράφων.

Ωστόσο, η φόρτωση κάθε ροής εργασίας στην προτροπή συστήματος του πράκτορα προσθέτει επιβάρυνση στο πλαίσιο και μπορεί να οδηγήσει το μοντέλο σε χαμηλότερη απόδοση σε απλές εργασίες. Αντ’ αυτού, οι δεξιότητες οργανώνονται σε δέντρο με σταδιακή αποκάλυψη. Το μοντέλο φορτώνει τις σχετικές δεξιότητες και οδηγίες καθώς εργάζεται, αφήνοντας τις άσχετες πληροφορίες εκτός του πλαισίου του. Κάθε δεξιότητα κοστίζει μόνο το όνομα και την περιγραφή της, μέχρι το μοντέλο να αποφασίσει ότι ταιριάζει στην εργασία και να τη φορτώσει· τότε οι πλήρεις οδηγίες προστίθενται στο πλαίσιο και το μοντέλο ακολουθεί την προβλεπόμενη ροή εργασίας.

Για να μετρηθεί η συμβολή κάθε μεμονωμένης δεξιότητας, κάθε δεξιότητα αφαιρείται μία κάθε φορά, ώστε να συγκριθούν η ποιότητα και το κόστος σε εργασίες όπου ο πράκτορας αναφοράς είχε φορτώσει τη συγκεκριμένη δεξιότητα. Αυτές οι δοκιμές αφαίρεσης δείχνουν ποιες ροές εργασίας βοηθούν τον πράκτορα και πώς επηρεάζουν την αποδοτικότητα της έρευνας.

Οι παρακάτω εκτελέσεις του benchmark WANDR δείχνουν πράκτορες να επιλέγουν τις σωστές ροές εργασίας για συγκεκριμένες εργασίες. Οι οδηγίες wide-search και fanout φορτώθηκαν σε κάθε εργασία, αντικατοπτρίζοντας την ανάγκη διερεύνησης πολλών οντοτήτων. Η δεξιότητα people-search φορτώθηκε μόνο στο 6% των εργασιών και μόνο όταν οι ερωτήσεις αφορούσαν πρόσωπα.

Κατά τη δοκιμή μιας άλλης εργασίας του WANDR, ο πράκτορας φόρτωσε τη δεξιότητα people-search με μοτίβο fanout για να βρει μηχανικούς συμπερασμού (inference) στο Λονδίνο. Επέκτεινε 39 όρους ρόλων σε 117 ερωτήματα και, στη συνέχεια, συγχώνευσε τα αποτελέσματα του πρώτου περάσματος σε 43 μοναδικά προφίλ για περαιτέρω διαλογή. Η δεξιότητα people-search καθοδήγησε τον πράκτορα σε αυτή την επέκταση χωρίς να προσθέσει άσχετο πλαίσιο. Το παρακάτω απόσπασμα έχει προσαρμοστεί από το σενάριο του πράκτορα· τα ονόματα των βοηθητικών συναρτήσεων είναι ενδεικτικά.

code1

text

Python

# roles contains the 39 role variants selected by the agent.
queries = []
for role in roles:
    queries.extend([
        {"query": f"Google DeepMind {role} London"},
        {"query": f"Google {role} London"},
        {"query": role, "company": "Google", "location": "London"},
    ])

results = pplx_sdk.search.people_many(
    queries, limit_per_query=50, concurrency=8
)

profiles = {}
for result in results:
    if not result.ok:
        continue
    for profile in result.result:
        if "linkedin.com/in/" not in profile.url:
            continue
        url = profile.url.split("?")[0].rstrip("/")
        previous = profiles.get(url, {})
        if url not in profiles or len(profile.summary or "") > len(
            previous.get("summary") or ""
        ):
            profiles[url] = {
                "url": url,
                "title": profile.title,
                "summary": profile.summary,
            }

Η δημιουργία σημείων ελέγχου είναι μια ακόμη ροή εργασίας που βοηθά τους πράκτορες σε μακροχρόνιες εργασίες. Το μοτίβο των σημείων ελέγχου προέρχεται από τον προγραμματισμό δέσμης (batch). Όταν ένα σενάριο επεξεργάζεται μια μεγάλη λίστα, γράφει κάθε αποτέλεσμα στον δίσκο μόλις το αποκτήσει, αντί να κρατά τα πάντα στη μνήμη μέχρι το τέλος. Αν το σενάριο καταρρεύσει ή συναντήσει σφάλματα στη μέση της διαδικασίας, δεν χάνεται τίποτα: η επόμενη εκτέλεση διαβάζει όσα έχουν ήδη αποθηκευτεί και συνεχίζει από εκεί που σταμάτησε, επαναλαμβάνοντας μόνο τα στοιχεία που απέτυχαν.

Σε μια άλλη εργασία του WANDR, ο πράκτορας έπρεπε να κάνει διαλογή στα προφίλ 188 μηχανικών. Φόρτωσε το μοτίβο σημείων ελέγχου για να καταγράφει κάθε αποτέλεσμα καθώς εργαζόταν. Το πρώτο πέρασμα εξήγαγε 160 προφίλ, αλλά απέτυχε σε 28. Όταν ο πράκτορας εκτέλεσε ξανά το σενάριο, παρέλειψε τα προφίλ που είχαν ήδη καταγραφεί και επανέλαβε μόνο τα υπόλοιπα 28. Χωρίς το σημείο ελέγχου, μία μόνο κακή εγγραφή θα σήμαινε ανάκτηση και των 188 από την αρχή.Προσαρμοσμένο απόσπασμα Python· οι σελίδες εισόδου, η οδηγία διαλογής, το σχήμα και οι εισαγωγές έχουν παραλειφθεί· τα ονόματα των βοηθητικών συναρτήσεων είναι ενδεικτικά.

code 2

text

Python

checkpoint = Checkpoint("research/profile-screening")
config = instruction + json.dumps(schema)
config_id = hashlib.md5(config.encode()).hexdigest()[:6]

def checkpoint_key(page):
    url_id = hashlib.md5(page["url_in"].encode()).hexdigest()[:10]
    return config_id + url_id

pending = [
    page for page in pages if not checkpoint.has(checkpoint_key(page))
]
for offset in range(0, len(pending), 20):
    batch = pending[offset : offset + 20]
    inputs = [
        json.dumps({
            "url": page["url_in"], "content": page["content"][:30_000]
        })
        for page in batch
    ]
    results = pplx_sdk.llm.extract_many(
        inputs,
        instruction=instruction,
        output_schema=schema,
        chunk_size=5,
        concurrency=4,
    )
    for page, result in zip(batch, results):
        if not result.ok or result.result.error:
            continue
        checkpoint.record(
            checkpoint_key(page),
            [{"url": page["url_in"], **result.result.result}],
        )

Το σημείο ελέγχου καταγράφει τα επιτυχή αποτελέσματα· δεν εκκινεί επαναλήψεις. Η συμπερίληψη της οδηγίας και του σχήματος στο κλειδί διασφαλίζει ότι οι αλλαγές στα κριτήρια διαλογής προκαλούν εκ νέου επεξεργασία.

Δεν οδήγησαν όλες οι δοκιμές σε βελτιώσεις στην ποιότητα και την αποδοτικότητα. Αξιολογήθηκε η προφόρτωση όλων των δεξιοτήτων στον πράκτορα πριν ξεκινήσει την εργασία του. Στα BrowseComp και DSQA, η προφόρτωση αύξησε το κόστος κατά 13%. Στο WANDR, όπου οι μακρύτερες ερευνητικές διαδρομές κάνουν το ανακτημένο περιεχόμενο μεγαλύτερο μέρος των token εισόδου, η προφόρτωση μειώνει επίσης τις βαθμολογίες. Αυτά τα αποτελέσματα στήριξαν τη συνέχιση της χρήσης της σταδιακής αποκάλυψης.

Καθώς οι δυνατότητες των μοντέλων εξελίσσονται, αλλάζει και το καλύτερο μοντέλο για κάθε επίπεδο προσπάθειας. Η Perplexity χρησιμοποιεί έναν αυτοματοποιημένο βρόχο έρευνας που παρακολουθεί τις ανακοινώσεις και τη διαθεσιμότητα νέων μοντέλων. Οι αξιολογήσεις ξεκινούν μόλις ένα μοντέλο γίνει προσβάσιμο.

Όταν κυκλοφορεί ένα νέο μοντέλο, ένας αυτοματοποιημένος πράκτορας το υποβάλλει στο harness αξιολόγησης. Δοκιμάζει διαφορετικές τιμές προσπάθειας συλλογιστικής, προϋπολογισμούς βημάτων και κλήσεων εργαλείων, καθώς και διαμορφώσεις εργαλείων, και βαθμολογεί κάθε εκτέλεση ως προς την ποιότητα και το κόστος σε σύγκριση με τα τρέχοντα επίπεδα προσπάθειας. Όταν μια εκτέλεση παρουσιάζει υποχώρηση, ο πράκτορας διερευνά την αιτία, προσαρμόζει τις ρυθμίσεις και εκτελεί ξανά την αξιολόγηση. Ένα υποψήφιο μοντέλο αντικαθιστά το τρέχον μόνο όταν υπερτερεί σε ποιότητα με το ίδιο ή χαμηλότερο κόστος.

Τα δημόσια benchmark είναι χρήσιμα, αλλά οι βαθμολογίες τους δεν αντικατοπτρίζουν πάντα την απόδοση σε εργασίες του πραγματικού κόσμου. Για παράδειγμα, το παρακάτω γράφημα δείχνει ένα υποψήφιο μοντέλο που σημείωσε 13,3 μονάδες πάνω από τη βάση αναφοράς στο BrowseComp, αλλά σημαντικά χαμηλότερα από τις αντίστοιχες βάσεις αναφοράς σε εσωτερικές ερευνητικές εργασίες για επιχειρήσεις, νομικά και χρηματοοικονομικά.

Ένας μεμονωμένος πράκτορας μπορεί να καλύψει περιορισμένο αριθμό πηγών σε έναν βρόχο. Για σύνθετες εργασίες, αρκετοί πράκτορες εργάζονται παράλληλα, και ο καθένας αναλαμβάνει, σε συντονισμό με τους υπόλοιπους, διαφορετικό μέρος του προβλήματος.

Ο κύριος πράκτορας είναι ο ενορχηστρωτής. Καλεί το spawn_agent για να δημιουργήσει θυγατρικούς πράκτορες και αναθέτει στον καθένα μια συγκεκριμένη, στοχευμένη εργασία. Κάθε θυγατρικός πράκτορας εκτελεί τον δικό του βρόχο έρευνας με ξεχωριστό πλαίσιο, χρησιμοποιώντας το δικό του μοντέλο, τα δικά του εργαλεία και τον δικό του προϋπολογισμό βημάτων. Οι θυγατρικοί πράκτορες αναφέρουν τα αποτελέσματά τους στον γονικό, ο οποίος μπορεί να αναθέσει σε έναν θυγατρικό μια νέα εργασία συνέχειας ή να ελέγξει την πρόοδό του. Ο ενορχηστρωτής και οι θυγατρικοί του ανταλλάσσουν μηνύματα για να μοιράζονται στοιχεία, να επισημαίνουν εμπόδια και να προσαρμόζουν τα επόμενα βήματα. Καθώς φτάνουν νέες πληροφορίες, ο ενορχηστρωτής βελτιώνει τις αναθέσεις και, όταν ολοκληρωθεί η εργασία, συνδυάζει τα αποτελέσματα σε μία ενιαία απάντηση.

Το Agent API υποστηρίζει προκαθορισμένους ρόλους πρακτόρων και ο ενορχηστρωτής μπορεί να δημιουργεί θυγατρικούς πράκτορες με προσαρμοσμένες οδηγίες.

Το επίπεδο προσπάθειας ultra εκτελεί τρεις πράκτορες παράλληλα σε μια εργασία. Κάθε πράκτορας ερευνά ανεξάρτητα ολόκληρη την εργασία, συγκεντρώνοντας διαφορετικά στοιχεία. Ένας τέταρτος πράκτορας συγχωνεύει τα ευρήματά τους, αφαιρεί τα διπλότυπα και γράφει την τελική απάντηση.

Στο WANDR, το ultra σημειώνει βαθμολογία 85,9% με 21,71 $ ανά εργασία. Επιτυγχάνει την υψηλότερη βαθμολογία μεταξύ των διαμορφώσεων που δοκιμάστηκαν.

Τα επίπεδα προσπάθειας αξιολογούνται και βελτιώνονται συνεχώς. Το επίπεδο που επιλέγουν οι χρήστες καθορίζει πόση έρευνα λαμβάνει μια εργασία και πόσο θα κοστίσει. Οι προϋπολογισμοί βημάτων και κλήσεων εργαλείων, μαζί με υπενθυμίσεις καθώς εξαντλούνται, κρατούν τα αιτήματα εντός προϋπολογισμού. Η συμπύκνωση, η εξαγωγή και τα καλύτερα αποσπάσματα κρατούν το πλαίσιο εστιασμένο στα στοιχεία. Οι δεξιότητες προσαρμόζουν τη ροή εργασίας στην εργασία, ενώ οι παράλληλοι πράκτορες διευρύνουν όσα μπορεί να καλύψει ένας βρόχος. Ένας αυτοματοποιημένος βρόχος αξιολόγησης εγκρίνει ένα νέο μοντέλο μόνο όταν βελτιώνει την ποιότητα της έρευνας με το ίδιο κόστος.

Κάθε επίπεδο προσπάθειας θα συνεχίσει να εξελίσσεται καθώς νέα μοντέλα και διαμορφώσεις αποδεικνύουν την αξία τους στην αξιολόγηση. Η κλήση ενός επιπέδου με το όνομά του ενσωματώνει αυτόματα αυτές τις βελτιώσεις· το κλείδωμα μιας έκδοσης διατηρεί τη διαμόρφωση αμετάβλητη.

Δοκιμάστε το Agent API και συγκρίνετε τα επίπεδα προσπάθειας στους δικούς σας φόρτους εργασίας. Βρείτε λεπτομέρειες για τα επίπεδα προσπάθειας στην τεκμηρίωση προσπάθειας του Agent API.

Το κόστος της έρευνας

Έλεγχος του προϋπολογισμού έρευνας

Διαχείριση πλαισίου

Συμπύκνωση

Ανάκτηση μόνο όσων έχουν σημασία

Στοχευμένη αναζήτηση στον ιστό

Επιλογή της σωστής ροής εργασίας

Επιλογή μοντέλου

Κλιμάκωση με πολλούς πράκτορες

Τι ακολουθεί