Poboljšanja svih nivoa napora u Agent API-ju

Nivoi napora u Perplexity Agent API-ju omogućavaju programerima da za svaki zadatak izaberu ravnotežu između troškova, brzine i dubine istraživanja. Od danas svaki nivo napora košta manje po upitu, uz kvalitet istraživanja koji je viši ili nepromenjen. Novi nivo ultra dostupan je za istraživanja najšireg obima i najveće temeljnosti. Svaki zahtev koji bira nivo po nazivu, kao što je effort="fast", automatski dobija ažuriranu konfiguraciju.

Izgradnja istraživačkog agenta znači izbor prave ravnoteže između troškova, brzine i dubine za svaki zadatak. Nivoi napora u Agent API-ju donose tu odluku umesto korisnika. Svaki nivo je objedinjena konfiguracija koja definiše model, budžet koraka, podešavanja pretrage i alate za određeni tip zadatka. Perplexity vremenom evaluira i ažurira svaki nivo kako bi pružio najbolje istraživanje po trenutnoj ili nižoj ceni.

Ova poboljšanja su proistekla iz dve vrste promena. Budžeti, upravljanje kontekstom i ekstrakcija smanjili su troškove svakog izvršavanja, a Skill-ovi, izbor modela i paralelni agenti povećali su ili održali kvalitet odgovora.

Performanse nivoa medium poboljšane su sa 55% na 77% na BrowseComp i DSQA, dok su troškovi smanjeni za skoro 90%. BrowseComp i DSQA su javni benchmarkovi za istraživanje; WANDR je Perplexity benchmark za duge istraživačke zadatke sa više entiteta. Nivo xhigh obavlja agentski rad, kao što je izvršavanje koda u sandbox okruženju, održavanje dugih petlji korišćenja alata i istovremeni rad sa mnogo izvora. Nivo xhigh zadržao je WANDR rezultat od 76,5%, uz troškove od oko 25% troškova konfiguracije iz avgusta 2026.

Zahtev za Duboko istraživanje može da pokrene desetine pretraga, pročita stotine stranica i proveri dokaze pre nego što da odgovor. Svaka od tih radnji dodaje tokene u kontekst i dolare na račun. Bez ograničenja, agent nastavlja da preduzima radnje koje povećavaju troškove i zatrpavaju kontekst, a ne poboljšavaju odgovor. Pet faktora određuje najveći deo tih troškova:

Raspodela budžeta. Agenti sa zadatim budžetom mogu da ostanu bez koraka i prerano završe izvršavanje pre nego što dovrše zadatak. S druge strane, agenti bez fiksnog budžeta mogu da nastave da rade, stvarajući troškove bez poboljšanja konačnog odgovora.
Opterećenje konteksta. Rezultati pretrage i preuzete stranice nose dokaze, ali ako se ne kontroliše, kontekstni prozor može brzo da se popuni nebitnim informacijama. Kontekstni prozori prenose troškove iz koraka u korak, a preopterećeni prozori mogu da smanje performanse agenta.
Izbor radnog toka. Različiti zadaci zahtevaju različite pristupe. Pretraga jedne činjenice, pitanje koje zahteva zaključivanje u više koraka i širok pregled izvora zahtevaju različit radni tok. Kada sam bira, model često odabere neefikasan. Detaljno opisivanje svake dostupne strategije u promptu agenta ne rešava ovaj problem. Dodatna uputstva se prenose kao tokeni u svakom koraku, a model vremenom sve manje pouzdano prati svako od njih.
Izbor modela. Prelazak na veći model možda neće doneti poboljšanje performansi srazmerno dodatnim troškovima. Novi modeli stižu uz velike najave i objavljene rezultate na benchmarkovima. Međutim, poboljšanja na benchmarkovima mogu biti posledica kontaminacije ili odražavati preprilagođavanje modela. Bez evaluacije na stvarnim zadacima, promena modela može da poveća troškove bez povećanja kvaliteta.
Skaliranje sa više agenata. Jedan agent može da pretraži, pročita i analizira ograničen broj izvora po izvršavanju. Paralelno pokretanje više agenata poboljšava kvalitet na najzahtevnijim zadacima, ali i povećava troškove i unosi složenost ako se njime ne upravlja pravilno.

Rešavanje svakog od ovih izazova smanjilo je troškove za svaki nivo napora bez smanjenja performansi.

Svaki nivo napora ima fiksni budžet za istraživanje sa tri komponente:

Ograničenja koraka: broj poteza koje agent može da napravi
Pozivi alata: ograničenje ukupnog broja poziva alata u jednom zahtevu. Jedan korak može istovremeno da uputi više poziva ka više alata, pa samo ograničenje koraka ne kontroliše koliko se radnji odvija unutar jednog koraka.
Podsetnici o budžetu: periodična obaveštenja o tome koliko je koraka preostalo, kako bi agent mogao da odredi prioritete i ostavi prostora za pisanje odgovora umesto da ostane bez budžeta usred zadatka.

Budžet je ključni kompromis: više koraka znači bolje odgovore, a svaki korak stvara troškove. Sa modelom openai/gpt-6-luna, povećanje ograničenja koraka sa 1 na 15 podiže tačnost na BrowseComp + DSQA sa 41% na 80%, dok troškovi po upitu rastu sa 0,0017 USD na 0,0152 USD, što je oko 9 puta veći trošak za oko 2 puta bolji rezultat.

Samo ograničenje koraka ne kontroliše troškove istraživanja. Uz isti budžet od pet koraka, openai/gpt-6.1-terra upućuje više poziva alata od modela openai/gpt-6-luna, jer sposobniji modeli obično upućuju nekoliko poziva u jednom koraku. Nivoi napora ograničavaju i pozive alata i korake. Za ove modele, ograničenje poziva alata je podjednako važno kao i ograničenje koraka.

Svaki nivo napora podešava ova ograničenja, ali agent mora i da zna koliko mu je koraka i radnji preostalo da ispuni zahtev. Bez te informacije može da ostane bez koraka ili radnji i bude primoran da odgovori pre nego što je istraživanje završeno. Budžet se navodi na početku izvršavanja, a podsetnici stižu kako se agent približava ograničenjima, pa ostaje prostora za proveru i isporuku rezultata. Za nivo high, podsetnici obuhvataju i budžet koraka i budžet poziva alata.

Dva agenta, jedan sa podsetnikom o budžetu i jedan bez njega, testirana su na BrowseComp zadatku u kojem je trebalo identifikovati TV seriju iz 1990-ih na osnovu tri biografije članova glumačke postave. Agent sa podsetnikom pronašao je tačan odgovor koristeći 13 od 40 koraka iz budžeta. Agent bez podsetnika o budžetu iskoristio je svih 40 koraka i nije pronašao tačan odgovor. Petlja tog agenta neočekivano se završila, a model nije bio svestan preostalog budžeta za istraživanje. Podsetnici pomažu agentima da ostanu fokusirani i da efikasno odrede prioritete za preostale resurse.

Dugotrajni istraživački zadaci popunjavaju kontekstni prozor modela rezultatima pretrage, preuzetim stranicama i međubeleškama. Kada se prozor popuni, agent mora da prestane sa radom.

Sažimanje omogućava da dugotrajna izvršavanja nastave da rade bez popunjavanja kontekstnog prozora. Kada kontekst pređe određeni prag, agent zamenjuje dosadašnji rad kraćim rezimeom onoga što je pronašao i onoga što preostaje, a zatim nastavlja.

Sažimanje uvek zadržava tri stvari u kontekstu: sistemski prompt, originalni zahtev i sve Skill-ove koje je agent već učitao. Posle svakog sažimanja agent dobija dva kratka uputstva. Prvo uputstvo glasi: „Nastavi da radiš dok zadatak ne bude završen.“ Time se sprečava da agent rezime shvati kao tačku zaustavljanja. Drugo uputstvo govori agentu koliko je sažimanja već obavljeno, kako bi mogao da isplanira preostale istraživačke zadatke. Dugotrajna izvršavanja zadržavaju prvobitni cilj i plan u vidu, a troškovi dugih petlji se smanjuju bez gubitka kvaliteta.

Svaka stranica koju agent pročita dodaje se njegovom kontekstu, a agent je nosi u svakom narednom koraku. Veb-stranica sadrži informacije koje nisu povezane sa pitanjem, kao što su navigacija, šablonski tekst i drugi sadržaj.

Umesto da agentu preda celu stranicu, fetch_url najpre pokreće prolaz ekstrakcije. Tekst stranice se šalje manjem modelu zajedno sa trenutnim zadatkom agenta. Model vraća samo relevantne odlomke, citirane doslovno kako bi agent mogao da ih navede kao izvor. Tokom jedne evaluacije, stranica od 5.561 tokena svedena je na 293 tokena, čime je oslobođen prostor za dodatni relevantan kontekst.

Korišćenje alata fetch_url sa ekstrakcijom na nivou napora high smanjilo je broj ulaznih tokena po upitu za približno 50%. Ekstrakcija je poboljšala i rezultate na benchmarku, dostigavši 88,0% uz 0,073 USD po upitu, u poređenju sa 83,5% uz 0,094 USD bez ekstrakcije.

Pretraga veba je ključna za svaki istraživački zahtev agenta. Uvedene su tri promene u način na koji agenti pretražuju:

Više konteksta po pretrazi: Svaka pretraga sada vraća rezultate od najviše 4K tokena umesto 2K. Agent brže pronalazi ono što mu je potrebno, što znači manje pretraga i niže troškove.

Novi mehanizam za isečke: Rezultati pretrage dobijaju isečke koji bolje odgovaraju upitu, pa agent nije opterećen nebitnim tekstom.
Brza pretraga: Uz cenu od 1,00 USD na 1.000 zahteva, Fast Search smanjuje i troškove i latenciju svakog poziva pretrage.

Tim Perplexity Search neprekidno poboljšava kvalitet pronalaženja informacija u širokom spektru zadataka. Nedavna ažuriranja donela su poboljšanja za kod, dokumentaciju za programere, referentne stranice, kao i pravni i regulatorni sadržaj.

Neki zadaci zahtevaju da se mnogo pretraga pokrene paralelno; drugi zahtevaju pažljivo čitanje nekoliko dugih dokumenata.

Međutim, učitavanje svakog radnog toka u sistemski prompt agenta dodaje opterećenje konteksta i može dovesti do toga da model daje slabije rezultate na jednostavnim zadacima. Umesto toga, Skill-ovi su organizovani u stablo sa postepenim otkrivanjem. Model učitava relevantne Skill-ove i uputstva tokom rada, ostavljajući nepovezane informacije van svog konteksta. Svaki Skill troši samo svoj naziv i opis sve dok model ne odluči da odgovara zadatku i ne učita ga, kada se cela uputstva dodaju u kontekst i model prati propisani radni tok.

Da bi se izmerio doprinos pojedinačnih Skill-ova, svaki Skill se uklanja jedan po jedan kako bi se uporedili kvalitet i troškovi na zadacima u kojima je osnovni agent učitao taj Skill. Ove ablacije pokazuju koji radni tokovi pomažu agentu i kako utiču na efikasnost istraživanja.

Izvršavanja na WANDR benchmarku prikazana ispod pokazuju kako agenti biraju prave radne tokove za određene zadatke. Smernice za široku pretragu i fanout učitane su za svaki zadatak, što odražava potrebu za istraživanjem više entiteta. Pretraga ljudi je učitana za samo 6% zadataka, i to samo kada su se pitanja odnosila na ljude.

Tokom testiranja drugog WANDR zadatka, agent je učitao Skill za pretragu ljudi sa fanout obrascem kako bi pronašao inženjere za inferenciju u Londonu. Proširio je 39 naziva uloga u 117 upita, a zatim objedinio rezultate prvog prolaza u 43 jedinstvena profila za dalju proveru. Skill za pretragu ljudi vodio je agenta kroz ovo proširenje bez dodavanja nebitnog konteksta. Odlomak ispod je prilagođen iz skripte agenta; nazivi pomoćnih funkcija su ilustrativni.

code1

text

Python

# roles contains the 39 role variants selected by the agent.
queries = []
for role in roles:
    queries.extend([
        {"query": f"Google DeepMind {role} London"},
        {"query": f"Google {role} London"},
        {"query": role, "company": "Google", "location": "London"},
    ])

results = pplx_sdk.search.people_many(
    queries, limit_per_query=50, concurrency=8
)

profiles = {}
for result in results:
    if not result.ok:
        continue
    for profile in result.result:
        if "linkedin.com/in/" not in profile.url:
            continue
        url = profile.url.split("?")[0].rstrip("/")
        previous = profiles.get(url, {})
        if url not in profiles or len(profile.summary or "") > len(
            previous.get("summary") or ""
        ):
            profiles[url] = {
                "url": url,
                "title": profile.title,
                "summary": profile.summary,
            }

Kontrolne tačke su još jedan radni tok koji pomaže agentima u dugotrajnim zadacima. Obrazac kontrolnih tačaka potiče iz paketnog programiranja. Kada skripta obrađuje dugačku listu, svaki rezultat upisuje na disk čim ga dobije, umesto da sve drži u memoriji do kraja. Ako se skripta sruši ili naiđe na greške usred rada, ništa se ne gubi: sledeće pokretanje čita ono što je već sačuvano i nastavlja tamo gde je stalo, ponavljajući samo stavke koje nisu uspele.

U drugom WANDR zadatku, agent je morao da proveri profile 188 inženjera. Učitao je obrazac kontrolnih tačaka kako bi beležio svaki rezultat tokom rada. Prvi prolaz je izdvojio 160 profila, ali nije uspeo za 28. Kada je agent ponovo pokrenuo skriptu, preskočio je profile koji su već bili zabeleženi i ponovo pokušao samo preostalih 28. Bez kontrolne tačke, jedan loš zapis bi značio ponovno preuzimanje svih 188.Prilagođeni Python odlomak; ulazne stranice, uputstvo za proveru, šema i importi su izostavljeni; nazivi pomoćnih funkcija su ilustrativni.

code 2

text

Python

checkpoint = Checkpoint("research/profile-screening")
config = instruction + json.dumps(schema)
config_id = hashlib.md5(config.encode()).hexdigest()[:6]

def checkpoint_key(page):
    url_id = hashlib.md5(page["url_in"].encode()).hexdigest()[:10]
    return config_id + url_id

pending = [
    page for page in pages if not checkpoint.has(checkpoint_key(page))
]
for offset in range(0, len(pending), 20):
    batch = pending[offset : offset + 20]
    inputs = [
        json.dumps({
            "url": page["url_in"], "content": page["content"][:30_000]
        })
        for page in batch
    ]
    results = pplx_sdk.llm.extract_many(
        inputs,
        instruction=instruction,
        output_schema=schema,
        chunk_size=5,
        concurrency=4,
    )
    for page, result in zip(batch, results):
        if not result.ok or result.result.error:
            continue
        checkpoint.record(
            checkpoint_key(page),
            [{"url": page["url_in"], **result.result.result}],
        )

Kontrolna tačka beleži uspešne rezultate; ona ne pokreće ponovne pokušaje. Uključivanje uputstva i šeme u ključ obezbeđuje da izmenjeni kriterijumi provere pokrenu ponovnu obradu.

Nije svaki test doneo poboljšanja kvaliteta i efikasnosti. Evaluirano je i unapred učitavanje svih Skill-ova u agenta pre nego što započne zadatak. Na BrowseComp i DSQA, unapred učitavanje povećalo je troškove za 13%. Na WANDR-u, gde zbog dužih putanja istraživanja preuzeti sadržaj zauzima veći udeo ulaznih tokena, unapred učitavanje takođe smanjuje rezultate. Ovi rezultati su potvrdili opravdanost daljeg korišćenja postepenog otkrivanja.

Kako napreduju mogućnosti modela, menja se i najbolji model za svaki nivo napora. Perplexity koristi automatizovanu istraživačku petlju koja prati najave i dostupnost novih modela. Evaluacije se pokreću čim model postane dostupan.

Kada se objavi novi model, automatizovani agent ga provlači kroz harness za evaluaciju. On isprobava različite vrednosti napora rezonovanja, budžete koraka i poziva alata i konfiguracije alata, i ocenjuje svako izvršavanje po kvalitetu i troškovima u odnosu na trenutne nivoe napora. Kada neko izvršavanje pokaže pogoršanje, agent istražuje zašto, prilagođava podešavanja i ponovo pokreće evaluaciju. Kandidat zamenjuje trenutni model samo kada pobedi po kvalitetu uz iste ili niže troškove.

Javni benčmark testovi su korisni, ali se njihovi rezultati ne prenose uvek na zadatke iz stvarnog sveta. Na primer, grafikon u nastavku prikazuje model kandidat koji je na BrowseComp-u postigao rezultat za 13,3 poena viši od referentne vrednosti, ali znatno niži od odgovarajućih referentnih vrednosti na internim istraživačkim zadacima iz korporativne, pravne i finansijske oblasti.

Jedan agent može da obuhvati samo ograničen broj izvora u jednoj petlji. Za složene zadatke, nekoliko agenata radi paralelno, pri čemu se svaki bavi drugim delom problema.

Primarni agent je orkestrator. On poziva spawn_agent da bi kreirao podređene agente i svakom dodeljuje konkretan, fokusiran zadatak. Svaki podređeni agent pokreće sopstvenu istraživačku petlju sa zasebnim kontekstom, koristeći sopstveni model, alate i budžet koraka. Podređeni agenti izveštavaju o svojim rezultatima nadređenom agentu, koji podređenom agentu može poslati dodatni zadatak ili proveriti njegov napredak. Orkestrator i njegovi podređeni agenti razmenjuju poruke kako bi delili dokaze, ukazivali na prepreke i prilagođavali sledeće korake. Kako stižu nove informacije, orkestrator precizira zadatke i, kada je posao završen, objedinjuje rezultate u jedan odgovor.

Agent API podržava unapred definisane uloge agenata, a orkestrator može da kreira podređene agente sa prilagođenim uputstvima.

Nivo napora ultra paralelno pokreće tri agenta na jednom zadatku. Svaki agent samostalno istražuje ceo zadatak, što daje različite dokaze. Četvrti agent objedinjuje njihove nalaze, uklanja duplikate i piše konačni odgovor.

Na WANDR-u nivo ultra postiže 85,9% uz 21,71 USD po zadatku. To je najviši rezultat među testiranim konfiguracijama.

Nivoi napora se neprekidno evaluiraju i poboljšavaju. Nivo koji korisnici izaberu određuje koliko istraživanja zadatak dobija i koliko će koštati. Budžeti koraka i poziva alata, uz podsetnike kako se troše, drže zahteve u okviru budžeta. Sažimanje, ekstrakcija i bolji isečci održavaju kontekst fokusiranim na dokaze. Skill-ovi usklađuju radni tok sa zadatkom, a paralelni agenti proširuju ono što jedna petlja može da obuhvati. Automatizovana petlja evaluacije prihvata novi model samo kada poboljša kvalitet istraživanja uz iste troškove.

Svaki nivo napora nastaviće da se razvija kako se novi modeli i konfiguracije dokazuju u evaluaciji. Pozivanje nivoa po nazivu automatski preuzima ta poboljšanja; fiksiranje verzije zadržava konfiguraciju nepromenjenom.

Isprobajte Agent API i uporedite nivoe napora na sopstvenim radnim opterećenjima. Detalje o nivoima napora pronađite u našoj dokumentaciji o nivoima napora za Agent API.

Cena istraživanja

Kontrola budžeta za istraživanje

Upravljanje kontekstom

Sažimanje

Preuzimanje samo onoga što je bitno

Fokusirana pretraga veba

Izbor pravog radnog toka

Izbor modela

Skaliranje sa više agenata

Šta sledi