Umbætur á öllum áreynslustigum Agent API

Áreynslustig í Perplexity Agent API gera forriturum kleift að velja jafnvægi milli kostnaðar, hraða og rannsóknardýptar fyrir hvert verkefni. Frá og með deginum í dag kostar hvert áreynslustig minna á hverja fyrirspurn, og gæði rannsókna eru meiri eða óbreytt. Nýtt ultra-stig er í boði fyrir víðtækustu og ítarlegustu rannsóknirnar. Allar beiðnir sem velja stigið með heiti, til dæmis effort="fast", fá uppfærðu stillinguna sjálfkrafa.

Að smíða gervigreindarfulltrúa fyrir rannsóknir felur í sér að finna rétt jafnvægi milli kostnaðar, hraða og dýptar fyrir hvert verkefni. Áreynslustig í Agent API taka þessa ákvörðun fyrir notandann. Hvert stig er heildstæð stilling sem skilgreinir líkanið, skrefakvótann, leitarstillingar og verkfæri fyrir tiltekna tegund verkefna. Perplexity metur og uppfærir hvert stig með tímanum til að skila bestu rannsóknum á núverandi kostnaði stigsins eða lægri.

Þessi ávinningur kom til af tvenns konar breytingum. Kvótar, meðhöndlun samhengis og útdráttur lækkuðu kostnað hverrar keyrslu, og Skill-pakkar, val á líkani og samhliða gervigreindarfulltrúar juku eða viðhéldu gæðum svarsins.

Afköst medium bötnuðu úr 55% í 77% á BrowseComp og DSQA, á sama tíma og kostnaður lækkaði um næstum 90%. BrowseComp og DSQA eru opinber viðmiðunarpróf fyrir rannsóknir; WANDR er viðmiðunarpróf Perplexity sem samanstendur af löngum rannsóknarverkefnum sem ná til margra aðila. xhigh sinnir sjálfvirkri vinnu gervigreindarfulltrúa á borð við að keyra kóða í sandkassa, viðhalda löngum lykkjum verkfæranotkunar og vinna með margar heimildir í einu. xhigh hélt WANDR-einkunn sinni í 76,5% en keyrði á um 25% af kostnaði stillingarinnar frá ágúst 2026.

Beiðni um ítarlega rannsókn getur falið í sér tugi leita, lestur hundraða síðna og athugun gagna áður en svarað er. Hver og ein þessara aðgerða bætir tókum við samhengið og dölum við reikninginn. Án takmarkana heldur gervigreindarfulltrúi áfram að grípa til aðgerða sem auka kostnað og fylla samhengið án þess að bæta svarið. Fimm þættir ráða mestu um þennan kostnað:

Úthlutun kvóta. Gervigreindarfulltrúar með fastan kvóta geta klárað skrefin sín og lokið keyrslunni of snemma, áður en þeir ljúka verkefninu. Á hinn bóginn geta gervigreindarfulltrúar án fasts kvóta haldið áfram að keyra og valdið kostnaði án þess að bæta lokasvarið.
Samhengisálag. Leitarniðurstöður og sóttar síður bera gögnin, en ef ekkert er að gert getur samhengisglugginn fljótt fyllst af óviðkomandi upplýsingum. Samhengisgluggar bera kostnað með sér frá skrefi til skrefs og ofhlaðnir gluggar geta dregið úr afköstum gervigreindarfulltrúans.
Val á verkflæði. Mismunandi verkefni krefjast mismunandi nálgunar. Uppfletting á einni staðreynd, spurning sem krefst margra þrepa og víðtæk yfirferð heimilda krefjast hver um sig ólíks verkflæðis. Þegar líkan fær að velja sjálft velur það oft óskilvirkt verkflæði. Það leysir ekki vandann að lýsa öllum tiltækum aðferðum í fyrirmælum gervigreindarfulltrúans. Viðbótarfyrirmælin fylgja sem tókar í hverju skrefi og líkanið fylgir hverju þeirra af minni áreiðanleika eftir því sem á líður.
Val á líkani. Að skipta yfir í stærra líkan skilar ekki endilega bættum afköstum í samræmi við aukakostnaðinn. Ný líkön koma fram með fyrirsögnum og birtum einkunnum í viðmiðunarprófum. Hins vegar geta framfarir í viðmiðunarprófum verið mengaðar eða endurspeglað ofmátun líkansins. Án mats á raunverulegum verkefnum getur breyting á líkani aukið kostnað án þess að auka gæði.
Skölun með mörgum gervigreindarfulltrúum. Einn gervigreindarfulltrúi getur leitað í, lesið og unnið úr takmörkuðum fjölda heimilda í hverri keyrslu. Að keyra marga gervigreindarfulltrúa samhliða bætir gæði í kröfuhörðustu verkefnunum en eykur jafnframt kostnað og flækjustig ef ekki er rétt staðið að því.

Lausn hverrar þessara áskorana lækkaði kostnað fyrir hvert áreynslustig án þess að draga úr afköstum.

Hvert áreynslustig hefur fastan rannsóknarkvóta sem samanstendur af þremur þáttum:

Skrefamörk: fjöldi umferða sem gervigreindarfulltrúinn getur tekið
Verkfæraköll: hámark á heildarfjölda verkfærakalla í beiðni. Eitt skref getur sent mörg köll í mörg verkfæri í einu, svo að skrefamörk ein og sér stjórna því ekki hve margar aðgerðir eiga sér stað innan skrefs.
Áminningar um kvóta: reglulegar tilkynningar um hve mörg skref eru eftir, svo að gervigreindarfulltrúinn geti forgangsraðað og skilið eftir svigrúm til að skrifa svarið í stað þess að klára kvótann í miðju verkefni.

Kvótinn er helsta málamiðlunin: fleiri skref þýða betri svör og hvert skref hefur kostnað í för með sér. Með openai/gpt-6-luna eykur hækkun skrefamarka úr 1 í 15 nákvæmni á BrowseComp + DSQA úr 41% í 80%, á meðan kostnaður á fyrirspurn hækkar úr 0,0017 $ í 0,0152 $, sem er um 9-faldur kostnaður fyrir um 2-falda einkunn.

Skrefamörk ein og sér stjórna ekki rannsóknarkostnaði. Með sama fimm skrefa kvóta gerir openai/gpt-6.1-terra fleiri verkfæraköll en openai/gpt-6-luna, því öflugri líkön hafa tilhneigingu til að senda nokkur köll í einu skrefi. Áreynslustig setja hámark bæði á verkfæraköll og skref. Fyrir þessi líkön skiptir hámarkið á verkfæraköllum jafn miklu máli og skrefamörkin.

Hvert áreynslustig stillir þessi mörk, en gervigreindarfulltrúinn þarf líka að vita hve mörg skref og aðgerðir hann á eftir til að uppfylla beiðnina. Án þeirra upplýsinga getur hann klárað skrefin eða aðgerðirnar og neyðst til að svara áður en rannsókninni er lokið. Kvótinn er tilgreindur í upphafi keyrslunnar og áminningar berast þegar gervigreindarfulltrúinn nálgast mörk sín, svo að svigrúm gefist til að sannreyna og skila niðurstöðunum. Fyrir high ná áminningarnar bæði til skrefakvótans og kvótans fyrir verkfæraköll.

Tveir gervigreindarfulltrúar, annar með áminningu um kvóta og hinn án, voru prófaðir á BrowseComp-verkefni þar sem finna átti sjónvarpsþáttaröð frá tíunda áratugnum út frá ævilýsingum þriggja leikara. Gervigreindarfulltrúinn með áminningu fann rétta svarið með því að nota 13 af þeim 40 skrefum sem kvótinn leyfði. Gervigreindarfulltrúinn án áminningar um kvóta notaði öll 40 skrefin og fann ekki rétta svarið. Lykkja þess gervigreindarfulltrúa endaði óvænt og líkanið vissi ekki af þeim rannsóknarkvóta sem eftir var. Áminningar halda gervigreindarfulltrúum við efnið og hjálpa þeim að forgangsraða þeim úrræðum sem eftir eru á skilvirkan hátt.

Langvinn rannsóknarverkefni fylla samhengisglugga líkansins af leitarniðurstöðum, sóttum síðum og millistigsglósum. Þegar glugginn er fullur verður gervigreindarfulltrúinn að hætta vinnu.

Þjöppun gerir löngum keyrslum kleift að halda áfram án þess að fylla samhengisgluggann. Þegar samhengið fer yfir tiltekin mörk skiptir gervigreindarfulltrúinn vinnunni hingað til út fyrir styttri samantekt um það sem hann hefur fundið og það sem eftir er, og heldur síðan áfram.

Þjöppun heldur alltaf þremur atriðum í samhenginu: kerfisfyrirmælunum, upprunalegu beiðninni og öllum Skill-pökkum sem gervigreindarfulltrúinn hefur þegar hlaðið inn. Eftir hverja þjöppun fær gervigreindarfulltrúinn tvö stutt fyrirmæli. Fyrstu fyrirmælin eru: „Haltu áfram að vinna þar til verkefninu er lokið.“ Þetta kemur í veg fyrir að gervigreindarfulltrúinn líti á samantektina sem endapunkt. Önnur fyrirmælin segja gervigreindarfulltrúanum hve margar þjappanir hafa átt sér stað, svo að hann geti skipulagt þau rannsóknarverkefni sem eftir eru. Langar keyrslur halda upprunalega markmiðinu og áætluninni í sjónmáli og kostnaður við langar lykkjur lækkar án þess að gæðin minnki.

Hver síða sem gervigreindarfulltrúinn les bætist við samhengi hans og hann ber hana með sér í hverju skrefi sem á eftir kemur. Vefsíða inniheldur upplýsingar sem tengjast spurningunni ekki, svo sem leiðsögn, staðlaðan texta og annað efni.

Í stað þess að afhenda gervigreindarfulltrúanum heila síðu keyrir fetch_url fyrst útdráttarumferð. Texti síðunnar er sendur til minna líkans ásamt núverandi verkefni gervigreindarfulltrúans. Líkanið skilar aðeins viðeigandi köflum, orðrétt tilvitnuðum svo að gervigreindarfulltrúinn geti vísað í þá. Í einu mati var 5.561 tóka síða minnkuð í 293 tóka, sem losaði pláss fyrir viðbótarsamhengi sem skiptir máli.

Notkun fetch_url með útdrætti á high áreynslustiginu minnkaði inntakstóka á hverja fyrirspurn um u.þ.b. 50%. Útdráttur bætti einnig árangur í viðmiðunarprófum og náði 88,0% á 0,073 $ á fyrirspurn, samanborið við 83,5% á 0,094 $ án útdráttar.

Vefleit er kjarninn í hverri rannsóknarbeiðni gervigreindarfulltrúa. Þrjár breytingar voru gerðar á því hvernig gervigreindarfulltrúar leita:

Meira samhengi í hverri leit: Hver leit skilar nú allt að 4 þúsund tókum af niðurstöðum í stað 2 þúsund. Gervigreindarfulltrúinn finnur fyrr það sem hann þarf, sem leiðir til færri leita og lægri kostnaðar.

Ný textabrotavél: Leitarniðurstöður fá textabrot sem passa betur við fyrirspurnina, svo að gervigreindarfulltrúinn sé ekki ofhlaðinn óviðkomandi texta.
Hraðleit: Á 1,00 $ fyrir hverjar 1.000 beiðnir lækkar Fast Search bæði kostnað og biðtíma fyrir hvert leitarkall.

Leitarteymi Perplexity bætir stöðugt gæði gagnaöflunar í fjölbreyttum verkefnum. Nýlegar uppfærslur skiluðu framförum í kóða, skjölun fyrir forritara, uppflettisíðum, lagalegu efni og efni um regluverk.

Sum verkefni krefjast þess að margar leitir séu keyrðar samhliða; önnur krefjast nákvæms lestrar á fáeinum löngum skjölum.

Hins vegar eykur það samhengisálag að hlaða öllum verkflæðum inn í kerfisfyrirmæli gervigreindarfulltrúans og getur leitt til þess að líkanið standi sig verr í einföldum verkefnum. Þess í stað er Skill-pökkum raðað í tré með stigvaxandi birtingu. Líkanið hleður inn viðeigandi Skill-pökkum og fyrirmælum eftir því sem það vinnur og heldur óviðkomandi upplýsingum utan samhengisins. Hver Skill-pakki kostar aðeins heiti sitt og lýsingu þar til líkanið ákveður að hann henti verkefninu og hleður honum inn, en þá bætast öll fyrirmælin við samhengið og líkanið fylgir því verkflæði sem mælt er fyrir um.

Til að mæla framlag einstakra Skill-pakka er hver Skill-pakki fjarlægður einn í einu til að bera saman gæði og kostnað í verkefnum þar sem gervigreindarfulltrúinn í grunnlínunni hlóð þeim Skill-pakka inn. Þessar brottnámsprófanir sýna hvaða verkflæði hjálpa gervigreindarfulltrúanum og hvernig þau hafa áhrif á skilvirkni rannsókna.

WANDR-keyrslurnar hér að neðan sýna gervigreindarfulltrúa velja rétt verkflæði fyrir tiltekin verkefni. Leiðbeiningar um víðtæka leit og dreifingu (fanout) voru hlaðnar inn fyrir öll verkefni, sem endurspeglar þörfina á að kanna marga aðila. Skill-pakkinn fyrir fólksleit var aðeins hlaðinn inn í 6% verkefna, og aðeins þegar spurningarnar sneru að fólki.

Í prófun á öðru WANDR-verkefni hlóð gervigreindarfulltrúinn inn Skill-pakka fyrir fólksleit með dreifimynstri (fanout) til að finna verkfræðinga á sviði ályktunarkeyrslu (inference) í London. Hann víkkaði 39 starfsheiti út í 117 fyrirspurnir og sameinaði síðan niðurstöður fyrstu umferðar í 43 aðskilda prófíla til frekari skimunar. Skill-pakkinn fyrir fólksleit leiddi gervigreindarfulltrúann í gegnum þessa útvíkkun án þess að bæta við óviðkomandi samhengi. Brotið hér að neðan er aðlagað úr skriftu gervigreindarfulltrúans; heiti hjálparfalla eru til skýringar.

code1

text

Python

# roles contains the 39 role variants selected by the agent.
queries = []
for role in roles:
    queries.extend([
        {"query": f"Google DeepMind {role} London"},
        {"query": f"Google {role} London"},
        {"query": role, "company": "Google", "location": "London"},
    ])

results = pplx_sdk.search.people_many(
    queries, limit_per_query=50, concurrency=8
)

profiles = {}
for result in results:
    if not result.ok:
        continue
    for profile in result.result:
        if "linkedin.com/in/" not in profile.url:
            continue
        url = profile.url.split("?")[0].rstrip("/")
        previous = profiles.get(url, {})
        if url not in profiles or len(profile.summary or "") > len(
            previous.get("summary") or ""
        ):
            profiles[url] = {
                "url": url,
                "title": profile.title,
                "summary": profile.summary,
            }

Vistunarpunktar eru annað verkflæði sem hjálpar gervigreindarfulltrúum í langvinnum verkefnum. Mynstrið með vistunarpunktum kemur úr runuvinnslu. Þegar skrifta vinnur úr löngum lista skrifar hún hverja niðurstöðu á disk um leið og hún liggur fyrir, í stað þess að geyma allt í minni þar til yfir lýkur. Ef skriftan hrynur eða lendir í villum á miðri leið glatast ekkert: næsta keyrsla les það sem þegar var vistað, heldur áfram þaðan sem frá var horfið og reynir aðeins aftur við þau atriði sem mistókust.

Í öðru WANDR-verkefni þurfti gervigreindarfulltrúinn að skima prófíla 188 verkfræðinga. Hann hlóð inn mynstrinu með vistunarpunktum til að skrá hverja niðurstöðu jafnóðum. Fyrsta umferðin dró út 160 prófíla en mistókst á 28. Þegar gervigreindarfulltrúinn keyrði skriftuna aftur sleppti hann prófílunum sem þegar höfðu verið skráðir og reyndi aðeins aftur við þá 28 sem eftir voru. Án vistunarpunktsins hefði ein gölluð færsla þýtt að sækja þyrfti alla 188 aftur.Aðlagað Python-brot; inntakssíður, skimunarfyrirmæli, skema og innflutningar eru undanskilin; heiti hjálparfalla eru til skýringar.

code 2

text

Python

checkpoint = Checkpoint("research/profile-screening")
config = instruction + json.dumps(schema)
config_id = hashlib.md5(config.encode()).hexdigest()[:6]

def checkpoint_key(page):
    url_id = hashlib.md5(page["url_in"].encode()).hexdigest()[:10]
    return config_id + url_id

pending = [
    page for page in pages if not checkpoint.has(checkpoint_key(page))
]
for offset in range(0, len(pending), 20):
    batch = pending[offset : offset + 20]
    inputs = [
        json.dumps({
            "url": page["url_in"], "content": page["content"][:30_000]
        })
        for page in batch
    ]
    results = pplx_sdk.llm.extract_many(
        inputs,
        instruction=instruction,
        output_schema=schema,
        chunk_size=5,
        concurrency=4,
    )
    for page, result in zip(batch, results):
        if not result.ok or result.result.error:
            continue
        checkpoint.record(
            checkpoint_key(page),
            [{"url": page["url_in"], **result.result.result}],
        )

Vistunarpunkturinn skráir niðurstöður sem tókust; hann ræsir ekki endurtilraunir. Með því að hafa fyrirmælin og skemað með í lyklinum er tryggt að breytt skimunarviðmið kalli á endurvinnslu.

Ekki skiluðu allar prófanir ávinningi í gæðum og skilvirkni. Metið var að hlaða öllum Skill-pökkum inn í gervigreindarfulltrúann áður en hann hóf verkefnið. Á BrowseComp og DSQA jók forhleðsla kostnað um 13%. Á WANDR, þar sem lengri rannsóknarferlar gera sótt efni að stærri hluta inntakstóka, lækkar forhleðsla einnig einkunnir. Þessar niðurstöður studdu áframhaldandi notkun stigvaxandi birtingar.

Eftir því sem geta líkana eykst breytist líka hvaða líkan er best fyrir hvert áreynslustig. Perplexity notar sjálfvirka rannsóknarlykkju sem fylgist með tilkynningum um ný líkön og framboði þeirra. Mat fer af stað um leið og líkan verður aðgengilegt.

Þegar nýtt líkan kemur út keyrir sjálfvirkur gervigreindarfulltrúi það í gegnum harness fyrir mat. Hann prófar ýmis gildi á rökáreynslu, kvótum fyrir skref og verkfæraköll og verkfærastillingum og metur gæði og kostnað hverrar keyrslu miðað við núverandi áreynslustig. Þar sem keyrsla kemur verr út rannsakar gervigreindarfulltrúinn ástæðuna, lagar stillingarnar og keyrir matið aftur. Líkan í prófun kemur aðeins í stað núverandi líkans þegar það hefur betur í gæðum á sama eða lægri kostnaði.

Opinber viðmiðunarpróf eru gagnleg, en einkunnir þeirra endurspegla ekki alltaf raunveruleg verkefni. Til dæmis sýnir grafið hér að neðan líkan í prófun sem skoraði 13,3 stigum hærra en grunnlínan á BrowseComp en langt undir samsvarandi grunnlínum í innri rannsóknarverkefnum á sviði fyrirtækja, lögfræði og fjármála.

Einn gervigreindarfulltrúi kemst aðeins yfir takmarkaðan fjölda heimilda í einni lykkju. Í flóknum verkefnum vinna nokkrir gervigreindarfulltrúar samhliða og hver þeirra sinnir sínum hluta vandans í samráði við hina.

Aðalgervigreindarfulltrúinn er stjórnandinn. Hann kallar á spawn_agent til að búa til undirskipaða gervigreindarfulltrúa og úthlutar hverjum þeirra afmörkuðu, markvissu verkefni. Hver undirskipaður gervigreindarfulltrúi keyrir sína eigin rannsóknarlykkju með aðskildu samhengi og notar eigið líkan, eigin verkfæri og eigin skrefakvóta. Undirskipuðu gervigreindarfulltrúarnir skila niðurstöðum sínum til aðalgervigreindarfulltrúans, sem getur sent þeim framhaldsverkefni eða kannað framvindu þeirra. Stjórnandinn og undirskipaðir gervigreindarfulltrúar hans skiptast á skilaboðum til að deila gögnum, benda á hindranir og laga næstu skref. Þegar nýjar upplýsingar berast fínstillir stjórnandinn verkefnin og, þegar vinnunni er lokið, sameinar hann niðurstöðurnar í eitt svar.

Agent API styður fyrirfram skilgreind hlutverk gervigreindarfulltrúa og stjórnandinn getur búið til undirskipaða gervigreindarfulltrúa með sérsniðnum fyrirmælum.

Áreynslustigið ultra keyrir þrjá gervigreindarfulltrúa samhliða á verkefni. Hver gervigreindarfulltrúi rannsakar allt verkefnið sjálfstætt, sem skilar ólíkum gögnum. Fjórði gervigreindarfulltrúinn sameinar niðurstöður þeirra, fjarlægir tvítekningar og skrifar lokasvarið.

Á WANDR nær ultra 85,9% á 21,71 $ á hvert verkefni. Það nær hæstu einkunn af þeim stillingum sem prófaðar voru.

Áreynslustig eru stöðugt metin og bætt. Stigið sem notendur velja ræður því hve mikla rannsókn verkefni fær og hve mikið það mun kosta. Kvótar fyrir skref og verkfæraköll, ásamt áminningum þegar þeir eru að klárast, halda beiðnum innan kvóta. Þjöppun, útdráttur og betri textabrot halda samhenginu einbeittu að gögnum. Skill-pakkar laga verkflæðið að verkefninu og samhliða gervigreindarfulltrúar auka það sem ein lykkja getur náð yfir. Sjálfvirk matslykkja tekur nýtt líkan aðeins inn þegar það bætir gæði rannsókna með sama kostnaði.

Hvert áreynslustig mun halda áfram að þróast eftir því sem ný líkön og stillingar sanna sig í mati. Þegar stig er kallað fram með heiti fást þessar umbætur sjálfkrafa; ef útgáfa er fest helst stillingin óbreytt.

Prófaðu Agent API og berðu saman áreynslustig á þínum eigin verkefnum. Nánari upplýsingar um áreynslustig má finna í skjölun Agent API um áreynslu.

Kostnaður við rannsóknir

Stjórnun rannsóknarkvótans

Stjórnun samhengis

Þjöppun

Aðeins það sem skiptir máli er sótt

Markviss vefleit

Val á réttu verkflæði

Val á líkani

Skölun með mörgum gervigreindarfulltrúum

Hvað er fram undan