Perplexity Decider

Kuidas me seda treenime, hindame ja kasutame.

AutoridPerplexity Research

Avaldame mudelid Decider v1.3 ja Decider Flash v1.3, mis on meie varasemate otsustusmudelite v1, v1.1, v1.2 ja Flash v1.2 järglased.

Decider Flash v1.3 on väiksem mudel, mis on destilleeritud mudelist Decider v1.3. Mõlemad mudelid on saadaval platvormil Hugging Face Apache litsentsi alusel, teenuse OpenRouter kaudu ja Perplexity Decisions API kaudu.

Perplexity Decider on inspireeritud mudelist Jev, mis on ettevõtte TypeSafe AI System One Model. See toetab binaarset ja mitmeklassilist klassifitseerimist järjestatud või järjestamata siltidega ning tagastab tõenäosused, mida rakendused saavad kasutada sisendite klassifitseerimiseks, suunamiseks, järjestamiseks ja hindamiseks.

Mõlemad v1.3 mudelid parandavad jõudlust ja robustsust paljudes teksti- ja nägemisülesannetes tänu kahesuunalisele tähelepanule, paremini kureeritud treeningandmetele ja täiustatud treeningretseptile. Tutvustame ka uut funktsiooni locate, mis tõstab esile valitud sisu nimeolemite tuvastamise, isikuandmete tuvastamise ja ekstraktiivse küsimustele vastamise ülesannetes.

Selles postituses selgitame, kuidas me Deciderit treenime ja hindame, ning räägime, kuidas seda Perplexitys sisemiselt kasutame.

Mis on otsustusmudel?

Otsustusmudel on üldotstarbeline klassifikaator. Annate sellele sisendi ja küsimuste kogumi, millest igaühel on oma võimalikud vastused. Iga küsimuse kohta tagastab mudel vastuste tõenäosusjaotuse. Mudel toetab 3 küsimusetüüpi:

  • Jah / Ei: binaarsed otsused.
  • Valikvastused: kohandatud mitmeklassilised sildid.
  • Skoor: järjestatud tasemed.

Otsustusmudelid toetavad väga erinevaid klassifitseerimis- ja hindamisülesandeid:

  • Väljundite hindamine: tõetruuduse, kvaliteedi ja ohutuse kontrollimine.
  • Suunamine: päringute suunamine väiksematele või suurematele mudelitele vastavalt keerukusele.
  • Modereerimine ja turvalisus: kahjuliku sisu, õngitsuse ja viibasüstide tuvastamine tööriistade väljundites.
  • Filtreerimine ja sildistamine: suurte sisukogude korrastamine.
  • Teabeotsing ja ümberjärjestamine: otsingutulemuste hindamine asjakohasuse järgi.

Paljusid neist ülesannetest täitsid varem generatiivsed mudelid, näiteks LLM-id, kuigi need ei nõua vabas vormis teksti genereerimist. Otsustusmudelid asuvad LLM-ide ja ülesandespetsiifiliste klassifikaatorite vahepeal. Need tagastavad ühe edasilevi käigus tõenäosused mitme sama sisendit puudutava küsimuse kohta, vältides vastuse genereerimist tokenhaaval ja jagades arvutusi küsimuste vahel. Erinevalt ülesandespetsiifilistest klassifikaatoritest saavad need loomuliku keele viipade kaudu hakkama uute ülesannetega – see paindlikkus on omandatud mitmekesiste ülesannete peal treenimisel ühises küsimuste-vastuste vormingus.

Treenimine

Generatiivse LLM-i muutmine otsustusmudeliks

Loome Decideri, kohandades võimsaid generatiivseid LLM-põhivõrke. Kohandamise selgitamiseks kirjeldame esmalt, kuidas päring on esitatud. Nagu allpool näidatud, koosneb päring jagatud kontekstist (olekust) ja mitmest küsimusest. Olekut taaskasutavad kõik küsimused.

Näiteks dokumendi ja selle kokkuvõtte korral saab üks päring küsida, kas kokkuvõte esitab dokumenti tõetruult ja kas see on mõeldud eksperdile või laiemale publikule. Pärast olekut sisaldab iga küsimuseplokk küsimust ja selle võimalikke vastuseid, millest igaühele on määratud eelnevalt kindlaks määratud sildi token, näiteks A, B või C. Eritoken <|marker|> näitab, kust mudeli ennustus välja lugeda. Selles positsioonis teisendab õpitud lineaarne väljundkiht (otsustuspea) varjatud oleku küsimuse vastusevariantide skoorideks, mis seejärel teisendatakse tõenäosusteks.

Lähtestame väljundkihi baasmudelist, mis tavaliselt hindab järgmist tokenit kogu sõnavara ulatuses, ja säilitame ainult read, mis vastavad eelnevalt määratud valikutokenitele, näiteks A, B või C. Seejärel treenitakse seda kärbitud kihti muutma tokeni <|marker|> varjatud olekut vastuste skoorideks. See lähenemine katab kõik klassifitseerimisküsimused, sest neid kõiki saab sõnastada valikvastustega küsimustena.

Treenimiseks võtame sadu avalikke andmekogumeid, mis hõlmavad mitmesuguseid ülesandeid (meeleolu, loomuliku keele järeldamine, kavatsuse tuvastamine, olemite sobitamine, modereerimine, faktikontroll, hinnangud jne), ja teisendame iga näite eespool kirjeldatud ühtsesse vormingusse: olek, üks või mitu küsimust, nende valikud ja sihtväärtus. Sihtväärtus võib olla ainus õige valik, kui meil on kuldstandardi sildid, või tõenäosusjaotus valikute üle.

Versioonis v1.3 tutvustame funktsiooni locate, mis eraldab teksti olekust, selle asemel et valida eelnevalt määratud valikute hulgast. Locate-küsimus kirjeldab, mida otsida, kasutades kas lühikest silti, näiteks „asukoht“, või juhist, näiteks „Eralda linna nimi, kus töökoht asub.“ Mudel tagastab olekust täpselt sobiva teksti koos selle algus- ja lõpumärgi asukohaga. Kui mudel ühtegi vastet ei leia, tagastab see tühja loendi.

Ühise oleku tõttu saab üks päring ühendada sama sisendi kohta käivaid locate-, klassifitseerimis- ja hindamisküsimusi. Näiteks saab küsida, kas töökoht eeldab kõrgema taseme töökogemust, ja eraldada nõutavad oskused.

Kahesuunaline tähelepanu: mudel loeb mõlemas suunas

Meie mudelid põhinevad tugevatel eeltreenitud generatiivsetel põhivõrkudel, mille põhjuslik tähelepanu laseb igal tokenil pöörata tähelepanu ainult iseendale ja eelnevatele tokenitele. Meie ablatsiooniuuringud näitasid, et põhivõrgu täistähelepanukihtide kahesuunaliseks muutmine parandab jõudlust, seega võtsime selle lahenduse kasutusele, et iga token saaks arvestada kogu sisendi kontekstiga.

Kahesuunaline tähelepanu toob kaasa veel ühe disainivaliku: kuidas peaksid olek ja küsimused omavahel suhestuma? Kaalusime kolme tähelepanumustrit, millel on erinev mõju jõudlusele, vastuste stabiilsusele ja vahemälu taaskasutusele:

  • Kõik näevad kõike (v1.2): olekut ja kõiki küsimusi töödeldakse koos täieliku kahesuunalise tähelepanuga. Oleku arvutus on ühine, kuid vastus ühele küsimusele võib muutuda sõltuvalt sellest, mida veel küsitakse.
  • Isoleeritud küsimused (v1.3): olek pöörab tähelepanu kõigile küsimustele, samas kui iga küsimus pöörab tähelepanu ainult olekule ja oma tokenitele. Küsimused võivad ühise oleku kaudu üksteist endiselt kaudselt mõjutada, kuid tulemused on stabiilsemad.
  • Täielikult vahemällu salvestatav: olek pöörab tähelepanu ainult iseendale, samas kui iga küsimus pöörab tähelepanu olekule ja oma tokenitele. Olek on küsimustest sõltumatu ja seda saab päringute vahel taaskasutada, et kasutada ära viipade vahemällu salvestamist. Me ei kasuta seda vaikimisi, sest see, et olek näeb küsimusi, on mitme ülesande puhul väga oluline, kuid väike peenhäälestus võimaldab mudeli sellele ümber lülitada.

Lõpuks valisime isoleeritud küsimused nende tugeva jõudluse ja stabiilsuse tõttu.

Treeningretsept

Mõlema mudelisuuruse treenimine toimub kolmes etapis. Esmalt treenime suuremat mudelit, mis põhineb mudelil Qwen3.8-27B, kasutades suurtel andmekogumitel ristentroopiat, ning seejärel destilleerime selle väiksemasse mudelisse Qwen3.5-4B.

Esimene etapp on üldtreening, mille käigus peenhäälestame mudeli täielikult suuremahulistel korpustel. Selles etapis aktsepteerime ainult andmeid, mis aitavad mudelit üldiselt ega ole seotud ühegi konkreetse võrdlustestiga; seetõttu jätame välja kõigi võrdlustestide treeningosad.

Pärast selle üldmudeli treenimist viime läbi teise, peenema etapi, kasutades meetodit LoRA. Selles etapis kasutatavad andmed on suunatud konkreetsetele valdkondadele ja ülesannetele. Lisame andmeid pigem teises kui esimeses etapis, kui täheldame vaid kitsalt piiratud kasu või mõningast tagasiminekut teistes ülesannetes. Kasutame LoRA-t, et vältida liigset kõrvalekaldumist üldmudelist ja riski kaotada nende konkreetsete valdkondadega kohanemisel jõudlust. Eesmärk on parandada jõudlust, säilitades samal ajal põhivõrgu üldteadmised. Samuti kasutame LoRA baasmudelisse tagasi ühendamisel kaalu, et triivi täpsemalt kontrollida ning eelistada kõrvalejäetud andmetel mõõdetud näitajaid mis tahes valdkonnasisestele edusammudele.

Lõpuks lisame nägemisspetsiifilise sammu. Sarnaselt teise etapiga käsitletakse nägemissammu veel ühe peeneteralise spetsialiseerumissammuna, kasutades LoRA-adapterit, mis liidetakse kaaluga tagasi baasmudelisse. Mõned nägemisvõimekused võivad tulla tekstijõudluse arvelt. Kuna mudeleid kasutatakse tekstiga palju rohkem, eelistame tekstimõõdikuid nägemismõõdikutele.

Mõlema tekstietapi puhul kasutame kolme treeningkorra keskmisi kaale, kusjuures igal korral kasutatakse erinevat juhuslikkuse seemet. Leidsime, et see parandab koondmudeli jõudlust ja robustsust.

Kui lõplik suur mudel on valmis, rakendame sama kolmeetapilist treeningprotseduuri väiksemale mudelile. Siin toimib suur mudel õpetajana: selle ennustatud väljundjaotus asendab kuldmärgendid ja väiksemat mudelit treenitakse minimeerima KL-lahknevust oma ennustuste ja õpetaja ennustuste vahel. See destilleerimise eesmärkfunktsioon annab samadel treeningandmetel paremaid tulemusi kui ristentroopia. Kuigi ristentroopia toimib paremini võrdlustestidel, millel on spetsiaalsed treeningandmed, üldistub see kõrvalejäetud andmetele halvemini. Oletame, et destilleerimine kannab paremini üle õpetaja väljundjaotuse, sealhulgas selle kindluse mittekuldsete alternatiivide suhtes, samas kui ristentroopia soodustab ülesobitamist võrdlustestipõhisele treeningjaotusele. Seetõttu võtame kasutusele KL-põhise destilleerimise eesmärkfunktsiooni.

Treening- ja testiandmete saastumise leevendamiseks eemaldame kõik treeningnäited, mis võivad kattuda mõne meie kasutatava hindamisega. See on oluline, sest mõned avalikud treeningandmestikud sisaldavad suuri osi mõnest hindamisandmestikust. Samuti teeme ulatuslikke kallutatuse auditeid ja eemaldame kallutatust, et tagada, et meie edusammud on usaldusväärsed ega tulene lihtsalt õpitud kallutatusest.

Teabe ekstraheerimise võimekuse lisamine

Funktsioon locate eraldab tekstist teavet, näiteks nimeolemeid, muutmata seda, kuidas mudel tavapärastele päringutele vastab. Selleks lisame täiendava treeningetapi: lisame Deciderile uue eritokeni <|locate|>, lõigupea (span head) ja LoRA-adapteri.

Lähtestame tokeni <|locate|> vektoresituse eelmistes treeningetappides õpitud tokeni <|marker|> põhjal. Treenime ainult seda uut vektoresitust, lõigupead ja LoRA-adaptereid, hoides põhivõrgu algsed kaalud ja otsustuspea külmutatuna. Iga nõutud väli saab oma tokeni <|locate|>.

Lõigupea kasutab tokeni <|locate|> esitust koos olekutokenite esitustega, et hinnata, kus sobivad lõigud algavad ja lõpevad ning millised algus-lõpp-paarid kokku kuuluvad. Samuti kasutab see tokeni <|locate|> esitust, et ennustada nende skooride väljapõhiseid lävendeid. Valitud lõigud tagastatakse märgipositsioonidena algses tekstis.

Treenime lõigupead kohandatud InfoNCE kaofunktsiooniga, mis surub iga kuldlõigu lävendist kõrgemale ja lävendi kõigist teistest lõikudest kõrgemale. Kaofunktsioonil on kaks liiget: esimene surub õigete lõikude skoorid lävendist ja valedest lõikudest kõrgemale. Teine liige surub lävendi valede lõikude skooridest kõrgemale. Väljad, millel vastus puudub, saavad ainult teise liikme, mis õpetab mudelit tagastama tühja loendit.

Treenime mudelit tekstilõikude eraldamise ülesannete segul, mis hõlmab nimeolemite tuvastamist, PII tuvastamist ja ekstraktiivset küsimustele vastamist. Varieerime väljakirjeldusi lühikestest siltidest üksikasjalike juhisteni, et mudel õpiks päringut järgima, mitte fikseeritud siltide hulka pähe õppima.

Locate õpetab mudelile struktuurilt erinevat ülesannet ja me tahame selle lisada, kaotamata seda, mida mudel juba hästi teeb. Locate-adapterite ühendamine põhivõrguga põhjustab otsustuspäringute puhul mõningast tagasiminekut. Selle piiramiseks uurime selliseid lahendusi nagu varasemate etappide korduvandmete suurem hulk ja abieesmärgid, mis hoiavad mudeli väljundid otsustuspäringutel algse mudeli väljundite lähedal. Siiski leiame, et ühendamine ei ole praegu veel kadudeta, seega hoiame adapterid ühendamata ja aktiveerime need ainult locate-päringute puhul.

Hindamine

Hindame mudeleid Decider v1.3 ja Decider Flash v1.3 välistel võrdlustestidel: Hugging Face Decision Index, Vals AI ClaimBench ja Artificial Analysis Decision Index.

Nendes hindamistes näitavad meie mudelid tugevat jõudlust. Kuigi need edetabelid sisaldavad privaatseid ülesandeid, saab nende tulemusi siiski kunstlikult parandada korduvate esituste ja edetabeli tagasiside põhjal iteratiivse häälestamise abil. Nende edetabelite täiendamiseks hindame mudeleid sisemisel testikomplektil, mis ühendab privaatseid tootmisülesandeid ja kõrvalejäetud hindamisi avalikest andmestikest, mis ei ole võrdlustestid. Need hindamised pakuvad täiendavat kontrolli üldistusvõime kohta väljaspool avalikke võrdlusteste, aidates meil eristada laiemaid täiustusi edusammudest, mis on omased vaid tuttavatele hindamiskomplektidele.

Koostasime sisekasutuseks enam kui 200 ülesandest koosneva komplekti, mis hõlmab eri valdkondi ja ülesandetüüpe, nagu klassifitseerimine, hindamine, ümberjärjestamine ja olemite eraldamine. Et Decideri tegelikku jõudlust ausalt hinnata, tehakse kõik hindamised zero-shot-režiimis ehk ilma ülesandepõhise peenhäälestuseta, mis annab meile selge signaali, kus mudelit parandada.

Päringute klassifitseerimine

Perplexitys kasutame iga kasutajapäringu töötlemiseks mitme peaga klassifitseerimissüsteemi. Iga päring läbib esmalt vektoresitusmudeli, mis toimib tunnuste eraldajana. Saadud vektoresitus suunatakse seejärel mitmesse eraldi klassifitseerimispeasse, sealhulgas nii binaarsetesse kui ka mitme sildiga klassifikaatoritesse. Näiteks üks pea otsustab, kas kasutajapäring peaks käivitama veebiotsingu.

63 klassifitseerimisülesande lõikes, mille viited märgistas tipptasemel LLM sõltumatult ümber, saavutab Decider v1.3 keskmise täpsuse 91,6%, ületades meie tootmisklassifikaatoreid 6,54 protsendipunkti võrra. Ka Decider Flash v1.3 edestab tootmises kasutatavat baastaset, samas kui Decider v1.3 edestab Jev 1.14.

Valdkonnapõhine klassifitseerimine

Koostasime avalikest andmekogumitest valdkonnapõhise hindamiskomplekti, et hinnata otsustusmudelite klassifitseerimisvõimet seitsmes valdkonnas: väidete kontrollimine (6 ülesannet), tervishoid (7), küberturvalisus (8), programmeerimine (16), avalik haldus (7), õigus (9) ja rahandus (9).

Näiteks „hinda Pythoni programmi ajalist keerukust“ või „kasuta ettevõtte majandusaasta aruannet, et teha kindlaks, kas ettevõtte vabalt kasutatav raha katab järgmise kaheteistkümne kuu jooksul tasumisele kuuluva võla põhiosa“. Decider v1.3 on esikohal kõigis seitsmes valdkonnas, edestades Jev 1.14 rahanduses kuni 12,9 protsendipunkti ja õiguses 9,3 punkti võrra. Decider Flash v1.3 jääb rahanduses, programmeerimises ja õiguses Jev 1.14-st maha ning toimib teistes valdkondades sarnaselt.

Teabeotsing ja ümberjärjestamine

Otsing on Perplexity keskmes. Meil on lai teabeotsinguülesannete komplekt, et hinnata oma mudelite ümberjärjestamisvõimet. Iga ülesande puhul kasutame esmalt vektoresitusmudelite kogumit, et leida igast korpusest 50 parimat kandidaatdokumenti. Seejärel järjestame need kandidaadid Decideriga ümber ja võrdleme selle jõudlust tugeva ümberjärjestaja baastasemega, mudeliga Qwen3-Reranker-8B.

Hindame Deciderit zero-shot-režiimis punktipõhises seadistuses, kasutades mudelit iga päringu–dokumendi paari otse ja sõltumatult hindamiseks ning dokumentide järjestamiseks asjakohasuse järgi. 72 teabeotsinguülesande lõikes saavutab Decider v1.3 keskmise nDCG@10 väärtuse 83,99, edestades Qwen3-Reranker-8B-d 1,81 ja Jev 1.14 2,24 punkti võrra.

BEIR-i võrdlustestis edestavad mõlemad mudelid Qwen3-Reranker-8B-d nDCG@10 näitaja järgi vastavalt 8,78 ja 7,05 punkti võrra. Võrreldes Jev 1.14-ga on Decider v1.3 tulemus 1,33 punkti kõrgem, Flash-versiooni tulemus aga 0,4 punkti madalam.

Mitmekeelne klassifitseerimine

Et hinnata otsustusmudeleid ka väljaspool inglise keelt, koostasime mitmekeelse klassifitseerimise võrdlustesti, mis koosneb 19 keelepõhisest ülesandest 8 avalikust andmekogumist ja sisaldab 46 484 näidet kaheksas keeles: saksa, hispaania, prantsuse, itaalia, vene, jaapani, korea ja hiina keeles. Võrdlustest hõlmab kavatsuse tuvastamist, teemade klassifitseerimist, meeleoluanalüüsi, loomuliku keele järeldamist, parafraaside tuvastamist, solvava keelekasutuse tuvastamist ja grammatilist aktsepteeritavust.

Esitame iga keele puhul ülesannete keskmise täpsuse, andes igale ülesandele võrdse kaalu. Decider v1.3 edestab Jev 1.14 kõigis kaheksas keeles ja Decider Flash v1.3 kuues keeles; ülesannete keskmine täpsus on Decider v1.3 puhul 88,16% ja Decider Flash v1.3 puhul 86,50%, Jev 1.14 puhul aga 85,41%.

NER, PII ja ekstraktiivne küsimustele vastamine

Hindame funktsiooni locate 17 valdkonnavälisel ülesandel, mis testivad selle eraldamisvõimet eri valdkondades, sisendvormingutes (tekst, tabelid, struktureeritud dokumendid) ja juhistes (lühikesed sildid, küsimused ja üksikasjalikud kirjeldused). Valdkonnad ulatuvad Wikipediast teadusartiklite, küberohtude aruannete, tehnilise toe, privaatsuspoliitikate, CV-de ja õiguslike lepinguteni. Päringud ulatuvad lühikestest siltidest, nagu „isik“ või „e-posti aadress“, tabeli või tugipileti kohta esitatud küsimuste kaudu kuni struktureeritud eraldamise üksikasjalike väljakirjeldusteni, näiteks konfidentsiaalsuslepingu (NDA) osapooled või arve kogusumma.

Hindame NER-i ja PII-tuvastust täpse lõigu F1-skooriga, mis nõuab, et ennustatud lõigud vastaksid täpselt viiteandmete piiridele. Ekstraktiivne küsimustele vastamine kasutab märgitasemel F1-skoori, mis annab kattuva vastuseteksti eest osalise tunnustuse, samas kui struktureeritud ekstraheerimine kasutab väljade täpsust ehk õigesti ekstraheeritud väljade osakaalu. CV-de parsimisel võtame NER-i ja PII täpse lõigu F1-skooride keskmise.

Võrdleme oma mudeleid eri suurusega üldotstarbeliste eraldamismudelitega: GLiNER large v2.5 (0,5B), Liquid d1 (2B) ja Cloudflare’i Clairic (avalikustamata). Decider v1.3 saavutab keskmise tulemuse 69,0 (kasutades iga ülesande peamist mõõdikut) ja Decider Flash v1.3 tulemuse 63,6, võrreldes Liquid d1 tulemusega 43,3, Clairici tulemusega 41,5 ja GLiNER large v2.5 tulemusega 33,6. Mõlemad Decideri mudelid on igas kategoorias esikohal.

Piltide klassifitseerimine

Decider on alates versioonist v1 natiivselt toetanud nägemisülesandeid. Et hinnata selle jõudlust väljaspool teksti, koostasime viiest ülesandest koosneva võrdlustestide komplekti, mis keskendub eelkõige dokumentide klassifitseerimisele, sealhulgas arvetele, kirjadele ja CV-dele. Komplekt hõlmab ka satelliidipiltide klassifitseerimist, tekstuuride klassifitseerimist, lemmikloomade tõugude klassifitseerimist ja loomade loendamist.

Decider v1.3 saavutab viie visuaalse ülesande lõikes keskmise täpsuse 76,99%, edestades Jev 1.14 1,47 protsendipunkti võrra. Decider Flash v1.3 saavutab 72,77%, näidates visuaalse klassifitseerimise võimekust väiksemas mudelis.

Päriselu otsustuspäringud

Võtsime valimi miljonist duplikaatidest puhastatud ja PII-maskitud päringust, mis esitati Perplexity Decision API-le selle esimese 18 kättesaadavuspäeva jooksul. Kuna iga päring võib sisaldada sama oleku kohta mitut küsimust, koosneb valim 2 318 887 eraldi küsimusest. Kõik päringud kaasati kasutajate selgesõnalisel loal uurimistöö jaoks.

Tootmispäringutel puuduvad tõesed sildid, seega kasutame tipptasemel LLM-hindajaid viitevastuste loomiseks ja mõõdame, kui hästi iga mudel nendega ühtib. Samuti rühmitame päringud 10 ülesandekategooriasse, mille hulka kuuluvad teabe eraldamine, valdkonna klassifitseerimine, meeleoluanalüüs, kavatsus ja suunamine, asjakohasuse järjestamine, sisu modereerimine, kvaliteedi- ja vastavuskontroll, olemite sobitamine, ärianalüüs ning kategooria „Muu“. See jaotus näitab, kuidas jõudlus päriselu kasutusjuhtude lõikes erineb.

Ülesannete jaotus on ebaühtlane: teabe eraldamise arvele langeb 425 402 küsimust, valdkonna klassifitseerimise arvele 409 564 ja meeleoluanalüüsi arvele 344 158. Kokku moodustavad need kolm kategooriat 50,8% valimisse võetud küsimustest.

Decider v1.3 saavutab hindajatega suurima kokkulangevuse – 93,98%, võrreldes Decider v1.2 tulemusega 93,68% ja Jev 1.14 tulemusega 93,35%. Decider v1.3 ja Jev 1.14 on valdkonna klassifitseerimises ja meeleoluanalüüsis väga lähestikku, vahega vastavalt 0,34 ja 0,07 protsendipunkti. Jev edestab asjakohasuse järjestamises 0,69 punktiga, samas kui Decider v1.3 edestab teabe eraldamises (valimi kõige levinum ülesanne) 0,93 punktiga ning kavatsuse ja suunamise osas 1,21 punktiga.

Allolev diagramm võrdleb samade miljoni tootmispäringu käitamise teatatud kulusid. Iga päring võib sisaldada mitut küsimust, seega on ühikuks siin päringud, mitte üksikud küsimused.

Decider töötas lokaalselt; GLM ja DeepSeek kasutasid teenust llm-api; Jev kasutas teenust OpenRouter. Teatatud kulud on töökoormusepõhised, kohaliku riistvara kulude arvestus on täpsustamata ja võrreldavates tingimustes latentsusvõrdlust ei tehtud.

Robustsus

Hindasime tundlikkust siltide suhtes 372 valikvastustega küsimuse põhjal, tehes iga mudeli kohta 4 788 päringut. Muutsime valikute järjekorda, määrasime silte vastusetekstidele ümber ja nimetasime silte ümber, säilitades iga küsimuse tähenduse, ning kontrollisime seejärel, kas mudeli vastuse sisu muutus. Madalam vastuste muutumise määr näitab suuremat stabiilsust.

Decider v1.3 muutis iga teisenduse korral oma vastust vaid 0,27% küsimuste puhul, Jev 1.14 puhul oli see näitaja aga 2,69–4,84%. Kordasime ka identseid sisendeid, et mõõta teenindamise varieeruvust: Decider v1.3 puhul muutusi ei esinenud, Jev 1.14 aga muutis vastust 1,88% küsimuste puhul.

Kuidas me Deciderit kasutame

Decider on loodud töövoogude jaoks, mis vajavad kiireid ja struktureeritud otsuseid. Selles jaotises uurime, kuidas neid rakendada nii, et need muudaksid meie töökorraldust sisuliselt. Siin on mõned, mis silma paistsid.

Isetäiustuvad turvareeglid

Sisemiselt kasutame Deciderit juba oma turbepoliitikate täiustamiseks.

Meie agentide tegevus salvestatakse ja probleemse käitumise tuvastamiseks tehakse rida reeglipõhiseid kontrolle. Reeglipõhine lähenemine võimaldab meil agente reaalajas jälgida, lisades vaid tühise latentsuse. Võrguväliselt kasutame Deciderit, et vaadata läbi valimeid nendest salvestatud agendilogidest. Kui probleemset käitumist ei märgitud, kontrollib Decider, kas meie reeglistik jättis midagi kahe silma vahele; kui aga anti häire, kontrollib Decider, kas tegu oli valehäirega. Kõik kirjed, mille puhul meie reeglistik kummalgi juhul ebaõnnestub, saadetakse agendile triaažiks ja välja pakutakse reeglite parandus, mille peab heaks kiitma meie turvameeskonna liige.

Ühe päevaga luges Decider 7000 agendiseansi jooksul läbi 1 miljard tokenit ja tuvastas vead, mille põhjal tehti reeglitesse 14 parandust; neist 6 kiideti heaks ja võeti kasutusele kahe päeva jooksul. Nädala logidel taasesitatuna vähendasid parandused meie kõige koormatuma reegli mahtu 52%, ja laiendatud reeglid tabasid ligikaudu 40% rohkem põhjendatult uurimist vajavaid toiminguid.

RL-läbijooksude jälgimine

Kui järeltreenime mudeleid stiimulõppega, ei selgita koondmõõdikud, näiteks lõpptasu, miks läbijooks (üksik katse ülesannet lahendada) õnnestus või ebaõnnestus. Läbijooks võib kaotada tasu ebaõiglaselt, kuna tööriistateenus või liivakast ebaõnnestus, või saada teenimatut tasu, kui hindaja jätab tähelepanuta põhjendamata väite, näiteks väljamõeldud väärtuse, mida ükski tööriist ei tagastanud.

Kasutame Deciderit, et jälgida, kas läbijooksudes esineb selliseid juhtumeid. Esmalt tuvastab kood läbijooksu osad, mis vajavad lähemat uurimist: ebaõnnestunud tööriistakutse ja seda ümbritsev arutluskäik, vigadeta töötanud kood või lõplik vastus. Seejärel vastab Decider iga osa kohta valikvastustega küsimustele, näiteks selle kohta, mis konkreetses sammus ebaõnnestus (tööriistateenus, väline veebisait, liivakast, harness või agendi enda kood) ja kas agent tõlgendas tulemust õigesti. Koondame kõik konkreetse osa kohta käivad küsimused üheks päringuks ja salvestame otsuse asemel tõenäosused, et saaksime lävendeid hiljem kohandada, ilma et peaksime Deciderile uuesti päringu tegema. Seire ainult vaatleb ja diagnoosib: see ei muuda kunagi tasu ega peata läbijooksu.

Lehtede kvaliteedi filtreerimine

Kui roomame veebilehti, et neid indekseerida ja kasutajatele esitada, on paljud lehed liiga madala kvaliteediga, et neist mingit kasu oleks. Nende hulka kuuluvad robotitõkked, CAPTCHA-d ja vealehed, aga ka korrektselt laaditud veebilehed, mis lihtsalt ei sisalda kasulikku teavet, näiteks rämpssisu, SEO-täitetekst või ainult navigeerimiseks mõeldud lehed. Need madala kvaliteediga lehed tuleb tuvastada ja meie indeksist välja filtreerida.

Decideri abil saame hinnata lehtede kvaliteeti juba nende roomamise ajal. Sama edasilevi käigus täidame hulga muid klassifitseerimisülesandeid, näiteks tuvastame sisu valdkonna ja sihtrühma ning selle, kas see sisaldab kahjulikku, ebaseaduslikku või isikut tuvastavat teavet. Võrreldes LLM-hindaja kasutamisega on Decider märkimisväärselt kiirem ja odavam.

Näitlik lehe kvaliteedi päring: kasulikku teavet, sihtrühma, kahjulikku või ebaseaduslikku sisu ja isikut tuvastavat teavet hinnatakse samalt lehelt.

Lisaks nendele sisemistele kasutusviisidele sobib Decider ka näiteks järgmistesse töövoogudesse.

Visuaalne küsimustele vastamine

Kuna Decider loeb pilte, toimib see ka visuaalse kontrollijana, vaadates üle veebilehtede või rakenduste stiilimuudatusi ja tuvastades vigu. See saab enne muudatuse avaldamist kontrollida lehtede ekraanipiltidelt kärbitud teksti, kattuvaid elemente ja katkiseid paigutusi või märkida diagramme, mille kujundus võib lugejat eksitada või rikkuda brändijuhiseid.

Brauseris navigeerimine

Agendid saavad kasutada Deciderit väikesteks otsusteks suuremate ülesannete sees. Brauseriagent saab igal sammul saata ekraanipildi ja saada üksikasjalikku teavet lehe oleku ning iga võimaliku toimingu eeldatava tulemuse kohta.

Uurimisülesannete planeerimine

Kasutajate küsimuste keerukus võib olla väga erinev, nagu ka otsingu sügavus, mis on vastuse leidmiseks vajalik. Decider suudab seda hinnata enne otsingu algust, mis võimaldab lihtsatele küsimustele kulutada vähem ressursse.

Alustamine

Decider tagastab tõenäosused. Sobiv otsustuslävend sõltub rakendusest. Siltide sagedused ning valepositiivsete ja valenegatiivsete tulemuste suhteline hind erinevad kasutusjuhtude lõikes. Seetõttu soovitame kasutajatel häälestada lävendeid väikese, esindusliku siltidega arenduskogumi põhjal, selle asemel et eeldada, et fikseeritud lävend toimib kõigi ülesannete puhul võrdselt hästi.

Soovitame kasutada mudelit Decider v1.3 nüansseeritud otsuste, üksikasjalike hindamiskriteeriumide ja selliste töövoogude puhul, kus vead on kulukad. Valige Decider Flash v1.3 suuremahuliseks suunamiseks, märgendamiseks ja filtreerimiseks, kus peamised piirangud on latentsus ja kulu. Hinnake mõlemat mudelit oma töökoormuse esinduslike näidete põhjal ja valige seejärel mudel, mis vastab teie kvaliteedi-, latentsus- ja eelarvenõuetele.

Mõlemad mudelid on saadaval allalaaditavate kaaludena platvormil Hugging Face Apache litsentsi alusel, teenuse OpenRouter kaudu ja Perplexity Decisions API kaudu.

Viitamine

BibTeX
@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}