Perplexity Decider

Mēs laižam klajā Decider v1.3 un Decider Flash v1.3 — mūsu iepriekšējo lēmumu modeļu v1, v1.1, v1.2 un Flash v1.2 pēctečus.

Decider Flash v1.3 ir mazāks modelis, kas destilēts no Decider v1.3. Abi modeļi ir pieejami platformā Hugging Face ar Apache licenci, kā arī caur OpenRouter un Perplexity Decisions API.

Perplexity Decider iedvesmojies no Jev — uzņēmuma TypeSafe AI modeļa System One Model. Tas atbalsta bināro un vairāku klašu klasifikāciju ar sakārtotām vai nesakārtotām etiķetēm, atgriežot varbūtības, ko lietojumprogrammas var izmantot, lai klasificētu, maršrutētu, ranžētu un novērtētu ievades.

Abi v1.3 modeļi uzlabo veiktspēju un robustumu plašā teksta un redzes uzdevumu klāstā, pateicoties divvirzienu uzmanībai, rūpīgāk atlasītiem apmācības datiem un pilnveidotai apmācības receptei. Mēs ieviešam arī locate — jaunu funkciju, kas izceļ atlasīto saturu nosaukto entītiju atpazīšanas, personiskās informācijas identificēšanas un ekstraktīvas jautājumu atbildēšanas uzdevumos.

Šajā rakstā mēs skaidrojam, kā apmācām un novērtējam Decider, un pastāstām, kā to izmantojam Perplexity iekšēji.

Kas ir lēmumu modelis?

Lēmumu modelis ir vispārējas nozīmes klasifikators. Jūs tam sniedzat ievadi un jautājumu kopu, kur katram jautājumam norādītas iespējamās atbildes. Katram jautājumam tas atgriež atbilžu varbūtību sadalījumu. Tas atbalsta 3 jautājumu veidus:

• Jā / Nē: binārie lēmumi.
• Atbilžu varianti: pielāgotas vairāku klašu etiķetes.
• Vērtējums: sakārtoti līmeņi.

Lēmumu modeļi atbalsta plašu klasifikācijas un vērtēšanas uzdevumu klāstu:

• Izvaddatu vērtēšana: atbilstības avotiem, kvalitātes un drošības novērtēšana.
• Maršrutēšana: pieprasījumu novirzīšana uz mazākiem vai lielākiem modeļiem atkarībā no sarežģītības.
• Moderēšana un drošība: kaitīga satura, pikšķerēšanas un uzvedņu injekciju noteikšana rīku izvaddatos.
• Filtrēšana un birku piešķiršana: lielu satura kolekciju organizēšana.
• Izguve un pārranžēšana: meklēšanas rezultātu vērtēšana pēc atbilstības.

Daudzus no šiem uzdevumiem iepriekš veica ģeneratīvie modeļi, piemēram, LLM, lai gan tiem nav nepieciešama brīvas formas teksta ģenerēšana. Lēmumu modeļi atrodas starp LLM un uzdevumam specifiskiem klasifikatoriem. Tie vienā tiešajā gājienā atgriež varbūtības vairākiem jautājumiem par vienu un to pašu ievadi, izvairoties no atbildes ģenerēšanas tokenu pa tokenam un koplietojot aprēķinus starp jautājumiem. Atšķirībā no uzdevumam specifiskiem klasifikatoriem tie var apstrādāt jaunus uzdevumus, izmantojot dabiskās valodas uzvednes, – šo elastību tie apgūst, apmācībā risinot daudzveidīgus uzdevumus kopīgā jautājumu un atbilžu formātā.

Apmācība

Ģeneratīva LLM pārvēršana par lēmumu modeli

Mēs veidojam Decider, pielāgojot spēcīgus ģeneratīvo LLM pamatmodeļus. Lai izskaidrotu šo pielāgošanu, vispirms aprakstīsim, kā tiek attēlots pieprasījums. Kā parādīts tālāk, pieprasījums sastāv no kopīga konteksta (stāvokļa) un vairākiem jautājumiem. Stāvokli atkārtoti izmantos visi jautājumi.

Piemēram, ja ir dots dokuments un tā kopsavilkums, viens pieprasījums var jautāt, vai kopsavilkums precīzi atspoguļo dokumentu un vai tas paredzēts ekspertam vai plašai auditorijai. Pēc stāvokļa katrs jautājumu bloks satur jautājumu un tā iespējamās atbildes, katrai no tām piešķirot iepriekš definētu etiķetes tokenu, piemēram, A, B vai C. Speciāls <|marker|> tokens norāda, kur nolasīt modeļa prognozi. Šajā pozīcijā apgūts lineārs izvades slānis (lēmumu galva) pārveido slēpto stāvokli par vērtējumiem jautājuma atbilžu opcijām, kas pēc tam tiek pārvērsti varbūtībās.

Izvērst

Mēs inicializējam izvades slāni no bāzes modeļa, kas parasti vērtē nākamā tokena kandidātus no visas vārdnīcas, un paturam tikai tās rindas, kas atbilst iepriekš definētajiem opciju tokeniem, piemēram, A, B vai C. Pēc tam šis samazinātais slānis tiek apmācīts pārvērst tokena <|marker|> slēpto stāvokli atbilžu vērtējumos. Šī pieeja aptver visus klasifikācijas jautājumus, jo tos visus var formulēt kā jautājumus ar atbilžu variantiem.

Apmācībai mēs izmantojam simtiem publisku datu kopu, kas aptver dažādus uzdevumus (noskaņojums, dabiskās valodas secinājumi, nolūka noteikšana, entītiju saskaņošana, moderēšana, faktu pārbaude, vērtējumi u. c.), un pārvēršam katru piemēru iepriekš aprakstītajā vienotajā formātā: stāvoklis, viens vai vairāki jautājumi, to opcijas un mērķis. Mērķis var būt viena pareizā opcija, ja mums ir zelta standarta etiķetes, vai varbūtību sadalījums pār opcijām.

Versijā v1.3 mēs ieviešam locate, kas izgūst tekstu no stāvokļa, nevis izvēlas no iepriekš definētām opcijām. Locate jautājums apraksta, ko atrast, izmantojot vai nu īsu etiķeti, piemēram, “atrašanās vieta”, vai norādījumu, piemēram, “Izgūsti tās pilsētas nosaukumu, kurā atrodas darbavieta.” Modelis atgriež precīzi atbilstošo tekstu no stāvokļa kopā ar tā sākuma un beigu rakstzīmju pozīcijām. Ja tas neatrod nevienu atbilstību, tas atgriež tukšu sarakstu.

Izvērst

Pateicoties kopīgajam stāvoklim, viens pieprasījums var apvienot locate, klasifikācijas un vērtēšanas jautājumus par vienu un to pašu ievadi. Piemēram, tas var jautāt, vai darbavietai nepieciešama vecākā līmeņa pieredze, un izgūt nepieciešamās prasmes.

Divvirzienu uzmanība: ļaujam modelim lasīt abos virzienos

Mūsu modeļu pamatā ir spēcīgi iepriekš apmācīti ģeneratīvie pamatmodeļi, kuru cēloņsakarīgā uzmanība ļauj katram tokenam pievērst uzmanību tikai sev un iepriekšējiem tokeniem. Mūsu ablācijas pētījumi parādīja, ka pamatmodeļa pilnās uzmanības slāņu padarīšana par divvirzienu slāņiem uzlabo veiktspēju, tāpēc mēs izmantojam šo dizainu, lai katrs tokens varētu iekļaut kontekstu no visas ievades.

Divvirzienu uzmanības mehānisms liek izdarīt vēl vienu dizaina izvēli: kā stāvoklim un jautājumiem būtu jāmijiedarbojas? Mēs apsvērām trīs uzmanības shēmas ar atšķirīgu ietekmi uz veiktspēju, atbilžu stabilitāti un kešatmiņas atkārtotu izmantošanu:

• Viss redz visu (v1.2): Stāvoklis un visi jautājumi tiek apstrādāti kopā ar pilnu divvirzienu uzmanību. Aprēķini pār stāvokli ir kopīgi, taču atbilde uz vienu jautājumu var mainīties atkarībā no tā, kas vēl tiek jautāts.
• Izolēti jautājumi (v1.3): Stāvoklis pievērš uzmanību visiem jautājumiem, savukārt katrs jautājums pievērš uzmanību tikai stāvoklim un saviem tokeniem. Jautājumi joprojām var netieši ietekmēt cits citu caur kopīgo stāvokli, taču rezultāti ir stabilāki.
• Pilnībā kešojams: stāvoklis pievērš uzmanību tikai sev, savukārt katrs jautājums pievērš uzmanību stāvoklim un saviem tokeniem. Stāvoklis nav atkarīgs no jautājumiem, un to var atkārtoti izmantot dažādos pieprasījumos, lai gūtu labumu no uzvedņu kešošanas. Pēc noklusējuma mēs to neizmantojam, jo vairākiem uzdevumiem ir ļoti svarīgi, lai stāvoklis redzētu jautājumus, taču ar nelielu precizējošo apmācību modeli var pārslēgt uz šo režīmu.

Galu galā mēs izvēlējāmies izolētus jautājumus to spēcīgās veiktspējas un stabilitātes dēļ.

Izvērst

Apmācības recepte

Abu izmēru modeļu apmācība notiek trīs posmos. Vispirms mēs apmācām lielāko modeli, kura pamatā ir Qwen3.8-27B, izmantojot šķērsentropiju lielās datu kopās, un pēc tam destilējam to mazākajā Qwen3.5-4B modelī.

Pirmais posms ir vispārīgā apmācība, kurā mēs pilnībā pielāgojam modeli liela mēroga korpusiem. Šajā posmā mēs pieņemam tikai datus, kas palīdz modelim visās jomās un nav specifiski kādam etalontestam; tāpēc mēs izslēdzam visas etalontestu apmācības daļas.

Kad šis vispārējais modelis ir apmācīts, mēs veicam otru, detalizētāku posmu, izmantojot LoRA. Šajā posmā izmantotie dati ir mērķēti uz konkrētām jomām un uzdevumiem. Datus pievienojam otrajā posmā, nevis pirmajā, ja novērojam šaurus ieguvumus vai zināmu regresiju citos uzdevumos. Mēs izmantojam LoRA, lai pārāk neattālinātos no vispārējā modeļa un neriskētu zaudēt veiktspēju, pielāgojoties šīm konkrētajām jomām. Mērķis ir uzlabot veiktspēju, saglabājot pamatmodeļa vispārējās zināšanas. Apvienojot LoRA atpakaļ ar bāzes modeli, mēs izmantojam arī svaru, lai precīzāk kontrolētu novirzi un dotu priekšroku metrikām uz testēšanai rezervētajiem datiem, nevis jebkādiem ieguvumiem attiecīgajā jomā.

Visbeidzot mēs pievienojam redzei specifisku soli. Līdzīgi kā otrajā posmā, redzes solis tiek uzskatīts par vēl vienu smalku specializācijas soli, izmantojot LoRA adapteri, kas tiek apvienots atpakaļ ar bāzes modeli ar noteiktu svaru. Dažas redzes spējas var tikt iegūtas uz teksta veiktspējas rēķina. Tā kā mēs novērojam, ka modeļi daudz biežāk tiek izmantoti tekstam, mēs teksta metrikām piešķiram prioritāti pār redzes metrikām.

Abos teksta posmos mēs izmantojam vidējos svarus no trim palaidieniem, katrā izmantojot atšķirīgu nejaušības sēklu. Mēs konstatējām, ka tas uzlabo apvienotā modeļa veiktspēju un robustumu.

Kad galīgais lielais modelis ir iegūts, mēs to pašu trīs posmu apmācības procedūru piemērojam mazākajam modelim. Šeit lielais modelis darbojas kā skolotājs: tā prognozētais izvades sadalījums aizstāj zelta standarta etiķetes, un mazākais modelis tiek apmācīts minimizēt KL diverģenci starp savām un skolotāja prognozēm. Ar tiem pašiem apmācības datiem šī destilācijas mērķfunkcija pārspēj šķērsentropiju. Lai gan šķērsentropija uzrāda labākus rezultātus etalontestos, kuriem ir speciāli paredzēti apmācības dati, tā sliktāk vispārina uz testēšanai rezervētajiem datiem. Mēs izvirzām hipotēzi, ka destilācija labāk pārnes skolotāja izvades sadalījumu, tostarp tā pārliecību par alternatīvām, kas nav zelta standarta atbildes, turpretī šķērsentropija veicina pārmērīgu pielāgošanos konkrētajam etalontestam raksturīgajam apmācības sadalījumam. Tāpēc mēs izmantojam uz KL balstītu destilācijas mērķfunkciju.

Lai mazinātu apmācības un testa datu piesārņojumu, mēs izņemam visus apmācības paraugus, kas varētu pārklāties ar jebkuru mūsu izmantoto novērtējumu. Tas ir svarīgi, jo dažas publiskās apmācības datu kopas satur lielas dažu novērtēšanas datu kopu daļas. Mēs arī veicam plašus neobjektivitātes auditus un to novēršanu, lai pārliecinātos, ka mūsu ieguvumi ir uzticami un nav balstīti tikai uz apgūtām neobjektivitātēm.

Informācijas izguves spējas pievienošana

Funkcija locate izgūst no teksta tādu informāciju kā nosauktās entītijas, nemainot to, kā modelis atbild uz parastiem pieprasījumiem. Lai to panāktu, mēs ieviešam papildu apmācības posmu: Decider pievienojam jaunu speciālo tokenu <|locate|>, fragmentu noteikšanas galvu un LoRA adapteri.

Mēs inicializējam tokena <|locate|> iegulšanu no tokena <|marker|> iegulšanas, kas apgūta iepriekšējos apmācības posmos. Mēs apmācām tikai šo jauno iegulšanu, fragmentu galvu un LoRA adapterus, saglabājot sākotnējā pamatmodeļa svarus un lēmumu galvu iesaldētus. Katrs pieprasītais lauks saņem savu <|locate|> tokenu.

Fragmentu galva izmanto <|locate|> reprezentāciju kopā ar stāvokļa tokenu reprezentācijām, lai novērtētu, kur sākas un beidzas atbilstošie fragmenti un kuri sākuma un beigu pāri ir savstarpēji saistīti. Tā izmanto arī <|locate|> tokena reprezentāciju, lai prognozētu katram laukam specifiskus sliekšņus šiem vērtējumiem. Atlasītie fragmenti tiek atgriezti kā rakstzīmju pozīcijas oriģinālajā tekstā.

Fragmentu galvu mēs apmācām ar pielāgotu InfoNCE zudumu, kas paceļ ikvienu zelta standarta fragmentu virs sliekšņa, bet slieksni – virs ikviena cita fragmenta. Zudumam ir divi locekļi: pirmais paceļ pareizo fragmentu vērtējumus virs sliekšņa un nepareizajiem fragmentiem. Otrais loceklis paceļ slieksni virs nepareizo fragmentu vērtējumiem. Laukiem bez atbildes tiek piemērots tikai otrais loceklis, kas iemāca modelim atgriezt tukšu sarakstu.

Mēs apmācām modeli, izmantojot dažādus fragmentu izguves uzdevumus, tostarp nosaukto entītiju atpazīšanu, PII noteikšanu un ekstraktīvo jautājumu atbildēšanu. Mēs variējam lauku aprakstus no īsām etiķetēm līdz detalizētiem norādījumiem, lai modelis iemācītos sekot pieprasījumam, nevis iegaumēt fiksētu etiķešu kopu.

Locate māca modelim strukturāli atšķirīgu uzdevumu, un mēs vēlamies to pievienot, nezaudējot to, ko modelis jau dara labi. Locate adapteru apvienošana ar pamatmodeli rada zināmu regresiju lēmumu pieprasījumos. Lai to ierobežotu, mēs pētām tādas pieejas kā vairāk atkārtošanas datu no iepriekšējiem posmiem un papildu mērķfunkcijas, kas uztur modeļa izvades lēmumu pieprasījumos tuvu sākotnējā modeļa izvadēm. Tomēr mēs konstatējam, ka apvienošana pašlaik joprojām nav bez zudumiem, tāpēc adapterus neapvienojam un aktivizējam tos tikai Locate pieprasījumiem.

Novērtēšana

Mēs novērtējam Decider v1.3 un Decider Flash v1.3 ārējos etalontestos no Hugging Face Decision Index, Vals AI ClaimBench un Artificial Analysis Decision Index.

Šajos novērtējumos mūsu modeļi uzrāda spēcīgu veiktspēju. Lai gan šajās līderu tabulās ir iekļauti privāti uzdevumi, ar tām joprojām var manipulēt, atkārtoti iesniedzot rezultātus un iteratīvi pielāgojot modeļus, balstoties uz līderu tabulu atgriezenisko saiti. Lai papildinātu šīs līderu tabulas, mēs novērtējam modeļus ar iekšēju komplektu, kas apvieno privātus produkcijas uzdevumus ar testēšanai rezervētiem novērtējumiem, kuri iegūti no publiskām datu kopām, kas nav etalontesti. Šie novērtējumi sniedz papildu pārbaudi tam, kā modeļi vispārina ārpus publiskajiem etalontestiem, palīdzot mums atšķirt plašākus uzlabojumus no ieguvumiem, kas raksturīgi tikai pazīstamiem novērtēšanas komplektiem.

Iekšēji mēs izveidojām vairāk nekā 200 uzdevumu kopu, kas aptver dažādas jomas un uzdevumus, piemēram, klasifikāciju, vērtēšanu, pārranžēšanu un entītiju izguvi. Lai godīgi novērtētu Decider veiktspēju reālos apstākļos, visi novērtējumi tiek veikti zero-shot režīmā, bez uzdevumam specifiskas pielāgošanas, tādējādi iegūstot skaidru signālu par to, kur modeli uzlabot.

Vaicājumu klasifikācija

Uzņēmumā Perplexity mēs izmantojam vairāku galvu klasifikācijas sistēmu, lai apstrādātu katru lietotāja vaicājumu. Katrs vaicājums vispirms tiek nodots caur iegulšanas modeli, kas darbojas kā pazīmju izguvējs. Iegūtā iegulšana pēc tam tiek padota vairākām atsevišķām klasifikācijas galvām, tostarp gan binārajiem, gan vairāku etiķešu klasifikatoriem. Piemēram, viena galva nosaka, vai lietotāja vaicājumam būtu jāaktivizē tīmekļa meklēšana.

63 klasifikācijas uzdevumos, kuru atsauces neatkarīgi atkārtoti marķēja vismodernākais LLM, Decider v1.3 sasniedz 91,6% vidējo precizitāti, par 6,54 procentpunktiem pārspējot mūsu produkcijas klasifikatorus. Arī Decider Flash v1.3 pārspēj produkcijas bāzes līniju, savukārt Decider v1.3 pārspēj Jev 1.14.

Izvērst

Nozarspecifiska klasifikācija

Mēs izveidojām nozarspecifisku novērtēšanas kopu no publiskām datu kopām, lai novērtētu lēmumu modeļu klasifikācijas veiktspēju septiņās jomās: apgalvojumu pārbaude (6 uzdevumi), veselības aprūpe (7), kiberdrošība (8), programmēšana (16), valsts pārvalde (7), tiesības (9) un finanses (9).

Piemēram, “novērtēt Python programmas laika sarežģītību” vai “izmantojot gada finanšu pārskatu, noteikt, vai uzņēmuma brīvi izmantojamā nauda sedz parāda pamatsummu, kas jāatmaksā nākamo divpadsmit mēnešu laikā”. Decider v1.3 ir vadībā visās septiņās jomās, pārspējot Jev 1.14 līdz pat 12,9 procentpunktiem finanšu jomā un 9,3 punktiem tiesību jomā. Decider Flash v1.3 atpaliek no Jev 1.14 finanšu, programmēšanas un tiesību jomā, bet citās jomās uzrāda līdzīgu sniegumu.

Izvērst

Izguve un pārranžēšana

Meklēšana ir Perplexity pamatā. Mēs uzturam plašu izguves uzdevumu kopu, lai novērtētu mūsu modeļu pārranžēšanas veiktspēju. Katram uzdevumam mēs vispirms izmantojam iegulšanas modeļu kopu, lai no katra korpusa izgūtu 50 labākos kandidātdokumentus. Pēc tam mēs šos kandidātus pārranžējam, izmantojot Decider, un salīdzinām tā veiktspēju ar spēcīgu pārranžētāja bāzes līniju — Qwen3-Reranker-8B.

Mēs novērtējam Decider zero-shot režīmā ar punktveida pieeju, izmantojot modeli, lai tieši un neatkarīgi novērtētu katru vaicājuma–dokumenta pāri un sakārtotu dokumentus pēc atbilstības. 72 izguves uzdevumos Decider v1.3 sasniedz vidējo nDCG@10 vērtību 83,99, pārspējot Qwen3-Reranker-8B par 1,81 punktu un Jev 1.14 par 2,24 punktiem.

BEIR etalontestā abi modeļi pārspēj Qwen3-Reranker-8B attiecīgi par 8,78 un 7,05 nDCG@10 punktiem. Salīdzinājumā ar Jev 1.14 Decider v1.3 rezultāts ir par 1,33 punktiem augstāks, savukārt Flash versija iegūst par 0,4 punktiem mazāk.

Izvērst

Daudzvalodu klasifikācija

Lai novērtētu lēmumu modeļus ārpus angļu valodas, mēs izveidojām daudzvalodu klasifikācijas etalontestu, kas ietver 19 valodai specifiskus uzdevumus no 8 publiskām datu kopām ar 46 484 piemēriem astoņās valodās: vācu, spāņu, franču, itāļu, krievu, japāņu, korejiešu un ķīniešu. Etalontests aptver nolūka noteikšanu, tēmu klasifikāciju, noskaņojuma analīzi, dabiskās valodas secinājumus, parafrāžu noteikšanu, aizskarošas valodas noteikšanu un gramatisko pieņemamību.

Mēs norādām vidējo precizitāti visos uzdevumos katrā valodā, piešķirot katram uzdevumam vienādu svaru. Decider v1.3 pārspēj Jev 1.14 visās astoņās valodās, bet Decider Flash v1.3 — sešās, un vidējā uzdevumu precizitāte ir 88,16% modelim Decider v1.3 un 86,50% modelim Decider Flash v1.3, salīdzinot ar 85,41% modelim Jev 1.14.

Izvērst

NER, PII un ekstraktīvā jautājumu atbildēšana

Mēs novērtējam funkciju locate 17 ārpusdomēna uzdevumos, kas pārbauda tās izguves spējas dažādās jomās, ievades formātos (teksts, tabulas, strukturēti dokumenti) un norādījumos (īsas etiķetes, jautājumi un detalizēti apraksti). Jomas aptver gan Wikipedia, gan zinātniskus rakstus, kiberdraudu pārskatus, tehnisko atbalstu, privātuma politikas, CV un juridiskus līgumus. Pieprasījumi ietver gan īsus etiķešu nosaukumus, piemēram, “persona” vai “e-pasta adrese”, gan jautājumus par tabulu vai atbalsta pieteikumu, gan detalizētus lauku aprakstus strukturētai izguvei, piemēram, NDA puses vai rēķina kopsummu.

NER un PII mēs novērtējam ar precīza fragmenta F1, kas prasa, lai prognozētie fragmenti precīzi atbilstu atsauces robežām. Ekstraktīvajai jautājumu atbildēšanai (QA) tiek izmantots rakstzīmju līmeņa F1, kas piešķir daļēju vērtējumu par atbildes teksta pārklāšanos, savukārt strukturētajai ekstrakcijai tiek izmantota lauku precizitāte – pareizi izgūto lauku īpatsvars. CV parsēšanai mēs aprēķinām NER un PII precīza fragmenta F1 rezultātu vidējo vērtību.

Mēs salīdzinām savus modeļus ar dažāda izmēra vispārējas nozīmes izguves modeļiem: GLiNER large v2.5 (0,5B), Liquid d1 (2B) un uzņēmuma Cloudflare modeli Clairic (izmērs nav atklāts). Decider v1.3 sasniedz vidējo rezultātu 69,0 (izmantojot katra uzdevuma galveno metriku), bet Decider Flash v1.3 — 63,6, salīdzinot ar 43,3 modelim Liquid d1, 41,5 modelim Clairic un 33,6 modelim GLiNER large v2.5. Abi Decider modeļi ir vadībā katrā kategorijā.

Izvērst

Attēlu klasifikācija

Decider kopš versijas v1 dabiski atbalsta redzes uzdevumus. Lai novērtētu tā veiktspēju ārpus teksta, mēs izveidojām piecu uzdevumu etalontestu kopu, īpašu uzmanību pievēršot dokumentu klasifikācijai, tostarp rēķiniem, vēstulēm un CV. Kopa aptver arī satelītattēlu klasifikāciju, tekstūru klasifikāciju, mājdzīvnieku šķirņu klasifikāciju un dzīvnieku skaitīšanu.

Decider v1.3 piecos vizuālajos uzdevumos sasniedz vidējo precizitāti 76,99%, pārspējot Jev 1.14 par 1,47 procentpunktiem. Decider Flash v1.3 sasniedz 72,77%, demonstrējot vizuālās klasifikācijas spējas mazākā modelī.

Izvērst

Reāli lēmumu pieprasījumi

Mēs atlasījām vienu miljonu deduplicētu pieprasījumu ar maskētiem PII, kas tika iesniegti Perplexity Decision API pirmo 18 pieejamības dienu laikā. Tā kā katrā pieprasījumā var būt vairāki jautājumi par vienu un to pašu stāvokli, izlase ietver 2 318 887 atsevišķus jautājumus. Visi pieprasījumi tika iekļauti ar skaidru lietotāju atļauju izmantot tos pētniecībā.

Produkcijas vides pieprasījumiem nav patieso etiķešu, tāpēc mēs izmantojam vismodernākos LLM kā vērtētājus, lai ģenerētu atsauces atbildes, un mērām katra modeļa saskaņu ar tām. Mēs arī grupējam pieprasījumus 10 uzdevumu kategorijās, tostarp informācijas izguve, jomas klasifikācija, noskaņojuma analīze, nolūks un maršrutēšana, ranžēšana pēc atbilstības, satura moderēšana, kvalitātes un prasību ievērošanas pārskatīšana, entītiju saskaņošana, biznesa analīze un kategorija “Cits”. Šis sadalījums parāda, kā veiktspēja atšķiras dažādos reālos lietošanas gadījumos.

Uzdevumu sadalījums ir nevienmērīgs: informācijas izguve veido 425 402 jautājumus, jomas klasifikācija — 409 564 un noskaņojuma analīze — 344 158. Kopā šīs trīs kategorijas veido 50,8% no izlases jautājumiem.

Decider v1.3 uzrāda visaugstāko saskaņu ar vērtētājiem — 93,98%, salīdzinot ar 93,68% modelim Decider v1.2 un 93,35% modelim Jev 1.14. Decider v1.3 un Jev 1.14 ir cieši līdzvērtīgi jomas klasifikācijā un noskaņojuma analīzē ar attiecīgi 0,34 un 0,07 procentpunktu atšķirību. Jev ir priekšā par 0,69 punktiem ranžēšanā pēc atbilstības, savukārt Decider v1.3 ir priekšā par 0,93 punktiem informācijas izguvē (visbiežākais uzdevums izlasē) un par 1,21 punktu nolūka un maršrutēšanas uzdevumos.

Izvērst

Tālāk redzamajā diagrammā salīdzinātas norādītās izmaksas par viena un tā paša miljona produkcijas vides pieprasījumu izpildi. Katrā pieprasījumā var būt vairāki jautājumi, tāpēc mērvienība šeit ir pieprasījumi, nevis atsevišķi jautājumi.

Izvērst

Noturība

Mēs novērtējām jutīgumu pret etiķetēm 372 jautājumos ar atbilžu variantiem, katram modelim veicot 4788 pieprasījumus. Mēs mainījām opciju secību, piešķīrām etiķetes citiem atbilžu tekstiem un pārdēvējām etiķetes, saglabājot katra jautājuma nozīmi, un pēc tam pārbaudījām, vai modeļa semantiskā atbilde mainījās. Zemāks atbilžu maiņas biežums norāda uz lielāku stabilitāti.

Decider v1.3 katrā transformācijā mainīja savu atbildi tikai 0,27% jautājumu, salīdzinot ar 2,69–4,84% modelim Jev 1.14. Mēs arī atkārtojām identiskas ievades, lai izmērītu izpildes mainīgumu: Decider v1.3 neuzrādīja nekādas izmaiņas, savukārt Jev 1.14 atbilde mainījās 1,88% jautājumu.

Izvērst

Kā mēs izmantojam Decider

Decider ir izstrādāts darbplūsmām, kurām nepieciešami ātri un strukturēti lēmumi. Šajā sadaļā aplūkojam, kā tos izmantot, lai būtiski ietekmētu mūsu darba veidu. Lūk, daži, kas īpaši izcēlās.

Pašpilnveidojoši drošības noteikumi

Iekšēji mēs jau izmantojam Decider, lai uzlabotu savas drošības politikas.

Mūsu aģentu darbības tiek reģistrētas, un tiek veikta virkne uz noteikumiem balstītu pārbaužu, lai identificētu jebkādu problemātisku uzvedību. Uz noteikumiem balstīta pieeja nozīmē, ka mēs varam uzraudzīt savus aģentus reāllaikā, pievienojot tikai niecīgu latentumu. Bezsaistē mēs izmantojam Decider, lai pārskatītu paraugus no šiem reģistrētajiem aģentu žurnāliem. Ja problemātiska uzvedība netika atzīmēta, Decider pārbauda, vai mūsu noteikumu kopa kaut ko nav palaidusi garām; savukārt, ja tika izsludināta trauksme, Decider pārbauda, vai tā nebija viltus trauksme. Visi ieraksti, kuros mūsu noteikumu kopa kādā no šiem gadījumiem kļūdās, tiek nosūtīti aģentam šķirošanai, un tiek ierosināts noteikumu labojums, kas jāapstiprina mūsu drošības komandas dalībniekam.

Vienas dienas laikā Decider izlasīja 1 miljardu tokenu 7000 aģentu sesijās un identificēja trūkumus, kuru rezultātā tika veikti 14 noteikumu labojumi, no kuriem 6 tika apstiprināti un ieviesti divu dienu laikā. Atkārtoti izpildot nedēļas žurnālus, labojumi samazināja mūsu noslogotākā noteikuma apjomu par 52%, un paplašinātie noteikumi uztvēra par aptuveni 40% vairāk izmeklējamu leģitīmu darbību.

Izvērst

RL izspēļu uzraudzība

Kad mēs pēcapmācām modeļus ar pastiprinātās mācīšanās palīdzību, apkopotie rādītāji, piemēram, galīgā atlīdzība, neizskaidro, kāpēc izspēle (atsevišķs mēģinājums izpildīt uzdevumu) izdevās vai neizdevās. Tā var netaisnīgi zaudēt atlīdzību, jo neizdevās rīka pakalpojums vai smilšu kaste, vai saņemt nepelnītu atlīdzību, ja vērtētājs nepamana nepamatotu apgalvojumu, piemēram, izdomātu vērtību, ko neatgrieza neviens rīks.

Mēs izmantojam Decider, lai uzraudzītu izspēles šādos gadījumos. Kods vispirms identificē izspēles daļas, kurām nepieciešama rūpīgāka pārbaude: neveiksmīgu rīka izsaukumu un ar to saistīto spriešanu, kodu, kas izpildījās bez kļūdām, vai galīgo atbildi. Pēc tam Decider atbild uz jautājumiem ar atbilžu variantiem par katru daļu, piemēram, kas konkrētajā solī neizdevās (rīka pakalpojums, ārēja vietne, smilšu kaste, harness vai paša aģenta kods) un vai aģents pareizi interpretēja rezultātu. Mēs apvienojam visus jautājumus par konkrēto daļu vienā pieprasījumā un saglabājam varbūtības, nevis spriedumu, lai vēlāk varētu pielāgot sliekšņus, atkārtoti nevaicājot Decider. Uzraudzības rīks tikai novēro un diagnosticē: tas nekad nemaina atlīdzību un neaptur palaidienu.

Izvērst

Lapu kvalitātes filtrēšana

Pārmeklējot tīmekļa lapas, lai tās indeksētu un piedāvātu lietotājiem, daudzas lapas izrādās pārāk zemas kvalitātes, lai būtu kaut kādā veidā noderīgas. Tās ietver pretrobotu barjeras, CAPTCHA un kļūdu lapas, kā arī pareizi ielādētas tīmekļa lapas, kurās vienkārši nav noderīgas informācijas, piemēram, surogātsaturu, SEO aizpildījuma saturu vai tikai navigācijas lapas. Šīs zemas kvalitātes lapas ir jāidentificē un jāizfiltrē no mūsu indeksa.

Izmantojot Decider, mēs varam novērtēt lapu kvalitāti jau to pārmeklēšanas laikā. Tajā pašā tiešajā gājienā mēs veicam virkni citu klasifikācijas uzdevumu, piemēram, nosakām satura jomu un mērķauditoriju, kā arī to, vai tas satur kaitīgu, nelikumīgu vai personu identificējošu informāciju. Salīdzinājumā ar LLM izmantošanu vērtētāja lomā Decider ir ievērojami ātrāks un lētāks.

Izvērst

Papildus šiem iekšējiem lietojumiem Decider ir piemērots arī tādām darbplūsmām kā tālāk minētās.

Vizuālā jautājumu atbildēšana

Tā kā Decider lasa attēlus, tas darbojas arī kā vizuāls pārbaudītājs, kas pārskata tīmekļa lapu vai lietotņu stila izmaiņas un identificē kļūdas. Tas var pārskatīt lapu ekrānuzņēmumus, meklējot apgrieztu tekstu, pārklājošos elementus un bojātus izkārtojumus, pirms izmaiņas tiek publicētas, vai atzīmēt diagrammas, kuru dizains varētu maldināt lasītāju vai pārkāpt zīmola vadlīnijas.

Izvērst

Pārlūka navigācija

Aģenti var izmantot Decider nelielu lēmumu pieņemšanai lielāku uzdevumu ietvaros. Pārlūka aģents katrā solī var nosūtīt ekrānuzņēmumu un saņemt detalizētu informāciju par lapas stāvokli un katras iespējamās darbības sagaidāmo iznākumu.

Izvērst

Izpētes uzdevumu plānošana

Lietotāju jautājumu sarežģītība var ievērojami atšķirties, tāpat kā meklēšanas dziļums, kas nepieciešams, lai atrastu atbildi. Decider to var novērtēt pirms meklēšanas sākuma, ļaujot vienkāršiem jautājumiem tērēt mazāk resursu.

Izvērst

Darba sākšana

Decider atgriež varbūtības. Piemērotais lēmuma slieksnis ir atkarīgs no lietojuma. Etiķešu biežums un viltus pozitīvo un viltus negatīvo rezultātu relatīvās izmaksas dažādos lietošanas gadījumos atšķiras. Tāpēc mēs iesakām lietotājiem pielāgot sliekšņus nelielā, reprezentatīvā marķētā izstrādes kopā, nevis pieņemt, ka fiksēts robežslieksnis visos uzdevumos darbosies vienlīdz labi.

Mēs iesakām izmantot Decider v1.3 niansētiem spriedumiem, detalizētām vērtēšanas rubrikām un darbplūsmām, kurās kļūdas dārgi maksā. Izvēlieties Decider Flash v1.3 liela apjoma maršrutēšanai, marķēšanai un filtrēšanai, kur galvenie ierobežojumi ir latentums un izmaksas. Novērtējiet abus modeļus ar reprezentatīviem piemēriem no savas darba slodzes un pēc tam izvēlieties modeli, kas atbilst jūsu kvalitātes, latentuma un budžeta prasībām.

Abi modeļi ir pieejami kā lejupielādējami svari platformā Hugging Face ar Apache licenci, kā arī caur OpenRouter un Perplexity Decisions API.

Citēšana

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}