Perplexity Decider

Objavljujemo Decider v1.3 i Decider Flash v1.3, nasljednike naših ranijih modela za odlučivanje: v1, v1.1, v1.2 i Flash v1.2.

Decider Flash v1.3 manji je model destiliran iz modela Decider v1.3. Oba modela dostupna su na platformi Hugging Face pod licencom Apache, putem platforme OpenRouter i putem sučelja Perplexity Decisions API.

Perplexity Decider inspiriran je modelom Jev (System One Model tvrtke TypeSafe AI). Podržava binarnu i višeklasnu klasifikaciju s uređenim ili neuređenim oznakama te vraća vjerojatnosti koje aplikacije mogu koristiti za klasifikaciju, usmjeravanje, rangiranje i evaluaciju ulaza.

Oba modela v1.3 poboljšavaju performanse i robusnost u širokom rasponu tekstualnih i vizualnih zadataka zahvaljujući dvosmjernoj pažnji, bolje odabranim podacima za treniranje i dorađenom receptu treniranja. Uvodimo i locate, novu značajku koja ističe odabrani sadržaj za zadatke prepoznavanja imenovanih entiteta, identifikacije osobnih podataka i ekstraktivnog odgovaranja na pitanja.

U ovom članku objašnjavamo kako treniramo i evaluiramo Decider te kako ga interno koristimo u Perplexityju.

Što je model za odlučivanje?

Model za odlučivanje klasifikator je opće namjene. Zadajete mu ulaz i skup pitanja, svako s mogućim odgovorima. Za svako pitanje vraća distribuciju vjerojatnosti nad odgovorima. Podržava 3 vrste pitanja:

• Da / Ne: binarne odluke.
• Višestruki izbor: prilagođene oznake za više klasa.
• Ocjena: poredane razine.

Modeli za odlučivanje podržavaju širok raspon zadataka klasifikacije i bodovanja:

• Ocjenjivanje izlaza: procjena vjernosti, kvalitete i sigurnosti.
• Usmjeravanje: preusmjeravanje zahtjeva na manje ili veće modele ovisno o težini.
• Moderiranje i sigurnost: otkrivanje štetnog sadržaja, phishinga i ubacivanja promptova (prompt injection) u izlazima alata.
• Filtriranje i označavanje: organiziranje velikih zbirki sadržaja.
• Pretraživanje i ponovno rangiranje: bodovanje rezultata pretraživanja prema relevantnosti.

Mnoge od tih zadataka ranije su obavljali generativni modeli poput LLM-ova, iako oni ne zahtijevaju generiranje slobodnog teksta. Modeli odlučivanja nalaze se između LLM-ova i klasifikatora za specifične zadatke. Vraćaju vjerojatnosti za više pitanja o istom ulazu u jednom prolazu unaprijed, čime izbjegavaju generiranje odgovora token po token i dijele izračun među pitanjima. Za razliku od klasifikatora za specifične zadatke, mogu obrađivati nove zadatke putem upita na prirodnom jeziku, a tu su fleksibilnost stekli treniranjem na raznolikim zadacima u zajedničkom formatu pitanja i odgovora.

Treniranje

Pretvaranje generativnog LLM-a u model za odlučivanje

Decider gradimo prilagodbom snažnih generativnih LLM okosnica. Kako bismo objasnili prilagodbu, najprije opisujemo kako je zahtjev predstavljen. Kao što je prikazano u nastavku, zahtjev se sastoji od zajedničkog konteksta (stanja) i određenog broja pitanja. Sva će pitanja ponovno koristiti isto stanje.

Na primjer, za dani dokument i njegov sažetak jedan zahtjev može pitati predstavlja li sažetak vjerno dokument te je li namijenjen stručnjaku ili široj publici. Nakon stanja svaki blok pitanja sadrži pitanje i njegove moguće odgovore, od kojih je svakom dodijeljen unaprijed definirani token oznake poput A, B ili C. Posebni token <|marker|> označava mjesto na kojem se očitava predviđanje modela. Na tom položaju naučeni linearni izlazni sloj (glava za odlučivanje) preslikava skriveno stanje u bodove za opcije odgovora na pitanje, koji se zatim pretvaraju u vjerojatnosti.

Povećaj

Izlazni sloj inicijaliziramo iz osnovnog modela, koji inače boduje sljedeći token iz cijelog vokabulara, i zadržavamo samo retke koji odgovaraju unaprijed definiranim tokenima opcija poput A, B ili C. Taj se skraćeni sloj zatim trenira da skriveno stanje tokena <|marker|> pretvara u bodove odgovora. Ovaj pristup obuhvaća sva klasifikacijska pitanja jer se sva mogu formulirati kao višestruki izbor.

Za treniranje uzimamo stotine javnih skupova podataka koji obuhvaćaju raznolike zadatke (sentiment, zaključivanje u prirodnom jeziku, prepoznavanje namjere, podudaranje entiteta, moderiranje, provjera činjenica, ocjene itd.) i svaki primjer pretvaramo u gore opisani objedinjeni format: stanje, jedno ili više pitanja, njihove opcije i cilj. Cilj može biti jedina točna opcija ako imamo zlatne oznake ili distribucija vjerojatnosti nad opcijama.

U verziji v1.3 uvodimo locate, koji izdvaja tekst iz stanja umjesto odabira među unaprijed definiranim opcijama. Pitanje tipa locate opisuje što treba pronaći, bilo kratkom oznakom poput „lokacija“ ili uputom poput „Izdvoji naziv grada u kojem se nalazi posao.“ Model vraća točan podudarni tekst iz stanja, zajedno s njegovim početnim i završnim položajem znakova. Ako ne pronađe nijedno podudaranje, vraća prazan popis.

Povećaj

Zahvaljujući zajedničkom stanju, jedan zahtjev može kombinirati pitanja tipa locate, klasifikacije i bodovanja o istom ulazu. Na primjer, može pitati zahtijeva li posao iskustvo na razini seniora i izdvojiti potrebne vještine.

Dvosmjerna pažnja: model čita u oba smjera

Naši modeli polaze od snažnih unaprijed treniranih generativnih okosnica, čija kauzalna pažnja omogućuje svakom tokenu da obraća pažnju samo na sebe i prethodne tokene. Naše ablacijske studije pokazale su da pretvaranje slojeva pune pažnje okosnice u dvosmjerne poboljšava performanse, pa smo usvojili taj dizajn kako bi svaki token mogao uključiti kontekst iz cijelog ulaza.

Dvosmjerna pažnja uvodi još jedan izbor dizajna: kako bi stanje i pitanja trebali međusobno djelovati? Razmotrili smo tri obrasca pažnje, s različitim posljedicama za performanse, stabilnost odgovora i ponovnu upotrebu predmemorije:

• Sve vidi sve (v1.2): Stanje i sva pitanja obrađuju se zajedno uz punu dvosmjernu pažnju. Izračun nad stanjem je zajednički, ali odgovor na jedno pitanje može se promijeniti ovisno o tome što se još pita.
• Izolirana pitanja (v1.3): Stanje obraća pažnju na sva pitanja, dok svako pitanje obraća pažnju samo na stanje i vlastite tokene. Pitanja i dalje mogu neizravno utjecati jedna na druga putem zajedničkog stanja, ali rezultati su stabilniji.
• Potpuna mogućnost predmemoriranja: Stanje usmjerava pažnju samo na sebe, dok svako pitanje usmjerava pažnju na stanje i na vlastite tokene. Stanje ne ovisi o pitanjima i može se ponovno koristiti u više zahtjeva kako bi se iskoristilo predmemoriranje upita. Ne koristimo ga prema zadanim postavkama jer je za nekoliko zadataka vrlo važno da stanje vidi pitanja, ali malo dodatno fino podešavanje može prebaciti model na taj način rada.

Na kraju smo odabrali izolirana pitanja zbog njihovih snažnih performansi i stabilnosti.

Povećaj

Recept treniranja

Trening se za obje veličine modela odvija u tri faze. Najprije treniramo veći model, temeljen na modelu Qwen3.8-27B, pomoću unakrsne entropije na velikim skupovima podataka, a zatim ga destiliramo u manji model Qwen3.5-4B.

Prva faza je generalističko treniranje, u kojoj model u potpunosti fino podešavamo na velikim korpusima. U ovoj fazi prihvaćamo samo podatke koji modelu pomažu općenito i nisu specifični ni za jedan referentni test; stoga isključujemo sve dijelove referentnih testova namijenjene treniranju.

Nakon što se ovaj generalistički model istrenira, provodimo drugu, detaljniju fazu pomoću metode LoRA. Podaci korišteni u ovoj fazi usmjereni su na specifične domene i zadatke. Podatke dodajemo u drugoj fazi umjesto u prvoj ako uočimo uska poboljšanja ili određene regresije na drugim zadacima. LoRA koristimo kako bismo izbjegli preveliko udaljavanje od generalističkog modela i rizik od gubitka performansi zbog prilagodbe tim specifičnim domenama. Cilj je poboljšati performanse uz zadržavanje općeg znanja okosnice modela. Pri spajanju LoRA-e natrag u osnovni model koristimo i težinu kako bismo preciznije kontrolirali odmak i dali prednost metrikama na izdvojenim podacima pred bilo kakvim poboljšanjima unutar domene.

Na kraju dodajemo korak specifičan za vid. Slično drugoj fazi, korak za vid tretira se kao još jedan korak fine specijalizacije, uz LoRA adapter koji se s određenom težinom ponovno spaja s osnovnim modelom. Neke vizualne sposobnosti mogu ići na štetu performansi na tekstu. Budući da opažamo znatno veću upotrebu modela na tekstu, metrikama za tekst dajemo prednost pred metrikama za vid.

Za obje tekstualne faze koristimo prosječne težine iz triju pokretanja, od kojih svako koristi drugačije nasumično sjeme (seed). Utvrdili smo da se time poboljšavaju performanse i robusnost agregiranog modela.

Kada dobijemo konačni veliki model, isti postupak treninga u tri faze primjenjujemo na manji model. Ovdje veliki model djeluje kao učitelj: njegova predviđena izlazna distribucija zamjenjuje zlatne oznake, a manji se model trenira tako da minimizira KL divergenciju između svojih predviđanja i predviđanja učitelja. Ovaj cilj destilacije nadmašuje unakrsnu entropiju na istim podacima za trening. Iako unakrsna entropija postiže bolje rezultate na referentnim testovima s namjenskim podacima za trening, slabije generalizira na izdvojene podatke. Pretpostavljamo da destilacija bolje prenosi učiteljevu izlaznu distribuciju, uključujući njegovu pouzdanost u alternative koje nisu zlatne oznake, dok unakrsna entropija potiče prekomjernu prilagodbu distribuciji podataka za trening specifičnoj za pojedini referentni test. Stoga usvajamo cilj destilacije temeljen na KL divergenciji.

Kako bismo ublažili kontaminaciju između podataka za trening i testiranje, uklanjamo sve uzorke za trening koji bi se mogli preklapati s bilo kojom evaluacijom koju koristimo. To je važno jer neki javni skupovi podataka za trening sadrže velike dijelove nekih evaluacijskih skupova podataka. Također provodimo opsežne revizije i uklanjanje pristranosti kako bismo osigurali da su naša poboljšanja pouzdana, a ne samo posljedica naučenih pristranosti.

Dodavanje mogućnosti izvlačenja informacija

Značajka locate izdvaja informacije poput imenovanih entiteta iz teksta, bez promjene načina na koji odgovara na uobičajene zahtjeve. Da bismo to postigli, uvodimo dodatnu fazu treniranja: Decideru dodajemo novi posebni token <|locate|>, glavu za raspone i LoRA adapter.

Ugrađivanje tokena <|locate|> inicijaliziramo iz tokena <|marker|> naučenog u prethodnim fazama treniranja. Treniramo samo to novo ugrađivanje, glavu za raspone i LoRA adaptere, dok izvorne težine okosnice i glava za odlučivanje ostaju zamrznute. Svako traženo polje dobiva vlastiti token <|locate|>.

Glava za raspone koristi reprezentaciju tokena <|locate|> zajedno s reprezentacijama tokena stanja kako bi ocijenila gdje počinju i završavaju odgovarajući rasponi te koji parovi početka i kraja pripadaju zajedno. Također koristi reprezentaciju tokena <|locate|> za predviđanje pragova specifičnih za pojedina polja za te ocjene. Odabrani rasponi vraćaju se kao pozicije znakova u izvornom tekstu.

Glavu za raspone treniramo prilagođenom funkcijom gubitka InfoNCE koja svaki zlatni raspon gura iznad praga, a prag iznad svakog drugog raspona. Gubitak ima dva člana: prvi gura ocjene točnih raspona iznad praga i pogrešnih raspona. Drugi član gura prag iznad ocjena pogrešnih raspona. Polja bez odgovora dobivaju samo drugi član, čime model uči vratiti prazan popis.

Treniramo na kombinaciji zadataka izdvajanja raspona, uključujući prepoznavanje imenovanih entiteta, otkrivanje PII podataka i ekstraktivno odgovaranje na pitanja. Opise polja mijenjamo od kratkih oznaka do detaljnih uputa kako bi model naučio slijediti zahtjev umjesto da napamet uči fiksni skup oznaka.

Locate uči model strukturno drukčijem zadatku i želimo ga dodati bez gubitka onoga što model već dobro radi. Spajanje adaptera za Locate u okosnicu uzrokuje određenu regresiju na zahtjevima za odlučivanje. Kako bismo to ograničili, istražujemo pristupe poput veće količine podataka za ponovnu reprodukciju (replay) iz ranijih faza i pomoćnih ciljeva koji izlaze modela na zahtjevima za odlučivanje održavaju bliskima izlazima izvornog modela. Međutim, utvrdili smo da spajanje trenutačno još uvijek nije bez gubitaka, pa adaptere ostavljamo nespojene i aktiviramo ih samo za zahtjeve tipa Locate.

Evaluacija

Decider v1.3 i Decider Flash v1.3 procjenjujemo na vanjskim referentnim testovima iz indeksa Hugging Face Decision Index, testa ClaimBench tvrtke Vals AI i indeksa Artificial Analysis Decision Index.

U svim tim evaluacijama naši modeli pokazuju snažne performanse. Iako ove ljestvice uključuju privatne zadatke, njima se i dalje može manipulirati ponovljenim slanjem i iterativnim podešavanjem na temelju povratnih informacija s ljestvice. Kao dopunu tim ljestvicama, modele procjenjujemo na internom skupu koji kombinira privatne produkcijske zadatke s izdvojenim evaluacijama iz javnih skupova podataka koji nisu referentni testovi. Te evaluacije pružaju dodatnu provjeru generalizacije izvan javnih referentnih testova i pomažu nam razlikovati šira poboljšanja od dobitaka specifičnih za poznate evaluacijske skupove.

Interno smo izradili skup od više od 200 zadataka iz različitih domena i vrsta zadataka, poput klasifikacije, bodovanja, ponovnog rangiranja i izdvajanja entiteta. Kako bismo pošteno procijenili stvarne performanse Decidera, sve se evaluacije provode zero-shot, bez fino podešavanja za pojedini zadatak, što nam daje jasan signal o tome gdje model treba poboljšati.

Klasifikacija upita

U Perplexityju koristimo sustav klasifikacije s više glava za obradu svakog korisničkog upita. Svaki upit najprije prolazi kroz model za ugrađivanje (embedding) koji služi kao izdvajač značajki. Dobiveno ugrađivanje zatim se prosljeđuje u više zasebnih klasifikacijskih glava, uključujući binarne klasifikatore i klasifikatore s više oznaka. Na primjer, jedna glava određuje treba li korisnički upit pokrenuti pretraživanje weba.

U 63 klasifikacijska zadatka s referencama koje je neovisno ponovno označio najnapredniji LLM, Decider v1.3 postiže prosječnu točnost od 91,6 %, nadmašujući naše produkcijske klasifikatore za 6,54 postotna boda. Decider Flash v1.3 također nadmašuje produkcijsku osnovnu vrijednost, dok Decider v1.3 nadmašuje Jev 1.14.

Povećaj

Klasifikacija specifična za domenu

Sastavili smo domenski specifičan skup za evaluaciju iz javnih skupova podataka kako bismo procijenili klasifikacijske performanse modela za odlučivanje u sedam domena: provjera tvrdnji (6 zadataka), zdravstvo (7), kibernetička sigurnost (8), programiranje (16), javna uprava (7), pravo (9) i financije (9).

Na primjer, „procijeni vremensku složenost Python programa“ ili „na temelju godišnjeg financijskog izvješća utvrdi pokriva li neograničena novčana sredstva tvrtke glavnicu duga koja dospijeva u sljedećih dvanaest mjeseci“. Decider v1.3 vodi u svih sedam domena, nadmašujući Jev 1.14 za do 12,9 postotnih bodova u financijama i 9,3 boda u pravu. Decider Flash v1.3 zaostaje za modelom Jev 1.14 u financijama, programiranju i pravu, a u ostalim domenama postiže slične rezultate.

Povećaj

Pretraživanje i ponovno rangiranje

Pretraživanje je u srži Perplexityja. Održavamo širok skup zadataka dohvaćanja za evaluaciju performansi ponovnog rangiranja naših modela. Za svaki zadatak najprije koristimo skup modela za ugrađivanje kako bismo iz svakog korpusa dohvatili 50 najboljih kandidatskih dokumenata. Zatim te kandidate ponovno rangiramo pomoću Decidera i uspoređujemo njegove performanse s jakim referentnim rerankerom, Qwen3-Reranker-8B.

Decider evaluiramo u zero-shot postavci po pojedinačnim parovima (pointwise), pri čemu model izravno i neovisno boduje svaki par upit–dokument te rangira dokumente prema relevantnosti. U 72 zadatka pretraživanja Decider v1.3 postiže prosječni nDCG@10 od 83,99, nadmašujući Qwen3-Reranker-8B za 1,81 bod i Jev 1.14 za 2,24 boda.

Na referentnom testu BEIR oba modela nadmašuju Qwen3-Reranker-8B za 8,78 odnosno 7,05 nDCG@10. U usporedbi s modelom Jev 1.14, Decider v1.3 ima 1,33 boda više, dok verzija Flash postiže 0,4 boda manje.

Povećaj

Višejezična klasifikacija

Kako bismo evaluirali modele za odlučivanje i izvan engleskog jezika, sastavili smo višejezični referentni test klasifikacije koji obuhvaća 19 jezično specifičnih zadataka iz 8 javnih skupova podataka, s 46.484 primjera na osam jezika: njemačkom, španjolskom, francuskom, talijanskom, ruskom, japanskom, korejskom i kineskom. Referentni test obuhvaća prepoznavanje namjere, klasifikaciju tema, analizu sentimenta, zaključivanje u prirodnom jeziku, prepoznavanje parafraza, prepoznavanje uvredljivog jezika i gramatičku prihvatljivost.

Izvještavamo o prosječnoj točnosti po zadacima unutar svakog jezika, pri čemu svaki zadatak ima jednaku težinu. Decider v1.3 nadmašuje Jev 1.14 na svih osam jezika, a Decider Flash v1.3 na šest, s prosječnom točnošću zadataka od 88,16 % za Decider v1.3 i 86,50 % za Decider Flash v1.3, u usporedbi s 85,41 % za Jev 1.14.

Povećaj

NER, PII i ekstraktivno odgovaranje na pitanja

Značajku locate evaluiramo na 17 zadataka izvan domene koji testiraju izdvajanje u različitim domenama, formatima ulaza (tekst, tablice, strukturirani dokumenti) i uputama (kratke oznake, pitanja i detaljni opisi). Domene sežu od Wikipedije do znanstvenih radova, izvješća o kibernetičkim prijetnjama, tehničke podrške, pravila o privatnosti, životopisa i pravnih ugovora. Zahtjevi sežu od kratkih naziva oznaka poput „osoba“ ili „adresa e-pošte“, preko pitanja o tablici ili zahtjevu za podršku, do detaljnih opisa polja za strukturirano izdvajanje, poput strana ugovora o povjerljivosti (NDA) ili ukupnog iznosa na računu.

NER i PII procjenjujemo pomoću mjere F1 točnog raspona (exact-span F1), koja zahtijeva da se predviđeni rasponi točno podudaraju s referentnim granicama. Ekstraktivni QA koristi F1 na razini znakova, dodjeljujući djelomične bodove za preklapajući tekst odgovora, dok strukturirana ekstrakcija koristi točnost polja, odnosno udio ispravno izvučenih polja. Za raščlanjivanje životopisa računamo prosjek ocjena F1 točnog raspona za NER i PII.

Naše modele uspoređujemo s modelima opće namjene za izdvajanje različitih veličina: GLiNER large v2.5 (0,5B), Liquid d1 (2B) i Clairic tvrtke Cloudflare (veličina nije objavljena). Decider v1.3 postiže prosječni rezultat od 69,0 (prema primarnoj metrici svakog zadatka), a Decider Flash v1.3 63,6, u usporedbi s 43,3 za Liquid d1, 41,5 za Clairic i 33,6 za GLiNER large v2.5. Oba modela Decider vode u svakoj kategoriji.

Povećaj

Klasifikacija slika

Decider od verzije v1 izvorno podržava vizualne zadatke. Kako bismo evaluirali njegove performanse izvan teksta, sastavili smo skup referentnih testova od pet zadataka s posebnim naglaskom na klasifikaciju dokumenata, uključujući račune, pisma i životopise. Skup obuhvaća i klasifikaciju satelitskih snimaka, klasifikaciju tekstura, klasifikaciju pasmina kućnih ljubimaca i brojanje životinja.

Decider v1.3 postiže prosječnu točnost od 76,99 % u pet vizualnih zadataka, nadmašujući Jev 1.14 za 1,47 postotnih bodova. Decider Flash v1.3 postiže 72,77 %, što pokazuje mogućnosti vizualne klasifikacije u manjem modelu.

Povećaj

Stvarni zahtjevi za odlučivanje

Uzorkovali smo milijun dedupliciranih zahtjeva s maskiranim PII podacima poslanih na Perplexity Decision API tijekom prvih 18 dana njegove dostupnosti. Budući da svaki zahtjev može sadržavati više pitanja o istom stanju, uzorak obuhvaća 2.318.887 pojedinačnih pitanja. Svi su zahtjevi uključeni uz izričito dopuštenje korisnika za istraživanje.

Produkcijski zahtjevi ne dolaze s referentnim oznakama (ground truth), pa koristimo najnaprednije LLM-ove kao suce za generiranje referentnih odgovora i mjerimo podudaranje svakog modela s njima. Zahtjeve smo grupirali i u 10 kategorija zadataka, uključujući izdvajanje informacija, klasifikaciju domene, analizu sentimenta, namjeru i usmjeravanje, rangiranje relevantnosti, moderiranje sadržaja, pregled kvalitete i usklađenosti, podudaranje entiteta, poslovnu analizu i kategoriju „Ostalo“. Ova raščlamba pokazuje kako se performanse razlikuju u stvarnim slučajevima upotrebe.

Raspodjela zadataka je neujednačena: izdvajanje informacija čini 425.402 pitanja, klasifikacija domene 409.564, a analiza sentimenta 344.158. Zajedno te tri kategorije čine 50,8 % uzorkovanih pitanja.

Decider v1.3 postiže najveće podudaranje sa sucima od 93,98 %, u usporedbi s 93,68 % za Decider v1.2 i 93,35 % za Jev 1.14. Decider v1.3 i Jev 1.14 vrlo su ujednačeni u klasifikaciji domene i analizi sentimenta, s razlikama od 0,34 odnosno 0,07 postotnih bodova. Jev vodi za 0,69 bodova u rangiranju relevantnosti, dok Decider v1.3 vodi za 0,93 boda u izdvajanju informacija (najčešćem zadatku u uzorku) i za 1,21 bod u namjeri i usmjeravanju.

Povećaj

Grafikon u nastavku uspoređuje prijavljeni trošak obrade istog milijuna produkcijskih zahtjeva. Svaki zahtjev može sadržavati više pitanja, pa je jedinica ovdje zahtjev, a ne pojedinačno pitanje.

Povećaj

Robusnost

Osjetljivost na oznake evaluirali smo na 372 pitanja s višestrukim izborom, uz 4.788 zahtjeva po modelu. Promijenili smo redoslijed opcija, ponovno dodijelili oznake tekstovima odgovora i preimenovali oznake uz očuvanje značenja svakog pitanja, a zatim provjerili je li se semantički odgovor modela promijenio. Niže stope promjene odgovora upućuju na veću stabilnost.

Decider v1.3 promijenio je odgovor na samo 0,27 % pitanja pri svakoj transformaciji, u usporedbi s 2,69–4,84 % kod modela Jev 1.14. Također smo ponavljali identične ulaze kako bismo izmjerili varijabilnost posluživanja: Decider v1.3 nije pokazao nikakve promjene, dok je Jev 1.14 promijenio odgovor na 1,88 % pitanja.

Povećaj

Kako koristimo Decider

Decider je izrađen za tijekove rada kojima su potrebne brze i strukturirane odluke. U ovom odjeljku istražujemo kako ih iskoristiti za ostvarivanje značajnog učinka na naš način rada. Evo nekih koji su se istaknuli.

Sigurnosna pravila koja se sama poboljšavaju

Interno već koristimo Decider za poboljšanje svojih sigurnosnih pravila.

Aktivnost naših agenata bilježi se i provodi se niz provjera temeljenih na pravilima kako bi se otkrilo bilo kakvo problematično ponašanje. Pristup temeljen na pravilima znači da naše agente možemo pratiti u stvarnom vremenu uz zanemarivo dodatno kašnjenje. Izvanmrežno koristimo Decider za pregled uzoraka iz tih zabilježenih zapisnika agenata. Ako nije označeno nikakvo problematično ponašanje, Decider provjerava je li naš skup pravila nešto propustio; a ako je podignut alarm, Decider provjerava je li riječ o lažnom alarmu. Svi zapisi u kojima naš skup pravila zakaže u bilo kojem od tih slučajeva šalju se agentu na trijažu i predlaže se ispravak pravila, koji mora odobriti član našeg sigurnosnog tima.

U jednom danu Decider je pročitao 1 milijardu tokena u 7.000 sesija agenata i otkrio nedostatke koji su doveli do 14 ispravaka pravila, od kojih je 6 odobreno i uvedeno u roku od dva dana. Kada su ponovno primijenjeni na zapisnike iz jednog tjedna, ispravci su smanjili obujam našeg najopterećenijeg pravila za 52 %, a proširena pravila uhvatila su oko 40 % više legitimnih radnji za istragu.

Povećaj

Praćenje RL izvođenja

Kada modele dodatno treniramo učenjem s potkrepljenjem, agregirane metrike poput završne nagrade ne objašnjavaju zašto je neko izvođenje (rollout, pojedinačni pokušaj rješavanja zadatka) uspjelo ili nije uspjelo. Izvođenje može nepravedno izgubiti nagradu jer je zakazao servis alata ili sandbox, ili dobiti nezasluženu nagradu ako evaluator previdi nepotkrijepljenu tvrdnju, poput izmišljene vrijednosti koju nije vratio nijedan alat.

Decider koristimo za praćenje izvođenja u takvim slučajevima. Kod najprije identificira dijelove izvođenja koji zahtijevaju pomniji pregled: neuspjeli poziv alata i rasuđivanje oko njega, kod koji se izvršio bez pogrešaka ili konačni odgovor. Decider zatim odgovara na pitanja s višestrukim izborom o svakom dijelu, primjerice što je zakazalo u nekom koraku (servis alata, vanjska stranica, sandbox, harness ili vlastiti kod agenta) i je li agent ispravno protumačio rezultat. Sva pitanja o određenom dijelu objedinjujemo u jedan zahtjev i pohranjujemo vjerojatnosti umjesto presude, kako bismo kasnije mogli prilagoditi pragove bez ponovnog slanja upita Decideru. Monitor samo promatra i dijagnosticira: nikada ne mijenja nagradu niti zaustavlja pokretanje.

Povećaj

Filtriranje stranica prema kvaliteti

Pri prikupljanju web-stranica radi indeksiranja i prikazivanja korisnicima, mnoge su stranice preniske kvalitete da bi bile od ikakve koristi. To uključuje zaštite od botova, CAPTCHA provjere i stranice s pogreškama, kao i ispravno učitane web-stranice koje jednostavno ne sadrže korisne informacije, poput spama, SEO popunjavanja ili stranica koje sadrže samo navigaciju. Takve stranice niske kvalitete potrebno je prepoznati i ukloniti iz našeg indeksa.

Pomoću Decidera možemo procjenjivati kvalitetu stranica tijekom njihova indeksiranja. U istom prolazu unaprijed izvodimo niz drugih klasifikacijskih zadataka, poput prepoznavanja domene i ciljane publike sadržaja te provjere sadrži li štetne, nezakonite ili osobne identifikacijske podatke. U usporedbi s korištenjem LLM-a kao suca, Decider je znatno brži i jeftiniji.

Povećaj

Osim ovih internih primjena, Decider je prikladan i za tijekove rada poput sljedećih.

Vizualno odgovaranje na pitanja (QA)

Budući da Decider čita slike, služi i kao vizualni provjeravatelj koji pregledava promjene stila na web-stranicama ili u aplikacijama i prepoznaje pogreške. Prije objave promjene može pregledati snimke zaslona stranica u potrazi za odrezanim tekstom, elementima koji se preklapaju i pokvarenim rasporedima, ili označiti grafikone čiji bi dizajn mogao zavarati čitatelja ili prekršiti smjernice robne marke.

Povećaj

Navigacija preglednikom

Agenti mogu koristiti Decider za male odluke unutar većih zadataka. Agent preglednika može u svakom koraku poslati snimku zaslona i dobiti detaljne informacije o stanju stranice i očekivanom ishodu svake moguće radnje.

Povećaj

Planiranje istraživačkih zadataka

Pitanja korisnika mogu se uvelike razlikovati po složenosti, kao i dubina pretraživanja potrebna za pronalazak odgovora. Decider to može procijeniti prije početka pretraživanja, pa se na jednostavna pitanja troši manje resursa.

Povećaj

Prvi koraci

Decider vraća vjerojatnosti. Odgovarajući prag odluke ovisi o primjeni. Učestalost oznaka i relativni troškovi lažno pozitivnih i lažno negativnih rezultata razlikuju se ovisno o slučaju upotrebe. Stoga potičemo korisnike da pragove podese na malom, reprezentativnom razvojnom skupu s oznakama umjesto da pretpostave da će fiksna granična vrijednost jednako dobro funkcionirati za sve zadatke.

Preporučujemo Decider v1.3 za nijansirane procjene, detaljne kriterije ocjenjivanja i tijekove rada u kojima su pogreške skupe. Odaberite Decider Flash v1.3 za usmjeravanje, označavanje i filtriranje velikih količina podataka kada su latencija i trošak glavna ograničenja. Procijenite oba modela na reprezentativnim primjerima iz svojeg radnog opterećenja, a zatim odaberite model koji zadovoljava vaše zahtjeve u pogledu kvalitete, latencije i budžeta.

Oba modela dostupna su kao težine za preuzimanje na platformi Hugging Face pod licencom Apache, putem platforme OpenRouter i putem sučelja Perplexity Decisions API.

Citiranje

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}