Perplexity Decider

Objavljujemo Decider v1.3 i Decider Flash v1.3, naslednike naših ranijih modela odlučivanja: v1, v1.1, v1.2 i Flash v1.2.

Decider Flash v1.3 je manji model destilovan iz modela Decider v1.3. Oba modela su dostupna na platformi Hugging Face pod Apache licencom, preko platforme OpenRouter i putem Perplexity Decisions API.

Perplexity Decider je inspirisan modelom Jev (System One Model kompanije TypeSafe AI). Podržava binarnu klasifikaciju i klasifikaciju sa više klasa sa uređenim ili neuređenim oznakama i vraća verovatnoće koje aplikacije mogu da koriste za klasifikovanje, usmeravanje, rangiranje i evaluaciju ulaza.

Oba modela v1.3 poboljšavaju performanse i robusnost u širokom spektru tekstualnih i vizuelnih zadataka zahvaljujući dvosmernoj pažnji, bolje odabranim podacima za obuku i usavršenom receptu za obuku. Uvodimo i locate, novu funkciju za isticanje izabranog sadržaja u zadacima prepoznavanja imenovanih entiteta, identifikacije ličnih podataka i ekstraktivnog odgovaranja na pitanja.

U ovom tekstu objašnjavamo kako obučavamo i evaluiramo Decider i delimo kako ga interno koristimo u kompaniji Perplexity.

Šta je model odlučivanja?

Model odlučivanja je klasifikator opšte namene. Zadajete mu ulaz i skup pitanja, svako sa svojim mogućim odgovorima. Za svako pitanje vraća raspodelu verovatnoće po odgovorima. Podržava 3 tipa pitanja:

• Da / Ne: binarne odluke.
• Višestruki izbor: prilagođene oznake za više klasa.
• Ocena: uređeni nivoi.

Modeli odlučivanja podržavaju širok spektar zadataka klasifikacije i ocenjivanja:

• Ocenjivanje izlaza: procena vernosti, kvaliteta i bezbednosti.
• Rutiranje: usmeravanje zahteva ka manjim ili većim modelima u zavisnosti od težine.
• Moderacija i bezbednost: otkrivanje štetnog sadržaja, fišinga i ubacivanja prompta (prompt injection) u izlazima alata.
• Filtriranje i označavanje: organizovanje velikih kolekcija sadržaja.
• Pretraživanje i ponovno rangiranje: ocenjivanje rezultata pretrage prema relevantnosti.

Mnoge od ovih zadataka ranije su obavljali generativni modeli poput LLM-ova, iako ti zadaci ne zahtevaju generisanje slobodnog teksta. Modeli za odlučivanje nalaze se između LLM-ova i klasifikatora specifičnih za zadatak. Oni vraćaju verovatnoće za više pitanja o istom ulazu u jednom prolazu unapred, čime se izbegava generisanje odgovora token po token, a izračunavanje se deli među pitanjima. Za razliku od klasifikatora specifičnih za zadatak, mogu da obrađuju nove zadatke putem promptova na prirodnom jeziku, a tu fleksibilnost stiču treniranjem na raznovrsnim zadacima u zajedničkom formatu pitanja i odgovora.

Obuka

Kako generativni LLM pretvoriti u model odlučivanja

Decider pravimo prilagođavanjem snažnih generativnih LLM okosnica. Da bismo objasnili to prilagođavanje, najpre opisujemo kako je zahtev predstavljen. Kao što je prikazano u nastavku, zahtev se sastoji od zajedničkog konteksta (stanja) i određenog broja pitanja. Sva pitanja će ponovo koristiti isto stanje.

Na primer, za dati dokument i njegov sažetak, jedan zahtev može da pita da li sažetak verno predstavlja dokument i da li je namenjen stručnjaku ili široj publici. Posle stanja, svaki blok pitanja sadrži pitanje i njegove moguće odgovore, od kojih je svakom dodeljen unapred definisan token oznake, kao što su A, B ili C. Specijalni token <|marker|> označava gde treba očitati predviđanje modela. Na toj poziciji naučeni linearni izlazni sloj (glava za odlučivanje) preslikava skriveno stanje u ocene za opcije odgovora na pitanje, koje se zatim pretvaraju u verovatnoće.

Uvećaj

Izlazni sloj inicijalizujemo iz osnovnog modela, koji inače ocenjuje sledeći token iz celog rečnika, i zadržavamo samo redove koji odgovaraju unapred definisanim tokenima opcija, kao što su A, B ili C. Ovaj skraćeni sloj se zatim obučava da skriveno stanje tokena <|marker|> pretvori u ocene odgovora. Ovaj pristup pokriva sva pitanja klasifikacije jer se sva mogu formulisati kao višestruki izbor.

Za obuku uzimamo stotine javnih skupova podataka koji obuhvataju raznovrsne zadatke (sentiment, zaključivanje na prirodnom jeziku, prepoznavanje namere, uparivanje entiteta, moderacija, provera činjenica, ocene itd.) i svaki primer pretvaramo u objedinjeni format opisan iznad: stanje, jedno ili više pitanja, njihove opcije i cilj. Cilj može biti jedna tačna opcija ako imamo zlatne oznake (gold labels) ili raspodela verovatnoće po opcijama.

U verziji v1.3 uvodimo locate, koji izdvaja tekst iz stanja umesto da bira među unapred definisanim opcijama. Pitanje tipa locate opisuje šta treba pronaći, koristeći kratku oznaku kao što je „lokacija“ ili uputstvo kao što je „Izdvoj naziv grada u kom se nalazi posao.“ Model vraća tačan podudarni tekst iz stanja, zajedno sa pozicijama njegovog početnog i krajnjeg znaka. Ako ne pronađe nijedno podudaranje, vraća praznu listu.

Uvećaj

Zahvaljujući deljenom stanju, jedan zahtev može da kombinuje pitanja tipa locate, klasifikacije i ocenjivanja o istom ulazu. Na primer, može da pita da li posao zahteva iskustvo na seniorskom nivou i da izdvoji potrebne veštine.

Dvosmerna pažnja: model čita u oba smera

Naši modeli polaze od snažnih unapred obučenih generativnih osnovnih modela (backbone), čija kauzalna pažnja omogućava svakom tokenu da obraća pažnju samo na sebe i na prethodne tokene. Naše ablacione studije pokazale su da pretvaranje slojeva pune pažnje osnovnog modela u dvosmerne poboljšava performanse, pa smo usvojili ovaj dizajn kako bi svaki token mogao da uključi kontekst iz celog ulaza.

Dvosmerna pažnja otvara još jedno pitanje dizajna: kako stanje i pitanja treba da interaguju? Razmotrili smo tri obrasca pažnje, sa različitim posledicama po performanse, stabilnost odgovora i ponovnu upotrebu keša:

• Sve vidi sve (v1.2): Stanje i sva pitanja obrađuju se zajedno uz punu dvosmernu pažnju. Izračunavanje nad stanjem je deljeno, ali odgovor na jedno pitanje može da se promeni u zavisnosti od toga šta se još pita.
• Izolovana pitanja (v1.3): Stanje obraća pažnju na sva pitanja, dok svako pitanje obraća pažnju samo na stanje i na sopstvene tokene. Pitanja i dalje mogu posredno međusobno da utiču preko deljenog stanja, ali su rezultati stabilniji.
• Potpuno pogodno za keširanje: Stanje primenjuje pažnju samo na sebe, dok svako pitanje primenjuje pažnju na stanje i na sopstvene tokene. Stanje ne zavisi od pitanja i može se ponovo koristiti u različitim zahtevima kako bi se iskoristilo keširanje promptova. Ovaj režim ne koristimo podrazumevano, jer je za nekoliko zadataka veoma važno da stanje vidi pitanja, ali kratko fino podešavanje može da prebaci model na njega.

Na kraju smo izabrali izolovana pitanja zbog njihovih dobrih performansi i stabilnosti.

Uvećaj

Recept za obuku

Trening se za obe veličine modela odvija u tri faze. Najpre treniramo veći model, zasnovan na Qwen3.8-27B, koristeći unakrsnu entropiju na velikim skupovima podataka, a zatim ga destilujemo u manji model Qwen3.5-4B.

Prva faza je opšta obuka, u kojoj model u potpunosti fino podešavamo na velikim korpusima. U ovoj fazi prihvatamo samo podatke koji pomažu modelu u svim oblastima i nisu specifični ni za jedan referentni test; zato isključujemo sve delove referentnih testova namenjene obuci.

Nakon što je ovaj generalistički model istreniran, sprovodimo drugu, detaljniju fazu pomoću metode LoRA. Podaci koji se koriste u ovoj fazi usmereni su na specifične domene i zadatke. Podatke dodajemo u drugoj fazi umesto u prvoj ako primetimo samo uska poboljšanja ili neke regresije na drugim zadacima. LoRA koristimo da bismo izbegli preveliko udaljavanje od generalističkog modela i rizik od gubitka performansi zarad prilagođavanja tim specifičnim domenima. Cilj je poboljšati performanse uz zadržavanje opšteg znanja okosnice. Prilikom spajanja LoRA adaptera nazad u osnovni model koristimo i težinski faktor, kako bismo preciznije kontrolisali odstupanje i dali prednost metrikama na izdvojenim podacima u odnosu na bilo kakva poboljšanja unutar domena.

Na kraju dodajemo korak specifičan za vid. Slično drugoj fazi, vizuelni korak se tretira kao još jedan korak precizne specijalizacije, uz LoRA adapter koji se ponovo spaja sa osnovnim modelom uz određenu težinu. Neke vizuelne sposobnosti mogu da se postignu po cenu performansi na tekstu. Pošto primećujemo mnogo veću upotrebu modela za tekst, metrikama za tekst dajemo prednost u odnosu na vizuelne metrike.

Za obe tekstualne faze koristimo prosečne težine iz tri pokretanja, od kojih svako koristi drugačije nasumično seme. Utvrdili smo da to poboljšava performanse i robusnost objedinjenog modela.

Kada dobijemo konačni veliki model, isti postupak treniranja u tri faze primenjujemo na manji model. Ovde veliki model ima ulogu učitelja: njegova predviđena izlazna raspodela zamenjuje zlatne oznake, a manji model se trenira da minimizuje KL divergenciju između svojih predviđanja i predviđanja učitelja. Ovaj cilj destilacije nadmašuje unakrsnu entropiju na istim podacima za trening. Iako unakrsna entropija daje bolje rezultate na benčmarkovima sa namenskim podacima za trening, slabije generalizuje na izdvojene podatke. Pretpostavljamo da destilacija bolje prenosi izlaznu raspodelu učitelja, uključujući njegovu pouzdanost u alternative koje nisu zlatne, dok unakrsna entropija podstiče preprilagođavanje raspodeli podataka za trening specifičnoj za benčmark. Zato usvajamo cilj destilacije zasnovan na KL divergenciji.

Da bismo ublažili kontaminaciju između podataka za trening i testiranje, uklanjamo sve uzorke za trening koji bi se mogli preklapati sa bilo kojom evaluacijom koju koristimo. To je važno jer neki javni skupovi podataka za trening sadrže velike delove pojedinih skupova podataka za evaluaciju. Takođe sprovodimo opsežne provere i uklanjanje pristrasnosti kako bismo bili sigurni da su naša poboljšanja pouzdana i da nisu samo posledica naučenih pristrasnosti.

Dodavanje mogućnosti izdvajanja informacija

Funkcija locate izdvaja informacije kao što su imenovani entiteti iz teksta, bez promene načina na koji model odgovara na obične zahteve. Da bismo to postigli, uvodimo dodatnu fazu obuke: modelu Decider dodajemo novi specijalni token, <|locate|>, glavu za raspone (span head) i LoRA adapter.

Ugrađivanje tokena <|locate|> inicijalizujemo na osnovu tokena <|marker|> naučenog u prethodnim fazama obuke. Obučavamo samo ovo novo ugrađivanje, glavu za raspone i LoRA adaptere, dok originalne težine osnovnog modela i glavu za odlučivanje držimo zamrznutim. Svako traženo polje dobija sopstveni token <|locate|>.

Glava za raspone koristi reprezentaciju tokena <|locate|> zajedno sa reprezentacijama tokena stanja kako bi ocenila gde odgovarajući rasponi počinju i gde se završavaju, kao i koji parovi početka i kraja pripadaju jedan drugom. Takođe koristi reprezentaciju tokena <|locate|> za predviđanje pragova specifičnih za svako polje za ove ocene. Izabrani rasponi se vraćaju kao pozicije karaktera u originalnom tekstu.

Glavu za raspone treniramo prilagođenom InfoNCE funkcijom gubitka koja svaki zlatni raspon gura iznad praga, a prag iznad svakog drugog raspona. Funkcija gubitka ima dva člana: prvi gura ocene ispravnih raspona iznad praga i iznad pogrešnih raspona. Drugi član gura prag iznad ocena pogrešnih raspona. Polja bez odgovora dobijaju samo drugi član, čime se model uči da vrati praznu listu.

Obučavamo na kombinaciji zadataka izdvajanja raspona, uključujući prepoznavanje imenovanih entiteta, otkrivanje PII podataka i ekstraktivno odgovaranje na pitanja. Opise polja variramo od kratkih oznaka do detaljnih uputstava, tako da model nauči da prati zahtev umesto da pamti fiksni skup oznaka.

Locate uči model strukturno drugačijem zadatku, a želimo da ga dodamo bez gubitka onoga što model već dobro radi. Spajanje locate adaptera sa okosnicom dovodi do određene regresije na zahtevima za odlučivanje. Da bismo to ograničili, sprovodimo istraživanja, kao što su više podataka za ponavljanje iz ranijih faza i pomoćni ciljevi koji održavaju izlaze modela na zahtevima za odlučivanje bliskim izlazima originalnog modela. Međutim, utvrdili smo da spajanje za sada i dalje nije bez gubitaka, pa adaptere ostavljamo nespojene i aktiviramo ih samo za locate zahteve.

Evaluacija

Decider v1.3 i Decider Flash v1.3 evaluiramo na eksternim benčmarkovima iz indeksa Hugging Face Decision Index, benčmarka ClaimBench kompanije Vals AI i indeksa Artificial Analysis Decision Index.

U svim ovim evaluacijama naši modeli pokazuju snažne performanse. Iako ove rang-liste uključuju privatne zadatke, i dalje se mogu izigrati ponovljenim prijavama i iterativnim podešavanjem na osnovu povratnih informacija sa rang-liste. Kao dopunu ovim rang-listama, modele evaluiramo na internom skupu koji kombinuje privatne produkcijske zadatke sa izdvojenim evaluacijama zasnovanim na javnim skupovima podataka koji nisu benčmarkovi. Ove evaluacije pružaju dodatnu proveru generalizacije izvan javnih benčmarkova i pomažu nam da razlikujemo šira poboljšanja od dobitaka specifičnih za poznate skupove evaluacija.

Interno smo napravili skup od više od 200 zadataka koji obuhvataju različite domene i tipove zadataka, kao što su klasifikacija, ocenjivanje, ponovno rangiranje i izdvajanje entiteta. Da bismo pošteno procenili performanse modela Decider u stvarnom svetu, sve evaluacije se izvode bez primera (zero-shot), bez finog podešavanja za konkretne zadatke, što nam daje jasan signal gde treba da poboljšamo model.

Klasifikacija upita

U kompaniji Perplexity koristimo sistem klasifikacije sa više glava za obradu svakog korisničkog upita. Svaki upit najpre prolazi kroz model za ugrađivanje (embedding) koji služi kao izdvajač karakteristika. Dobijeno ugrađivanje se zatim prosleđuje u više zasebnih klasifikacionih glava, uključujući i binarne klasifikatore i klasifikatore sa više oznaka. Na primer, jedna glava određuje da li korisnički upit treba da pokrene pretragu veba.

Na 63 zadatka klasifikacije sa referencama koje je nezavisno ponovo označio najnapredniji LLM, Decider v1.3 postiže prosečnu tačnost od 91,6%, nadmašujući naše produkcione klasifikatore za 6,54 procentna poena. Decider Flash v1.3 takođe nadmašuje produkcioni referentni model, dok Decider v1.3 nadmašuje Jev 1.14.

Uvećaj

Klasifikacija specifična za domene

Sastavili smo skup za evaluaciju specifičan za domene na osnovu javnih skupova podataka kako bismo procenili performanse klasifikacije modela odlučivanja u sedam domena: verifikacija tvrdnji (6 zadataka), zdravstvo (7), sajber bezbednost (8), programiranje (16), državna uprava (7), pravo (9) i finansije (9).

Na primer, „proceni vremensku složenost programa napisanog u jeziku Python“ ili „na osnovu godišnjeg finansijskog izveštaja utvrdi da li gotovina kojom kompanija slobodno raspolaže pokriva glavnicu duga koja dospeva u narednih dvanaest meseci“. Decider v1.3 prednjači u svih sedam domena i nadmašuje Jev 1.14 za čak 12,9 procentnih poena u finansijama i 9,3 poena u pravu. Decider Flash v1.3 zaostaje za modelom Jev 1.14 u finansijama, programiranju i pravu, a u ostalim domenima postiže slične rezultate.

Uvećaj

Pretraživanje i ponovno rangiranje

Pretraga je u srži platforme Perplexity. Održavamo širok skup zadataka pretraživanja za evaluaciju performansi ponovnog rangiranja naših modela. Za svaki zadatak najpre koristimo skup modela za ugrađivanje da bismo iz svakog korpusa preuzeli 50 najboljih kandidatskih dokumenata. Zatim te kandidate ponovo rangiramo pomoću modela Decider i poredimo njegove performanse sa snažnim referentnim modelom za ponovno rangiranje, Qwen3-Reranker-8B.

Decider evaluiramo u zero-shot okruženju sa pojedinačnim ocenjivanjem (pointwise), koristeći model da direktno i nezavisno oceni svaki par upit–dokument i rangira dokumente prema relevantnosti. Na 72 zadatka pretraživanja Decider v1.3 postiže prosečan nDCG@10 od 83,99, nadmašujući Qwen3-Reranker-8B za 1,81 poen i Jev 1.14 za 2,24 poena.

Na referentnom testu BEIR oba modela nadmašuju Qwen3-Reranker-8B za 8,78, odnosno 7,05 nDCG@10. U poređenju sa modelom Jev 1.14, Decider v1.3 postiže 1,33 poena više, dok Flash verzija postiže 0,4 manje.

Uvećaj

Višejezična klasifikacija

Da bismo evaluirali modele odlučivanja i van engleskog jezika, sastavili smo višejezični referentni test za klasifikaciju koji obuhvata 19 zadataka specifičnih za jezik iz 8 javnih skupova podataka, sa 46.484 primera na osam jezika: nemačkom, španskom, francuskom, italijanskom, ruskom, japanskom, korejskom i kineskom. Referentni test obuhvata prepoznavanje namere, klasifikaciju tema, analizu sentimenta, zaključivanje na prirodnom jeziku, prepoznavanje parafraza, prepoznavanje uvredljivog jezika i gramatičku prihvatljivost.

Navodimo prosečnu tačnost po zadacima unutar svakog jezika, pri čemu svaki zadatak ima jednaku težinu. Decider v1.3 nadmašuje Jev 1.14 na svih osam jezika, a Decider Flash v1.3 na šest, sa prosečnom tačnošću po zadatku od 88,16% za Decider v1.3 i 86,50% za Decider Flash v1.3, u poređenju sa 85,41% za Jev 1.14.

Uvećaj

NER, PII i ekstraktivni QA

Funkciju locate evaluiramo na 17 zadataka van domena koji testiraju izdvajanje u različitim domenima, formatima ulaza (tekst, tabele, strukturisani dokumenti) i uputstvima (kratke oznake, pitanja i detaljni opisi). Domeni obuhvataju sve od Wikipedia članaka do naučnih radova, izveštaja o sajber pretnjama, tehničke podrške, politika privatnosti, biografija i pravnih ugovora. Zahtevi se kreću od kratkih naziva oznaka kao što su „osoba“ ili „imejl adresa“, preko pitanja o tabeli ili tiketu za podršku, do detaljnih opisa polja za strukturisano izdvajanje, kao što su strane u NDA ugovoru ili ukupan iznos na fakturi.

NER i PII evaluiramo pomoću F1 mere za tačne raspone, koja zahteva da se predviđeni rasponi tačno poklapaju sa referentnim granicama. Ekstraktivni QA koristi F1 meru na nivou karaktera, koja daje delimične poene za tekst odgovora koji se preklapa, dok strukturirana ekstrakcija koristi tačnost polja, odnosno udeo ispravno izdvojenih polja. Za raščlanjivanje CV-ja računamo prosek F1 rezultata za tačne raspone za NER i PII.

Naše modele poredimo sa modelima opšte namene za izdvajanje različitih veličina: GLiNER large v2.5 (0,5B), Liquid d1 (2B) i Clairic kompanije Cloudflare (veličina nije objavljena). Decider v1.3 postiže prosečan rezultat od 69,0 (prema primarnoj metrici svakog zadatka), a Decider Flash v1.3 63,6, u poređenju sa 43,3 za Liquid d1, 41,5 za Clairic i 33,6 za GLiNER large v2.5. Oba modela Decider prednjače u svakoj kategoriji.

Uvećaj

Klasifikacija slika

Decider od verzije v1 izvorno podržava vizuelne zadatke. Da bismo procenili njegove performanse izvan teksta, sastavili smo skup referentnih testova od pet zadataka sa posebnim fokusom na klasifikaciju dokumenata, uključujući fakture, pisma i biografije. Skup obuhvata i klasifikaciju satelitskih snimaka, klasifikaciju tekstura, klasifikaciju rasa kućnih ljubimaca i brojanje životinja.

Decider v1.3 postiže prosečnu tačnost od 76,99% na pet vizuelnih zadataka, nadmašujući Jev 1.14 za 1,47 procentnih poena. Decider Flash v1.3 postiže 72,77%, čime pokazuje sposobnosti vizuelne klasifikacije u manjem modelu.

Uvećaj

Stvarni zahtevi za odlučivanje

Uzorkovali smo milion zahteva bez duplikata, sa maskiranim PII podacima, poslatih na Perplexity Decision API tokom prvih 18 dana njegove dostupnosti. Pošto svaki zahtev može da sadrži više pitanja o istom stanju, uzorak obuhvata 2.318.887 pojedinačnih pitanja. Svi zahtevi su uključeni uz izričitu dozvolu korisnika za istraživanje.

Produkcioni zahtevi ne dolaze sa referentnim (ground-truth) oznakama, pa koristimo najnaprednije LLM modele kao ocenjivače za generisanje referentnih odgovora i merimo koliko se svaki model slaže sa njima. Zahteve smo grupisali i u 10 kategorija zadataka, uključujući izdvajanje informacija, klasifikaciju domena, analizu sentimenta, namere i rutiranje, rangiranje po relevantnosti, moderaciju sadržaja, proveru kvaliteta i usklađenosti, uparivanje entiteta, poslovnu analizu i kategoriju „Ostalo“. Ova podela pokazuje kako se performanse razlikuju u stvarnim slučajevima upotrebe.

Zastupljenost zadataka je neujednačena: na izdvajanje informacija otpada 425.402 pitanja, na klasifikaciju domena 409.564, a na analizu sentimenta 344.158. Zajedno, ove tri kategorije čine 50,8% uzorkovanih pitanja.

Decider v1.3 postiže najveće slaganje sa ocenjivačima, 93,98%, u poređenju sa 93,68% za Decider v1.2 i 93,35% za Jev 1.14. Decider v1.3 i Jev 1.14 su vrlo ujednačeni u klasifikaciji domena i analizi sentimenta, sa razlikama od 0,34, odnosno 0,07 procentnih poena. Jev prednjači za 0,69 poena u rangiranju po relevantnosti, dok Decider v1.3 prednjači za 0,93 poena u izdvajanju informacija (najčešćem zadatku u uzorku) i za 1,21 poen u nameri i rutiranju.

Uvećaj

Grafikon ispod poredi prijavljene troškove izvršavanja istih milion produkcionih zahteva. Svaki zahtev može da sadrži više pitanja, pa je jedinica ovde zahtev, a ne pojedinačno pitanje.

Uvećaj

Robusnost

Osetljivost na oznake procenili smo na 372 pitanja sa višestrukim izborom, uz 4.788 zahteva po modelu. Menjali smo redosled opcija, ponovo dodeljivali oznake tekstovima odgovora i preimenovali oznake uz očuvanje značenja svakog pitanja, a zatim proveravali da li se semantički odgovor modela promenio. Niže stope promene odgovora ukazuju na veću stabilnost.

Decider v1.3 je promenio odgovor na samo 0,27% pitanja pri svakoj transformaciji, u poređenju sa 2,69–4,84% kod modela Jev 1.14. Ponovili smo i identične ulaze da bismo izmerili varijabilnost pri posluživanju: Decider v1.3 nije pokazao nikakve promene, dok je Jev 1.14 promenio odgovor na 1,88% pitanja.

Uvećaj

Kako koristimo Decider

Decider je napravljen za radne tokove kojima su potrebne brze i strukturisane odluke. U ovom odeljku istražujemo kako da ga iskoristimo da bismo značajno unapredili način na koji radimo. Evo nekoliko primera koji su se izdvojili.

Bezbednosna pravila koja se sama unapređuju

Interno već koristimo Decider za unapređenje naših bezbednosnih politika.

Aktivnost naših agenata se beleži i sprovodi se niz provera zasnovanih na pravilima kako bi se identifikovalo svako problematično ponašanje. Pristup zasnovan na pravilima znači da možemo da pratimo naše agente u realnom vremenu uz zanemarljivo dodatno kašnjenje. Naknadno, van realnog vremena, koristimo Decider da pregledamo uzorke iz ovih zabeleženih evidencija agenata. Ako nijedno problematično ponašanje nije označeno, Decider proverava da li postoji nešto što je naš skup pravila propustio; a ako je podignuta uzbuna, Decider proverava da li je u pitanju lažna uzbuna. Svi zapisi u kojima naš skup pravila zakaže u bilo kom od ova dva slučaja šalju se agentu na trijažu, a zatim se predlaže ispravka pravila, koju treba da odobri član našeg bezbednosnog tima.

Za jedan dan Decider je pročitao 1 milijardu tokena u 7.000 sesija agenata i identifikovao propuste koji su doveli do 14 ispravki pravila, od kojih je 6 odobreno i uvedeno u roku od dva dana. Kada su ponovo primenjene na evidencije iz jedne nedelje, ispravke su smanjile obim našeg najopterećenijeg pravila za 52%, a proširena pravila su uhvatila oko 40% više legitimnih radnji za istragu.

Uvećaj

Praćenje RL izvođenja

Kada modele naknadno obučavamo učenjem potkrepljivanjem (RL), zbirne metrike kao što je završna nagrada ne objašnjavaju zašto je neko izvođenje (rollout, pojedinačni pokušaj rešavanja zadatka) uspelo ili nije uspelo. Ono može nepravedno izgubiti nagradu zato što je otkazao servis alata ili sandbox, ili dobiti nezasluženu nagradu ako evaluator previdi nepotkrepljenu tvrdnju, kao što je izmišljena vrednost koju nijedan alat nije vratio.

Decider koristimo za praćenje izvođenja u ovim slučajevima. Kod najpre identifikuje delove izvođenja koje treba pažljivije pregledati: neuspeo poziv alata i rezonovanje oko njega, kod koji se izvršio bez grešaka ili konačan odgovor. Decider zatim odgovara na pitanja sa višestrukim izborom o svakom delu, na primer šta nije uspelo u nekom koraku (servis alata, spoljni sajt, sandbox, harness ili sopstveni kod agenta) i da li je agent ispravno protumačio rezultat. Sva pitanja o određenom delu grupišemo u jedan zahtev i čuvamo verovatnoće umesto presude, tako da kasnije možemo da prilagodimo pragove bez ponovnog slanja upita modelu Decider. Monitor samo posmatra i dijagnostikuje: nikada ne menja nagradu niti zaustavlja pokretanje.

Uvećaj

Filtriranje stranica po kvalitetu

Kada prikupljamo veb-stranice (crawling) da bismo ih indeksirali i prikazali korisnicima, mnoge stranice su previše niskog kvaliteta da bi bile od ikakve koristi. To uključuje zaštite od botova, CAPTCHA provere i stranice sa greškama, kao i ispravno učitane veb-stranice koje jednostavno ne sadrže nikakve korisne informacije, poput spama, SEO popune ili stranica koje sadrže samo navigaciju. Ove stranice niskog kvaliteta treba identifikovati i filtrirati iz našeg indeksa.

Pomoću modela Decider možemo da ocenjujemo kvalitet stranica tokom njihovog indeksiranja. U istom prolazu unapred obavljamo i niz drugih zadataka klasifikacije, kao što je utvrđivanje domena i ciljne publike sadržaja, kao i toga da li sadržaj sadrži štetne, nezakonite ili lične podatke na osnovu kojih se može identifikovati osoba. U poređenju sa korišćenjem LLM-a kao ocenjivača, Decider je znatno brži i jeftiniji.

Uvećaj

Osim ovih internih upotreba, Decider se uklapa i u radne tokove poput sledećih.

Vizuelno odgovaranje na pitanja

Pošto Decider čita slike, radi i kao vizuelni proverivač: pregleda stilske izmene veb-stranica ili aplikacija i identifikuje greške. Može da pregleda snimke ekrana stranica u potrazi za odsečenim tekstom, elementima koji se preklapaju i pokvarenim rasporedima pre nego što se izmena objavi, ili da označi grafikone čiji dizajn može da zavara čitaoca ili prekrši smernice brenda.

Uvećaj

Navigacija u pregledaču

Agenti mogu da koriste Decider za male odluke unutar većih zadataka. Agent pregledača može da pošalje snimak ekrana u svakom koraku i dobije detaljne informacije o stanju stranice i očekivanom ishodu svake moguće radnje.

Uvećaj

Planiranje istraživačkih zadataka

Pitanja korisnika mogu se veoma razlikovati po složenosti, kao i po dubini pretrage koju je potrebno sprovesti da bi se pronašao odgovor. Decider to može da proceni pre početka pretrage, što omogućava da se na jednostavna pitanja troši manje resursa.

Uvećaj

Prvi koraci

Decider vraća verovatnoće. Odgovarajući prag odlučivanja zavisi od primene. Učestalost oznaka i relativni troškovi lažno pozitivnih i lažno negativnih rezultata razlikuju se od jednog slučaja upotrebe do drugog. Zato podstičemo korisnike da podese pragove na malom, reprezentativnom označenom razvojnom skupu, umesto da pretpostave da će fiksni prag podjednako dobro funkcionisati za sve zadatke.

Preporučujemo Decider v1.3 za nijansirane procene, detaljne kriterijume ocenjivanja i radne tokove u kojima su greške skupe. Izaberite Decider Flash v1.3 za usmeravanje, označavanje i filtriranje velikog obima, kada su latencija i trošak glavna ograničenja. Procenite oba modela na reprezentativnim primerima iz svog radnog opterećenja, a zatim izaberite model koji ispunjava vaše zahteve u pogledu kvaliteta, latencije i budžeta.

Oba modela su dostupna kao težine za preuzimanje na platformi Hugging Face pod Apache licencom, preko platforme OpenRouter i putem Perplexity Decisions API.

Citiranje

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}