Perplexity Decider

Við gefum út Decider v1.3 og Decider Flash v1.3, arftaka fyrri ákvörðunarlíkana okkar: v1, v1.1, v1.2 og Flash v1.2.

Decider Flash v1.3 er minna líkan sem eimað er úr Decider v1.3. Bæði líkönin eru fáanleg á Hugging Face með Apache-leyfi, í gegnum OpenRouter og Perplexity Decisions API.

Perplexity Decider sækir innblástur í Jev, System One Model frá TypeSafe AI. Það styður tvíkosta flokkun og fjölflokka flokkun með röðuðum eða óröðuðum merkjum og skilar líkum sem forrit geta notað til að flokka, beina, raða og meta inntök.

Bæði v1.3-líkönin bæta afköst og traustleika í fjölbreyttum texta- og myndverkefnum með tvíátta athygli, betur völdum þjálfunargögnum og fágaðri þjálfunaruppskrift. Við kynnum einnig locate, nýjan eiginleika sem auðkennir valið efni í verkefnum á borð við greiningu nafngreindra eininga, auðkenningu persónuupplýsinga og spurningasvörun með útdrætti.

Í þessari færslu útskýrum við hvernig við þjálfum og metum Decider og segjum frá því hvernig við notum það innanhúss hjá Perplexity.

Hvað er ákvörðunarlíkan?

Ákvörðunarlíkan er flokkari til almennra nota. Þú gefur því inntak og safn spurninga, hverja með mögulegum svörum sínum. Fyrir hverja spurningu skilar það líkindadreifingu yfir svörin. Það styður 3 tegundir spurninga:

• Já / Nei: tvíkosta ákvarðanir.
• Fjölval: sérsniðin merki fyrir marga flokka.
• Skor: stig í fastri röð.

Ákvörðunarlíkön styðja fjölbreytt flokkunar- og stigagjafarverkefni:

• Mat á úttaki: mat á tryggð við heimildir, gæðum og öryggi.
• Beining: beiðnum beint til minni eða stærri líkana eftir því hversu erfiðar þær eru.
• Efnisstjórnun og öryggi: greining á skaðlegu efni, vefveiðum og kvaðningarinnskotum (prompt injection) í úttaki tóla.
• Síun og merking: skipulagning stórra efnissafna.
• Heimt og endurröðun: stigagjöf leitarniðurstaðna eftir því hversu vel þær eiga við.

Mörg þessara verkefna voru áður leyst með skapandi líkönum á borð við stór mállíkön (LLM), jafnvel þótt þau krefjist ekki frjálsrar textagerðar. Ákvörðunarlíkön eru mitt á milli stórra mállíkana og verkefnasértækra flokkara. Þau skila líkum fyrir margar spurningar um sama inntak í einni framvirkri umferð, sem kemur í veg fyrir að svör séu búin til tóka fyrir tóka og gerir kleift að samnýta útreikninga milli spurninga. Ólíkt verkefnasértækum flokkurum geta þau tekist á við ný verkefni með kvaðningum á náttúrulegu máli, en þann sveigjanleika læra þau með þjálfun á fjölbreyttum verkefnum á sameiginlegu sniði spurninga og svara.

Þjálfun

Að breyta skapandi mállíkani (LLM) í ákvörðunarlíkan

Við byggjum Decider á öflugum skapandi stórum mállíkönum (LLM) sem við aðlögum. Til að útskýra aðlögunina lýsum við fyrst hvernig beiðni er sett fram. Eins og sést hér að neðan samanstendur beiðni af sameiginlegu samhengi (ástandinu) og nokkrum spurningum. Allar spurningarnar endurnýta ástandið.

Sem dæmi getur ein beiðni, fyrir skjal og samantekt þess, spurt hvort samantektin endurspegli skjalið með réttum hætti og hvort hún sé ætluð sérfræðingi eða almennum lesendum. Á eftir stöðunni inniheldur hver spurningablokk spurningu og möguleg svör hennar, þar sem hverju svari er úthlutað fyrirfram skilgreindum merkjatóka á borð við A, B eða C. Sérstakur <|marker|>-tóki gefur til kynna hvar lesa skuli spá líkansins. Á þessum stað varpar lært línulegt úttakslag (ákvörðunarhaus) dulda ástandinu yfir í stig fyrir svarmöguleika spurningarinnar, sem síðan er breytt í líkur.

Stækka

Við frumstillum úttakslagið út frá grunnlíkaninu, sem gefur að jafnaði næsta tóka stig úr öllum orðaforðanum, og höldum aðeins eftir línunum sem samsvara fyrirfram skilgreindum valkostatókum á borð við A, B eða C. Þetta snyrta lag er síðan þjálfað til að breyta duldu ástandi <|marker|> í svarstig. Þessi nálgun nær yfir allar flokkunarspurningar því þær má allar setja fram sem fjölval.

Til þjálfunar tökum við hundruð opinna gagnasafna sem spanna fjölbreytt verkefni (viðhorf, náttúrulega málályktun, greiningu á ásetningi, samsvörun eininga, efnisstjórnun, staðreyndaprófun, einkunnir o.s.frv.) og umbreytum hverju dæmi í sameinaða sniðið sem lýst er hér að ofan: stöðu, eina eða fleiri spurningar, valkosti þeirra og markgildi. Markgildið getur verið eini rétti valkosturinn ef við höfum staðfest merki (gold labels), eða líkindadreifing yfir valkostina.

Í v1.3 kynnum við locate, sem dregur texta út úr stöðunni í stað þess að velja úr fyrirfram skilgreindum valkostum. Locate-spurning lýsir því sem á að finna, annaðhvort með stuttu merki á borð við „staðsetning“ eða fyrirmælum á borð við „Dragðu út nafn borgarinnar þar sem starfið er staðsett.“ Líkanið skilar nákvæmlega samsvarandi texta úr stöðunni ásamt staðsetningu upphafs- og lokastafs hans. Ef það finnur engar samsvaranir skilar það tómum lista.

Stækka

Vegna sameiginlegrar stöðu getur ein beiðni sameinað locate-, flokkunar- og stigagjafarspurningar um sama inntak. Hún getur til dæmis spurt hvort starf krefjist reynslu á sérfræðingsstigi og dregið út þá færni sem krafist er.

Tvíátta athygli: líkanið látið lesa í báðar áttir

Líkönin okkar byggja á öflugum forþjálfuðum skapandi grunnlíkönum, þar sem orsakaathygli (causal attention) leyfir hverjum tóka aðeins að beina athygli að sjálfum sér og tókum á undan honum. Brottnámsrannsóknir okkar sýndu að það bætir afköst að gera fulla athyglislög grunnlíkansins tvíátta, svo við tökum upp þessa hönnun til að leyfa hverjum tóka að nýta samhengi úr öllu inntakinu.

Tvíátta athygli kallar á aðra hönnunarákvörðun: hvernig eiga staðan og spurningarnar að hafa samskipti? Við skoðuðum þrjú athyglismynstur sem hafa ólík áhrif á afköst, stöðugleika svara og endurnýtingu skyndiminnis:

• Allt sér allt (v1.2): Staðan og allar spurningar eru unnar saman með fullri tvíátta athygli. Útreikningar á stöðunni eru samnýttir, en svar við einni spurningu getur breyst eftir því hvað annað er spurt um.
• Einangraðar spurningar (v1.3): Staðan beinir athygli að öllum spurningunum, en hver spurning beinir athygli aðeins að stöðunni og eigin tókum. Spurningar geta enn haft óbein áhrif hver á aðra í gegnum sameiginlegu stöðuna en niðurstöðurnar eru stöðugri.
• Að fullu skyndiminnishæft: Ástandið beinir athygli eingöngu að sjálfu sér, en hver spurning beinir athygli að ástandinu og eigin tókum. Ástandið er óháð spurningunum og hægt er að endurnýta það milli beiðna til að nýta skyndiminni fyrir kvaðningar. Við notum þetta ekki sjálfgefið, því það skiptir miklu máli fyrir ýmis verkefni að ástandið sjái spurningarnar, en með smávægilegri fínstillingu er hægt að skipta líkani yfir í þennan hátt.

Á endanum völdum við einangraðar spurningar vegna góðrar frammistöðu þeirra og stöðugleika.

Stækka

Þjálfunaruppskrift

Þjálfunin fer fram í þremur stigum fyrir báðar líkanastærðirnar. Fyrst þjálfum við stærra líkanið, sem byggir á Qwen3.8-27B, með krossóreiðu (cross-entropy) á stórum gagnasöfnum og eimum það síðan yfir í minna líkanið, Qwen3.5-4B.

Fyrsta þrepið er almenn þjálfun, þar sem við fínstillum líkanið að fullu á umfangsmiklum textasöfnum. Á þessu þrepi tökum við aðeins við gögnum sem hjálpa líkaninu á öllum sviðum og eru ekki sértæk fyrir neitt viðmiðunarpróf; við útilokum því alla þjálfunarhluta viðmiðunarprófa.

Þegar þetta alhliða líkan hefur verið þjálfað keyrum við annað og fínkornóttara stig með LoRA. Gögnin á þessu stigi beinast að tilteknum sviðum og verkefnum. Við bætum gögnum við á öðru stiginu frekar en því fyrsta ef við sjáum aðeins takmarkaðan ávinning eða ef við sjáum afturför í öðrum verkefnum. Við notum LoRA til að forðast að fjarlægjast alhliða líkanið um of og eiga á hættu að tapa afköstum við að aðlagast þessum tilteknu sviðum. Markmiðið er að bæta afköst en halda um leið í almenna þekkingu grunnlíkansins. Við notum einnig vægi þegar LoRA er sameinað aftur inn í grunnlíkanið, til að stýra frávikinu nákvæmar og láta mælingar á fráteknum gögnum ganga fyrir ávinningi innan sviðsins.

Að lokum bætum við við myndsértæku þrepi. Líkt og annað þrepið er myndþrepið meðhöndlað sem annað fínkornótt sérhæfingarþrep, með LoRA-aðlagara sem er sameinaður aftur við grunnlíkanið með tiltekinni vigt. Sumir myndeiginleikar geta komið niður á afköstum í texta. Þar sem við sjáum mun meiri notkun líkananna á texta setjum við textamælikvarða í forgang fram yfir myndmælikvarða.

Í báðum textaþrepunum notum við meðaltal vigta úr þremur keyrslum, þar sem hver keyrsla notar ólíkt slembifræ. Við komumst að því að þetta bætir afköst og traustleika sameinaða líkansins.

Þegar endanlega stóra líkanið liggur fyrir beitum við sama þriggja stiga þjálfunarferlinu á minna líkanið. Hér gegnir stóra líkanið hlutverki kennara: spáð úttaksdreifing þess kemur í stað réttu merkjanna og minna líkanið er þjálfað til að lágmarka KL-sundurleitnina milli eigin spáa og spáa kennarans. Þetta eimingarmarkmið skilar betri árangri en krossóreiða á sömu þjálfunargögnum. Þótt krossóreiða standi sig betur á viðmiðunarprófum sem hafa sérstök þjálfunargögn alhæfir hún síður vel yfir á frátekin gögn. Tilgáta okkar er að eiming flytji úttaksdreifingu kennarans betur, þar á meðal vissu hans um aðra valkosti en rétta svarið, en krossóreiða ýti undir ofþjálfun á þjálfunardreifingu sem er sértæk fyrir viðmiðunarprófið. Við notum því eimingarmarkmið sem byggir á KL-sundurleitni.

Til að draga úr mengun milli þjálfunar- og prófunargagna fjarlægjum við öll þjálfunarsýni sem gætu skarast við einhver þeirra matsgagna sem við notum. Þetta er mikilvægt því sum opinber þjálfunargagnasöfn innihalda stóra hluta af sumum matsgagnasöfnum. Við gerum einnig ítarlegar úttektir á bjögum og fjarlægjum þá til að tryggja að ávinningurinn sé áreiðanlegur en ekki eingöngu drifinn áfram af lærðum bjögum.

Að bæta við getu til að draga út upplýsingar

Eiginleikinn locate dregur upplýsingar á borð við nafngreindar einingar út úr texta án þess að breyta því hvernig líkanið svarar venjulegum beiðnum. Til þess kynnum við til sögunnar viðbótarþjálfunarþrep: við bætum nýjum sértóka, <|locate|>, bilhaus (span head) og LoRA-aðlagara við Decider.

Við frumstillum innfellingu <|locate|> út frá <|marker|> sem lærðist í fyrri þjálfunarþrepum. Við þjálfum aðeins þessa nýju innfellingu, bilhausinn og LoRA-aðlagarana, en höldum upprunalegum vigtum grunnlíkansins og ákvörðunarhausnum frystum. Hver umbeðinn reitur fær sinn eigin <|locate|>-tóka.

Textabilshausinn notar framsetningu <|locate|> ásamt framsetningum ástandstókanna til að gefa skor fyrir hvar samsvarandi textabil byrja og enda og hvaða pör upphafs og enda eiga saman. Hann notar einnig framsetningu <|locate|>-tókans til að spá fyrir um reitasértæka þröskulda fyrir þessi skor. Völdum textabilum er skilað sem stafastöðum í upprunalega textanum.

Við þjálfum textabilshausinn með aðlöguðu InfoNCE-tapfalli sem ýtir hverju réttu textabili upp fyrir þröskuldinn og þröskuldinum upp fyrir öll önnur textabil. Tapfallið hefur tvo liði: Sá fyrri ýtir skorum réttra textabila upp fyrir þröskuldinn og röngu textabilin. Seinni liðurinn ýtir þröskuldinum upp fyrir skor rangra textabila. Reitir án svars fá aðeins seinni liðinn, sem kennir líkaninu að skila tómum lista.

Við þjálfum á blöndu af verkefnum í útdrætti textabila, þar á meðal greiningu nafngreindra eininga, greiningu á PII og spurningasvörun með útdrætti. Við breytum lýsingum á reitum frá stuttum merkjum yfir í ítarleg fyrirmæli, svo líkanið læri að fylgja beiðninni frekar en að leggja fast merkjasafn á minnið.

Locate kennir líkaninu verkefni sem er byggingarlega ólíkt, og við viljum bæta því við án þess að tapa því sem líkanið gerir nú þegar vel. Þegar locate-aðlögunareiningarnar eru sameinaðar grunnlíkaninu veldur það nokkurri afturför í ákvörðunarbeiðnum. Til að takmarka þetta erum við að kanna leiðir á borð við meiri endurspilunargögn frá fyrri stigum og aukamarkmið sem halda úttaki líkansins fyrir ákvörðunarbeiðnir nálægt úttaki upprunalega líkansins. Við sjáum þó að sameiningin er enn ekki taplaus, svo við höldum aðlögunareiningunum ósameinuðum og virkjum þær aðeins fyrir locate-beiðnir.

Mat

Við metum Decider v1.3 og Decider Flash v1.3 á ytri viðmiðunarprófum úr Hugging Face Decision Index, ClaimBench frá Vals AI og Artificial Analysis Decision Index.

Í þessum mælingum sýna líkönin okkar sterka frammistöðu. Þótt þessar stigatöflur innihaldi verkefni sem ekki eru opinber er samt hægt að hagræða niðurstöðum þeirra með endurteknum innsendingum og ítrekaðri fínstillingu út frá endurgjöf stigatöflunnar. Til viðbótar við stigatöflurnar metum við líkönin á innri prófunarsvítu sem sameinar lokuð raunkeyrsluverkefni og mat á fráteknum gögnum úr opinberum gagnasöfnum sem eru ekki viðmiðunarpróf. Þessar mælingar veita viðbótarathugun á alhæfingu umfram opinber viðmiðunarpróf og hjálpa okkur að greina víðtækari framfarir frá ávinningi sem bundinn er kunnuglegum matssvítum.

Innanhúss byggðum við upp safn meira en 200 verkefna sem spanna ýmis svið og verkefnategundir á borð við flokkun, stigagjöf, endurröðun og útdrátt eininga. Til að meta raunverulega frammistöðu Decider af heiðarleika fer allt mat fram án dæma (zero-shot), án verkefnasértækrar fínstillingar, sem gefur okkur skýra vísbendingu um hvar megi bæta líkanið.

Flokkun fyrirspurna

Hjá Perplexity notum við flokkunarkerfi með mörgum hausum til að vinna úr hverri fyrirspurn notenda. Hverri fyrirspurn er fyrst rennt í gegnum innfellingarlíkan sem dregur út eigindir (feature extractor). Innfellingin sem af hlýst er síðan send inn í marga aðskilda flokkunarhausa, þar á meðal bæði tvíkosta flokkara og fjölmerkjaflokkara. Til dæmis ákvarðar einn hausinn hvort fyrirspurn notanda eigi að kalla fram vefleit.

Í 63 flokkunarverkefnum, þar sem stórt mállíkan í fremstu röð hafði endurmerkt viðmiðin með óháðum hætti, nær Decider v1.3 91,6% meðalnákvæmni og fer 6,54 prósentustigum fram úr flokkurum okkar í rekstri. Decider Flash v1.3 stendur sig líka betur en viðmiðunarlíkanið í rekstri, og Decider v1.3 stendur sig betur en Jev 1.14.

Stækka

Sviðssértæk flokkun

Við settum saman sviðssértækt matssafn úr opnum gagnasöfnum til að meta flokkunarframmistöðu ákvörðunarlíkana á sjö sviðum: sannprófun fullyrðinga (6 verkefni), heilbrigðisþjónusta (7), netöryggi (8), forritun (16), stjórnsýsla (7), lögfræði (9) og fjármál (9).

Til dæmis „mettu tímaflækjustig Python-forrits“ eða „notaðu ársreikning til að ákvarða hvort óbundið reiðufé fyrirtækis dugi fyrir höfuðstól skulda sem fellur í gjalddaga á næstu tólf mánuðum“. Decider v1.3 er í forystu á öllum sjö sviðunum og stendur sig allt að 12,9 prósentustigum betur en Jev 1.14 í fjármálum og 9,3 stigum betur í lögfræði. Decider Flash v1.3 stendur Jev 1.14 að baki í fjármálum, forritun og lögfræði en skilar sambærilegum árangri á öðrum sviðum.

Stækka

Heimt og endurröðun

Leit er kjarninn í Perplexity. Við höldum úti víðtæku safni heimtarverkefna til að meta endurröðunarframmistöðu líkananna okkar. Fyrir hvert verkefni notum við fyrst hóp innfellingarlíkana til að sækja 50 efstu skjölin sem koma til greina úr hverju textasafni. Síðan endurröðum við þessum skjölum með Decider og berum frammistöðu þess saman við öflugt viðmiðunarlíkan til endurröðunar, Qwen3-Reranker-8B.

Við metum Decider án dæma (zero-shot) og með stakmati (pointwise), þar sem líkanið gefur hverju pari fyrirspurnar og skjals stig beint og óháð öðrum og raðar skjölum eftir mikilvægi. Í 72 heimtarverkefnum nær Decider v1.3 meðalgildinu 83,99 í nDCG@10 og stendur sig 1,81 stigum betur en Qwen3-Reranker-8B og 2,24 stigum betur en Jev 1.14.

Á BEIR-viðmiðunarprófinu standa bæði líkönin sig betur en Qwen3-Reranker-8B, um 8,78 og 7,05 stig í nDCG@10, hvort um sig. Samanborið við Jev 1.14 er Decider v1.3 1,33 stigum hærra, en Flash-útgáfan er 0,4 stigum lægri.

Stækka

Fjöltyngd flokkun

Til að meta ákvörðunarlíkön utan ensku settum við saman fjöltyngt viðmiðunarpróf fyrir flokkun sem samanstendur af 19 tungumálasértækum verkefnum úr 8 opnum gagnasöfnum, með 46.484 dæmum á átta tungumálum: þýsku, spænsku, frönsku, ítölsku, rússnesku, japönsku, kóresku og kínversku. Prófið nær yfir greiningu á ásetningi, efnisflokkun, viðhorfsgreiningu, náttúrulega málályktun, greiningu á umorðun, greiningu á meiðandi orðfæri og mat á málfræðilegum tækileika.

Við tilgreinum meðalnákvæmni yfir verkefni innan hvers tungumáls, þar sem hvert verkefni vegur jafnt. Decider v1.3 stendur sig betur en Jev 1.14 á öllum átta tungumálunum og Decider Flash v1.3 á sex þeirra, með meðalnákvæmni í verkefnum upp á 88,16% hjá Decider v1.3 og 86,50% hjá Decider Flash v1.3, samanborið við 85,41% hjá Jev 1.14.

Stækka

NER, PII og spurningasvörun með útdrætti

Við metum locate-eiginleikann á 17 verkefnum utan þjálfunarsviðs sem prófa útdrátt hans á ýmsum sviðum, inntakssniðum (texta, töflum, skipulögðum skjölum) og fyrirmælum (stuttum merkjum, spurningum og ítarlegum lýsingum). Sviðin spanna allt frá Wikipedia til vísindagreina, skýrslna um netógnir, tækniaðstoðar, persónuverndarstefna, ferilskráa og lögfræðilegra samninga. Beiðnirnar spanna allt frá stuttum merkjaheitum á borð við „einstaklingur“ eða „netfang“, yfir spurningar um töflu eða þjónustubeiðni, til ítarlegra reitalýsinga fyrir skipulegan útdrátt, t.d. aðilar trúnaðarsamnings (NDA) eða heildarupphæð á reikningi.

Við metum NER og PII með F1 fyrir nákvæm textabil, sem krefst þess að spáð textabil falli nákvæmlega að mörkum viðmiðunarinnar. Útdráttarspurningasvörun (extractive QA) notar F1 á stafastigi, sem gefur hlutaeinkunn fyrir svartexta sem skarast, en skipulagður útdráttur notar nákvæmni reita, þ.e. hlutfall reita sem eru dregnir rétt út. Við greiningu ferilskráa tökum við meðaltal af F1-skorum NER og PII fyrir nákvæm textabil.

Við berum líkönin okkar saman við útdráttarlíkön til almennra nota af mismunandi stærðum: GLiNER large v2.5 (0,5B), Liquid d1 (2B) og Clairic frá Cloudflare (stærð ekki gefin upp). Decider v1.3 nær meðaleinkunninni 69,0 (miðað við aðalmælikvarða hvers verkefnis) og Decider Flash v1.3 nær 63,6, samanborið við 43,3 hjá Liquid d1, 41,5 hjá Clairic og 33,6 hjá GLiNER large v2.5. Bæði Decider-líkönin eru í forystu í öllum flokkum.

Stækka

Myndflokkun

Decider hefur haft innbyggðan stuðning við myndverkefni frá því í v1. Til að meta frammistöðu þess út fyrir texta settum við saman safn fimm viðmiðunarverkefna með sérstakri áherslu á flokkun skjala, þar á meðal reikninga, bréfa og ferilskráa. Safnið nær einnig yfir flokkun gervihnattamynda, flokkun áferðar, flokkun gæludýrakynja og talningu dýra.

Decider v1.3 nær 76,99% meðalnákvæmni í myndverkefnunum fimm og stendur sig 1,47 prósentustigum betur en Jev 1.14. Decider Flash v1.3 nær 72,77%, sem sýnir getu til myndflokkunar í minna líkani.

Stækka

Raunverulegar ákvörðunarbeiðnir

Við tókum úrtak einnar milljónar beiðna sem sendar voru til Perplexity Decision API á fyrstu 18 dögunum eftir að það var gert aðgengilegt; tvítekningar voru fjarlægðar og PII hulið. Þar sem hver beiðni getur innihaldið margar spurningar um sömu stöðuna inniheldur úrtakið 2.318.887 stakar spurningar. Allar beiðnir voru teknar með samkvæmt skýru leyfi notenda til rannsókna.

Beiðnum úr rekstri fylgja ekki staðfest rétt merki, svo við notum framsæknustu stóru mállíkönin sem dómara til að búa til viðmiðunarsvör og mælum samræmi hvers líkans við þau. Við flokkum beiðnirnar einnig í 10 verkefnaflokka, þar á meðal upplýsingaútdrátt, sviðsflokkun, viðhorfsgreiningu, ásetning og beiningu, röðun eftir mikilvægi, efnisstjórnun, rýni á gæðum og reglufylgni, samsvörun eininga, viðskiptagreiningu og flokkinn „Annað“. Þessi sundurliðun sýnir hvernig frammistaða er breytileg eftir raunverulegum notkunartilvikum.

Verkefnablandan er ójöfn: upplýsingaútdráttur stendur fyrir 425.402 spurningum, sviðsflokkun fyrir 409.564 og viðhorfsgreining fyrir 344.158. Samanlagt eru þessir þrír flokkar 50,8% af spurningunum í úrtakinu.

Decider v1.3 nær mestu samræmi við dómarana, 93,98%, samanborið við 93,68% hjá Decider v1.2 og 93,35% hjá Jev 1.14. Decider v1.3 og Jev 1.14 standa nokkuð jafnfætis í sviðsflokkun og viðhorfsgreiningu, með mun upp á 0,34 og 0,07 prósentustig, hvort um sig. Jev er 0,69 stigum á undan í röðun eftir mikilvægi, en Decider v1.3 er 0,93 stigum á undan í upplýsingaútdrætti (algengasta verkefninu í úrtakinu) og 1,21 stigum á undan í ásetningi og beiningu.

Stækka

Grafið hér að neðan ber saman uppgefinn kostnað við að keyra sömu milljón beiðnir úr rekstri. Hver beiðni getur innihaldið margar spurningar, svo einingin hér er beiðnir, ekki stakar spurningar.

Stækka

Traustleiki

Við mátum næmi fyrir merkjum á 372 fjölvalsspurningum og sendum 4.788 beiðnir á hvert líkan. Við endurröðuðum valkostunum, úthlutuðum merkjum upp á nýtt til svartexta og endurnefndum merki en héldum merkingu hverrar spurningar, og könnuðum síðan hvort merkingarlegt svar líkansins breyttist. Lægri umsnúningstíðni gefur til kynna meiri stöðugleika.

Decider v1.3 breytti svari sínu við aðeins 0,27% spurninga við hverja umbreytingu, samanborið við 2,69–4,84% hjá Jev 1.14. Við endurtókum einnig eins inntök til að mæla breytileika við keyrslu: Decider v1.3 sýndi engar breytingar, en Jev 1.14 breyttist í 1,88% spurninga.

Stækka

Hvernig við notum Decider

Decider er hannað fyrir verkflæði sem krefjast hraðra og skipulegra ákvarðana. Í þessum hluta skoðum við hvernig nýta má það til að hafa raunveruleg áhrif á það hvernig við vinnum. Hér eru nokkur dæmi sem stóðu upp úr.

Sjálfbætandi öryggisreglur

Innanhúss notum við nú þegar Decider til að bæta öryggisstefnur okkar.

Virkni gervigreindarfulltrúa okkar er skráð og röð reglubyggðra athugana er framkvæmd til að greina hvers kyns vafasama hegðun. Reglubyggð nálgun þýðir að við getum vaktað gervigreindarfulltrúana okkar í rauntíma með hverfandi viðbættri töf. Utan rauntíma notum við Decider til að skoða úrtök úr þessum vistuðu atvikaskrám gervigreindarfulltrúanna. Ef engin vafasöm hegðun var merkt kannar Decider hvort reglusafnið okkar hafi misst af einhverju; og ef viðvörun fór í gang kannar Decider hvort um falska viðvörun hafi verið að ræða. Allar færslur þar sem reglusafnið bregst í hvoru tilvikinu sem er eru sendar til gervigreindarfulltrúa til forgangsflokkunar og lögð er til lagfæring á reglunum, sem starfsmaður í öryggisteyminu okkar þarf að samþykkja.

Á einum degi las Decider 1 milljarð tóka í 7.000 samtölum gervigreindarfulltrúa og greindi galla sem leiddu til 14 reglulagfæringa, en 6 þeirra voru samþykktar og innleiddar innan tveggja daga. Þegar lagfæringarnar voru keyrðar aftur á atvikaskrám einnar viku minnkuðu þær umfang annasömustu reglunnar okkar um 52%, og útvíkkuðu reglurnar fönguðu um 40% fleiri réttmætar aðgerðir til rannsóknar.

Stækka

Vöktun RL-keyrslna

Þegar við eftirþjálfum líkön með styrkingarnámi skýra samanlagðar mælingar á borð við lokaumbun ekki hvers vegna keyrsla (einstök tilraun til að leysa verkefni) heppnaðist eða mistókst. Keyrsla getur tapað umbun á ósanngjarnan hátt vegna þess að tólaþjónusta eða sandkassinn brást, eða fengið óverðskuldaða umbun ef matsaðilinn horfir fram hjá óstuddri fullyrðingu, svo sem uppdiktuðu gildi sem ekkert tól skilaði.

Við notum Decider til að vakta keyrslur með tilliti til slíkra tilvika. Kóði greinir fyrst hluta keyrslu sem kalla á nánari skoðun: misheppnað tólakall og rökleiðsluna í kringum það, kóða sem keyrði án villna eða lokasvarið. Decider svarar síðan fjölvalsspurningum um hvern hluta, svo sem hvað brást í tilteknu skrefi (tólaþjónusta, ytri vefur, sandkassinn, harness eða eigin kóði gervigreindarfulltrúans) og hvort gervigreindarfulltrúinn hafi túlkað niðurstöðuna rétt. Við setjum allar spurningar um tiltekinn hluta saman í eina beiðni og vistum líkurnar frekar en úrskurð, svo við getum stillt þröskulda síðar án þess að senda Decider fyrirspurn aftur. Vöktunin fylgist aðeins með og greinir: hún breytir aldrei umbun né stöðvar keyrslu.

Stækka

Síun eftir gæðum síðna

Þegar vefsíður eru skriðnar til að setja þær í leitarskrá og birta notendum eru margar síður of lélegar til að gagnast. Þar á meðal eru varnarveggir gegn vélmennum, CAPTCHA-próf og villusíður, en einnig vefsíður sem hlaðast rétt en innihalda einfaldlega engar gagnlegar upplýsingar, svo sem ruslefni, SEO-uppfyllingarefni eða síður sem eingöngu innihalda leiðsögn. Bera þarf kennsl á þessar lélegu síður og sía þær úr leitarskránni okkar.

Með Decider getum við metið gæði síðna um leið og vefskriðillinn okkar sækir þær. Í sömu framvirku umferðinni leysum við fjölda annarra flokkunarverkefna, svo sem að greina svið og markhóp efnisins og hvort það innihaldi skaðlegar, ólöglegar eða persónugreinanlegar upplýsingar. Í samanburði við að nota stórt mállíkan sem matsaðila er Decider töluvert hraðvirkari og ódýrari.

Stækka

Auk þessarar innanhússnotkunar hentar Decider einnig fyrir verkflæði á borð við eftirfarandi.

Sjónræn spurningasvörun

Þar sem Decider les myndir virkar það einnig sem sjónrænn yfirlesari sem fer yfir útlitsbreytingar á vefsíðum eða forritum og greinir galla. Það getur farið yfir skjámyndir af síðum í leit að skornum texta, skarandi einingum og brotnu útliti áður en breyting fer í loftið, eða merkt gröf sem gætu með hönnun sinni villt um fyrir lesanda eða brotið gegn vörumerkjaleiðbeiningum.

Stækka

Vafraleiðsögn

Gervigreindarfulltrúar geta notað Decider fyrir smáu ákvarðanirnar innan stærri verkefna. Gervigreindarfulltrúi í vafra getur sent skjámynd í hverju skrefi og fengið ítarlegar upplýsingar um stöðu síðunnar og væntanlega niðurstöðu hverrar mögulegrar aðgerðar.

Stækka

Skipulagning rannsóknarverkefna

Spurningar notenda geta verið afar misflóknar, og það sama gildir um hversu ítarlega þarf að leita til að finna svar. Decider getur metið þetta áður en leitin hefst, svo minni tilföng fara í einfaldar spurningar.

Stækka

Fyrstu skrefin

Decider skilar líkum. Viðeigandi ákvörðunarþröskuldur fer eftir notkuninni. Tíðni merkja og hlutfallslegur kostnaður falskra jákvæðra og falskra neikvæðra niðurstaðna er breytilegur eftir notkunartilvikum. Við hvetjum því notendur til að stilla þröskulda á litlu, dæmigerðu, merktu þróunarsafni frekar en að gera ráð fyrir að fastur þröskuldur virki jafn vel í öllum verkefnum.

Við mælum með Decider v1.3 fyrir blæbrigðaríkt mat, ítarleg matsviðmið og verkflæði þar sem villur eru dýrkeyptar. Veldu Decider Flash v1.3 fyrir beiningu, merkingu og síun í miklu magni þar sem svartími og kostnaður eru helstu takmarkanirnar. Mettu bæði líkönin á dæmigerðum dæmum úr þínu vinnuálagi og veldu síðan það líkan sem uppfyllir kröfur þínar um gæði, svartíma og fjárhagsáætlun.

Bæði líkönin eru fáanleg sem niðurhalanlegar vigtir á Hugging Face með Apache-leyfi, í gegnum OpenRouter og Perplexity Decisions API.

Tilvitnun

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}