Perplexity Decider

Біз оны қалай оқытамыз, бағалаймыз және пайдаланамыз.

АвторларPerplexity Research

Біз Decider v1.3 және Decider Flash v1.3 модельдерін шығарамыз. Олар бұрынғы шешім модельдеріміздің — v1, v1.1, v1.2 және Flash v1.2 — мұрагерлері.

Decider Flash v1.3 — Decider v1.3 моделінен дистилляцияланған шағынырақ модель. Екі модель де Apache лицензиясы бойынша Hugging Face платформасында, сондай-ақ OpenRouter және Perplexity Decisions API арқылы қолжетімді.

Perplexity Decider TypeSafe AI компаниясының System One Model моделі Jev-тен шабыт алып жасалған. Ол реттелген немесе реттелмеген белгілермен бинарлық және көп класты жіктеуді қолдайды және қолданбалар кіріс деректерін жіктеу, бағыттау, рангтеу және бағалау үшін пайдалана алатын ықтималдықтарды қайтарады.

Екі v1.3 моделі де екі бағытты назар аудару, мұқият іріктелген оқыту деректері және жетілдірілген оқыту рецептінің арқасында мәтіндік және визуалды тапсырмалардың кең ауқымында өнімділік пен орнықтылықты арттырады. Сондай-ақ біз locate атты жаңа мүмкіндікті ұсынамыз: ол атаулы нысандарды тану, жеке ақпаратты анықтау және шығарып алушы сұрақ-жауап тапсырмалары үшін таңдалған мазмұнды белгілеп көрсетеді.

Бұл жазбада біз Decider-ді қалай оқытып, бағалайтынымызды түсіндіріп, оны Perplexity ішінде қалай пайдаланатынымызбен бөлісеміз.

Шешім моделі дегеніміз не?

Шешім моделі — жалпы мақсаттағы жіктеуіш. Сіз оған кіріс деректерін және әрқайсысының ықтимал жауаптары бар сұрақтар жинағын бересіз. Әр сұрақ үшін ол жауаптар бойынша ықтималдық үлестірімін қайтарады. Ол сұрақтың 3 түрін қолдайды:

  • Иә / Жоқ: бинарлық шешімдер.
  • Көп нұсқалы таңдау: теңшелетін көп класты белгілер.
  • Балл: реттелген деңгейлер.

Шешім модельдері жіктеу мен бағалаудың кең ауқымды тапсырмаларын қолдайды:

  • Нәтижелерді бағалау: дереккөзге сәйкестікті, сапаны және қауіпсіздікті бағалау.
  • Бағыттау: сұрауларды күрделілігіне қарай шағынырақ немесе үлкенірек модельдерге жіберу.
  • Модерация және қауіпсіздік: құрал нәтижелеріндегі зиянды мазмұнды, фишингті және промпт-инъекцияны анықтау.
  • Сүзу және тегтеу: мазмұнның үлкен жинақтарын реттеу.
  • Іздеу және қайта рангтеу: іздеу нәтижелерін өзектілігі бойынша бағалау.

Бұл тапсырмалардың көбі еркін пішінді мәтін генерациялауды қажет етпесе де, бұрын оларды LLM сияқты генеративті модельдер орындайтын. Шешім модельдері LLM мен белгілі бір тапсырмаға арналған классификаторлардың аралығында орналасады. Олар бір кіріс деректері туралы бірнеше сұрақ бойынша ықтималдықтарды бір тура өту ішінде қайтарады, осылайша жауапты токендеп генерациялаудың қажеті болмайды және есептеу сұрақтар арасында ортақ пайдаланылады. Белгілі бір тапсырмаға арналған классификаторлардан айырмашылығы, олар табиғи тілдегі промпттар арқылы жаңа тапсырмаларды орындай алады — бұл икемділікке олар ортақ сұрақ-жауап форматындағы алуан түрлі тапсырмаларда оқыту арқылы қол жеткізген.

Оқыту

Генеративті LLM-ді шешім моделіне айналдыру

Біз Decider-ді күшті генеративті LLM негізгі модельдерін бейімдеу арқылы құрамыз. Бейімдеуді түсіндіру үшін алдымен сұраудың қалай берілетінін сипаттаймыз. Төменде көрсетілгендей, сұрау ортақ контекстен (күйден) және бірнеше сұрақтан тұрады. Күйді барлық сұрақ қайта пайдаланады.

Мысалы, құжат пен оның түйіндемесі берілгенде, бір сұрау түйіндеме құжатты дәл бейнелей ме және ол сарапшыға арналған ба, әлде жалпы аудиторияға ма, соны сұрай алады. Күйден кейін әр сұрақ блогында сұрақ пен оның ықтимал жауаптары болады, әр жауапқа A, B немесе C сияқты алдын ала анықталған белгі токені тағайындалады. Арнайы <|marker|> токені модельдің болжамын қай жерден оқу керектігін көрсетеді. Осы позицияда үйренілген сызықтық шығыс қабаты (шешім басы) жасырын күйді сұрақтың жауап нұсқаларына арналған ұпайларға түрлендіреді, содан кейін олар ықтималдықтарға айналдырылады.

Біз шығыс қабатын әдетте келесі токенді бүкіл сөздік бойынша бағалайтын базалық модельден инициализациялаймыз және тек A, B немесе C сияқты алдын ала анықталған нұсқа токендеріне сәйкес жолдарды ғана қалдырамыз. Содан кейін бұл қысқартылған қабат <|marker|> токенінің жасырын күйін жауап ұпайларына айналдыруға оқытылады. Бұл тәсіл барлық жіктеу сұрақтарын қамтиды, өйткені олардың барлығын көп нұсқалы таңдау ретінде тұжырымдауға болады.

Оқыту үшін біз әртүрлі тапсырмаларды (көңіл-күй, табиғи тілдегі қорытынды жасау, ниетті анықтау, нысандарды сәйкестендіру, модерация, фактілерді тексеру, рейтингтер және т.б.) қамтитын жүздеген ашық деректер жиынтығын алып, әр мысалды жоғарыда сипатталған бірыңғай форматқа түрлендіреміз: күй, бір немесе бірнеше сұрақ, олардың нұсқалары және мақсат. Егер эталондық белгілер болса, мақсат жалғыз дұрыс нұсқа, болмаса нұсқалар бойынша ықтималдық үлестірімі болуы мүмкін.

v1.3 нұсқасында біз locate мүмкіндігін енгіземіз: ол алдын ала анықталған нұсқалардан таңдаудың орнына күйден мәтінді шығарып алады. Locate сұрағы нені табу керектігін «орналасқан жері» сияқты қысқа белгімен немесе «Жұмыс орналасқан қаланың атауын шығарып ал.» сияқты нұсқаумен сипаттайды. Модель күйден дәл сәйкес келетін мәтінді оның басталу және аяқталу таңбаларының орындарымен бірге қайтарады. Егер ешқандай сәйкестік таппаса, бос тізім қайтарады.

Ортақ күйдің арқасында бір сұрау бір кіріс дерегі туралы locate, жіктеу және бағалау сұрақтарын біріктіре алады. Мысалы, ол жұмыс аға деңгейдегі тәжірибені талап ете ме, соны сұрап, қажетті дағдыларды шығарып ала алады.

Екі бағытты назар аудару: модельге мәтінді екі бағытта да оқуға мүмкіндік беру

Біздің модельдер қуатты алдын ала оқытылған генеративті негізгі желілерден (backbone) бастау алады; олардың себептік назар аудару механизмі әр токенге тек өзіне және өзінен бұрынғы токендерге назар аударуға мүмкіндік береді. Абляциялық зерттеулеріміз негізгі желінің толық назар аудару қабаттарын екі бағытты ету өнімділікті арттыратынын көрсетті, сондықтан әр токен бүкіл кіріс деректерінің контекстін ескере алуы үшін осы дизайнды қабылдадық.

Екі бағытты назар аудару тағы бір дизайн таңдауын туғызады: күй мен сұрақтар қалай өзара әрекеттесуі керек? Біз өнімділікке, жауап тұрақтылығына және кэшті қайта пайдалануға әртүрлі әсер ететін үш назар аудару үлгісін қарастырдық:

  • Бәрі бәрін көреді (v1.2): Күй мен барлық сұрақтар толық екі бағытты назар аудару арқылы бірге өңделеді. Күй бойынша есептеу ортақ, бірақ бір сұрақтың жауабы тағы не сұралғанына байланысты өзгеруі мүмкін.
  • Оқшауланған сұрақтар (v1.3): Күй барлық сұрақтарға назар аударады, ал әр сұрақ тек күйге және өз токендеріне назар аударады. Сұрақтар ортақ күй арқылы бір-біріне жанама түрде әсер ете алады, бірақ нәтижелер тұрақтырақ болады.
  • Толықтай кэштелетін нұсқа: Күй тек өзіне назар аударады, ал әр сұрақ күйге және өзінің токендеріне назар аударады. Күй сұрақтарға тәуелсіз, сондықтан промптты кэштеудің артықшылығын пайдалану үшін оны сұраулар арасында қайта қолдануға болады. Біз оны әдепкі бойынша пайдаланбаймыз, себебі бірқатар тапсырма үшін күйдің сұрақтарды көре алуы өте маңызды, бірақ шағын қосымша оқыту (fine-tuning) арқылы модельді осы режимге ауыстыруға болады.

Ақырында біз жоғары өнімділігі мен тұрақтылығы үшін оқшауланған сұрақтарды таңдадық.

Оқыту рецепті

Екі өлшемдегі модель үшін де оқыту үш кезеңнен өтеді. Алдымен Qwen3.8-27B негізіндегі үлкенірек модельді ауқымды деректер жиынтықтарында кросс-энтропия арқылы оқытамыз, содан кейін оны кішірек Qwen3.5-4B моделіне дистилляциялаймыз.

Бірінші кезең — жалпы мақсаттағы оқыту, мұнда модельді ауқымды корпустарда толығымен дәл баптаймыз. Бұл кезеңде тек модельге жан-жақты көмектесетін және ешбір бенчмаркке тән емес деректерді ғана қабылдаймыз; сондықтан бенчмарктердің кез келген оқыту бөліктерін алып тастаймыз.

Осы жалпы мақсаттағы модель оқытылғаннан кейін біз LoRA көмегімен екінші, неғұрлым нақтырақ кезеңді жүргіземіз. Бұл кезеңде пайдаланылатын деректер нақты домендер мен тапсырмаларға бағытталған. Егер тар ауқымды ғана жақсаруды немесе басқа тапсырмаларда нәтиженің біршама нашарлауын байқасақ, деректерді бірінші кезеңге емес, екінші кезеңге қосамыз. LoRA-ны жалпы мақсаттағы модельден тым алшақтап кетпеу үшін және сол нақты домендерге бейімделу барысында өнімділікті жоғалту қаупін болдырмау үшін пайдаланамыз. Мақсат — негізгі модельдің (backbone) жалпы білімін сақтай отырып, өнімділікті арттыру. Сондай-ақ ауытқуды дәлірек бақылау және домен ішіндегі кез келген жақсаруларға қарағанда бөлек қалдырылған (held-out) деректердегі метрикаларға басымдық беру үшін LoRA-ны базалық модельге қайта біріктіргенде салмақ қолданамыз.

Соңында біз көру қабілетіне арналған қадамды қосамыз. Екінші кезеңге ұқсас, көру қадамы да дәл мамандандырудың тағы бір қадамы ретінде қарастырылады: онда белгілі бір салмақпен базалық модельге қайта біріктірілетін LoRA адаптері қолданылады. Кейбір көру мүмкіндіктері мәтіндік өнімділік есебінен келуі мүмкін. Модельдердің мәтінмен әлдеқайда көп пайдаланылатынын байқайтындықтан, мәтіндік метрикаларды көру метрикаларынан басым қоямыз.

Екі мәтіндік кезең үшін де әрқайсысы әртүрлі кездейсоқ seed мәнін пайдаланатын үш іске қосудың орташа салмақтарын қолданамыз. Бұл біріктірілген модельдің өнімділігі мен орнықтылығын арттыратынын анықтадық.

Соңғы үлкен модель алынғаннан кейін дәл сол үш кезеңді оқыту процедурасын кішірек модельге қолданамыз. Мұнда үлкен модель мұғалім рөлін атқарады: оның болжанған шығыс үлестірімі эталондық белгілердің (gold labels) орнын басады, ал кішірек модель өз болжамдары мен мұғалім болжамдары арасындағы KL дивергенциясын барынша азайтуға үйретіледі. Бұл дистилляция мақсаттық функциясы бірдей оқыту деректерінде кросс-энтропиядан жоғары нәтиже көрсетеді. Арнайы оқыту деректері бар бенчмарктарда кросс-энтропия жақсырақ нәтиже бергенімен, бөлек қалдырылған деректерге нашарырақ жалпыланады. Біздің болжамымыз бойынша, дистилляция мұғалімнің шығыс үлестірімін, соның ішінде оның эталондық емес баламаларға қатысты сенімділігін жақсырақ береді, ал кросс-энтропия бенчмаркқа тән оқыту үлестіріміне шамадан тыс бейімделуге (overfitting) итермелейді. Сондықтан біз KL негізіндегі дистилляция мақсаттық функциясын қабылдаймыз.

Оқыту және тест деректерінің араласуын (train-test contamination) азайту үшін біз пайдаланатын кез келген бағалаумен қиылысуы мүмкін барлық оқыту үлгілерін алып тастаймыз. Бұл маңызды, себебі кейбір ашық оқыту деректер жиынтықтарында кейбір бағалау деректер жиынтықтарының үлкен бөліктері кездеседі. Сондай-ақ жақсаруларымыздың сенімді екеніне және олар тек үйренілген жанама ауытқуларға (bias) байланысты емес екеніне көз жеткізу үшін жанама ауытқуларға ауқымды аудит жүргізіп, оларды жоямыз.

Ақпаратты шығарып алу мүмкіндігін қосу

Locate мүмкіндігі кәдімгі сұрауларға қалай жауап беретінін өзгертпей, мәтіннен атаулы нысандар сияқты ақпаратты шығарып алады. Ол үшін қосымша оқыту кезеңін енгіземіз: Decider-ге жаңа арнайы токенді <|locate|>, span head-ті және LoRA адаптерін қосамыз.

Біз <|locate|> эмбеддингін алдыңғы оқыту кезеңдерінде үйренілген <|marker|> эмбеддингінен инициализациялаймыз. Бастапқы негізгі желі салмақтары мен шешім басын қатырылған күйде қалдырып, тек осы жаңа эмбеддингті, span head-ті және LoRA адаптерлерін оқытамыз. Сұралған әр өріс өзінің <|locate|> токенін алады.

Аралықты болжау модулі (span head) <|locate|> көрінісін күй токендерінің көріністерімен бірге пайдаланып, сәйкес фрагменттердің қай жерде басталып, қай жерде аяқталатынын және қандай бастау–соңы жұптарының бір-біріне тиесілі екенін бағалайды. Ол сондай-ақ <|locate|> токенінің көрінісін осы балдар үшін әр өріске тән шектерді болжауға пайдаланады. Таңдалған фрагменттер бастапқы мәтіндегі таңба позициялары ретінде қайтарылады.

Фрагмент басын бейімделген InfoNCE шығын функциясымен оқытамыз: ол әрбір эталондық фрагментті шектен жоғары, ал шекті басқа барлық фрагменттерден жоғары итереді. Шығын функциясы екі мүшеден тұрады: бірінші мүше дұрыс фрагменттердің балдарын шектен және қате фрагменттерден жоғары итереді. Екінші мүше шекті қате фрагменттердің балдарынан жоғары итереді. Жауабы жоқ өрістерге тек екінші мүше қолданылады, бұл модельді бос тізім қайтаруға үйретеді.

Біз атаулы нысандарды тану, PII анықтау және шығарып алушы сұрақ-жауап сияқты аралықтарды (span) шығарып алу тапсырмаларының қоспасында оқытамыз. Модель белгіленген белгілер жинағын жаттап алмай, сұрауды орындауды үйренуі үшін өріс сипаттамаларын қысқа белгілерден бастап толық нұсқауларға дейін өзгертеміз.

Locate модельге құрылымы жағынан мүлде басқа тапсырманы үйретеді, ал біз оны модельдің қазірдің өзінде жақсы орындайтын қабілеттерін жоғалтпай қосқымыз келеді. Locate адаптерлерін негізгі модельге біріктіру шешім сұрауларында нәтиженің біршама нашарлауына әкеледі. Мұны шектеу үшін алдыңғы кезеңдердегі қайталау (replay) деректерін көбейту және модельдің шешім сұрауларындағы шығыстарын бастапқы модельдің шығыстарына жақын ұстайтын көмекші мақсаттық функциялар сияқты зерттеулер жүргізіп жатырмыз. Дегенмен біріктіру әзірге шығынсыз емес, сондықтан адаптерлерді біріктірмей сақтап, оларды тек locate сұраулары үшін іске қосамыз.

Бағалау

Decider v1.3 және Decider Flash v1.3 модельдерін Hugging Face Decision Index, Vals AI ұсынған ClaimBench және Artificial Analysis Decision Index сыртқы бенчмарктарында бағалаймыз.

Осы бағалаулардың барлығында біздің модельдеріміз жоғары нәтиже көрсетеді. Бұл көшбасшылар кестелеріне жабық тапсырмалар кірсе де, қайта-қайта жіберу және кестеден алынған кері байланыс негізінде итеративті баптау арқылы нәтижелерді жасанды түрде көтеруге болады. Осы көшбасшылар кестелерін толықтыру үшін модельдерді жабық өндірістік тапсырмаларды бенчмарк емес ашық деректер жиынтықтарынан алынған бөлек қалдырылған бағалаулармен біріктіретін ішкі жиынтықта бағалаймыз. Бұл бағалаулар ашық бенчмарктардан тыс жалпылау қабілетін қосымша тексеруге мүмкіндік береді және кеңірек жақсаруларды таныс бағалау жиынтықтарына ғана тән жақсартулардан ажыратуға көмектеседі.

Ішкі қажеттіліктер үшін біз жіктеу, бағалау, қайта рангтеу және нысандарды шығарып алу сияқты түрлі салалар мен тапсырмаларды қамтитын 200-ден астам тапсырмадан тұратын жинақ құрдық. Decider-дің нақты жағдайлардағы өнімділігін әділ бағалау үшін барлық бағалау тапсырмаға арнайы дәл баптаусыз, zero-shot режимінде жүргізіледі; бұл модельді қай жерде жақсарту керектігі туралы анық сигнал береді.

Сұрауларды жіктеу

Perplexity-де біз әрбір пайдаланушы сұрауын өңдеу үшін көп бастан тұратын жіктеу жүйесін пайдаланамыз. Әр сұрау алдымен белгілерді шығарушы (feature extractor) рөлін атқаратын эмбеддинг моделінен өтеді. Алынған эмбеддинг одан кейін бинарлық және көп белгілі жіктеуіштерді қоса алғанда, бірнеше бөлек жіктеу бастарына беріледі. Мысалы, бір бас пайдаланушы сұрауы веб-іздеуді іске қосуы керек пе, жоқ па, соны анықтайды.

Эталондары озық LLM арқылы тәуелсіз түрде қайта белгіленген 63 жіктеу тапсырмасы бойынша Decider v1.3 91,6% орташа дәлдікке жетіп, біздің өндірістік жіктеуіштерден 6,54 пайыздық тармаққа асып түседі. Decider Flash v1.3 де өндірістік базалық деңгейден озады, ал Decider v1.3 Jev 1.14-тен озады.

Салаға тән жіктеу

Шешім модельдерінің жіктеу өнімділігін жеті салада бағалау үшін ашық деректер жиынтықтарынан салаға арналған бағалау жинағын құрастырдық: тұжырымдарды тексеру (6 тапсырма), денсаулық сақтау (7), киберқауіпсіздік (8), бағдарламалау (16), мемлекеттік басқару (7), құқық (9) және қаржы (9).

Мысалы, «Python бағдарламасының уақыт күрделілігін бағала» немесе «жылдық қаржылық есепті пайдаланып, компанияның шектелмеген ақша қаражаты алдағы он екі айда өтелетін борыштың негізгі сомасын жабатын-жаппайтынын анықта». Decider v1.3 жеті саланың барлығында көш бастап, қаржы саласында Jev 1.14-тен 12,9 пайыздық тармаққа дейін, ал құқық саласында 9,3 тармаққа озады. Decider Flash v1.3 қаржы, бағдарламалау және құқық салаларында Jev 1.14-тен артта қалады, ал басқа салаларда ұқсас нәтиже көрсетеді.

Іздеу және қайта рангтеу

Іздеу — Perplexity-дің өзегі. Модельдеріміздің қайта рангтеу өнімділігін бағалау үшін іздеу тапсырмаларының кең жинағын жүргіземіз. Әр тапсырма үшін алдымен эмбеддинг модельдерінің пулын пайдаланып, әр корпустан ең үздік 50 кандидат құжатты іріктейміз. Содан кейін осы кандидаттарды Decider арқылы қайта рангтеп, оның өнімділігін қуатты қайта рангтеуші базалық модель — Qwen3-Reranker-8B-мен салыстырамыз.

Біз Decider-ді zero-shot, нүктелік (pointwise) режимде бағалаймыз: модель әрбір сұрау–құжат жұбын тікелей әрі тәуелсіз бағалап, құжаттарды өзектілігі бойынша рангтейді. 72 іздеу тапсырмасы бойынша Decider v1.3 орташа nDCG@10 көрсеткіші 83,99-ға жетіп, Qwen3-Reranker-8B-ден 1,81 тармаққа, ал Jev 1.14-тен 2,24 тармаққа озады.

BEIR бенчмаркінде екі модель де Qwen3-Reranker-8B-ден nDCG@10 бойынша тиісінше 8,78 және 7,05 тармаққа озады. Jev 1.14-пен салыстырғанда Decider v1.3 1,33 тармаққа жоғары, ал Flash нұсқасы 0,4 тармаққа төмен нәтиже көрсетеді.

Көптілді жіктеу

Шешім модельдерін ағылшын тілінен тыс бағалау үшін 8 ашық деректер жиынтығынан алынған тілге тән 19 тапсырмадан тұратын, сегіз тілдегі 46 484 мысалды қамтитын көптілді жіктеу бенчмаркін құрастырдық: неміс, испан, француз, итальян, орыс, жапон, корей және қытай тілдері. Бенчмарк ниетті анықтауды, тақырыптық жіктеуді, көңіл-күйді талдауды, табиғи тілдегі қорытынды жасауды, перифразды анықтауды, қорлайтын сөздерді анықтауды және грамматикалық қолайлылықты қамтиды.

Біз әр тілдегі тапсырмалар бойынша орташа дәлдікті әр тапсырмаға бірдей салмақ беріп есептейміз. Decider v1.3 сегіз тілдің барлығында, ал Decider Flash v1.3 алты тілде Jev 1.14-тен озады; орташа тапсырма дәлдігі Decider v1.3 үшін 88,16%, Decider Flash v1.3 үшін 86,50%, ал Jev 1.14 үшін 85,41%.

NER, PII және шығарып алушы сұрақ-жауап

Біз locate мүмкіндігін түрлі салаларда, кіріс форматтарында (мәтін, кестелер, құрылымдалған құжаттар) және нұсқауларда (қысқа белгілер, сұрақтар және толық сипаттамалар) деректі шығарып алу қабілетін тексеретін доменнен тыс 17 тапсырмада бағалаймыз. Салалар Wikipedia-дан бастап ғылыми мақалалар, киберқауіптер туралы есептер, техникалық қолдау, құпиялық саясаттары, түйіндемелер мен заңдық келісімшарттарға дейінгі аралықты қамтиды. Сұраулар «адам» немесе «электрондық пошта мекенжайы» сияқты қысқа белгі атауларынан бастап, кесте немесе қолдау өтінімі туралы сұрақтар арқылы құрылымдалған шығарып алуға арналған толық өріс сипаттамаларына дейін жетеді, мысалы, NDA тараптары немесе шот-фактурадағы жалпы сома.

NER және PII тапсырмаларын нақты фрагменттік F1 (exact-span F1) арқылы бағалаймыз: бұл метрика болжанған фрагменттердің шекаралары эталондық шекаралармен дәл сәйкес келуін талап етеді. Экстрактивті QA үшін таңба деңгейіндегі F1 қолданылады, ол эталондық жауаппен қабаттасатын мәтін үшін ішінара балл береді, ал құрылымдалған ақпарат шығару үшін өріс дәлдігі, яғни дұрыс шығарылған өрістердің үлесі қолданылады. Түйіндемелерді (CV) талдау үшін NER және PII бойынша нақты фрагменттік F1 көрсеткіштерінің орташа мәнін аламыз.

Біз модельдерімізді әртүрлі көлемдегі жалпы мақсаттағы шығарып алу модельдерімен салыстырамыз: GLiNER large v2.5 (0,5B), Liquid d1 (2B) және Cloudflare компаниясының Clairic моделі (көлемі жарияланбаған). Decider v1.3 орташа 69,0 ұпайға (әр тапсырманың негізгі метрикасы бойынша), ал Decider Flash v1.3 63,6 ұпайға жетеді; салыстыру үшін Liquid d1 — 43,3, Clairic — 41,5, GLiNER large v2.5 — 33,6. Decider-дің екі моделі де әр санатта көш бастайды.

Кескінді жіктеу

Decider v1 нұсқасынан бастап визуалды тапсырмаларды табиғи түрде қолдайды. Оның мәтіннен тыс өнімділігін бағалау үшін біз шот-фактураларды, хаттарды және түйіндемелерді қоса алғанда, құжаттарды жіктеуге ерекше назар аударатын бес тапсырмадан тұратын бенчмарк жинағын құрастырдық. Жинақ сондай-ақ спутниктік кескіндерді жіктеуді, текстураларды жіктеуді, үй жануарларының тұқымын жіктеуді және жануарларды санауды қамтиды.

Decider v1.3 бес визуалды тапсырма бойынша 76,99% орташа дәлдікке жетіп, Jev 1.14-тен 1,47 пайыздық тармаққа озады. Decider Flash v1.3 72,77% нәтижеге жетіп, шағынырақ модельде визуалды жіктеу мүмкіндіктерін көрсетеді.

Нақты шешім сұраулары

Біз Perplexity Decision API-ге қолжетімді болған алғашқы 18 күнде жіберілген, қайталанулардан тазартылған және PII бүркемеленген бір миллион сұрауды іріктеп алдық. Әр сұрау бір күй туралы бірнеше сұрақты қамтуы мүмкін болғандықтан, үлгі 2 318 887 жеке сұрақтан тұрады. Барлық сұраулар пайдаланушылардың зерттеуге арналған айқын рұқсатымен енгізілді.

Өндірістік сұраулар нақты (ground-truth) белгілермен бірге келмейді, сондықтан біз эталондық жауаптарды жасау үшін озық LLM төрешілерін пайдаланып, әр модельдің солармен сәйкестігін өлшейміз. Сондай-ақ сұрауларды 10 тапсырма санатына топтастырамыз: ақпаратты шығарып алу, салалық жіктеу, көңіл-күйді талдау, ниет пен бағыттау, өзектілік бойынша рангтеу, мазмұнды модерациялау, сапа мен сәйкестікті тексеру, нысандарды сәйкестендіру, бизнес-талдау және «Басқа» санаты. Бұл бөліну өнімділіктің нақты қолдану жағдайларында қалай өзгеретінін көрсетеді.

Тапсырмалар біркелкі бөлінбеген: ақпаратты шығарып алуға 425 402 сұрақ, салалық жіктеуге 409 564 сұрақ, ал көңіл-күйді талдауға 344 158 сұрақ тиесілі. Бұл үш санат бірге іріктелген сұрақтардың 50,8%-ын құрайды.

Decider v1.3 төрешілермен ең жоғары сәйкестікке — 93,98%-ға жетеді, ал Decider v1.2 үшін бұл көрсеткіш 93,68%, Jev 1.14 үшін 93,35%. Decider v1.3 пен Jev 1.14 салалық жіктеу мен көңіл-күйді талдауда бір-біріне өте жақын: айырма тиісінше 0,34 және 0,07 пайыздық тармақ. Jev өзектілік бойынша рангтеуде 0,69 тармаққа алда, ал Decider v1.3 ақпаратты шығарып алуда (үлгідегі ең жиі кездесетін тапсырма) 0,93 тармаққа және ниет пен бағыттауда 1,21 тармаққа алда.

Төмендегі диаграмма сол бір миллион өндірістік сұрауды орындаудың хабарланған құнын салыстырады. Әр сұрау бірнеше сұрақты қамтуы мүмкін, сондықтан мұнда өлшем бірлігі — жеке сұрақтар емес, сұраулар.

Decider жергілікті түрде іске қосылды; GLM мен DeepSeek llm-api арқылы, ал Jev OpenRouter арқылы пайдаланылды. Көрсетілген шығындар нақты жұмыс жүктемесіне тән: жергілікті аппараттық құрал шығындары қалай есептелгені көрсетілмеген, ал кідіріс бірдей жағдайда салыстырылмаған.

Орнықтылық

Белгілерге сезімталдықты 372 көп нұсқалы сұрақта бағалап, әр модельге 4 788 сұрау жібердік. Әр сұрақтың мағынасын сақтай отырып, нұсқалардың ретін ауыстырдық, белгілерді жауап мәтіндеріне қайта тағайындадық және белгілердің атауын өзгерттік, содан кейін модельдің семантикалық жауабы өзгерген-өзгермегенін тексердік. Жауап ауысу көрсеткішінің төмен болуы тұрақтылықтың жоғары екенін білдіреді.

Әрбір түрлендіру кезінде Decider v1.3 сұрақтардың небәрі 0,27%-ында жауабын өзгертті, ал Jev 1.14 үшін бұл көрсеткіш 2,69–4,84% болды. Сондай-ақ қызмет көрсету өзгергіштігін өлшеу үшін бірдей кіріс деректерін қайталадық: Decider v1.3 ешқандай өзгеріс көрсетпеді, ал Jev 1.14 сұрақтардың 1,88%-ында өзгерді.

Decider-ді қалай пайдаланамыз

Decider жылдам әрі құрылымдалған шешімдерді қажет ететін жұмыс процестеріне арналған. Бұл бөлімде оларды жұмыс тәсілімізге елеулі ықпал ету үшін қалай пайдалануға болатынын қарастырамыз. Ерекше көзге түскен кейбір мысалдар төменде берілген.

Өзін-өзі жетілдіретін қауіпсіздік ережелері

Компания ішінде біз қауіпсіздік саясаттарымызды жетілдіру үшін Decider-ді қазірдің өзінде пайдаланып жатырмыз.

Агенттеріміздің әрекеттері жазылып отырады және кез келген проблемалы мінез-құлықты анықтау үшін ережеге негізделген бірқатар тексеріс жүргізіледі. Ережеге негізделген тәсіл агенттерімізді нақты уақытта елеусіз кідіріспен бақылауға мүмкіндік береді. Офлайн режимде біз Decider көмегімен осы жазылған агент журналдарынан алынған үлгілерді қарастырамыз. Ешқандай проблемалы мінез-құлық белгіленбеген жағдайда Decider ережелер жиынтығымыз бір нәрсені өткізіп алды ма, жоқ па, соны тексереді; ал дабыл қағылған жағдайда Decider оның жалған дабыл болған-болмағанын тексереді. Ережелер жинағы кез келген жағдайда қателескен жазбалар талдау үшін агентке жіберіледі де, ережелерге түзету ұсынылады, оны қауіпсіздік командамыздың мүшесі мақұлдауы тиіс.

Бір күнде Decider 7 000 агент сеансы бойынша 1 миллиард токенді оқып, 14 ережені түзетуге әкелген кемшіліктерді анықтады, олардың 6-ы екі күн ішінде мақұлданып, іске енгізілді. Бір апталық журналдарда қайта ойнатқанда түзетулер ең көп жүктелген ережеміздің көлемін 52%-ға қысқартты, ал кеңейтілген ережелер тексеруді қажет ететін заңды әрекеттерді шамамен 40%-ға көбірек анықтады.

RL rollout-тарын бақылау

Модельдерді күшейтумен оқыту (reinforcement learning) арқылы қосымша оқытқанда, соңғы марапат сияқты жиынтық метрикалар rollout-тың (тапсырманы орындаудың жеке әрекетінің) неліктен сәтті немесе сәтсіз болғанын түсіндірмейді. Rollout құрал қызметі немесе Sandbox істен шыққандықтан марапатты әділетсіз жоғалтуы мүмкін, немесе бағалаушы негізсіз тұжырымды, мысалы, ешбір құрал қайтармаған ойдан шығарылған мәнді байқамай қалса, лайықсыз марапат алуы мүмкін.

Біз осындай жағдайлар үшін rollout-тарды бақылауда Decider-ді пайдаланамыз. Алдымен код rollout-тың мұқият тексеруді қажет ететін бөліктерін анықтайды: сәтсіз аяқталған құрал шақыруы және оның айналасындағы пайымдау, қатесіз орындалған код немесе соңғы жауап. Содан кейін Decider әр бөлік туралы көп нұсқалы сұрақтарға жауап береді, мысалы, қадамда не істен шыққаны (құрал қызметі, сыртқы сайт, Sandbox, harness немесе агенттің өз коды) және агент нәтижені дұрыс түсіндірді ме. Белгілі бір бөлік туралы барлық сұрақтарды бір сұрауға біріктіріп, үкімнің орнына ықтималдықтарды сақтаймыз, сондықтан кейін Decider-ге қайта сұрау жібермей-ақ шектерді түзете аламыз. Монитор тек бақылап, диагноз қояды: ол ешқашан марапатты өзгертпейді және іске қосуды тоқтатпайды.

Бет сапасы бойынша сүзгілеу

Пайдаланушыларға индекстеу және ұсыну үшін веб-беттерді шолу (crawling) кезінде көптеген беттердің сапасы тым төмен болғандықтан, олардың ешқандай пайдасы жоқ. Оларға бот-қорғаныс қабырғалары, CAPTCHA және қате беттері, сондай-ақ дұрыс жүктелген, бірақ спам, SEO толтырғыштары немесе тек навигациядан тұратын беттер сияқты ешқандай пайдалы ақпараты жоқ веб-беттер жатады. Мұндай сапасы төмен беттерді анықтап, индексімізден сүзіп тастау керек.

Decider көмегімен беттерді краулинг кезінде-ақ олардың сапасын бағалай аламыз. Сол бір тура өту (forward pass) барысында басқа да бірқатар жіктеу тапсырмасын орындаймыз: мысалы, мазмұнның доменін және мақсатты аудиториясын, сондай-ақ онда зиянды, заңсыз немесе жеке басты сәйкестендіретін ақпараттың бар-жоғын анықтаймыз. LLM-бағалаушыны пайдаланумен салыстырғанда Decider айтарлықтай жылдам әрі арзан.

Бет сапасы сұрауының мысалы: пайдалы ақпарат, мақсатты аудитория, зиянды немесе заңсыз мазмұн және жеке басты анықтайтын ақпарат бір бет бойынша бағаланады.

Осы ішкі қолданыстардан бөлек, Decider төмендегідей жұмыс процестеріне де сәйкес келеді.

Визуалды сұрақ-жауап

Decider кескіндерді оқи алатындықтан, ол визуалды тексеруші ретінде де жұмыс істейді: веб-беттер мен қолданбалардағы стиль өзгерістерін қарап, ақауларды анықтайды. Өзгеріс шығарылмас бұрын ол бет скриншоттарынан қиылып қалған мәтінді, бір-бірін жауып тұрған элементтерді, бұзылған макеттерді тексере алады немесе дизайны оқырманды жаңылыстыруы не бренд нұсқаулығын бұзуы мүмкін диаграммаларды белгілей алады.

Браузерде шарлау

Агенттер Decider-ді үлкен тапсырмалардың ішіндегі шағын шешімдер үшін пайдалана алады. Браузер агенті әр қадамда скриншот жіберіп, беттің күйі және әрбір ықтимал әрекеттің күтілетін нәтижесі туралы толық ақпарат ала алады.

Зерттеу тапсырмаларын жоспарлау

Пайдаланушылардың сұрақтары күрделілігі жағынан айтарлықтай ерекшеленуі мүмкін, жауап табу үшін қажетті іздеу тереңдігі де солай. Decider мұны іздеу басталмай тұрып бағалай алады, бұл қарапайым сұрақтарға азырақ ресурс жұмсауға мүмкіндік береді.

Жұмысты бастау

Decider ықтималдықтарды қайтарады. Тиісті шешім шегі қолданбаға байланысты. Белгілердің жиілігі және жалған оң мен жалған теріс нәтижелердің салыстырмалы құны қолдану жағдайларына қарай өзгереді. Сондықтан пайдаланушыларға тұрақты шек барлық тапсырмада бірдей жақсы жұмыс істейді деп болжамай, шектерді шағын әрі репрезентативті белгіленген әзірлеу жиынтығында баптауды ұсынамыз.

Нәзік айырмашылықтарды ескеретін пайымдаулар, егжей-тегжейлі бағалау критерийлері және қателердің құны жоғары жұмыс процестері үшін Decider v1.3 пайдалануды ұсынамыз. Кідіріс пен құн негізгі шектеулер болып табылатын көп көлемді маршруттау, белгілеу және сүзу үшін Decider Flash v1.3 таңдаңыз. Екі модельді де жұмыс жүктемеңізден алынған репрезентативті мысалдарда бағалап, содан кейін сапа, кідіріс және бюджет талаптарыңызға сай келетін модельді таңдаңыз.

Екі модель де Apache лицензиясы бойынша Hugging Face платформасында жүктеп алуға болатын салмақтар ретінде, сондай-ақ OpenRouter және Perplexity Decisions API арқылы қолжетімді.

Сілтеме

BibTeX
@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}