Perplexity Decider

మేము Decider v1.3, Decider Flash v1.3లను విడుదల చేస్తున్నాము, ఇవి మా మునుపటి డెసిషన్ మోడల్‌లైన v1, v1.1, v1.2, Flash v1.2లకు వారసులు.

Decider Flash v1.3 అనేది Decider v1.3 నుండి డిస్టిల్ చేసిన చిన్న మోడల్. రెండు మోడల్‌లు Apache లైసెన్స్ కింద Hugging Faceలో, OpenRouter ద్వారా, Perplexity Decisions API ద్వారా అందుబాటులో ఉన్నాయి.

Perplexity Decider అనేది TypeSafe AI యొక్క System One Model అయిన Jev నుండి ప్రేరణ పొందింది. ఇది క్రమబద్ధమైన లేదా క్రమం లేని లేబుల్‌లతో బైనరీ, మల్టీ-క్లాస్ వర్గీకరణకు మద్దతు ఇస్తుంది, అప్లికేషన్‌లు ఇన్‌పుట్‌లను వర్గీకరించడానికి, రూట్ చేయడానికి, ర్యాంక్ చేయడానికి, మూల్యాంకనం చేయడానికి ఉపయోగించగల ప్రాబబిలిటీలను తిరిగి అందిస్తుంది.

రెండు v1.3 మోడల్‌లు బైడైరెక్షనల్ అటెన్షన్, మెరుగ్గా ఎంపిక చేసిన శిక్షణ డేటా, మెరుగుపరిచిన శిక్షణ విధానం ద్వారా విస్తృత శ్రేణి టెక్స్ట్, విజన్ పనులలో పనితీరును, దృఢత్వాన్ని మెరుగుపరుస్తాయి. నేమ్డ్ ఎంటిటీ రికగ్నిషన్, వ్యక్తిగత సమాచార గుర్తింపు, ఎక్స్‌ట్రాక్టివ్ ప్రశ్న-సమాధాన పనుల కోసం ఎంచుకున్న కంటెంట్‌ను హైలైట్ చేసే locate అనే కొత్త ఫీచర్‌ను కూడా మేము పరిచయం చేస్తున్నాము.

ఈ పోస్ట్‌లో, మేము Deciderకు ఎలా శిక్షణ ఇస్తామో, దానిని ఎలా మూల్యాంకనం చేస్తామో వివరిస్తాము, Perplexityలో అంతర్గతంగా దానిని ఎలా ఉపయోగిస్తామో పంచుకుంటాము.

డెసిషన్ మోడల్ అంటే ఏమిటి?

డెసిషన్ మోడల్ అనేది సాధారణ-ప్రయోజన క్లాసిఫైయర్. మీరు దానికి ఒక ఇన్‌పుట్‌ను, సాధ్యమైన సమాధానాలతో కూడిన ప్రశ్నల సెట్‌ను ఇస్తారు. ప్రతి ప్రశ్నకు, అది సమాధానాలపై ప్రాబబిలిటీ డిస్ట్రిబ్యూషన్‌ను తిరిగి అందిస్తుంది. ఇది 3 ప్రశ్న రకాలకు మద్దతు ఇస్తుంది:

• అవును / కాదు: బైనరీ నిర్ణయాలు.
• బహుళైచ్ఛికం: కస్టమ్ మల్టీ-క్లాస్ లేబుల్‌లు.
• స్కోర్: క్రమబద్ధమైన స్థాయిలు.

డెసిషన్ మోడల్‌లు విస్తృత శ్రేణి వర్గీకరణ, స్కోరింగ్ పనులకు మద్దతు ఇస్తాయి:

• అవుట్‌పుట్‌లను మూల్యాంకనం చేయడం: విశ్వసనీయత, నాణ్యత, భద్రతను అంచనా వేయడం.
• రూటింగ్: కష్టతను బట్టి అభ్యర్థనలను చిన్న లేదా పెద్ద మోడల్‌లకు మళ్లించడం.
• మోడరేషన్ మరియు భద్రత: టూల్ అవుట్‌పుట్‌లలో హానికరమైన కంటెంట్, ఫిషింగ్, ప్రాంప్ట్ ఇంజెక్షన్‌ను గుర్తించడం.
• ఫిల్టరింగ్ మరియు ట్యాగింగ్: పెద్ద కంటెంట్ సేకరణలను క్రమబద్ధీకరించడం.
• రిట్రీవల్ మరియు రీర్యాంకింగ్: శోధన ఫలితాలను ప్రాసంగికత ఆధారంగా స్కోర్ చేయడం.

ఈ టాస్క్‌లలో చాలా వాటికి స్వేచ్ఛా-రూప టెక్స్ట్ జనరేషన్ అవసరం లేకపోయినా, గతంలో వాటిని LLMల వంటి జనరేటివ్ మోడల్‌లు నిర్వహించేవి. డెసిషన్ మోడల్‌లు LLMలకు మరియు టాస్క్-నిర్దిష్ట క్లాసిఫైయర్‌లకు మధ్య ఉంటాయి. అవి ఒకే ఇన్‌పుట్ గురించిన బహుళ ప్రశ్నలకు ఒకే ఫార్వర్డ్ పాస్‌లో సంభావ్యతలను అందిస్తాయి, టోకెన్-బై-టోకెన్ సమాధాన జనరేషన్‌ను నివారిస్తూ ప్రశ్నల మధ్య కంప్యూటేషన్‌ను పంచుకుంటాయి. టాస్క్-నిర్దిష్ట క్లాసిఫైయర్‌ల వలె కాకుండా, అవి సహజ భాషా ప్రాంప్ట్‌ల ద్వారా కొత్త టాస్క్‌లను నిర్వహించగలవు; భాగస్వామ్య ప్రశ్న-సమాధాన ఫార్మాట్‌లో విభిన్న టాస్క్‌లపై శిక్షణ ద్వారా ఈ సౌలభ్యాన్ని అవి నేర్చుకుంటాయి.

శిక్షణ

జనరేటివ్ LLMను డెసిషన్ మోడల్‌గా మార్చడం

బలమైన జనరేటివ్ LLM బ్యాక్‌బోన్‌లను అనుకూలీకరించడం ద్వారా మేము Deciderను నిర్మిస్తాము. ఈ అనుకూలీకరణను వివరించడానికి, ముందుగా ఒక అభ్యర్థన ఎలా సూచించబడుతుందో వివరిస్తాము. క్రింద చూపినట్లుగా, ఒక అభ్యర్థనలో భాగస్వామ్య సందర్భం (స్టేట్) మరియు కొన్ని ప్రశ్నలు ఉంటాయి. స్టేట్‌ను అన్ని ప్రశ్నలు తిరిగి ఉపయోగిస్తాయి.

ఉదాహరణకు, ఒక డాక్యుమెంట్, దాని సారాంశం ఇచ్చినప్పుడు, సారాంశం డాక్యుమెంట్‌ను విశ్వసనీయంగా ప్రతిబింబిస్తుందా, అది నిపుణుల కోసమా లేక సాధారణ ప్రేక్షకుల కోసమా అని ఒకే అభ్యర్థన అడగగలదు. స్టేట్ తర్వాత, ప్రతి ప్రశ్న బ్లాక్‌లో ఒక ప్రశ్న, దాని సాధ్యమైన సమాధానాలు ఉంటాయి, ప్రతి సమాధానానికి A, B, లేదా C వంటి ముందే నిర్వచించిన లేబుల్ టోకెన్ కేటాయించబడుతుంది. మోడల్ అంచనాను ఎక్కడ చదవాలో ఒక ప్రత్యేక <|marker|> టోకెన్ సూచిస్తుంది. ఈ స్థానంలో, నేర్చుకున్న లీనియర్ అవుట్‌పుట్ లేయర్ (డెసిషన్ హెడ్) హిడెన్ స్టేట్‌ను ప్రశ్న సమాధాన ఆప్షన్‌ల కోసం స్కోర్‌లుగా మ్యాప్ చేస్తుంది, వాటిని తర్వాత ప్రాబబిలిటీలుగా మారుస్తారు.

విస్తరించు

మేము అవుట్‌పుట్ లేయర్‌ను బేస్ మోడల్ నుండి ఇనిషియలైజ్ చేస్తాము, ఇది సాధారణంగా మొత్తం పదజాలం నుండి తదుపరి టోకెన్‌ను స్కోర్ చేస్తుంది, A, B, లేదా C వంటి ముందే నిర్వచించిన ఆప్షన్ టోకెన్‌లకు సంబంధించిన వరుసలను మాత్రమే ఉంచుతాము. ఆపై ఈ కత్తిరించిన లేయర్ <|marker|> యొక్క హిడెన్ స్టేట్‌ను సమాధాన స్కోర్‌లుగా మార్చేలా శిక్షణ పొందుతుంది. అన్ని వర్గీకరణ ప్రశ్నలను బహుళైచ్ఛిక రూపంలో రూపొందించవచ్చు కాబట్టి, ఈ విధానం వాటన్నింటినీ కవర్ చేస్తుంది.

శిక్షణ కోసం, మేము విభిన్న పనులను (సెంటిమెంట్, నేచురల్ లాంగ్వేజ్ ఇన్ఫరెన్స్, ఇంటెంట్ డిటెక్షన్, ఎంటిటీ మ్యాచింగ్, మోడరేషన్, ఫ్యాక్ట్ చెకింగ్, రేటింగ్‌లు మొదలైనవి) కవర్ చేసే వందలాది పబ్లిక్ డేటాసెట్‌లను తీసుకుని, ప్రతి ఉదాహరణను పైన వివరించిన ఏకీకృత ఫార్మాట్‌లోకి మారుస్తాము: ఒక స్టేట్, ఒకటి లేదా అంతకంటే ఎక్కువ ప్రశ్నలు, వాటి ఆప్షన్‌లు, ఒక టార్గెట్. గోల్డ్ లేబుల్‌లు ఉంటే టార్గెట్ ఒకే సరైన ఆప్షన్ కావచ్చు, లేదా ఆప్షన్‌లపై ప్రాబబిలిటీ డిస్ట్రిబ్యూషన్ కావచ్చు.

v1.3లో, ముందే నిర్వచించిన ఆప్షన్‌ల నుండి ఎంచుకోవడానికి బదులుగా స్టేట్ నుండి టెక్స్ట్‌ను ఎక్స్‌ట్రాక్ట్ చేసే locate ఫీచర్‌ను మేము పరిచయం చేస్తున్నాము. ఒక locate ప్రశ్న ఏమి కనుగొనాలో వివరిస్తుంది, దీనికి “స్థానం” వంటి చిన్న లేబుల్‌ను లేదా “ఉద్యోగం ఉన్న నగరం పేరును ఎక్స్‌ట్రాక్ట్ చేయండి.” వంటి సూచనను ఉపయోగిస్తుంది. మోడల్ స్టేట్ నుండి ఖచ్చితంగా సరిపోలే టెక్స్ట్‌ను, దాని ప్రారంభ, ముగింపు అక్షర స్థానాలతో పాటు తిరిగి అందిస్తుంది. దానికి ఏ సరిపోలికలూ కనిపించకపోతే, అది ఖాళీ జాబితాను తిరిగి అందిస్తుంది.

విస్తరించు

షేర్డ్ స్టేట్ కారణంగా, ఒకే అభ్యర్థన ఒకే ఇన్‌పుట్ గురించి locate, వర్గీకరణ, స్కోరింగ్ ప్రశ్నలను కలపగలదు. ఉదాహరణకు, ఒక ఉద్యోగానికి సీనియర్-స్థాయి అనుభవం అవసరమా అని అడుగుతూనే, అవసరమైన నైపుణ్యాలను ఎక్స్‌ట్రాక్ట్ చేయగలదు.

బైడైరెక్షనల్ అటెన్షన్: మోడల్ రెండు దిశల్లోనూ చదివేలా చేయడం

మా మోడల్‌లు బలమైన ప్రీట్రెయిన్డ్ జనరేటివ్ బ్యాక్‌బోన్‌ల నుండి ప్రారంభమవుతాయి, వాటి కాజల్ అటెన్షన్ ప్రతి టోకెన్ తనకు, తన ముందున్న టోకెన్‌లకు మాత్రమే అటెండ్ అయ్యేలా చేస్తుంది. బ్యాక్‌బోన్‌లోని ఫుల్-అటెన్షన్ లేయర్‌లను బైడైరెక్షనల్‌గా మార్చడం పనితీరును మెరుగుపరుస్తుందని మా అబ్లేషన్ అధ్యయనాలు చూపించాయి, కాబట్టి ప్రతి టోకెన్ మొత్తం ఇన్‌పుట్ నుండి సందర్భాన్ని పొందుపరచుకునేలా మేము ఈ డిజైన్‌ను స్వీకరించాము.

బైడైరెక్షనల్ అటెన్షన్ మరో డిజైన్ ఎంపికను తీసుకొస్తుంది: స్టేట్, ప్రశ్నలు ఎలా పరస్పరం చర్య జరపాలి? పనితీరు, సమాధాన స్థిరత్వం, కాష్ పునర్వినియోగంపై వేర్వేరు ప్రభావాలు ఉన్న మూడు అటెన్షన్ ప్యాటర్న్‌లను మేము పరిశీలించాము:

• ప్రతిదీ ప్రతిదాన్నీ చూస్తుంది (v1.2): స్టేట్, అన్ని ప్రశ్నలు పూర్తి బైడైరెక్షనల్ అటెన్షన్‌తో కలిసి ప్రాసెస్ చేయబడతాయి. స్టేట్‌పై జరిగే గణన షేర్ చేయబడుతుంది, కానీ ఒక ప్రశ్నకు వచ్చే సమాధానం ఇంకా ఏమి అడిగారనే దాన్ని బట్టి మారవచ్చు.
• వేరుచేయబడిన ప్రశ్నలు (v1.3): స్టేట్ అన్ని ప్రశ్నలకు అటెండ్ అవుతుంది, కాగా ప్రతి ప్రశ్న స్టేట్‌కు, తన సొంత టోకెన్‌లకు మాత్రమే అటెండ్ అవుతుంది. షేర్డ్ స్టేట్ ద్వారా ప్రశ్నలు ఇప్పటికీ పరోక్షంగా ఒకదానిపై మరొకటి ప్రభావం చూపగలవు, కానీ ఫలితాలు మరింత స్థిరంగా ఉంటాయి.
• పూర్తిగా కాష్ చేయదగినది: స్టేట్ తనను తాను మాత్రమే అటెండ్ చేస్తుంది, అయితే ప్రతి ప్రశ్న స్టేట్‌ను మరియు దాని స్వంత టోకెన్‌లను అటెండ్ చేస్తుంది. స్టేట్ ప్రశ్నలపై ఆధారపడదు, కాబట్టి ప్రాంప్ట్ కాషింగ్ ప్రయోజనాన్ని పొందడానికి దాన్ని అభ్యర్థనల అంతటా తిరిగి ఉపయోగించవచ్చు. మేము దీన్ని డిఫాల్ట్‌గా ఉపయోగించము, ఎందుకంటే స్టేట్ ప్రశ్నలను చూడగలగడం అనేక టాస్క్‌లకు చాలా ముఖ్యం, కానీ చిన్న ఫైన్-ట్యూనింగ్‌తో ఒక మోడల్‌ను దీనికి మార్చవచ్చు.

బలమైన పనితీరు, స్థిరత్వం కారణంగా చివరికి మేము వేరుచేయబడిన ప్రశ్నలను ఎంచుకున్నాము.

విస్తరించు

శిక్షణ విధానం

రెండు మోడల్ పరిమాణాలకూ శిక్షణ మూడు దశల్లో జరుగుతుంది. మేము మొదట Qwen3.8-27B ఆధారంగా ఉన్న పెద్ద మోడల్‌కు పెద్ద డేటాసెట్‌లపై క్రాస్-ఎంట్రోపీని ఉపయోగించి శిక్షణ ఇస్తాము, ఆపై దాన్ని చిన్నదైన Qwen3.5-4B మోడల్‌లోకి డిస్టిల్ చేస్తాము.

మొదటి దశ జనరలిస్ట్ శిక్షణ, ఇందులో మేము పెద్ద ఎత్తున కార్పోరాపై మోడల్‌ను పూర్తిగా ఫైన్-ట్యూన్ చేస్తాము. ఈ దశలో, ఏ బెంచ్‌మార్క్‌కూ ప్రత్యేకం కాకుండా, అన్ని రంగాల్లోనూ మోడల్‌కు సహాయపడే డేటాను మాత్రమే అంగీకరిస్తాము; అందువల్ల ఏ బెంచ్‌మార్క్ శిక్షణ స్ప్లిట్‌లనూ మినహాయిస్తాము.

ఈ జనరలిస్ట్ మోడల్‌కు శిక్షణ పూర్తయిన తర్వాత, మేము LoRA ఉపయోగించి రెండవ, మరింత సూక్ష్మమైన దశను నడుపుతాము. ఈ దశలో ఉపయోగించే డేటా నిర్దిష్ట డొమైన్‌లు మరియు టాస్క్‌లను లక్ష్యంగా చేసుకుంటుంది. పరిమిత లాభాలను గమనించినప్పుడు లేదా ఇతర టాస్క్‌లలో కొన్ని రిగ్రెషన్‌లను గమనించినప్పుడు, మేము డేటాను మొదటి దశలో కాకుండా రెండవ దశలో జోడిస్తాము. ఆ నిర్దిష్ట డొమైన్‌లకు సరిపోయే క్రమంలో జనరలిస్ట్ మోడల్ నుండి మరీ ఎక్కువగా దూరం కాకుండా, పనితీరును కోల్పోయే ప్రమాదం లేకుండా ఉండేందుకు మేము LoRA ఉపయోగిస్తాము. బ్యాక్‌బోన్ యొక్క సాధారణ జ్ఞానాన్ని నిలుపుకుంటూనే పనితీరును మెరుగుపరచడం లక్ష్యం. డ్రిఫ్ట్‌ను మరింత ఖచ్చితంగా నియంత్రించడానికి మరియు ఇన్-డొమైన్ లాభాల కంటే హెల్డ్-అవుట్ మెట్రిక్‌లకు ప్రాధాన్యత ఇవ్వడానికి, LoRAను బేస్ మోడల్‌లోకి తిరిగి విలీనం చేసేటప్పుడు మేము ఒక వెయిట్‌ను కూడా ఉపయోగిస్తాము.

చివరగా, మేము విజన్-నిర్దిష్ట దశను జోడిస్తాము. రెండవ దశ మాదిరిగానే, విజన్ దశను మరో ఫైన్-గ్రెయిన్డ్ స్పెషలైజేషన్ దశగా పరిగణిస్తాము, దీనిలో ఒక వెయిట్‌తో బేస్ మోడల్‌లోకి తిరిగి విలీనం చేయబడే LoRA అడాప్టర్‌ను ఉపయోగిస్తాము. కొన్ని విజన్ సామర్థ్యాలు టెక్స్ట్ పనితీరును త్యాగం చేయడం ద్వారా రావచ్చు. మోడల్‌ల వినియోగం టెక్స్ట్‌పై చాలా ఎక్కువగా ఉన్నట్లు మేము గమనించినందున, విజన్ మెట్రిక్‌ల కంటే టెక్స్ట్ మెట్రిక్‌లకు ప్రాధాన్యత ఇస్తాము.

రెండు టెక్స్ట్ దశలకూ, మేము మూడు రన్‌ల సగటు వెయిట్‌లను ఉపయోగిస్తాము, ప్రతి రన్ వేరే రాండమ్ సీడ్‌ను ఉపయోగిస్తుంది. ఇది సమీకృత మోడల్ పనితీరును, దృఢత్వాన్ని మెరుగుపరుస్తుందని మేము గుర్తించాము.

తుది పెద్ద మోడల్ లభించిన తర్వాత, మేము అదే మూడు-దశల శిక్షణ విధానాన్ని చిన్న మోడల్‌కు వర్తింపజేస్తాము. ఇక్కడ, పెద్ద మోడల్ టీచర్‌గా పనిచేస్తుంది: దాని అంచనా వేసిన అవుట్‌పుట్ డిస్ట్రిబ్యూషన్ గోల్డ్ లేబుల్‌ల స్థానాన్ని తీసుకుంటుంది, మరియు చిన్న మోడల్ తన అంచనాలకు మరియు టీచర్ అంచనాలకు మధ్య KL డైవర్జెన్స్‌ను కనిష్టీకరించేలా శిక్షణ పొందుతుంది. అదే శిక్షణ డేటాపై ఈ డిస్టిలేషన్ లక్ష్యం క్రాస్-ఎంట్రోపీ కంటే మెరుగ్గా పనిచేస్తుంది. ప్రత్యేక శిక్షణ డేటా ఉన్న బెంచ్‌మార్క్‌లపై క్రాస్-ఎంట్రోపీ మెరుగ్గా పనిచేసినప్పటికీ, హెల్డ్-అవుట్ డేటాకు అది అంత బాగా సాధారణీకరించదు. డిస్టిలేషన్ టీచర్ యొక్క అవుట్‌పుట్ డిస్ట్రిబ్యూషన్‌ను, గోల్డ్ కాని ప్రత్యామ్నాయాలపై దాని కాన్ఫిడెన్స్‌తో సహా, మెరుగ్గా బదిలీ చేస్తుందని, అయితే క్రాస్-ఎంట్రోపీ బెంచ్‌మార్క్-నిర్దిష్ట శిక్షణ డిస్ట్రిబ్యూషన్‌కు ఓవర్‌ఫిట్ అయ్యేలా ప్రోత్సహిస్తుందని మేము పరికల్పన చేస్తున్నాము. అందువల్ల మేము KL-ఆధారిత డిస్టిలేషన్ లక్ష్యాన్ని అనుసరిస్తాము.

ట్రైన్-టెస్ట్ కాలుష్యాన్ని తగ్గించడానికి, మేము ఉపయోగించే ఏ మూల్యాంకనంతోనైనా అతివ్యాప్తి చెందే అవకాశం ఉన్న శిక్షణ నమూనాలను తొలగిస్తాము. కొన్ని పబ్లిక్ శిక్షణ డేటాసెట్‌లలో కొన్ని మూల్యాంకన డేటాసెట్‌ల పెద్ద భాగాలు ఉన్నందున ఇది ముఖ్యం. మా లాభాలు విశ్వసనీయమైనవని, కేవలం నేర్చుకున్న పక్షపాతాల వల్ల మాత్రమే రాలేదని నిర్ధారించుకోవడానికి మేము విస్తృతమైన పక్షపాత ఆడిట్‌లు మరియు తొలగింపును కూడా నిర్వహిస్తాము.

సమాచారాన్ని సంగ్రహించే సామర్థ్యాన్ని జోడించడం

locate ఫీచర్ సాధారణ అభ్యర్థనలకు అది సమాధానమిచ్చే విధానాన్ని మార్చకుండా, టెక్స్ట్ నుండి నేమ్డ్ ఎంటిటీల వంటి సమాచారాన్ని ఎక్స్‌ట్రాక్ట్ చేస్తుంది. ఇందుకోసం, మేము అదనపు శిక్షణ దశను పరిచయం చేస్తున్నాము: Deciderకు కొత్త ప్రత్యేక టోకెన్ <|locate|>, ఒక స్పాన్ హెడ్, ఒక LoRA అడాప్టర్‌ను జోడిస్తాము.

మేము <|locate|> ఎంబెడింగ్‌ను, మునుపటి శిక్షణ దశల్లో నేర్చుకున్న <|marker|> ఎంబెడింగ్ నుండి ఇనిషియలైజ్ చేస్తాము. మేము ఈ కొత్త ఎంబెడింగ్, స్పాన్ హెడ్, LoRA అడాప్టర్‌లకు మాత్రమే శిక్షణ ఇస్తాము, అసలు బ్యాక్‌బోన్ వెయిట్‌లను, డెసిషన్ హెడ్‌ను ఫ్రీజ్ చేసి ఉంచుతాము. అభ్యర్థించిన ప్రతి ఫీల్డ్‌కు దాని సొంత <|locate|> టోకెన్ లభిస్తుంది.

స్పాన్ హెడ్ <|locate|> యొక్క రిప్రజెంటేషన్‌ను స్టేట్-టోకెన్ రిప్రజెంటేషన్‌లతో కలిపి ఉపయోగించి, సరిపోలే స్పాన్‌లు ఎక్కడ మొదలై ఎక్కడ ముగుస్తాయో, ఏ ప్రారంభ-ముగింపు జతలు కలిసి ఉంటాయో స్కోర్ చేస్తుంది. ఈ స్కోర్‌ల కోసం ఫీల్డ్-నిర్దిష్ట థ్రెషోల్డ్‌లను అంచనా వేయడానికి ఇది <|locate|> టోకెన్ యొక్క రిప్రజెంటేషన్‌ను కూడా ఉపయోగిస్తుంది. ఎంచుకున్న స్పాన్‌లు అసలు టెక్స్ట్‌లోని అక్షర స్థానాలుగా తిరిగి ఇవ్వబడతాయి.

మేము స్పాన్ హెడ్‌కు అనుకూలీకరించిన InfoNCE లాస్‌తో శిక్షణ ఇస్తాము; ఇది ప్రతి గోల్డ్ స్పాన్‌ను థ్రెషోల్డ్ కంటే పైకి, థ్రెషోల్డ్‌ను మిగతా ప్రతి స్పాన్ కంటే పైకి నెడుతుంది. ఈ లాస్‌లో రెండు టర్మ్‌లు ఉన్నాయి: మొదటిది సరైన స్పాన్‌ల స్కోర్‌లను థ్రెషోల్డ్ మరియు తప్పు స్పాన్‌ల కంటే పైకి నెడుతుంది. రెండవ టర్మ్ థ్రెషోల్డ్‌ను తప్పు స్పాన్‌ల స్కోర్‌ల కంటే పైకి నెడుతుంది. సమాధానం లేని ఫీల్డ్‌లకు రెండవ టర్మ్ మాత్రమే వర్తిస్తుంది, ఇది ఖాళీ జాబితాను తిరిగి ఇవ్వడాన్ని మోడల్‌కు నేర్పుతుంది.

మేము నేమ్డ్ ఎంటిటీ రికగ్నిషన్, PII గుర్తింపు, ఎక్స్‌ట్రాక్టివ్ ప్రశ్న-సమాధానం సహా స్పాన్ ఎక్స్‌ట్రాక్షన్ పనుల మిశ్రమంపై శిక్షణ ఇస్తాము. మోడల్ స్థిర లేబుల్ సెట్‌ను కంఠస్థం చేయకుండా అభ్యర్థనను అనుసరించడం నేర్చుకునేలా, ఫీల్డ్ వర్ణనలను చిన్న లేబుల్‌ల నుండి వివరమైన సూచనల వరకు మారుస్తాము.

Locate మోడల్‌కు నిర్మాణపరంగా భిన్నమైన టాస్క్‌ను నేర్పుతుంది, మరియు మోడల్ ఇప్పటికే బాగా చేసేదాన్ని కోల్పోకుండా దాన్ని జోడించాలని మేము కోరుకుంటున్నాము. locate అడాప్టర్‌లను బ్యాక్‌బోన్‌లోకి విలీనం చేయడం వల్ల డెసిషన్ అభ్యర్థనలపై కొంత రిగ్రెషన్ ఏర్పడుతుంది. దీన్ని పరిమితం చేయడానికి, మునుపటి దశల నుండి మరింత రీప్లే డేటా, అలాగే డెసిషన్ అభ్యర్థనలపై మోడల్ అవుట్‌పుట్‌లను అసలు మోడల్ అవుట్‌పుట్‌లకు దగ్గరగా ఉంచే సహాయక లక్ష్యాలు వంటి పరిశోధనలను మేము నిర్వహిస్తున్నాము. అయితే, విలీనం ప్రస్తుతం ఇంకా నష్టరహితం కాదని మేము గుర్తించాము, కాబట్టి మేము అడాప్టర్‌లను విలీనం చేయకుండా ఉంచి, locate అభ్యర్థనల కోసం మాత్రమే వాటిని యాక్టివేట్ చేస్తాము.

మూల్యాంకనం

మేము Decider v1.3 మరియు Decider Flash v1.3ను Hugging Face Decision Index, Vals AI యొక్క ClaimBench, మరియు Artificial Analysis Decision Index నుండి తీసుకున్న బాహ్య బెంచ్‌మార్క్‌లపై మూల్యాంకనం చేస్తాము.

ఈ మూల్యాంకనాలన్నింటిలో మా మోడల్‌లు బలమైన పనితీరును ప్రదర్శిస్తాయి. ఈ లీడర్‌బోర్డ్‌లలో ప్రైవేట్‌గా ఉంచిన టాస్క్‌లు ఉన్నప్పటికీ, పదేపదే సమర్పణలు మరియు లీడర్‌బోర్డ్ ఫీడ్‌బ్యాక్ ఆధారంగా పునరావృత ట్యూనింగ్ ద్వారా వాటిని ఇప్పటికీ దుర్వినియోగం చేయవచ్చు. ఈ లీడర్‌బోర్డ్‌లకు అనుబంధంగా, మేము ప్రైవేట్ ప్రొడక్షన్ టాస్క్‌లను పబ్లిక్ నాన్-బెంచ్‌మార్క్ డేటాసెట్‌ల నుండి తీసుకున్న హెల్డ్-అవుట్ మూల్యాంకనాలతో కలిపే అంతర్గత సూట్‌పై మోడల్‌లను మూల్యాంకనం చేస్తాము. ఈ మూల్యాంకనాలు పబ్లిక్ బెంచ్‌మార్క్‌లకు మించి సాధారణీకరణపై అదనపు తనిఖీని అందిస్తాయి, విస్తృత మెరుగుదలలను సుపరిచిత మూల్యాంకన సూట్‌లకు మాత్రమే పరిమితమైన లాభాల నుండి వేరు చేయడంలో మాకు సహాయపడతాయి.

అంతర్గతంగా, మేము వర్గీకరణ, స్కోరింగ్, రీర్యాంకింగ్, ఎంటిటీ ఎక్స్‌ట్రాక్షన్ వంటి వివిధ డొమైన్‌లు, పనులను కవర్ చేసే 200కి పైగా పనుల సూట్‌ను రూపొందించాము. Decider వాస్తవ ప్రపంచ పనితీరును నిజాయితీగా అంచనా వేయడానికి, అన్ని మూల్యాంకనాలు టాస్క్-నిర్దిష్ట ఫైన్-ట్యూనింగ్ లేకుండా జీరో-షాట్‌గా నిర్వహించబడతాయి, దీనివల్ల మోడల్‌ను ఎక్కడ మెరుగుపరచాలో మాకు స్పష్టమైన సంకేతం లభిస్తుంది.

క్వెరీ వర్గీకరణ

Perplexityలో, ప్రతి యూజర్ క్వెరీని ప్రాసెస్ చేయడానికి మేము మల్టీ-హెడ్ వర్గీకరణ వ్యవస్థను ఉపయోగిస్తాము. ప్రతి క్వెరీ ముందుగా ఫీచర్ ఎక్స్‌ట్రాక్టర్‌గా పనిచేసే ఎంబెడింగ్ మోడల్ ద్వారా పంపబడుతుంది. ఫలితంగా వచ్చిన ఎంబెడింగ్ తర్వాత బైనరీ, మల్టీ-లేబుల్ క్లాసిఫైయర్‌లు రెండింటితో సహా అనేక వేర్వేరు వర్గీకరణ హెడ్‌లకు అందించబడుతుంది. ఉదాహరణకు, ఒక యూజర్ క్వెరీ వెబ్ శోధనను ట్రిగ్గర్ చేయాలా వద్దా అని ఒక హెడ్ నిర్ణయిస్తుంది.

ఫ్రాంటియర్ LLM ద్వారా స్వతంత్రంగా తిరిగి లేబుల్ చేసిన రిఫరెన్స్‌లతో కూడిన 63 వర్గీకరణ పనులలో, Decider v1.3 91.6% సగటు ఖచ్చితత్వాన్ని సాధించింది, మా ప్రొడక్షన్ క్లాసిఫైయర్‌లను 6.54 పర్సంటేజ్ పాయింట్లు అధిగమించింది. Decider Flash v1.3 కూడా ప్రొడక్షన్ బేస్‌లైన్‌ను అధిగమించింది, కాగా Decider v1.3, Jev 1.14ను అధిగమించింది.

విస్తరించు

డొమైన్-నిర్దిష్ట వర్గీకరణ

ఏడు డొమైన్‌లలో డెసిషన్ మోడల్‌ల వర్గీకరణ పనితీరును అంచనా వేయడానికి మేము పబ్లిక్ డేటాసెట్‌ల నుండి డొమైన్-నిర్దిష్ట మూల్యాంకన సూట్‌ను రూపొందించాము: క్లెయిమ్ వెరిఫికేషన్ (6 పనులు), ఆరోగ్య సంరక్షణ (7), సైబర్‌సెక్యూరిటీ (8), ప్రోగ్రామింగ్ (16), ప్రభుత్వం (7), చట్టం (9), ఆర్థికం (9).

ఉదాహరణకు, “ఒక Python ప్రోగ్రామ్ టైమ్ కాంప్లెక్సిటీని అంచనా వేయండి”, లేదా “ఒక కంపెనీ అనియంత్రిత నగదు రాబోయే పన్నెండు నెలల్లో చెల్లించాల్సిన రుణ అసలును కవర్ చేస్తుందో లేదో నిర్ణయించడానికి వార్షిక ఆర్థిక నివేదికను ఉపయోగించండి”. ఏడు డొమైన్‌లన్నింటిలోనూ Decider v1.3 ముందంజలో ఉంది, Jev 1.14ను ఆర్థికంలో గరిష్ఠంగా 12.9 పర్సంటేజ్ పాయింట్లు, చట్టంలో 9.3 పాయింట్ల వరకు అధిగమించింది. ఆర్థికం, ప్రోగ్రామింగ్, చట్టం విభాగాల్లో Decider Flash v1.3, Jev 1.14 కంటే వెనుకబడి ఉంది, ఇతర డొమైన్‌లలో దాదాపు సమానంగా పనిచేస్తుంది.

విస్తరించు

రిట్రీవల్ మరియు రీర్యాంకింగ్

శోధన Perplexityకి కేంద్రబిందువు. మా మోడల్‌ల రీర్యాంకింగ్ పనితీరును మూల్యాంకనం చేయడానికి మేము విస్తృతమైన రిట్రీవల్ పనుల సూట్‌ను నిర్వహిస్తాము. ప్రతి పని కోసం, ప్రతి కార్పస్ నుండి టాప్ 50 అభ్యర్థి డాక్యుమెంట్‌లను రిట్రీవ్ చేయడానికి ముందుగా ఎంబెడింగ్ మోడల్‌ల సమూహాన్ని ఉపయోగిస్తాము. ఆపై Deciderను ఉపయోగించి ఈ అభ్యర్థులను రీర్యాంక్ చేసి, దాని పనితీరును బలమైన రీర్యాంకర్ బేస్‌లైన్ అయిన Qwen3-Reranker-8Bతో పోలుస్తాము.

మేము Deciderను జీరో-షాట్, పాయింట్‌వైజ్ సెట్టింగ్‌లో మూల్యాంకనం చేస్తాము, ప్రతి క్వెరీ–డాక్యుమెంట్ జతను స్వతంత్రంగా నేరుగా స్కోర్ చేయడానికి, డాక్యుమెంట్‌లను ప్రాసంగికత ఆధారంగా ర్యాంక్ చేయడానికి మోడల్‌ను ఉపయోగిస్తాము. 72 రిట్రీవల్ పనులలో, Decider v1.3 సగటు nDCG@10 స్కోరు 83.99 సాధించింది, Qwen3-Reranker-8Bను 1.81 పాయింట్లు, Jev 1.14ను 2.24 పాయింట్లు అధిగమించింది.

BEIR బెంచ్‌మార్క్లో, రెండు మోడల్‌లు Qwen3-Reranker-8Bను వరుసగా 8.78, 7.05 nDCG@10 పాయింట్లతో అధిగమించాయి. Jev 1.14తో పోలిస్తే, Decider v1.3 1.33 పాయింట్లు ఎక్కువ స్కోర్ చేసింది, కాగా Flash వెర్షన్ 0.4 పాయింట్లు తక్కువ స్కోర్ చేసింది.

విస్తరించు

బహుభాషా వర్గీకరణ

ఇంగ్లీష్‌కు మించి డెసిషన్ మోడల్‌లను మూల్యాంకనం చేయడానికి, మేము 8 పబ్లిక్ డేటాసెట్‌ల నుండి 19 భాషా-నిర్దిష్ట పనులతో కూడిన బహుభాషా వర్గీకరణ బెంచ్‌మార్క్‌ను రూపొందించాము, ఇందులో ఎనిమిది భాషలలో 46,484 ఉదాహరణలు ఉన్నాయి: జర్మన్, స్పానిష్, ఫ్రెంచ్, ఇటాలియన్, రష్యన్, జపనీస్, కొరియన్, చైనీస్. ఈ బెంచ్‌మార్క్ ఇంటెంట్ డిటెక్షన్, టాపిక్ వర్గీకరణ, సెంటిమెంట్ విశ్లేషణ, నేచురల్ లాంగ్వేజ్ ఇన్ఫరెన్స్, పారాఫ్రేజ్ డిటెక్షన్, అభ్యంతరకర భాష గుర్తింపు, వ్యాకరణ ఆమోదయోగ్యతను కవర్ చేస్తుంది.

ప్రతి పనికి సమాన వెయిట్ ఇస్తూ, ప్రతి భాషలోని పనుల అంతటా సగటు ఖచ్చితత్వాన్ని మేము నివేదిస్తాము. ఎనిమిది భాషలన్నింటిలోనూ Decider v1.3, Jev 1.14ను అధిగమించింది, Decider Flash v1.3 ఆరు భాషల్లో అధిగమించింది; సగటు టాస్క్ ఖచ్చితత్వాలు Decider v1.3కు 88.16%, Decider Flash v1.3కు 86.50%, కాగా Jev 1.14కు 85.41%.

విస్తరించు

NER, PII, ఎక్స్‌ట్రాక్టివ్ QA

వివిధ డొమైన్‌లు, ఇన్‌పుట్ ఫార్మాట్‌లు (టెక్స్ట్, టేబుల్‌లు, నిర్మాణాత్మక డాక్యుమెంట్‌లు), సూచనలు (చిన్న లేబుల్‌లు, ప్రశ్నలు, వివరమైన వర్ణనలు) అంతటా ఎక్స్‌ట్రాక్షన్‌ను పరీక్షించే 17 అవుట్-ఆఫ్-డొమైన్ పనులపై మేము locate ఫీచర్‌ను మూల్యాంకనం చేస్తాము. డొమైన్‌లు Wikipedia నుండి శాస్త్రీయ పత్రాలు, సైబర్-థ్రెట్ నివేదికలు, సాంకేతిక మద్దతు, గోప్యతా విధానాలు, రెజ్యూమేలు, చట్టపరమైన ఒప్పందాల వరకు ఉంటాయి. అభ్యర్థనలు “వ్యక్తి” లేదా “ఇమెయిల్ చిరునామా” వంటి చిన్న లేబుల్ పేర్ల నుండి, ఒక టేబుల్ లేదా సపోర్ట్ టికెట్ గురించిన ప్రశ్నల ద్వారా, NDAలోని పక్షాలు లేదా ఇన్‌వాయిస్‌లోని మొత్తం వంటి నిర్మాణాత్మక ఎక్స్‌ట్రాక్షన్ కోసం వివరమైన ఫీల్డ్ వర్ణనల వరకు ఉంటాయి.

మేము NER మరియు PII టాస్క్‌లను ఎగ్జాక్ట్-స్పాన్ F1 ఉపయోగించి మూల్యాంకనం చేస్తాము, దీనికి అంచనా వేసిన స్పాన్‌లు రిఫరెన్స్ సరిహద్దులతో ఖచ్చితంగా సరిపోలాలి. ఎక్స్‌ట్రాక్టివ్ QA అక్షర-స్థాయి F1ను ఉపయోగిస్తుంది, ఇది అతివ్యాప్తి చెందే సమాధాన టెక్స్ట్‌కు పాక్షిక స్కోర్ ఇస్తుంది, అయితే స్ట్రక్చర్డ్ ఎక్స్‌ట్రాక్షన్ ఫీల్డ్ ఖచ్చితత్వాన్ని, అంటే సరిగ్గా సంగ్రహించిన ఫీల్డ్‌ల నిష్పత్తిని ఉపయోగిస్తుంది. CV పార్సింగ్ కోసం, మేము NER మరియు PII ఎగ్జాక్ట్-స్పాన్ F1 స్కోర్‌ల సగటును తీసుకుంటాము.

వివిధ పరిమాణాల సాధారణ-ప్రయోజన ఎక్స్‌ట్రాక్షన్ మోడల్‌లతో మేము మా మోడల్‌లను పోల్చాము: GLiNER large v2.5 (0.5B), Liquid d1 (2B), Cloudflare యొక్క Clairic (వెల్లడించలేదు). Decider v1.3 సగటు స్కోరు 69.0 (ప్రతి పని ప్రాథమిక మెట్రిక్‌ను ఉపయోగించి), Decider Flash v1.3 63.6 సాధించగా, Liquid d1 43.3, Clairic 41.5, GLiNER large v2.5 33.6 సాధించాయి. ప్రతి విభాగంలోనూ రెండు Decider మోడల్‌లు ముందంజలో ఉన్నాయి.

విస్తరించు

చిత్ర వర్గీకరణ

v1 నుండే Decider విజన్ పనులకు స్థానికంగా మద్దతు ఇస్తోంది. టెక్స్ట్‌కు మించి దాని పనితీరును మూల్యాంకనం చేయడానికి, ఇన్‌వాయిస్‌లు, లేఖలు, రెజ్యూమేలతో సహా డాక్యుమెంట్ వర్గీకరణపై ప్రత్యేక దృష్టితో ఐదు పనుల బెంచ్‌మార్క్ సూట్‌ను మేము రూపొందించాము. ఈ సూట్ ఉపగ్రహ చిత్ర వర్గీకరణ, టెక్స్చర్ వర్గీకరణ, పెంపుడు జంతువుల జాతి వర్గీకరణ, జంతువుల లెక్కింపును కూడా కవర్ చేస్తుంది.

ఐదు విజువల్ పనులలో Decider v1.3 సగటున 76.99% ఖచ్చితత్వాన్ని సాధించింది, Jev 1.14ను 1.47 పర్సంటేజ్ పాయింట్లు అధిగమించింది. Decider Flash v1.3 72.77% సాధించింది, చిన్న మోడల్‌లోనూ విజువల్ వర్గీకరణ సామర్థ్యాలను ప్రదర్శించింది.

విస్తరించు

వాస్తవ ప్రపంచ నిర్ణయ అభ్యర్థనలు

Perplexity Decision API అందుబాటులోకి వచ్చిన మొదటి 18 రోజుల్లో దానికి సమర్పించిన, డూప్లికేట్‌లు తొలగించిన, PII మాస్క్ చేసిన పది లక్షల అభ్యర్థనలను మేము నమూనాగా తీసుకున్నాము. ప్రతి అభ్యర్థనలో ఒకే స్టేట్ గురించి అనేక ప్రశ్నలు ఉండవచ్చు కాబట్టి, ఈ నమూనాలో 23,18,887 వ్యక్తిగత ప్రశ్నలు ఉన్నాయి. అన్ని అభ్యర్థనలు పరిశోధన కోసం యూజర్‌ల స్పష్టమైన అనుమతితో చేర్చబడ్డాయి.

ప్రొడక్షన్ అభ్యర్థనలకు గ్రౌండ్-ట్రూత్ లేబుల్‌లు ఉండవు, కాబట్టి రిఫరెన్స్ సమాధానాలను రూపొందించడానికి మేము ఫ్రాంటియర్ LLM జడ్జ్‌లను ఉపయోగిస్తాము, వాటితో ప్రతి మోడల్ ఎంతవరకు ఏకీభవిస్తుందో కొలుస్తాము. మేము అభ్యర్థనలను 10 టాస్క్ విభాగాలుగా కూడా వర్గీకరిస్తాము, వీటిలో సమాచార ఎక్స్‌ట్రాక్షన్, డొమైన్ వర్గీకరణ, సెంటిమెంట్ విశ్లేషణ, ఇంటెంట్ మరియు రూటింగ్, ప్రాసంగికత ర్యాంకింగ్, కంటెంట్ మోడరేషన్, నాణ్యత మరియు కంప్లయన్స్ సమీక్ష, ఎంటిటీ మ్యాచింగ్, వ్యాపార విశ్లేషణ, “ఇతర” విభాగం ఉన్నాయి. వాస్తవ ప్రపంచ వినియోగ సందర్భాల్లో పనితీరు ఎలా మారుతుందో ఈ విభజన చూపిస్తుంది.

టాస్క్‌ల మిశ్రమం అసమానంగా ఉంది: సమాచార ఎక్స్‌ట్రాక్షన్ 4,25,402 ప్రశ్నలు, డొమైన్ వర్గీకరణ 4,09,564, సెంటిమెంట్ విశ్లేషణ 3,44,158 ప్రశ్నలు. ఈ మూడు విభాగాలు కలిసి నమూనా ప్రశ్నలలో 50.8% ఉన్నాయి.

Decider v1.3 జడ్జ్‌లతో అత్యధికంగా 93.98% ఏకీభావాన్ని సాధించింది, Decider v1.2కు ఇది 93.68%, Jev 1.14కు 93.35%. డొమైన్ వర్గీకరణ, సెంటిమెంట్ విశ్లేషణలో Decider v1.3, Jev 1.14 దాదాపు సమానంగా ఉన్నాయి, వాటి మధ్య అంతరాలు వరుసగా 0.34, 0.07 పర్సంటేజ్ పాయింట్లు. ప్రాసంగికత ర్యాంకింగ్‌లో Jev 0.69 పాయింట్లతో ముందంజలో ఉంది, కాగా సమాచార ఎక్స్‌ట్రాక్షన్‌లో (నమూనాలో అత్యంత సాధారణమైన పని) 0.93 పాయింట్లతో, ఇంటెంట్ మరియు రూటింగ్‌లో 1.21 పాయింట్లతో Decider v1.3 ముందంజలో ఉంది.

విస్తరించు

అవే పది లక్షల ప్రొడక్షన్ అభ్యర్థనలను రన్ చేయడానికి నివేదించిన ఖర్చును కింది చార్ట్ పోల్చుతుంది. ప్రతి అభ్యర్థనలో అనేక ప్రశ్నలు ఉండవచ్చు, కాబట్టి ఇక్కడ యూనిట్ అభ్యర్థనలు, వ్యక్తిగత ప్రశ్నలు కాదు.

విస్తరించు

దృఢత్వం

మేము 372 బహుళైచ్ఛిక ప్రశ్నలపై లేబుల్ సెన్సిటివిటీని మూల్యాంకనం చేశాము, ఒక్కో మోడల్‌కు 4,788 అభ్యర్థనలు పంపాము. ప్రతి ప్రశ్న అర్థాన్ని అలాగే ఉంచుతూ ఆప్షన్‌ల క్రమాన్ని మార్చాము, సమాధాన టెక్స్ట్‌లకు లేబుల్‌లను తిరిగి కేటాయించాము, లేబుల్‌ల పేర్లు మార్చాము, ఆపై మోడల్ అర్థపరమైన సమాధానం మారిందో లేదో తనిఖీ చేశాము. తక్కువ ఫ్లిప్ రేట్లు ఎక్కువ స్థిరత్వాన్ని సూచిస్తాయి.

ప్రతి ట్రాన్స్‌ఫర్మేషన్ కింద Decider v1.3 కేవలం 0.27% ప్రశ్నలపై మాత్రమే తన సమాధానాన్ని మార్చింది, Jev 1.14 విషయంలో ఇది 2.69–4.84%. సర్వింగ్ వేరియబిలిటీని కొలవడానికి మేము ఒకే రకమైన ఇన్‌పుట్‌లను పునరావృతం చేశాము: Decider v1.3లో ఎలాంటి మార్పులు కనిపించలేదు, కాగా Jev 1.14 1.88% ప్రశ్నలపై మారింది.

విస్తరించు

మేము Deciderను ఎలా ఉపయోగిస్తాము

వేగవంతమైన, నిర్మాణాత్మక నిర్ణయాలు అవసరమయ్యే వర్క్‌ఫ్లోల కోసం Decider రూపొందించబడింది. ఈ విభాగంలో, మేము పనిచేసే విధానంపై అర్థవంతమైన ప్రభావం చూపేలా వాటిని ఎలా ఉపయోగించుకోవచ్చో పరిశీలిస్తాము. వాటిలో ప్రత్యేకంగా నిలిచిన కొన్ని ఇవి.

స్వయంగా మెరుగుపడే భద్రతా నియమాలు

అంతర్గతంగా, మా భద్రతా విధానాలను మెరుగుపరచడానికి మేము ఇప్పటికే Deciderను ఉపయోగిస్తున్నాము.

మా ఏజెంట్‌ల కార్యకలాపాలు రికార్డ్ చేయబడతాయి, ఏదైనా సమస్యాత్మక ప్రవర్తనను గుర్తించడానికి నియమ-ఆధారిత తనిఖీల శ్రేణి నిర్వహించబడుతుంది. నియమ-ఆధారిత విధానం వల్ల, అతి తక్కువ అదనపు లేటెన్సీతో మా ఏజెంట్‌లను రియల్-టైమ్‌లో పర్యవేక్షించగలం. ఆఫ్‌లైన్‌లో, రికార్డ్ చేసిన ఈ ఏజెంట్ లాగ్‌ల నుండి నమూనాలను పరిశీలించడానికి మేము Deciderను ఉపయోగిస్తాము. ఎలాంటి సమస్యాత్మక ప్రవర్తన ఫ్లాగ్ కాకపోతే, మా నియమాల సెట్ ఏదైనా మిస్ చేసిందా అని Decider తనిఖీ చేస్తుంది; అలారం వచ్చిన సందర్భంలో, అది తప్పుడు అలారమా అని Decider తనిఖీ చేస్తుంది. ఈ రెండు సందర్భాల్లో దేనిలోనైనా మా నియమాల సెట్ విఫలమైన రికార్డులు ట్రయాజ్ కోసం ఒక ఏజెంట్‌కు పంపబడతాయి, నియమాలకు ఒక పరిష్కారం ప్రతిపాదించబడుతుంది, దానిని మా భద్రతా బృంద సభ్యుడు ఆమోదించాలి.

ఒక్క రోజులో, Decider 7,000 ఏజెంట్ సెషన్‌లలో 100 కోట్ల టోకెన్‌లను చదివి, 14 నియమ పరిష్కారాలకు దారితీసిన లోపాలను గుర్తించింది, వాటిలో 6 రెండు రోజుల్లోనే ఆమోదించబడి అమలులోకి వచ్చాయి. ఒక వారం లాగ్‌లపై రీప్లే చేసినప్పుడు, ఈ పరిష్కారాలు మా అత్యంత రద్దీ నియమం వాల్యూమ్‌ను 52% తగ్గించాయి, విస్తరించిన నియమాలు దర్యాప్తు చేయాల్సిన చట్టబద్ధమైన చర్యలను సుమారు 40% ఎక్కువగా పట్టుకున్నాయి.

విస్తరించు

RL రోల్‌అవుట్‌లను పర్యవేక్షించడం

రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్‌తో మోడల్‌లను పోస్ట్-ట్రెయిన్ చేసినప్పుడు, టర్మినల్ రివార్డ్ వంటి సమగ్ర మెట్రిక్‌లు ఒక రోల్‌అవుట్ (ఒక పనిపై చేసే వ్యక్తిగత ప్రయత్నం) ఎందుకు విజయవంతమైందో లేదా విఫలమైందో వివరించవు. టూల్ సర్వీస్ లేదా శాండ్‌బాక్స్ విఫలమైనందున అది అన్యాయంగా రివార్డ్‌ను కోల్పోవచ్చు, లేదా ఏ టూల్ తిరిగి ఇవ్వని కల్పిత విలువ వంటి ఆధారం లేని క్లెయిమ్‌ను ఎవాల్యుయేటర్ పట్టించుకోకపోతే అర్హత లేని రివార్డ్‌ను పొందవచ్చు.

ఈ సందర్భాల కోసం రోల్‌అవుట్‌లను పర్యవేక్షించడానికి మేము Deciderను ఉపయోగిస్తాము. ముందుగా కోడ్, రోల్‌అవుట్‌లో నిశితంగా పరిశీలించాల్సిన భాగాలను గుర్తిస్తుంది: విఫలమైన టూల్ కాల్, దాని చుట్టూ ఉన్న రీజనింగ్, ఎర్రర్‌లు లేకుండా రన్ అయిన కోడ్, లేదా తుది సమాధానం. ఆపై Decider ప్రతి భాగం గురించి బహుళైచ్ఛిక ప్రశ్నలకు సమాధానమిస్తుంది, ఉదాహరణకు ఒక దశలో ఏది విఫలమైంది (టూల్ సర్వీస్, బాహ్య సైట్, శాండ్‌బాక్స్, harness, లేదా ఏజెంట్ సొంత కోడ్), ఏజెంట్ ఫలితాన్ని సరిగ్గా అర్థం చేసుకుందా అనేవి. ఒక భాగం గురించిన అన్ని ప్రశ్నలను మేము ఒకే అభ్యర్థనగా కలుపుతాము, తీర్పుకు బదులుగా ప్రాబబిలిటీలను నిల్వ చేస్తాము, దీనివల్ల Deciderను మళ్లీ క్వెరీ చేయకుండానే తర్వాత థ్రెషోల్డ్‌లను సర్దుబాటు చేయవచ్చు. మానిటర్ కేవలం గమనిస్తుంది, నిర్ధారిస్తుంది: అది ఎప్పుడూ రివార్డ్‌ను మార్చదు, రన్‌ను ఆపదు.

విస్తరించు

పేజీ నాణ్యత ఫిల్టరింగ్

యూజర్‌లకు ఇండెక్స్ చేసి అందించడానికి వెబ్ పేజీలను క్రాల్ చేస్తున్నప్పుడు, చాలా పేజీలు ఎలాంటి ఉపయోగం లేనంత తక్కువ నాణ్యతతో ఉంటాయి. వీటిలో యాంటీ-బాట్ వాల్‌లు, CAPTCHAలు, ఎర్రర్ పేజీలతో పాటు, స్పామ్, SEO ఫిల్లర్ లేదా నావిగేషన్ మాత్రమే ఉన్న పేజీల వంటి ఉపయోగకరమైన సమాచారం ఏదీ లేని, సరిగ్గా లోడ్ అయిన వెబ్ పేజీలు కూడా ఉంటాయి. ఈ తక్కువ నాణ్యత పేజీలను గుర్తించి మా ఇండెక్స్ నుండి ఫిల్టర్ చేయాలి.

Deciderను ఉపయోగించి, మేము పేజీలను క్రాల్ చేస్తున్నప్పుడే వాటి నాణ్యతను అంచనా వేయగలము. అదే ఫార్వర్డ్ పాస్‌లో, కంటెంట్ యొక్క డొమైన్ మరియు ఉద్దేశించిన ప్రేక్షకులను గుర్తించడం, అది హానికరమైన, చట్టవిరుద్ధమైన లేదా వ్యక్తిగతంగా గుర్తించదగిన సమాచారాన్ని కలిగి ఉందో లేదో గుర్తించడం వంటి ఇతర వర్గీకరణ టాస్క్‌ల సమూహాన్ని కూడా మేము నిర్వహిస్తాము. LLM జడ్జ్‌ను ఉపయోగించడంతో పోలిస్తే, Decider గణనీయంగా వేగవంతమైనది మరియు చౌకైనది.

విస్తరించు

ఈ అంతర్గత వినియోగాలకు మించి, Decider కింది వంటి వర్క్‌ఫ్లోలకు కూడా సరిపోతుంది.

విజువల్ QA

Decider చిత్రాలను చదవగలదు కాబట్టి, ఇది విజువల్ చెకర్‌గా కూడా పనిచేస్తుంది, వెబ్ పేజీలు లేదా యాప్‌లలో స్టైల్ మార్పులను సమీక్షించి లోపాలను గుర్తిస్తుంది. ఒక మార్పు విడుదలయ్యే ముందు, కత్తిరించబడిన టెక్స్ట్, ఒకదానిపై ఒకటి పడే ఎలిమెంట్‌లు, విరిగిన లేఅవుట్‌ల కోసం పేజీ స్క్రీన్‌షాట్‌లను ఇది సమీక్షించగలదు, లేదా పాఠకులను తప్పుదారి పట్టించే లేదా బ్రాండ్ గైడ్‌ను ఉల్లంఘించే డిజైన్ ఉన్న చార్ట్‌లను ఫ్లాగ్ చేయగలదు.

విస్తరించు

బ్రౌజర్ నావిగేషన్

పెద్ద పనులలోని చిన్న నిర్ణయాల కోసం ఏజెంట్‌లు Deciderను ఉపయోగించవచ్చు. బ్రౌజర్ ఏజెంట్ ప్రతి దశలో ఒక స్క్రీన్‌షాట్‌ను పంపి, పేజీ స్థితి గురించి, సాధ్యమయ్యే ప్రతి చర్య యొక్క ఆశించిన ఫలితం గురించి వివరమైన సమాచారాన్ని పొందవచ్చు.

విస్తరించు

పరిశోధన పనులను ప్లాన్ చేయడం

వినియోగదారుల ప్రశ్నలు వాటి సంక్లిష్టతలో చాలా భిన్నంగా ఉండవచ్చు, సమాధానం కనుగొనడానికి చేయాల్సిన సెర్చ్ లోతు కూడా అలాగే మారుతుంది. సెర్చ్ ప్రారంభమయ్యే ముందే Decider దీన్ని అంచనా వేయగలదు, తద్వారా సరళమైన ప్రశ్నలపై తక్కువ వనరులు ఖర్చు చేయవచ్చు.

విస్తరించు

ప్రారంభించడం

Decider ప్రాబబిలిటీలను తిరిగి అందిస్తుంది. తగిన నిర్ణయ థ్రెషోల్డ్ అప్లికేషన్‌పై ఆధారపడి ఉంటుంది. లేబుల్ ఫ్రీక్వెన్సీలు, ఫాల్స్ పాజిటివ్‌లు మరియు ఫాల్స్ నెగటివ్‌ల సాపేక్ష ఖర్చులు వినియోగ సందర్భాలను బట్టి మారుతాయి. అందువల్ల, ఒక స్థిర కటాఫ్ అన్ని పనులలో సమానంగా పనిచేస్తుందని భావించకుండా, చిన్న, ప్రాతినిధ్య లేబుల్ చేసిన డెవలప్‌మెంట్ సెట్‌పై థ్రెషోల్డ్‌లను ట్యూన్ చేయమని మేము యూజర్‌లను ప్రోత్సహిస్తున్నాము.

సూక్ష్మమైన నిర్ణయాలు, వివరణాత్మక రూబ్రిక్‌లు మరియు పొరపాట్లు ఖరీదైనవిగా ఉండే వర్క్‌ఫ్లోల కోసం Decider v1.3ను ఉపయోగించమని మేము సిఫార్సు చేస్తున్నాము. లేటెన్సీ మరియు ఖర్చు ప్రధాన పరిమితులుగా ఉండే అధిక-వాల్యూమ్ రౌటింగ్, లేబులింగ్ మరియు ఫిల్టరింగ్ కోసం Decider Flash v1.3ను ఎంచుకోండి. మీ వర్క్‌లోడ్ నుండి ప్రాతినిధ్య ఉదాహరణలపై రెండు మోడల్‌లను మూల్యాంకనం చేసి, ఆపై మీ నాణ్యత, లేటెన్సీ మరియు బడ్జెట్ అవసరాలకు సరిపోయే మోడల్‌ను ఎంచుకోండి.

రెండు మోడల్‌లు Apache లైసెన్స్ కింద Hugging Faceలో డౌన్‌లోడ్ చేసుకోగల వెయిట్‌లుగా, OpenRouter ద్వారా, Perplexity Decisions API ద్వారా అందుబాటులో ఉన్నాయి.

సైటేషన్

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}