నిజ-ప్రపంచ అనుభవం నుండి నేర్చుకోవడం

వాస్తవ ప్రపంచంలో వినియోగదారులు మా ఉత్పత్తులతో ఎలా ఇంటరాక్ట్ అవుతారు అనేది మోడల్ శిక్షణకు విలువైన మూలం. డేటా సమృద్ధిగా ఉంటుంది, వినియోగదారు టాస్క్‌ల వాస్తవ పంపిణీని ప్రతిబింబిస్తుంది మరియు సింథటిక్ వాతావరణాలు కోల్పోయే వినియోగదారు దిద్దుబాట్లు మరియు టూల్ వైఫల్యాలను క్యాప్చర్ చేస్తుంది.

వాస్తవ ప్రపంచ డేటా నుండి నేర్చుకోవడానికి సాధారణ మార్గం రిజెక్షన్ సాంప్లింగ్ ఫైన్-ట్యూనింగ్: ప్రతి సెషన్ ఫలితాన్ని అంచనా వేయండి, విజయవంతమైన వాటిని ఉంచండి మరియు వాటిని అనుకరించడానికి మోడల్‌కు శిక్షణ ఇవ్వండి. కానీ విజయవంతమైన ఫలితం ప్రతి దశ సరైనదని కాదు, కాబట్టి మొత్తం ట్రాజెక్టరీని అనుకరించడం మంచి వాటితో పాటు చెడ్డ మధ్యంతర ప్రవర్తనలను బలపరిచే ప్రమాదం ఉంది. విఫలమైన సెషన్‌లను తొలగించడం మోడల్ ఎక్కడ తగ్గుతుందో తెలిపే కీలకమైన సాక్ష్యాలను కూడా కోల్పోతుంది.

విజయవంతమైన మరియు విజయవంతం కాని సెషన్‌ల రెండింటి నుండి నేర్చుకోవడానికి మేము రిజెక్షన్ శాంప్లింగ్ ఫైన్-ట్యూనింగ్‌ను హింట్-గైడెడ్ సెల్ఫ్-డిస్టిలేషన్‌తో కలుపుతాము. హింట్ అనేది మోడల్ తప్పు చేసినప్పుడు దానికి ఇప్పటికే తెలిసిన సమాచారం ఆధారంగా ఉండే ఒక చిన్న దిద్దుబాటు సూచన. విజయవంతమైన సెషన్‌ల నుండి ఉపయోగకరమైన దశలు అనుకరణ లక్ష్యాలుగా మిగిలిపోతాయి, అయితే ఆధారిత సూచనలు నివారించదగిన తప్పులను దిద్దుబాటు లక్ష్యాలుగా మారుస్తాయి.

టాస్క్ అంతిమంగా విజయవంతమైందా అనేదానితో పాటు, దާరిలో ఏది తప్పు జరిగిందో వినియోగదారు దిద్దుబాట్లు మరియు టూల్ లోపాలు అదనపు పర్యవేక్షణను జోడిస్తాయి. సింథటిక్ వాతావరణాలు మరియు వాస్తవ ప్రపంచ వినియోగం మధ్య అంతరాన్ని తగ్గించడంలో సహాయపడటానికి మేము సింథటిక్ వాతావరణాలలో రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ తర్వాత ఈ దశను వర్తింపజేస్తాము.

లైవ్ వినియోగంలో, మునుపటి శిక్షణ పొందిన చెక్‌పాయింట్‌తో పోలిస్తే తదనంతరం శిక్షణ పొందిన GLM-5.2 చెక్‌పాయింట్ టూల్-కాల్ వైఫల్యాలను 21.2% తగ్గించింది. GLM-5.3 కోసం, స్టాక్ మోడల్‌తో పోలిస్తే పోస్ట్-ట్రైనింగ్ టూల్-కాల్ వైఫల్యాలను 33.0% మరియు మధ్యస్థ లేదా అధిక వినియోగదారు అసంతృప్తి యొక్క సగటు అంచనా సంభావ్యతను 17.2% తగ్గించింది.

సింథటిక్ టాస్క్‌లు ధృవీకరించడానికి సులభమైన ఫలితాలతో నియంత్రిత సమస్యలను సృష్టించడానికి మాకు అనుమతిస్తాయి, కానీ అవి సాధారణంగా ఒకే ప్రాంప్ట్‌కు పరిమితం చేయబడతాయి మరియు మేము స్పష్టంగా డిజైన్ చేసిన దృశ్యాలను మాత్రమే కవర్ చేయగలవు.

దీనికి విరుద్ధంగా, వాస్తవ ప్రపంచ సెషన్‌లలోని వినియోగదారులు బహుళ ఇంటరాక్షన్ టర్న్‌లలో విప్పారే సెషన్‌లలోకి విభిన్న సూచనలు, సందర్భం మరియు టూల్ కలయికలను తీసుకువస్తారు. అటువంటి వాస్తవ ప్రపంచ వినియోగం సహజంగా తప్పుల యొక్క రెండు విలువైన సంకేతాలను ఇస్తుంది: వినియోగదారు దిద్దుబాట్లు ఏజెంట్ వారు కోరుకున్నది అందించడంలో ఎక్కడ విఫలమయ్యాడో వెల్లడిస్తాయి మరియు టూల్ లోపాలు వాస్తవ వాతావరణాలలో దాని చర్యలు ఎక్కడ విఫలమయ్యాయో చూపుతాయి. మా సాంప్లింగ్ పైప్‌లైన్ వ్యక్తిగతంగా గుర్తించదగిన సమాచారం (PII) ఉన్న సెషన్‌లను మరియు ఆప్ట్ అవుట్ చేసిన వినియోగదారుల నుండి సెషన్‌లను మినహాయించడం ద్వారా వినియోగదారుల గోప్యతను మరియు శిక్షణ ఎంపికలను గౌరవిస్తుంది.

అందువల్ల వాస్తవ ప్రపంచ డేటా సింథటిక్ వాతావరణం బహిర్గతం చేయని వైఫల్య కేసులను మాకు ఇస్తుంది మరియు తరచుగా వైఫైలం ఇప్పటికే పొందుపరచబడిన చోట వస్తుంది.

వాస్తవ ప్రపంచ డేటాపై శిక్షణ ఇచ్చేటప్పుడు, ప్రామాణిక rejection sampling fine-tuning (RFT) మంచి మధ్యంతర చర్యలను చెడ్డవాటి నుండి వేరు చేయడానికి వినియోగదారు మరియు టూల్ ఫీడ్‌బ్యాక్‌ను స్పష్టంగా ఉపయోగించకుండా, వాటి తుది ఫలినాల ఆధారంగా విజయవంతమైన సెషన్‌లను ఎంచుకుంటుంది. చెడ్డ టూల్ కాల్ నుండి ఏజెంట్ కోలుకోవచ్చు లేదా వినియోగదారు అభిప్రాయం తర్వాత తప్పును సరిదిద్దవచ్చు మరియు చివరికి సరైన అవుట్‌పుట్‌ను అందించవచ్చు.

విఫలమైన సెషన్‌లను తొలగించడం నమూనా సామర్థ్యాన్ని కూడా పరిమితం చేస్తుంది. మంచి ఫలితాన్ని చేరుకోని సెషన్ ఇప్పటికీ ఉపయోగకరమైన శిక్షణ సంకేతాలుగా స్పష్టమైన, నివారించదగిన తప్పును వెల్లడిస్తుంది.

ఏ సెషన్‌లు అనుకరించదగిన ప్రవర్తనను కలిగి ఉన్నాయి మరియు ఏ టర్న్‌లు సరిదిద్దదగిన తప్పులను కలిగి ఉన్నాయి అనే రెండు నిర్ణయాలను వేరు చేయడం ద్వారా మేము ఈ పరిమితులను పరిష్కరిస్తాము. డేటా పైప్‌లైన్ ఈ నిర్ణయాలను విడిగా చేస్తుంది, ఆపై మోడల్ టర్న్‌లకు మూడింటిలో ఒక చికిత్సను కేటాయిస్తుంది:

అనుకరించండి: విజయవంతమైన సెషన్‌లలోని ఎర్రర్-కాని టర్న్‌లు సాధారణ Cross-Entropy (CE) lossని అందుకుంటాయి, ఇది రికార్డ్ చేయబడిన టోకెన్ల సంభావ్యతను పెంచుతుంది.
సరిదిద్దండి: విజయవంతమైన మరియు విజయవంతం కాని సెషన్‌లలో, చెల్లుబాటు అయ్యే సూచనతో కూడిన లోప టర్న్‌లు Kullback–Leibler (KL) డైవర్జెన్స్ లాస్ని అందుకుంటాయి, ఇది సూచనను చూసినప్పుడు మోడల్ చేసే తదుపరి-టోకెన్ అంచనాల వైపు మోడల్‌ను మళ్లిస్తుంది.
సందర్భంగా ఉంచండి: ధృవీకరించబడిన సూచన లేని విజయవంతం కాని సెషన్‌లలోని టర్న్‌లు, మరియు ఏ సెషన్ రకంలోనైనా ధృవీకరించబడిన సూచన లేని గుర్తించబడిన చెడు టర్న్‌లు సందర్భం వలె పని చేస్తాయి కానీ ఏ లాస్‌నూ అందుకోవు.

ফলস্বরূপ, সফল সেশনগুলি অনুকরণ এবং সংশোধন উভয় লক্ষ্যই সরবরাহ করতে পারে, অন্যদিকে অসফল সেশনগুলি শুধুমাত্র সংশোধন লক্ষ্য সরবরাহ করে। সিস্টেম, ব্যবহারকারী এবং টুল আউটপুট সহ বাকি সমস্ত টার্নগুলি প্রসঙ্গ হিসাবে থেকে যায়।

సెషన్-రూటింగ్ రేఖాచిత్రం: విజయవంతమైన సెషన్‌లు CE అనుకరణను మరియు అర్హత గల సూచించిన దిద్దుబాట్లను అందిస్తాయి; విజయవంతం కాని సెషన్‌లు అర్హత గల దిద్దుబాట్లను మాత్రమే అందిస్తాయి. — ప్రస్తుత సెషన్ రూటింగ్ మరియు అసిస్టెంట్-కంటెంట్ మాస్క్‌లు. విజయవంతమైన సెషన్‌లు అనుకరణ లక్ష్యాలను అందిస్తాయి; సెషన్ విజయవంతం కానప్పటికీ నిలుపుకోబడిన ఫీడ్‌బ్యాక్ రికార్డులు సూచించిన దిద్దుబాట్లను అందించగలవు. ఇతర కంటెంట్ సందర్భం వలె ఉంటుంది. అసంపూర్ణ సెషన్‌లు మినాయించబడ్డాయి. తుది-కాని యీల్డ్/స్టాప్-టోకెన్ CE మినహాయింపు గీయబడలేదు మరియు ఈ రేఖాచిత్రం మునుపటి చెక్‌పాయింట్ ద్వారా ఉపయోగించిన మిశ్రమాన్ని ఏర్పాటు చేయదు.

అనుకరణ భాగం ప్రామాణిక RFTని ఉపయోగిస్తుంది. దిద్దుబాటు భాగం On-Policy Self-Distillation (OPSD)ని ఉపయోగిస్తుంది: అదే మోడల్ టీచర్ మరియు స్టూడెంట్‌గా పనిచేస్తుంది, టీచర్‌కు అధికారిక సమాచారం ఇవ్వబడుతుంది. ఇక్కడ, ఆ అధికారిక సమాచారం నివారించదగిన తప్పును వివరించే చిన్న సూచన. సూచన ఇవ్వకుండానే టీచర్ యొక్క తదుపరి-టోకెన్ అంచనాలతో సరిపోలడానికి మేము విద్యార్థికి శిక్షణ ఇస్తాము.

రెండు భాగాలు ముఖ్యమైనవే. కరెక్షన్-మాత్రమే శిక్షణ ఒక షార్ట్‌కట్‌ను బహిర్గతం చేయగలదు: సరిదిద్దడాన్ని నేర్చుకోవడం కంటే సందర్భాన్ని విస్మరించడం ద్వారా టీచర్ మరియు స్టూడెంట్ అంగీకరించవచ్చు. CE పదం శిక్షణను ఉపయోగకరమైన ప్రవర్తనకు లంగరు వేస్తుంది, సందర్భాన్ని విస్మరించడం ద్వారా వచ్చే ఒప్పందాన్ని నిరుత్సాహపరచడంలో సహాయపడుతుంది.

శిక్షణ అనంతరం ఉన్న విద్యార్థి తర్వాత Computer‌లోని ఒక మోడల్ ఎంపికగా మారుతుంది. ప్రత్యక్ష వినియోగం నుండి వచ్చిన కొత్త సెషన్‌లు మరో రౌండ్ శిక్షణ పైప్‌లైన్‌లోకి ప్రవేశించే ముందు అదే అర్హత మరియు గోప్యతా ఫిల్టర్ల ద్వారా వెళ్తాయి.

తరువాత, మేము అనుకరణ మరియు దిద్దుబాటు రెండింటినీ కలిగి ఉన్న నిర్దిష్ట ఉదాహరణ ద్వారా వెళతాము.

అధికారిక డాక్యుమెంటేషన్‌ను ఉపయోగించి పైథాన్ 3.13లో అసਿੰసియో మార్పుల పోలికను వినియోగదారు కోరే అంతిమ విజయవంతమైన సెషన్‌ను పరిగణించండి. మా టూల్ డాక్యుమెంటేషన్ search.web url ఫీల్డ్‌తో కూడిన ప్రతి ఒక్కటి హిట్‌ల జాబితాను అందిస్తుందని పేర్కొంది.

పోలిక కోసం సాక్ష్యాలను సేకరించే প্রক্রিয়ায় భాగంగా మోడల్ మొదట ఒక వెర్షన్ కోసం చెల్లుబాటు అయ్యే శోధనను అమలు చేస్తుంది, ఇది అనుకరించవలసిన మంచి ప్రవర్తన.

అయితే, తదుపరి కోడ్-ఎసిడ్యూషన్ కాల్ తప్పుగా ఆ జాబితాను నిఘంటువుగా పరిగణిస్తుంది. కోడ్ టూల్ TypeError: list indices must be integers or slices, not strని అందిస్తుంది. కాల్ చేయడానికి ముందే రిటర్న్ రకం డాక్యుమెంట్ చేయబడినందున, ఇది మోడల్ నివారించగలిగిన తప్పు. ఆ చర్యను సరిదిద్దడానికి సరైన కాల్‌తో కూడిన సూచనను రూపొందించవచ్చు.

ఉదాహరణ కోడింగ్ సెషన్: సిస్టమ్ మరియు వినియోగదారు ఇన్‌పుట్ మరియు టూల్ లోపాలు సందర్భం వలె ఉంటాయి; ఉపయోగకరమైన రికార్డ్ చేయబడిన శోధన మరియు పునరుద్ధరణ కాల్‌లు విజయవంతమైన సెషన్‌లో CEని అందుకుంటాయి; గుర్తించబడిన పొరపాటు జాబితా లుక్అప్ గ్రౌండెడ్ సూచన ఇవ్వబడిన టీచర్ వైపు KLని అందుకుంటుంది. — ఒక ఉదాహరణ కోడింగ్ సెషన్ మూడు శిక్షణ పాత్రలను చూపుతుంది: సందర్భం-మాత్రమే ఇన్‌పుట్‌లు మరియు టూల్ అవుట్‌పుట్‌లు (బూడిద రంగు), ఉపయోగకరమైన రికార్డ్ చేయబడిన కాల్‌ల CE అనుకరణ (ముదురు రంగు), మరియు గుర్తించబడిన తప్పు యొక్క KL దిద్దుబాటు (టీల్ రంగు). ఇక్కడ, మోడల్ తప్పుగా శోధన హిట్ల జాబితాను నిఘంటువుగా పరిగణిస్తుంది; మునుపటి టూల్ డాక్యుమెంటేషన్‌లో గ్రౌండ్ చేయబడిన టీచర్-మాత్రమే సూచన దిద్దుబాటుకు మార్గనిర్దేశం చేస్తుంది. పూర్తయిన సెషన్ విజయవంతమైనదిగా నిర్ధారించబడినప్పుడు మాత్రమే CE లక్ష్యాలు వర్తిస్తాయి, అయితే విజయవంతం కాని సెషన్ ఇప్పటికీ అర్హమైన KL దిద్దుబాటు లక్ష్యాన్ని అందించగలదు.

శిక్షణ పైప్‌లైన్‌కు నాలుగు దశలు ఉన్నాయి: సెషన్‌లను ఎంచుకుని వాటి ఫలితాలను తీర్పు చేయడం, వినియోగదారు అభిప్రాయం మరియు టూల్ పొరపాట్ల నుండి తప్పులను గుర్తించి సూచనలు సృష్టించడం, ఉపాధ్యాయుడు మరియు విద్యార్థి రెండింటి నుండీ తదుపరి-టోకెన్ సంభావ్యతలను సృష్టించడం, మరియు కలిపిన CE మరియు KL నష్టంతో మోడల్‌ను శిక్షణ ఇవ్వడం.

శిక్షణకు అర్హత కలిగిన నిజజీవిత Computer సెషన్‌ల ఉపసముదాయం నుండి ఈ శాంప్లింగ్ పైప్‌లైన్ నమూనాలను తీసుకుంటుంది; ఈ వర్క్‌ఫ్లో కోసం ఉదాహరణలను ఎంపిక చేసే ముందు శిక్షణ నుండి తప్పించుకోవడం (opt-outs) మరియు పైప్‌లైన్‌కు సంబంధించిన PII-సంబంధిత మినహాయింపులు అమలు చేయబడతాయి.

ప్రారంభ స్క్రీనింగ్ ప్రక్రియ ఎల్‌ఎల్‌ఎం జడ్జి ద్వారా ఐదు-పాయింట్ల టాస్క్-క్లిష్టత స్థాయిలో 4 లేదా 5 రేట్ చేయబడిన అభ్యర్థులను ఎంచుకుంటుంది మరియు వాటిని 2 సమూహాలుగా విభజిస్తుంది:

వినియోగదారు-అభిప్రాయ సమూహం అసలు వినియోగదారు ఫాలో-అప్ లేదా మధ్యస్థ-నుండి-అధిక అసంతృప్తి ఫ్లాగ్‌తో కూడిన సెషన్‌లను కలిగి ఉంటుంది. ఈ అధిక-ఉద్దేశ్య ఫాలో-అప్‌లు నేర్చుకోవడానికి చాలా ఉపయోగకరంగా ఉన్నాయని మేము కనుగొన్నాము: వినియోగదారులు టాస్క్‌ను పూర్తి చేయడానికి தீவிரமாக ప్రయత్నిస్తున్నారు మరియు వారి దిద్దుబాట్లు మోడల్ దేనిని కోల్పోయిందో ఖచ్చితంగా చూపుతాయి.
టూల్-లోప సమూహం గుర్తించబడిన ఇన్‌ఫ్రాస్ట్రక్చర్ వైఫల్యాలు మరియు తిరస్కరించబడిన అధికారాలను మినహాయించి, నియమ-ఆధారిత తనిఖీల ద్వారా ఫ్లాగ్ చేయబడిన విఫలమైన కాల్‌లతో కూడిన సెషన్‌లను కలిగి ఉంటుంది.

ఆ తర్వాత ఇద్దరు ఎల్‌ఎల్‌ఎం జడ్జీలు వినియోగదారు అభ్యర్థనకు వ్యతిరేకంగా చివరి డెలివరీని అంచనా వేస్తారు; సెషన్‌ను “విజయవంతమైనది” అని లేబుల్ చేయడానికి ఇద్దరు జడ్జీలు సానుకూల తీర్పును ఇవ్వాలి. ఆర్టిఫ్యాక్ట్‌లను అందించే కేసుల కోసం, అవుట్‌కమ్ దశ డెలివరీని పునర్నిర్మించగలదు మరియు పరిశీలించగలదు, ఆ దశ విఫలమైతే దాని టెక్స్ట్-ఆధారిత తీర్పులకు వెనక్కి వెళ్తుంది. వినియోగదారు కోసం వేచి ఉన్న పని వంటి అసంపూర్ణమైనవిగా వర్గీకరించబడిన సెషన్‌లు మినాయించబడ్డాయి.

ఈ దశ అభ్యాస సంకేతాల సంభావ్య మూలాలను గుర్తిస్తుంది; అయితే, కొన్ని అస్పష్టమైన సూచనలు లేదా ఇన్‌ఫ్రాస్ట్రక్చర్ వైఫల్యాల నుండి ఉద్భవించినందున, ప్రతి లోపం మోడల్‌కు ఆపాదించబడదు. ఏ అభ్యర్థి తప్పులు వాస్తవానికి నివారించదగినవి మరియు శిక్షణకు తగినవో తరువాతి అనోటేషన్ నిర్ణయిస్తుంది.

వినియోగదారు-అభిప్రాయ సమూహంలోని నమూనా సెషన్‌ను పరిగణించండి, ఇక్కడ వినియోగదారు “paychexలో నా w3ని ఎలా కనుగొనాలి” అని అడుగుతారు. మోడల్ “w3”ని W-2 కోసం టైపోగా పరిగణిస్తుంది, W-2 సూచనల కోసం శోధిస్తుంది మరియు ఆ ఫారమ్‌ను ఎలా కనుగొనాలో వివరిస్తుంది. వినియోగదారు యొక్క తదుపరి ప్రశ్న, “నేను W-3 ట్రాన్స్‌మిటల్ ఫారమ్‌ను ఉద్దేశించాను,” సెషన్ అంతిమంగా విజయవంతమైనప్పటికీ, తప్పును గుర్తిస్తుంది.

ఫిర్యాదు తప్పును గుర్తించడంలో సహాయపడుతుంది, కానీ మూల కారణం “w3”ని W-2గా పునఃప్రవచించాలనే మునుపటి నిర్ణయం. అసలు అభ్యర్థన తప్పును నివారించదగినదిగా చేస్తుంది: మోడల్ W-3ని భద్రపరచవచ్చు లేదా స్పష్టత కోరవచ్చు. ఫిర్యాదుకు ముందు చివరి అసిస్టెంట్ టర్న్ దాదాపు సగం సార్లు మాత్రమే మూల కారణమని తేలింది.

మా అనోటేషన్ పైప్‌లైన్ ప్రతి వినియోగదారు-అభిప్రాయ సెషన్లో కారణం మరియు ప్రభావాన్ని క్రమపద్ధతిలో మ్యాప్ చేస్తుంది. అనోటేటర్ మొదట తప్పిపోయిన అవసరం కోసం లేదా మునుపటి సందర్భం ద్వారా మద్దతు ఇవ్వబడిన ఉద్దేశం కోసం స్క్రీన్ చేస్తుంది. అప్పుడు ముగ్గురు ఎల్‌ఎల్‌ఎం జడ్జీలు బాధ్యతాయుతమైన టర్న్‌లను గుర్తిస్తారు, ఇచ్చిన టర్న్ పై ఏకీభవించడానికి కనీసం ఇద్దరు అవసరం. కొన్నిసార్లు మునుపటి ప్రకటన అవసరాన్ని స్పష్టంగా ఏర్పాటు చేస్తుంది. ఇతర సందర్భాల్లో, ఏ ఒక్క మునుపటి ప్రకటన అలా చేయదు, కానీ మునుపటి సంభాషణ యొక్క బహుళ భాగాలు కలిసి ఉద్దేశించిన ప్రవర్తనను అనుమితి చేయగలవు. ఈ డిజైన్ చివరి సమాధానానికి మాత్రమే ఆపాదించకుండా, ఫిర్యాదును మునుపటి మూల తప్పుకు కనెక్ట్ చేయడానికి వాటిని అనుమతిస్తుంది.

సూచనను అంగీకరించే ముందు, గుర్తించబడిన టర్న్‌కు ముందు అందుబాటులో ఉన్న సమాచారం నుండి దాని దిద్దుబాటు దావాలు అనుసరిస్తాయని పైప్‌లైన్ తనిఖీ చేస్తుంది. ఫిర్యాదులో వెల్లడైన కొత్త ప్రాధాన్యత మోడల్ ముందే తెలిసి ఉండవలసినదిగా పరిగణించబడే హిండ్‌సైట్ బయాస్‌ను తగ్గించడానికి ఈ తనిఖీలు ఉద్దేశించబడ్డాయి.

ఈ ఉదాహరణలో, సూచన W-2 కాకుండా Paychexలో W-3 ట్రాన్స్‌మిటల్ ఫారమ్ కోసం శోధించమని మోడల్‌కు చెబుతుంది, లేదా అభ్యర్థన అస్పష్టంగా ఉంటే వినియోగదారు ఏ ఫారమ్‌ను ఉద్దేశించారో అడగమని చెబుతుంది. దిద్దుబాటు చివరి సమాధానాన్ని మాత్రమే కాకుండా, మునుపటి వివరణ మరియు శోధన నిర్ణయాన్ని లక్ష్యంగా చేసుకుంటుంది. అసలు టర్న్ మారలేదు; అనోటేషన్ is_bad_turn: true మరియు ఖాళీ కాని hintని జోడిస్తుంది.

W-3 అభ్యర్థన తప్పుగా W-2గా అర్థం చేసుకోబడింది; తరువాతి ఫిర్యాదు మునుపటి శోధన నిర్ణయానికి ట్రేస్ చేయబడుతుంది మరియు మునుపటి సాక్ష్యానికి వ్యతిరేకంగా తనిఖీ చేయబడుతుంది. — అనోటేషన్ విధానం అతివ్యాప్తి చెందడంతో, ఫిర్యాదు మునుపటి తప్పుకు ఎలా ట్రేస్ చేయబడుతుందో చూపే నిజమైన సెషన్. వినియోగదారు Paychexలో “w3” కోసం అడిగాడు, కానీ మోడల్ దానిని W-2 కోసం టైపోగా పరిగణించి తప్పుడు ఫారమ్ కోసం శోధించింది. ప్రపోజర్ ఏకాభిప్రాయం మూల కారణాన్ని కనుగొంటుంది, అయితే రెండు గ్రౌండింగ్ తనిఖీలు సాక్ష్యం తప్పుకు ముందే ఉందా మరియు సూచన యొక్క దావాలు ఆ సమయంలో అందుబాటులో ఉన్న సమాచారం నుండి అనుసరిస్తాయా అని అంచనా వేస్తాయి. ఆమోదించబడిన అనోటేషన్‌లు అసలు టెక్స్ట్‌ను సంరక్షిస్తాయి మరియు పునఃవ్రాయబడిన లక్ష్యాలకు బదులుగా గుర్తుల్ని మరియు సూచనలను జోడిస్తాయి.

ఏజెంట్ recency_filter: "year"తో శోధించే శోధన కాల్‌తో టూల్-ఎర్రర్ సమూహంలోని మరొక సెషన్‌ను పరిగణించండి, కానీ అనుమతించబడిన విలువలు “day,” “week,” లేదా “month” కాబట్టి టూల్ దానిని తిరస్కరిస్తుంది. ఇది స్పష్టమైన స్కీమా ఉల్లంఘన.

టూల్-లోప మార్గం తెలిసిన తప్పుల కోసం నిర్ణయాత్మక నియమాలను మరియు అస్పష్టమైన కేసుల కోసం మోడల్ తీర్పును ఉపయోగిస్తుంది. లోప సందేశం మాత్రమే మోడల్‌ను దోషిగా నిర్ధారించడానికి సరిపోదు; టూల్ స్కీమా, సిస్టమ్ సూచనలు లేదా మునుపటి సంభాషణ నుండి మోడల్ తెలుసుకోగలిగిన దాన్ని అంచనా వేసిన దిద్దుబాటు సూచించాలి.

శోధన కాల్ చెల్లని recency_filter విలువ సంవత్సరాన్ని ఉపయోగిస్తుంది; గ్రౌండెడ్ సూచన జాబితా చేయబడిన విలువను ఉపయోగించమని లేదా ఐచ్ఛిక ఫీల్డ్‌ను దాటవేయమని మోడల్‌కు సూచిస్తుంది. — రిపోర్ట్ యొక్క చెల్లని శోధన వాదన ప్రస్తుత టూల్-లోపం విధానాన్ని వివరిస్తుంది. స్కీమా ఈ తప్పును నివారించదగినదిగా చేస్తుంది; కేవలం అంతరాయం చేయదు. అసలైన కాల్ రికార్డ్‌లోనే ఉంటుంది మరియు గ్రౌండెడ్ సూచనను అందుకుంటుంది. ఫీల్డ్ ఐచ్ఛికం అయితే జాబితా చేయబడిన విలువను లేదా దాటవేయడాన్ని సూచన అనుమతిస్తుంది; ఇది ప్రతి అభ్యర్థనకు “నెల” అవసరం లేదు.

ఇక్కడ, సూచన విఫలమైన కాల్ పేరును తెస్తుంది, ధృవీకరణ లోపాన్ని కలిగి ఉంటుంది మరియు అనుమతించబడిన విలువను ఉపయోగించమని లేదా ఫీల్డ్ ఐచ్ఛికం అయితే దానిని దాటవేయమని మోడల్‌కు సూచిస్తుంది.

ఒక టర్న్ గుర్తు పెట్టబడిన తర్వాత, ట్రైనర్ అదే చెక్‌పాయింట్‌ను రెండుసార్లు అమలు చేస్తుంది: ఒకసారి టీచర్‌గా మరియు ఒకసారి స్టూడెంట్‌గా. టీచర్ ఆ సూచనను చూస్తుంది; స్టూడెంట్ చూడదు.

రెండు పాస్‌లు టీచర్ ఫోర్సింగ్‌ను ఉపయోగిస్తాయి, ఇక్కడ మేము కొత్త టోకెన్‌లను ఎంచుకోవడానికి అనుమతించకుండా మోడల్‌కు రికార్డ్ చేయబడిన సెషన్‌ను అందిస్తాము. ఫార్వార్డ్ పాస్ ఇప్పటికీ ప్రతి దశలో పూర్తి తదుపరి-టోకెన్ పంపిణీని ఉత్పత్తి చేస్తుంది, కానీ ఇది ఎల్లప్పుడూ రికార్డింగ్ నుండి స్థిర ప్రిఫిక్స్ పై షరతుతో కూడుకున్నది, రోల్‌అవుట్ టోకెన్‌లపై కాదు.

శోధన ఉదాహరణ కోసం, సూచన ఇవ్వబడినప్పుడు అదే మోడల్ “నెల”కి చాలా ఎక్కువ సంభావ్యతను మరియు “సంవత్సరం”కి తక్కువ సంభావ్యతను కేటాయిస్తుంది. శిక్షణ ఈ డిస్ట్రిబ్యూషనల్ షిఫ్ట్‌ను సాఫ్ట్ లక్ష్యంగా ఉపయోగిస్తుంది.

అదే మోడల్ సూచనతో మరియు సూచన లేకుండా లాగిన్ చేయబడిన టర్న్‌ను స్కోర్ చేస్తుంది; విడదీయబడిన టీచర్ సంభావ్యతలు KL లక్ష్యాలను అందిస్తాయి అయితే CE అనుకరణను లంగరు వేస్తుంది. — రెండు పాస్‌లు, ఒక సెట్ వెయిట్లు. రెండు పాస్‌లు లాగిన్ చేయబడిన కంటిన్యూయేషన్‌ను స్కోర్ చేస్తాయి; టీచర్ మాత్రమే సూచనలను అందుకుంటుంది. దాని విడదీయబడిన తదుపరి-టోకెన్ సంభావ్యతలు ఫార్వార్డ్ KL ద్వారా విద్యార్థికి మార్గనిర్దేశం చేస్తాయి. వేర్వేరు CE లక్ష్యాలు అనుకరణను లంగరు వేస్తాయి. రెండు లాస్‌లు ఒక వెయిట్ అప్‌డేట్‌కు ఆహారం ఇస్తాయి. మునుపటి సూచనలు టీచర్ యొక్క ప్రస్తుత విభాగంలో అలాగే ఉండవచ్చు; ఏ పాస్ కూడా భర్తీ శిక్షణ సమాధానాన్ని రూపొందించదు.

టీచర్ అంచనాలు విడదీయబడ్డాయి, లేదా స్టాప్-గ్రేడియంట్: అవి లక్షలాన్ని అందిస్తాయి కానీ టీచర్ పాస్ ద్వారా అప్‌డేట్‌ను అందుకోవు. స్టూడెంట్ పాస్ తర్వాత, ఒక ఆప్టిమైజర్ దశ షేర్డ్ మోడల్‌ను అప్‌డేట్ చేస్తుంది.

CE లాస్ అనుకరణ కోసం ఎంచుకున్న రికార్డ్ చేయబడిన టోకెన్‌లను గ్రౌండ్-ట్రూత్ లక్ష్యాలుగా పరిగణిస్తుంది మరియు వాటికి తక్కువ సంభావ్యతలను కేటాయించినందుకు మోడల్‌ను జరిమానా చేస్తుంది. ఇది కఠినమైన అనుకరణ లక్ష్యాన్ని సృష్టిస్తుంది.

టోకెన్ స్థానం వద్ద, పూర్తి పదజాలం లో టోకెన్ యొక్క విద్యార్థి సంభావ్యత అనుకుందాం. ప్రతిస్పందన లేదా టూల్ కాల్‌లో రికార్డ్ చేయబడిన తదుపరి టోకెన్ , వన్-హాట్ లక్ష్య పంపిణీ . $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

క్రాస్-ఎంట్రోపీ విద్యార్థి ఆ రికార్డ్ చేయబడిన టోకెన్‌ను ఎంత బాగా అంచనా వేస్తాడో కొలుస్తుంది. వన్-హాట్ లక్ష్యంతో, ఇది $y_i$ కి కేటాయించబడిన ప్రతికూల లాగ్-సంభావ్యతకు తగ్గిపోతుంది.

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE మాస్క్ $m_i^{\mathrm{CE}}$ అనేది టోకెన్ అనుకరించవలసిన చోట $1$ మరియు లేకపోతే $0$ . ఎంచుకున్న స్థానాలపై మొత్తం చేయడం ద్వారా అనుకరణ నష్టం లభిస్తుంది.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

దాని బదులు కెఎల్ లాస్, సాఫ్ట్ కరెక్షన్ లక్ష్యంగా టీచర్ యొక్క పూర్తి తదుపరి-టోకెన్ సంభావ్యత పంపిణీ $q_i$ ని ఉపయోగిస్తుంది. టీచర్ కాంటెక్స్ట్‌లో ప్రస్తుత సూచన మరియు ఆ శిక్షణ విభాగంలో ఉంచబడిన ఏదైనా మునుపటి సూచనలు ఉంటాయి; స్టూడెంట్ కాంటెక్స్ట్ ఎల్లప్పుడూ సూచన-రహితంగా ఉంటుంది.

KL మాస్క్ $m_i^{\mathrm{KL}}$ అనేది టోకెన్ సరిదిద్దవలసిన చోట $1$ మరియు లేకపోతే $0$ ; CE మరియు KL మాస్క్‌లు అతివ్యాప్తి చెందవు. ఈ స్థానాల్లో, ఫార్వార్డ్ KL పూర్తి పదజాలం అంతటా టీచర్ మరియు విద్యార్థి మధ్య అసమ్మతికి జరిమానా విధిస్తుంది:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

రెండు పదాలు విడిగా సాధారణీకరించబడకుండా ఒకే హారాన్ని పంచుకుంటాయి. ఈ హారం గ్లోబల్ శిక్షణ బ్యాచ్ అంతటా అనుకరణ కోసం ఎంచుకున్న మొత్తం టోకెన్‌లను లెక్కిస్తుంది. వెయిట్ $\lambda$ అనుకరణకు సాపేక్షంగా దిద్దుబాటు శిక్షణ యొక్క సహకారాన్ని నియంత్రిస్తుంది.

ఈ భాగస్వామ్య సాధారణీకరణ మా శిక్షణ ఇన్‌ఫ్రాస్ట్రక్చర్ యొక్క సింగిల్-డినామినేటర్ ఇంటర్‌ఫేస్‌కు సరిపోతుంది మరియు $\lambda=0$ అయినప్పుడు ప్రామాణిక SFT లాస్‌ను పునరుద్ధరిస్తుంది, బేస్‌లైన్ పోలికలను సులభతరం చేస్తుంది. CE టోకెన్‌లు KL టోకెన్‌ల కంటే చాలా సమృద్ధిగా ఉన్నందున, భాగస్వామ్య హారాన్ని ఉపయోగించడం వలన తక్కువ మార్క్ చేయబడిన టోకెన్‌లు ఉన్న బ్యాచ్‌లలో వ్యక్తిగత KL టోకెన్‌లకు అసమానంగా పెద్ద వెయిట్‌లను ఇవ్వడం నివారించబడుతుంది.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

మునుపటి ఉదాహరణలకు వర్తింపజేయబడితే, W-3/W-2 మిక్స్-అప్ మరియు చెల్లని శోధన కాల్‌ను కలిగి ఉన్న టర్న్‌లు KLని అందుకుంటాయి. విజయవంతమైన సెషన్‌లోని ఇతర మార్క్ చేయని అసిస్టెంట్ కంటెంట్ ఇప్పటికీ CEని అందుకుంటుంది. విజయవంతం కాని సెషన్‌లోని ఇతర అసిస్టెంట్ కంటెంట్ సందర్భం వలె నిలుపుకోబడుతుంది కానీ CE లేదా KL ఏదీ అందుకోదు.

మా మూల్యాంకనాలు రెండు వేర్వేరు ప్రశ్నలకు సమాధానమిస్తాయి. మొదటిది, సూచన ఉన్నప్పుడు మోడల్ లోపాన్ని సరిదిద్దడానికి సూచన నిజంగా సహాయపడుతుందా? రెండవది, సూచన లేకుండా, ఆ తప్పును తరువాత నివారించడానికి శిక్షణ మోడల్‌కు సహాయపడుతుందా? సూచనలు ఉపయోగకరమైన శిక్షణ సంకేతాలను అందిస్తాయా లేదా అని మొదటిది పరీక్షిస్తుంది. మోడల్ వాటి నుండి నేర్చుకుంటుందా లేదా అని రెండవది పరీక్షిస్తుంది.

శిక్షణ రన్‌లు ప్రారంభమయ్యే ముందు మేము మొదటి ప్రశ్నను పరీక్షిస్తాము, తద్వారా సూచనలు నిజంగానే మోడల్‌ను తప్పుల నుండి దూరంగా నడిపించగలవని నిర్ధారించుకోవచ్చు.

సున్నా ఉష్ణోగ్రత వద్ద అదే GLM-5.2 బేస్ మోడల్‌ను ఉపయోగించి, సూచనతో మరియు సూచన లేకుండా గుర్తించబడిన వినియోగదారు-అభిప్రాయ టర్న్‌లను మేము పునరుత్పత్తి చేసాము. బ్లైండ్ జడ్జ్ తరువాతి ఫిర్యాదును చూస్తాడు, కానీ సూచనను లేదా ఏ షరతు సమాచారాన్ని ఉత్పత్తి చేసిందో చూడలేదు.

W-3 ఉదాహరణలో, “W-” ప్రిఫిక్స్ తర్వాత సూచన తదుపరి-టోకెన్ సంభావ్యతను “3” వైపు మరియు “2” నుండి దూరంగా మారుస్తుంది.

మార్చబడని బేస్ మోడల్ సూచనను అందుకున్నప్పుడు W- తర్వాత తదుపరి-టోకెన్ సంభావ్యతలు 2 కంటే 3 వైపు మారుతాయి. — సూచన అభ్యర్థించబడిన W-3 ఫారమ్‌ను సంరక్షిస్తుంది. బార్లు ఎనిమిది ఫార్వార్డ్ పాస్‌లలో సగటు తదుపరి-టోకెన్ సంభావ్యతలను చూపుతాయి; విస్కర్స్ గమనించిన పరిధిని చూపుతాయి, విశ్వాస విరామం కాదు. రెండు షరతులు మార్చబడని బేస్ మోడల్‌ను ఉపయోగిస్తాయి.

స్పష్టంగా పేర్కొన్న మునుపటి సాక్ష్యం ద్వారా మద్దతు ఇవ్వబడిన పెద్ద 40-టర్న్ హెల్డ్-అవుట్ నమూనాలో, స్థిరమైనదిగా లేదా ఆన్-ట్రాక్‌గా నిర్ణయించబడిన వాటా సూచన లేకుండా 40.0% నుండి సూచనతో 75.0%కి పెరుగుతుంది. అనుమితి చేయబడిన ఉద్దేశం ద్వారా మద్దతు ఇవ్వబడిన మరో 40 టర్న్‌లలో, ఇది 32.5% నుండి 80.0%కి పెరుగుతుంది.

సూచన ధృవీకరణ: స్పష్టమైన సాక్ష్యం కోసం స్థిరమైన లేదా ఆన్-ట్రాక్ రేట్లు 40.0% నుండి 75.0%కి మరియు అనుమితి చేయబడిన ఉద్దేశం కోసం 32.5% నుండి 80.0%కి పెరుగుతాయి. — సూచన ధృవీకరణ, పోస్ట్-ట్రైనింగ్ మూల్యాంకనం కాదు. సున్నా ఉష్ణోగ్రత వద్ద మార్చబడని GLM-5.2ని ఉపయోగించి ప్రతి సాక్ష్య సమూహంలోని అదే 40 మార్క్ చేయబడిన టర్న్‌లు సూచనతో మరియు సూచన లేకుండా పునరుత్పత్తి చేయబడతాయి. జడ్జ్ ఫిర్యాదును చూస్తాడు కానీ సూచనను లేదా షరతును చూడడు. నివేదిక యొక్క రేట్లు మరియు నమూనా పరిమాణాల నుండి గణనలు తీసుకోబడ్డాయి; విశ్వాస విరామాలు నివేదించబడవు.

శోధన టూల్ లోపం ఉదాహరణలో, సూచన నిజంగా సంవత్సర టోకెన్ నుండి నెల టోకెన్‌కు సంభావ్యత ద్రవ్యరాశిని మారుస్తుంది.

ఒక సూచన, మార్పులేని బేస్ మోడల్ యొక్క తదుపరి-టోకెన్ సంభావ్యతలను year నుండి దూరంగా, అనుమతించబడిన month విలువ వైపు మళ్లిస్తుంది. — సూచన అనుమతించబడిన విలువ వైపు సంభావ్యతను మారుస్తుంది. బార్లు ఎనిమిది ఫార్వార్డ్ పాస్‌లలో సగటు తదుపరి-టోకెన్ సంభావ్యతలను చూపుతాయి; విస్కర్స్ గమనించిన పరిధిని చూపుతాయి, విశ్వాస విరామం కాదు. రెండు షరతులు ఒకే బేస్ మోడల్‌ను ఉపయోగిస్తాయి; శిక్షణ పొందిన చెక్‌పాయింట్ ఏదీ పోల్చబడలేదు.

పెద్ద 985-టర్న్ హెల్డ్-అవుట్ నమూనాలో, మేము అదే బేస్ మోడల్‌ను ఉపయోగించి సూచనతో మరియు సూచన లేకుండా ప్రతి టర్న్‌ను నాలుగు సార్లు పునరుత్పత్తి చేస్తాము. ప్రతి పునరుత్పత్తి అసలు వైఫైలాన్ని నివారిస్తుందో లేదో బ్లైండ్ జడ్జ్ అంచనా వేస్తాడు. సూచనలు వైఫల్య నివారణను 75.1% నుండి 93.7కి పెంచుతాయి, 18.6 శాతం పాయింట్ల జత లాభం మరియు సరిదిద్దబడిన చర్యను తీసుకునే వాటాను 60.6% నుండి 82.3%కి పెంచుతాయి. పునరావృత నమూనా మాత్రమే పరిష్కరించడానికి కష్టపడే లోపాలపై లాభాలు అత్యధికంగా ఉంటాయి.

985 హెల్డ్-అవుట్ మార్క్ చేయబడిన టూల్-లోప టర్న్‌లపై, సూచనలు వైఫల్య నివారణను 75.1% నుండి 93.7%కి మరియు సరిదిద్దబడిన చర్య రేట్లను 60.6% నుండి 82.3%కి పెంచుతాయి. — 985 నిలిపి ఉంచిన గుర్తించిన టర్న్‌లపై టూల్-ఎరర్ సూచన ధృవీకరణ, ప్రతి పరిస్థితికి నాలుగు పునర్జననలతో. బార్లు మార్పులేని బేస్ మోడల్ కోసం, సూచనలతో మరియు సూచనలులేకుండా, వైఫల్య నివారణ మరియు సరిచేసిన చర్య రేట్లను చూపుతాయి. లక్ష్యిత పొరపాటును నివారించడం టూల్-కాల్ లేదా పనితీరు విజయాన్ని నిరూపించదు.

తర్వాత మేము శిక్షణ పొందిన మోడల్ సూచనలు పొందకుండా తక్కువ తప్పులు చేస్తుందో లేదో పరీక్షిస్తాము. ఆఫ్‌లైన్ బెంచ్‌మార్క్ పనులలో మరియు ప్రత్యక్ష వినియోగదారు సెషన్‌లలో, తక్కువ టూల్ వైఫల్యాలు మరియు తక్కువ వినియోగదారు అసంతృప్తి ఉన్నాయా అని తనిఖీ చేస్తూ, స్టాక్ మోడల్ మరియు వివిధ శిక్షణానంతర చెక్‌పాయింట్లను మేము మూల్యాంకనం చేస్తాము.

ఆఫ్‌లైన్ మూల్యాంకనం BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, ప్రతినిధి Computer టాస్క్ సెట్‌ను ఉపయోగిస్తుంది మరియు నైపుణ్యం లోడింగ్, డాక్యుమెంట్ సమీక్ష మరియు ఇన్‌లైన్ ఉల్లేఖనాల కోసం తనిఖీ చేస్తుంది. మూల్యాంకన ట్రాజెక్టరీలలో ఫలితాలు స్పష్టంగా లోపాలుగా ఫ్లాగ్ చేయబడిన టూల్ కాల్‌ల వాటాను మేము కొలుస్తాము.

ఈ మూల్యాంకనాలలో, రికార్డ్ చేయబడిన టూల్-ఎర్రర్ రేటు స్టాక్ GLM 5.2కి 2.79%, RFT-మాత్రమే చెక్‌పాయింట్‌కు 1.35%, మరియు RFT-ప్లస్-OPSD చెక్‌పాయింట్‌కు 0.87%. ఈ చెక్‌పాయింట్లు వేర్వేరు డేటాపై శిక్షణ పొందాయి, కాబట్టి ఇది OPSD యొక్క సరిపోలిన-డేటా అబ్లేషన్ కాదు. టాస్క్-స్థాయి బెంచ్‌మార్క్ ఫలితాలు మిశ్రమంగా ఉన్నాయి, కాబట్టి తక్కువ టూల్ లోపాలు మాత్రమే టాస్క్ విజయవంతం కావడంలో విస్తృత మెరుగుదలగా అనువదించబడవు.

ఆఫ్‌లైన్‌గా నమోదు చేసిన టూల్-ఎరర్ రేట్లు: stock GLM 5.2కి 2.79%, RFT-onlyకి 1.35%, మరియు RFT plus OPSDకి 0.87%; శిక్షణ డేటా భిన్నంగా ఉన్నాయి. — స్టాక్ GLM-5.2, RFT-మాత్రమే, మరియు RFT-ప్లస్-OPSD చెక్‌పాయింట్ల కోసం ఆఫ్‌లైన్ టూల్-ఎర్రర్ రేట్లు. చెక్‌పాయింట్ల అంతటా శిక్షణ డేటా భిన్నంగా ఉంటుంది; ఇది నియంత్రిత అబ్లేషన్ కాదు.

GLM-5.2 కోసం, మేము ప్రతి కండిషన్‌లో దాదాపు లక్ష మంది వినియోగదారులతో రెండు వేర్వేరు A/B పరీక్షలను నిర్వహించాము. మొదటిదాంట్లో, ప్రారంభ RFT-ప్లస్-OPSD చెక్‌పాయింట్ స్టాక్ GLM 5.2 కంటే కొంచెం తక్కువ టూల్-వైఫల్య రేటును కలిగి ఉంది (2.82% వర్సెస్ 2.94%), కానీ ఆ వ్యత్యాసం గణాంకపరంగా ముఖ్యమైనది కాదు.

తరువాతి పరీక్షలో, మేము రెండు RFT-ప్లస్-OPSD చెక్‌పాయింట్‌లను పోల్చాము: మునుపటిది (చెక్‌పాయింట్ ఒకటి) మరియు తరువాతిది (చెక్‌పాయింట్ రెండు). రికార్డ్ చేయబడిన స్థితితో కాల్‌లలో టూల్-కాల్ వైఫల్యాలు 2.24% నుండి 1.77%కి పడిపోయాయి. ఇది గణాంకపరంగా ముఖ్యమైన 21.2% సాపేక్ష తగ్గింపు. మేము ఆన్‌లైన్‌లో స్టాక్ GLM 5.2తో చెక్‌పాయింట్ రెండింటిని నేరుగా పోల్చలేదు.

వినియోగదారు-అభిప్రాయ ఫలితాలు తక్కువ నిర్ణయాత్మకంగా ఉన్నాయి. రెండవ GLM-5.2 ప్రయోగంలో, బలమైన అసంతృప్తి (మధ్యస్థ లేదా అధిక) యొక్క సగటు సంభావ్యత చెక్‌పాయింట్ ఒన్‌కు 2.58% మరియు చెక్‌పాయింట్ టూకు 2.54%గా ఉంది, ఇందులో గణాంకపరంగా ముఖ్యమైన వ్యత్యాసం లేదు.

రెండు వేర్వేరు ఆన్‌లైన్ A/B పరీక్షలు; తరువాతి చెక్‌పాయింట్ పోలిక మాత్రమే ముఖ్యమైన టూల్-వైఫల్య తగ్గింపును కలిగి ఉంది, గణనీయమైన MID+ అసంతృప్తి మార్పు లేదు. — రెండు వేర్వేరు GLM-5.2 లైవ్ A/B పరీక్షలు. చెక్‌పాయింట్ 1 స్టాక్ GLM-5.2తో పోల్చబడింది; చెక్‌పాయింట్ 2 చెక్‌పాయింట్ 1తో పోల్చబడింది. ఈ రెండు పరీక్షలలో, తరువాతి టూల్-వైఫల్య తగ్గింపు మాత్రమే గణాంకపరంగా ముఖ్యమైనది. MID+ రేట్లు మధ్యస్థ లేదా అధిక అసంతృప్తి యొక్క సగటు అంచనా వేయబడిన సంభావ్యతలను సూచిస్తాయి, ఫిర్యాదుల గణనలను కాదు.

GLM-5.3 కోసం, మేము పోస్ట్-ట్రైనింగ్ పొందిన చెక్‌పాయింట్‌ను స్టాక్ GLM-5.3తో నేరుగా పోల్చాము. రికార్డైన స్థితి కలిగిన కాల్‌లలో టూల్-కాల్ వైఫల్యాలు 3.56% నుండి 2.38%కి పడిపోయాయి, ఇది 33.04% సాపేక్ష తగ్గింపు. మధ్యస్థ లేదా అధిక అసంతృప్తి యొక్క సగటు అంచనా సంభావ్యత అయిన MID+ రేటు, 4.12% నుండి 3.41%కి పడిపోయింది, ఇది 17.2% సాపేక్ష తగ్గింపు. ఈ రెండు తగ్గింపులు గణాంకపరంగా ముఖ్యమైనవి.

GLM-5.3 A/B పరీక్ష: టూల్-వైఫల్య రేటు 3.56% నుండి 2.38%కి పడిపోతుంది మరియు మధ్యస్థ లేదా అధిక అసంతృప్తి యొక్క సగటు అంచనా సంభావ్యత అయిన MID+ రేటు, 4.12% నుండి 3.41%కి పడిపోతుంది. CUPED-సర్దుబాటు చేసిన సాపేక్ష తగ్గింపులు వరుసగా 33.04% మరియు 17.16%. రెండు 95% క్రమ అంతరాలు సున్నా మినహాయిస్తాయి; ప్రాథమిక ఎంగేజ్‌మెంట్ మెట్రిక్ ముఖ్యమైనది కాదు. — ఒక ప్రత్యేక ఆన్‌లైన్ A/B పరీక్షలో post-trained GLM-5.3 వర్సెస్ stock GLM-5.3. టూల్-వైఫల్యం మరియు MID+ రేట్లు, సాపేక్ష మార్పులు, మరియు 95% క్రమానుగత నమ్మక విరామాలు CUPED సవరణను ఉపయోగిస్తాయి. రెండు తగ్గింపులూ గణాంకపరంగా ప్రాముఖ్యమైనవి. MID+ రేట్లు, ఫిర్యాదుల సంఖ్యలు కాకుండా, అర్హత కలిగిన స్కోర్ చేసిన అనుసరణ థ్రెడ్‌లపై మధ్యస్థ-లేదా-అధిక అసంతృప్తి యొక్క అంచనా సంభావ్యతల సగటును సూచిస్తాయి. టూల్-వైఫల్య రేట్లు నమోదైన విజయ లేదా వైఫల్య స్థితి లేని కాల్‌లను మినహాయిస్తాయి.

సెషన్ స్థాయిలో కాకుండా, నిర్ణయం స్థాయిలో నేర్చుకోవడం కేంద్ర ఆలోచన.

সফল ফলাফল ভুলগুলিকে লুকাতে পারে, এবং একটি অসফল সেশন এখনও কীভাবে উন্নতি করতে হয় তা প্রকাশ করতে পারে। আমরা সফল সেশনগুলি থেকে দরকারী আচরণকে অ্যাঙ্কর হিসাবে রাখি, এড়ানো যায় এমন ব্যর্থতাগুলি চিহ্নিত করতে অভিযোগ এবং টুল ত্রুটিগুলি ব্যবহার করি, এবং সেই ভুলগুলি এবং সংশোধনগুলি স্পষ্ট করা হলে এটি যে পূর্বাভাস দেয় সেগুলির দিকে মডেলকে প্রশিক্ষণ দিই। সাফল্য সংরক্ষণ করার জন্য আচরণ প্রদান করে; ব্যর্থতা উন্নতির দিক নির্দেশনা দেয়।

వాస్తవ ప్రపంచ వినియోగం ఈ విధానాన్ని ముఖ్యంగా ఉపయోగకరంగా చేస్తుంది. వాస్తవ వినియోగదారులు సింథటిక్ వాతావరణంలో ఊహించడం కష్టమైన లక్ష్యాలు, నిబంధనలు మరియు వర్క్‌ఫ్లోలను తీసుకువస్తారు. వారి దిద్దుబాట్లు మోడల్ కోల్పోయిన అవసరాలను వెల్లడిస్తాయి, అయితే టూల్ లోపాలు మోడల్ ప్రయత్నించినదానికి మరియు వాతావరణం అనుమతించేదానికి మధ్య గ్యాప్‌లను బహిర్గతం చేస్తాయి. ఈ సంకేతాలు ఫలిత-ఆధారిత శిక్షణను పూరిస్తాయి: టాస్క్ విజయవంతమైందా అని మాత్రమే అడగడానికి బదులుగా, మోడల్ ఎక్కడ తప్పు చేసింది మరియు ఏ సమాచారం మెరుగైన నిర్ణయం తీసుకోవడానికి సహాయపడింది అని మనం అడగవచ్చు.

పరిమితులు కూడా అంతే ముఖ్యం. న్యాయ నిర్ణేతలు తప్పు చేయవచ్చు, మరియు ఒక టర్న్‌ను సరిదిద్దడం వలన పూర్తి టాస్క్ విజయవంతమవుతుందని హామీ ఇవ్వదు. కేవలం దిద్దుబాటు తర్వాత కోలుకునే ఏజెంట్ మాత్రమే లక్ష్యం కాదు. తరచుగా దిద్దుబాటు అవసరం లేని ఏజెంట్ ఇది.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

సింథటిక్ నుండి వాస్తవ ప్రపంచ డేటాకు

మంచి దశలను అనుకరించండి, చెడ్డవాటిని సరిదిద్దండి

ఒక ఉదాహరణ: ఒక సెషన్ రెండు పాఠాలను నేర్పగలదు

శిక్షణ ఎలా పనిచేస్తుంది

సెషన్‌లను ఎంచుకోండి, ఆపై ఫలితాన్ని అంచనా వేయండి

వినియోగదారు అభిప్రాయం నుండి తప్పులను కనుగొనండి

టూల్ లోపాల నుండి తప్పులను కనుగొనండి

రెండు ఫార్వార్డ్ పాస్‌లు

లాస్ ఫంక్షన్

CE లాస్

KL లాస్

సంయుక్త లాస్

మూల్యాంకనాలు ఏమి చూపుతాయి

సూచనలు తప్పుల నుండి మోడల్‌ను దారి మళ్లించగలవు

వినియోగదారు అభిప్రాయం

టూల్ లోపాలు

శిక్షణ తర్వాత టూల్ విశ్వసనీయత మరియు వినియోగదారు అభిప్రాయం

ఆఫ్‌లైన్ మూల్యాంకనం

ఆన్‌లైన్ మూల్యాంకనం: GLM-5.2

ఆన్‌లైన్ మూల్యాంకనం: GLM-5.3

ముగింపు

ఉదాహరణ