తమను తాము మెరుగుపరుచుకునే నైపుణ్యాలు
Perplexity Brain అనుభవం నుండి పునరావృతమయ్యే విధానాలను ఎలా నేర్చుకుంటుంది, వాటిని ఎలా తాజాగా ఉంచుతుంది.
పరిచయం
సాధారణ-ప్రయోజన మోడల్ ముందుగానే తెలుసుకోలేని వర్క్ఫ్లో-నిర్దిష్ట ప్రాధాన్యతలు మరియు అవసరాలు వినియోగదారులకు ఉంటాయి. ప్రతి సెషన్లో ఒకే విధానాన్ని వివరించమని లేదా అవే దిద్దుబాట్లు చేయమని వినియోగదారును కోరడానికి బదులుగా, తన పనిని వినియోగదారుకు అనుగుణంగా మార్చుకోవడానికి ఏజెంట్ ఈ వివరాలను నేర్చుకోవాలి. నిరంతర అభ్యాసం దీనిని సాధ్యం చేస్తుంది: పూర్తయిన టాస్క్ల నుండి పొందిన అనుభవం, ఏజెంట్ భవిష్యత్ పనిని ఎలా చేపడుతుందో మార్గనిర్దేశం చేయాలి.
Computer యొక్క వ్యక్తిగతీకరించిన స్వీయ-మెరుగుదల సిస్టమ్ అయిన Brain, అనుభవం ద్వారా నేర్చుకోవడాన్ని సాధ్యం చేస్తుంది. ఇది ఇప్పటికే వినియోగదారు మరియు వారి పని గురించిన సమాచారాన్ని దానికి మద్దతు ఇచ్చే ఆధారాలతో అనుసంధానించే నిర్మాణాత్మక నాలెడ్జ్ వికీని నిర్వహిస్తుంది. కొత్త సమాచారం పోగయ్యే కొద్దీ బ్యాక్గ్రౌండ్ ఏజెంట్లు వికీని అప్డేట్ చేస్తాయి, కాబట్టి మెమరీ సిస్టమ్ కాలక్రమేణా మెరుగుపడుతుంది.
ఏజెంట్ నైపుణ్యాలు అంతర్లీన మోడల్ను మార్చకుండానే ఏజెంట్ ప్రవర్తనకు మార్గనిర్దేశం చేయడానికి మరొక మార్గాన్ని అందిస్తాయి. నైపుణ్యాలు అనేవి నిర్దిష్ట టాస్క్ల ద్వారా ఏజెంట్కు మార్గనిర్దేశం చేసే పునర్వినియోగ సూచనలు. ఏజెంట్ లేకపోతే ప్రతిసారీ మెమరీ నుండి ఊహించాల్సిన లేదా వినియోగదారు నుండి అందుకోవాల్సిన, పునరావృత వర్క్ఫ్లోల అవసరాలను మరియు సహాయక వనరులను అవి సంగ్రహిస్తాయి, దీనివల్ల శిక్షణ పంపిణీకి వెలుపలి (out-of-distribution) టాస్క్లపై పనితీరు మెరుగుపడుతుంది. కోడ్లో విశ్వసనీయంగా వ్యక్తీకరించగల పునరావృత విధానాలు లేదా ప్రాసెసింగ్ కోసం స్క్రిప్ట్లను కూడా అవి చేర్చగలవు, కాబట్టి అవి వర్తించినప్పుడు ఏజెంట్ ఆ స్క్రిప్ట్లను నేరుగా రన్ చేయవచ్చు. harness అందుబాటులో ఉన్న నైపుణ్యాలను కనుగొనగలిగేలా చేస్తుంది మరియు ఏజెంట్ అభ్యర్థించినప్పుడు వాటి సూచనలను కాంటెక్స్ట్లోకి లోడ్ చేస్తుంది. వినియోగదారులు ప్రాంప్ట్లో ఏ నైపుణ్యాలను ఉపయోగించాలో నేరుగా పేర్కొనవచ్చు కూడా.
ఏజెంట్ నైపుణ్యాలను ఆటోమేటిక్గా సృష్టించి, అప్డేట్ చేసేలా మేము Brainను విస్తరిస్తున్నాము. ఆ వినియోగదారు వర్క్ఫ్లోల కోసం విధానాలను సంగ్రహించే వ్యక్తిగత నైపుణ్యాలను రాయడానికి మరియు మెరుగుపరచడానికి Brain వినియోగదారు మెమరీ మరియు సెషన్ చరిత్రపై ఆధారపడుతుంది. ప్రతి Perplexity వినియోగదారుకు అందుబాటులో ఉండే అంతర్నిర్మిత నైపుణ్యాలను, అన్ని సెషన్లలోని సమగ్ర నమూనాల ఆధారంగా అప్డేట్ చేయడానికి మేము ఇదే విధమైన పద్ధతిని వర్తింపజేస్తాము.
అన్ని నైపుణ్య రకాలలో భాగస్వామ్యమైన మా స్వీయ-మెరుగుదల ఇంజిన్ను మొదట వివరించి, అది వ్యక్తిగత మరియు అంతర్నిర్మిత నైపుణ్యాలకు ఎలా పనిచేస్తుందో వివరిస్తాము.
భాగస్వామ్య స్వీయ-మెరుగుదల ఇంజిన్
ఉపయోగకరమైన నైపుణ్యం కూడా కొత్త ప్రాధాన్యతలు ఏర్పడినప్పుడు లేదా అనుభవం దాని సూచనలలోని లోపాలను బయటపెట్టినప్పుడు మారాల్సి ఉంటుంది. తదుపరిసారి Computer ఇలాంటి టాస్క్ను ఎదుర్కొన్నప్పుడు ఏజెంట్ ప్రవర్తన ఎలా మారాలో కనుగొనడం, మరియు కోరుకున్న ఫలితాన్ని మెరుగ్గా సాధించడానికి నైపుణ్యం ఎలా మారాలో నిర్ణయించడం Brain బాధ్యత.
ఈ మెరుగుదల ప్రక్రియ నాలుగు దశలతో కూడిన లూప్ను ఏర్పరుస్తుంది:
- ఆధారాలు. నైపుణ్యాన్ని ఉపయోగించిన గత సెషన్లను, ముఖ్యంగా అది ఆశించిన స్థాయిలో పని చేయని సెషన్లను Brain కనుగొంటుంది.
- పునఃపరిశీలన. ఒక మెరుగుదల ఏజెంట్ ఆ ఆధారాలను అధ్యయనం చేసి, నైపుణ్యానికి అప్డేట్లను ప్రతిపాదిస్తుంది.
- ధృవీకరణ. ప్రతిపాదన సరైన రూపంలో ఉందని మరియు ఫలితాలను మెరుగుపరిచే అవకాశం ఉందని తనిఖీలు నిర్ధారిస్తాయి.
- యాక్టివేషన్. ధృవీకరించిన మార్పు అమలు చేయబడుతుంది. భవిష్యత్ సెషన్లు కొత్త వెర్షన్ను ఉపయోగిస్తాయి, తదుపరి రౌండ్కు ఆధారాలను అందిస్తాయి.
ఈ లూప్ Computer మరియు Brain కోసం నిర్మించిన అనేక ప్రస్తుత సామర్థ్యాలపై ఆధారపడి ఉంటుంది. ఇక్కడ, ఆధారాలు మరియు పునఃపరిశీలనను సాధ్యం చేసే భాగస్వామ్య యంత్రాంగాన్ని వివరిస్తాము. ధృవీకరణ మరియు యాక్టివేషన్ విధానాలు ఒక మార్పు ఒక వినియోగదారుకు చేరుతుందా లేదా ప్రతి Perplexity వినియోగదారుకు చేరుతుందా అనే దానిపై ఆధారపడి ఉంటాయి, కాబట్టి వాటిని వ్యక్తిగత మరియు అంతర్నిర్మిత నైపుణ్య మెరుగుదల లూప్లపై తదుపరి విభాగాలలో వివరిస్తాము.
గత సెషన్ల నుండి ఆధారాలు
పునఃపరిశీలనకు, నైపుణ్యాన్ని ఉపయోగించిన సెషన్లను, ముఖ్యంగా మెరుగుదలకు అవకాశం ఉన్న సెషన్లను కనుగొనడం అవసరం. దీనిని సాధ్యం చేసే సంకేతాలను Computer harness నమోదు చేస్తుంది. ఏజెంట్ ఒక నైపుణ్యాన్ని లోడ్ చేసినప్పుడు, harness ఆ నైపుణ్యాన్ని సెషన్తో అనుసంధానించే నైపుణ్యం-లోడ్ ఈవెంట్ను నమోదు చేస్తుంది. ఏజెంట్ వినియోగదారు అసంతృప్తి, సరిగా పని చేయని ప్రవర్తన లేదా స్పష్టమైన అసమర్థతను గమనించినప్పుడు, అది ఒక చిన్న, నిర్మాణాత్మక డయాగ్నొస్టిక్ను నమోదు చేస్తుంది, మరియు harness ఉపయోగంలో ఉన్న నైపుణ్యాలను దానికి జతచేస్తుంది. ఇవి అంతర్నిర్మిత నైపుణ్యాలకు ప్రత్యేకంగా ఉపయోగపడతాయి, ఎందుకంటే అక్కడ ఏ సెషన్ అయినా సంబంధితం కావచ్చు, కాబట్టి ఆధారాల సమూహాన్ని త్వరగా కుదించడానికి సిస్టమ్కు ఒక మార్గం అవసరం.
ఫలితం లేదా చిన్న సారాంశం ఆధారంగా నిర్ణయం తీసుకోవడం కంటే, పూర్తి రికార్డుకు యాక్సెస్ ఉండటం ఏజెంట్లకు ప్రయోజనకరం. Computer గత సెషన్లను ప్రొవైడర్-నిరపేక్ష ట్రాజెక్టరీ ప్రాతినిధ్యాలను ఉపయోగించి నిల్వ చేస్తుంది, ఇవి సందేశాలు, టూల్ కాల్లు, రీజనింగ్ మరియు ఫలితాలను సంగ్రహిస్తాయి. ఏజెంట్లు ఈ ట్రాజెక్టరీలను డీకోడ్ చేసి పూర్తి సెషన్లను పునర్నిర్మించడానికి ఉపయోగించగల కమాండ్-లైన్ టూల్ల సూట్ను కూడా మేము రూపొందించాము. దీనివల్ల పునఃపరిశీలన ఏజెంట్ నిర్దిష్ట నైపుణ్య లోడ్లను మరియు టూల్ కాల్లను పరిశీలించి, సమస్యలు సంభవించిన లేదా మెరుగుదలలు చేయగల ఖచ్చితమైన పాయింట్లను గుర్తించగలుగుతుంది.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlComputer యొక్క అంతర్గత ట్రాజెక్టరీ-పరిశీలన టూల్ల ఉదాహరణ వినియోగం. దృష్టాంతం కోసం పాత్లు మరియు ఐడెంటిఫైయర్లు సరళీకరించబడ్డాయి; కమాండ్ పేర్లు మరియు ఆర్గ్యుమెంట్లు అమలుకు అనుగుణంగానే ఉన్నాయి.
బ్యాక్గ్రౌండ్ ఏజెంట్లతో పునఃపరిశీలన
ప్రతి వినియోగదారు అనుభవాన్ని నిరంతరం ఆప్టిమైజ్ చేయడానికి Brain బ్యాక్గ్రౌండ్ ఏజెంట్ల బృందాన్ని ఉపయోగిస్తుంది. ఉదాహరణకు, Dream ఏజెంట్లు నాలెడ్జ్ వికీని అప్డేట్ చేయడానికి సేకరించిన అనుభవాన్ని సమీక్షిస్తాయి. అదే విధంగా, నైపుణ్య మెరుగుదల అనేది నైపుణ్య-వినియోగ ఆధారాలను పునఃపరిశీలించి అప్డేట్లను ప్రతిపాదించే మెరుగుదల ఏజెంట్ల ద్వారా పనిచేస్తుంది.
ప్రతి ఏజెంట్ ఫ్రాంటియర్ మోడల్, సంబంధిత ఆధారాలు మరియు ప్రస్తుత నైపుణ్య లైబ్రరీతో, ప్లగ్ఇన్లు మరియు నైపుణ్యాల మార్గదర్శకత్వంలో, దాని సొంత శాండ్బాక్స్లో పని చేస్తుంది. ఏ సెషన్లను చదవాలో అది నిర్ణయిస్తుంది, ప్రతి దాని నుండి ఒక నిర్దిష్ట పాఠాన్ని గ్రహిస్తుంది, మరియు ఒకే పునర్వినియోగ ప్రవర్తనను కోరే పాఠాలను సమూహపరుస్తుంది. ఒక వైఫల్యానికి చేసిన పరిష్కారం మరొక సూచనకు విరుద్ధంగా ఉండవచ్చు లేదా వేరే చోట పనిని పెంచవచ్చు కాబట్టి, సవరణను ప్రతిపాదించే ముందు అది పూర్తి నైపుణ్యాన్ని చదువుతుంది, మరియు ఆధారాలు సవరణకు మద్దతు ఇవ్వనప్పుడు దూరంగా ఉంటుంది.
మెరుగుదల ఏజెంట్లు Computer ఉపయోగించే అదే harnessపై నడుస్తాయి. మేము harnessను మాడ్యులర్గా రూపొందించాము, కాబట్టి కొత్త ఏజెంట్ అప్లికేషన్ ప్లగ్ఇన్ల ద్వారా తన సొంత సూచనలు మరియు సామర్థ్యాలను నిర్వచించుకుంటూనే, రీజనింగ్, టూల్ వినియోగం మరియు కాంటెక్స్ట్ నిర్వహణ కోసం దాని యంత్రాంగాన్ని పునర్వినియోగించుకోగలదు. ప్రత్యేక బ్యాక్గ్రౌండ్ వర్కర్ ఫ్లీట్ ద్వారా ఈ ప్రాసెసింగ్ను ఫోర్గ్రౌండ్ టాస్క్ల నుండి స్వతంత్రంగా స్కేల్ చేయగలుగుతున్నాము.
వ్యక్తిగత నైపుణ్య మెరుగుదల లూప్
వినియోగదారు టాస్క్ చరిత్రను కొత్త లేదా అప్డేట్ చేసిన వ్యక్తిగత నైపుణ్యాలుగా మార్చే వ్యక్తిగత మెరుగుదల లూప్కు భాగస్వామ్య స్వీయ-మెరుగుదల ఇంజిన్ ఎలా వర్తింపజేయబడుతుందో మొదట వివరిస్తాము. కింది చిత్రం ఒక ఉదాహరణ నైపుణ్యాన్ని పూర్తి లూప్ ద్వారా అనుసరించి, సవరించిన వెర్షన్తో ముగుస్తుంది.
రోజువారీ జనరేషన్ రన్ సమయంలో, మెరుగుదల ఏజెంట్ చేయదగిన మార్పులను నిర్ణయించడానికి వినియోగదారు ఇటీవలి సెషన్లను సమీక్షిస్తుంది. ఇటీవలి సెషన్ల సమితి, నైపుణ్య వినియోగ డేటాతో పాటు, శాండ్బాక్స్లోకి ముందుగానే లోడ్ చేయబడుతుంది; వినియోగదారు మిగిలిన సెషన్ చరిత్రను అవసరమైనప్పుడు తిరిగి పొందవచ్చు. మెరుగుదల ఏజెంట్ ప్రస్తుత నైపుణ్యాల కేటలాగ్ను కూడా అందుకుంటుంది. దానికి ఇంటర్నెట్ లేదా ఇతర కనెక్టర్లకు యాక్సెస్ ఉండదు.
వ్యక్తిగత నైపుణ్య మెరుగుదల వర్క్ఫ్లో కోసం రూపొందించిన ప్లగ్ఇన్లు మరియు నైపుణ్యాలు, మంచి అప్డేట్ అంటే ఏమిటి అనే మా సూత్రాల ఆధారంగా, పునఃపరిశీలన ప్రక్రియకు మార్గనిర్దేశం చేస్తాయి. ఏజెంట్ మొదట ప్రతి సెషన్లో ఒక నిర్దిష్ట పాఠాన్ని గుర్తించడానికి పూర్తి ట్రాజెక్టరీలను విశ్లేషిస్తుంది. తర్వాత అది పాఠాలను ప్రస్తుత సూచనలతో పోల్చి, ఒక నైపుణ్యాన్ని అప్డేట్ చేయాలా, కొత్తది సృష్టించాలా, లేదా ఎలాంటి మార్పు చేయకూడదా అని నిర్ణయిస్తుంది. ఒక నైపుణ్యాన్ని సృష్టించడానికి అదే పునర్వినియోగ ప్రవర్తన రెండు స్వతంత్ర సందర్భాలలో కనిపించాలి, అయితే ప్రస్తుత నైపుణ్యానికి అప్డేట్ను ఆధారాలతో కూడిన ఒకే సందర్భంతో సమర్థించవచ్చు.
ఏజెంట్ నైపుణ్యాన్ని నేరుగా సవరించదు. బదులుగా, అది ఉద్దేశించిన మార్పులను, వాటికి మద్దతు ఇచ్చే తార్కికతను మరియు ఆధారాలను నమోదు చేస్తూ ఒక ప్రతిపాదనను రూపొందిస్తుంది. ప్రతి రన్లో ఒక్కో నైపుణ్యానికి ఒక్క మార్పుకు మాత్రమే అప్డేట్లు పరిమితం. నిర్ణయాత్మక తనిఖీలు ప్రతిపాదనలు సరైన రూపంలో ఉన్నాయని మరియు నైపుణ్యానికి వర్తింపజేయగలవని ధృవీకరిస్తాయి. విడిగా, ఒక LLM జడ్జ్ నమూనాగా తీసుకున్న ప్రతిపాదనలను ఆడిట్ చేస్తుంది, ఆధారాలు మార్పుకు మద్దతు ఇస్తున్నాయా మరియు ఫలితంగా వచ్చే నైపుణ్యం ఉపయోగకరమైన సూచనలను అందిస్తుందా అని తనిఖీ చేస్తుంది.
యాక్టివేషన్ ధృవీకరించిన ప్రతిపాదనను వినియోగదారు నైపుణ్య లైబ్రరీలో మార్పుగా మారుస్తుంది, దీనివల్ల కొత్త వెర్షన్ను భవిష్యత్ సెషన్లలో లోడ్ చేసి ఉపయోగించవచ్చు. ప్రతి సెషన్ ప్రారంభంలో harness అందుబాటులో ఉన్న అన్ని నైపుణ్యాల ఇండెక్స్ను లోడ్ చేస్తుంది కాబట్టి, పెద్ద నైపుణ్య లైబ్రరీ కాంటెక్స్ట్ విండోను నింపేసి, సంబంధిత నైపుణ్యాలను కనుగొని లోడ్ చేయడం ఏజెంట్కు కష్టతరం చేస్తుంది. ఫలితంగా, సిస్టమ్ అత్యంత విలువైన నైపుణ్యాలను మాత్రమే ఉంచుతుంది, చిన్న, ఎంపిక చేసిన లైబ్రరీని నిర్వహించడానికి అవసరం లేని నైపుణ్యాలను ఉపసంహరిస్తుంది. ప్రత్యేకంగా, ఆటోమేటిక్గా సృష్టించిన నైపుణ్యాలపై ప్రతి వినియోగదారుకు 10 పరిమితిని అమలు చేస్తాము. పరిమితి చేరినప్పుడు, మెరుగుదల ఏజెంట్ ఇప్పటికీ నైపుణ్యాలను అప్డేట్ చేయగలదు లేదా తీసివేయగలదు, కానీ కొత్త నైపుణ్యాన్ని జోడించాలంటే అది ఇప్పటికే ఉన్న ఒక నైపుణ్యాన్ని ఉపసంహరించి, కొత్త నైపుణ్యం వినియోగదారు పనికి ఎందుకు మరింత ఉపయోగకరమో సమర్థించాలి.
అంతర్నిర్మిత నైపుణ్య మెరుగుదల లూప్
మేము Brain యొక్క నిరంతర నైపుణ్య మెరుగుదల ఫ్రేమ్వర్క్ను అంతర్నిర్మిత నైపుణ్యాలకు కూడా విస్తరిస్తున్నాము. ఒక వినియోగదారు మెమరీ మరియు సెషన్ చరిత్రను ఉపయోగించి ఆ వినియోగదారు వ్యక్తిగత నైపుణ్యాలను మెరుగుపరచడానికి బదులుగా, అంతర్నిర్మిత లూప్ అనేక మంది వినియోగదారుల ఆధారాలను ఉపయోగించి ప్రతి Perplexity వినియోగదారుకు అందుబాటులో ఉన్న నైపుణ్యాలను మెరుగుపరుస్తుంది. అంతర్నిర్మిత నైపుణ్యాలను ఎవరైనా ఉపయోగించవచ్చు కాబట్టి, మార్పులకు ప్రమాణం ఎక్కువగా ఉంటుంది; అనుకోకుండా పనితీరును దిగజార్చే అప్డేట్లు వేలాది సెషన్లను ప్రభావితం చేయవచ్చు. అంతర్నిర్మిత మెరుగుదల ఏజెంట్ నైపుణ్యాల అభ్యర్థి వెర్షన్లను మాత్రమే మారుస్తుంది. నైపుణ్యం యొక్క ప్రామాణిక వెర్షన్ను చేరుకోవడానికి, ఈ అప్డేట్లు జత రీప్లే మరియు అంతర్గత మానవ సమీక్షను దాటాలి. మరోసారి, ఒక ఉదాహరణ నైపుణ్యం మరియు సహాయక ఆధారాలతో పూర్తి లూప్ను అనుసరిస్తాము.
అంతర్నిర్మిత మెరుగుదల లూప్, శిక్షణలో ఉపయోగించడానికి అర్హత ఉన్న సెషన్ల నుండి శానిటైజ్ చేసిన ఆధారాలను ఉపయోగిస్తుంది. సంబంధిత ఆధారాలను ఎంచుకోవడానికి డయాగ్నొస్టిక్లు మరియు వైఫల్య సంకేతాలు ఉపయోగించబడతాయి, వీటితో పాటు ఎలాంటి ఫ్లాగ్లు లేకుండా నైపుణ్యాన్ని ఉపయోగించిన కంట్రోల్ సెషన్లను కూడా ఎంచుకుంటారు. ఒక శానిటైజేషన్ పైప్లైన్ క్రెడెన్షియల్లు మరియు ఇతర రహస్యాలను, అలాగే జతచేసిన ఫైల్లు మరియు మీడియాను తొలగిస్తుంది.
ఒక దృశ్య-జనరేషన్ ఏజెంట్ శానిటైజ్ చేసిన ఆధారాలను నిర్దిష్ట వైఫల్య దృశ్యాలుగా మారుస్తుంది. వైఫల్య సందర్భాన్ని అర్థం చేసుకోవడానికి మరియు నైపుణ్యాన్ని మెరుగుపరచడానికి అవసరమైన కాంటెక్స్ట్ను మాత్రమే అది ఉంచుతుంది; సెషన్లోని మిగిలిన భాగం సింథటిక్గా పునర్నిర్మించబడుతుంది, దీనివల్ల ధృవీకరణ ప్రక్రియ కోసం స్వయం-సంపూర్ణ పరీక్ష తయారవుతుంది. దృశ్యాలు కనెక్ట్ చేసిన యాప్లు లేదా సైన్-ఇన్ లేకుండా నడవాలి; అసలు టాస్క్ ఏదైనా కనెక్టర్పై ఆధారపడి ఉంటే, ఆ ఇన్పుట్ను దృశ్యంలో సింథటిక్ ఫైల్లతో భర్తీ చేస్తారు. జనరేట్ చేసిన దృశ్యంపై నైపుణ్యం విఫలమవుతుందని ఒక ప్రత్యేక తనిఖీ ధృవీకరిస్తుంది.
గమనించిన వైఫల్యాలను పరిష్కారాలుగా మార్చే వారపు సవరణ జాబ్ ద్వారా పునఃపరిశీలన జరుగుతుంది. ఒకే చెడ్డ సెషన్ సవరణకు దారితీయకుండా ఉండేందుకు, ఇది అనేక సెషన్లలో పునరావృతమయ్యే నైపుణ్య వైఫల్యాల కోసం చూస్తుంది. పునరావృతమయ్యే ప్రతి వైఫల్యానికి ఒక ప్రత్యేక మెరుగుదల ఏజెంట్ రన్ కేటాయించబడుతుంది. ఏజెంట్ మూల కారణ వివరణను, విజయవంతమైన సెషన్ల నుండి శానిటైజ్ చేసిన రికార్డులతో పాటు అందుకుంటుంది. ఈ ఆధారాలను ఉపయోగించి అది నైపుణ్యం యొక్క అభ్యర్థి సవరణను రాస్తుంది. పూర్తి వైఫల్య దృశ్యాలు మూల్యాంకనంలో ఉపయోగించబడతాయి కాబట్టి, అది వాటిని అందుకోదు.
ఒక ప్రత్యేక రీప్లే జాబ్ జనరేట్ చేసిన దృశ్యాలను ఉపయోగించి నైపుణ్యం యొక్క అసలు మరియు సవరించిన వెర్షన్లను పోలుస్తుంది. ఒక LLM జడ్జ్ ప్రతి దృశ్యం యొక్క రూబ్రిక్కు అనుగుణంగా ఏజెంట్ సమాధానాలను మరియు ట్రాజెక్టరీలను మూల్యాంకనం చేస్తుంది. ఒక ప్రతిపాదన ఉత్తీర్ణత సాధించాలంటే, సవరించిన నైపుణ్యంతో ప్రతి పరీక్ష దృశ్యం ఉత్తీర్ణత సాధించాలి, మరియు అసలు నైపుణ్యంతో కనీసం ఒకటి విఫలం కావాలి. ఏదీ పని చేయడం ఆగిపోలేదని నిర్ధారించడానికి, కంట్రోల్ సెషన్ల నుండి నిర్మించిన దృశ్యాలను కూడా రీప్లే చేస్తారు. వైఫల్య దృశ్యాల కోసం, విఫలమైన టాస్క్ను అదే సమస్యకు ఆధారంగా పరిగణించకుండా, నిర్దిష్ట వైఫల్యం నిజంగా సంభవించిందో లేదో కూడా జడ్జ్ తనిఖీ చేస్తుంది.
ఈ వర్క్ఫ్లో అభ్యర్థి మార్పులను మరియు మూల్యాంకన ఫలితాలను అంతర్గత మానవ సమీక్ష కోసం ఒక pull requestగా ప్యాకేజ్ చేస్తుంది. ఒక ఇంజనీర్ PRని ఆమోదిస్తేనే మార్పులు అమలులోకి వస్తాయి.
మూల్యాంకనాలు
ఆటోమేటిక్ నైపుణ్య మెరుగుదల నైపుణ్యాల సృష్టి మరియు వినియోగాన్ని గణనీయంగా పెంచింది. ఆగస్టు 1 నుండి నవంబర్ 14 మధ్య Brain 20,000 మందికి పైగా వినియోగదారుల కోసం 80,000కు పైగా వ్యక్తిగత నైపుణ్యాలను రాసింది. అదనంగా, సెప్టెంబర్ 4 నుండి నవంబర్ 14 మధ్య 30,000కు పైగా ప్రస్తుత వ్యక్తిగత నైపుణ్యాలకు 1,00,000కు పైగా ఆటోమేటిక్ అప్డేట్లు వర్తింపజేయబడ్డాయి.
ఈ నైపుణ్యాలు సాఫ్ట్వేర్ను ధృవీకరించడం నుండి పేరోల్ను సమన్వయం చేయడం, రేఖాచిత్రాలను డిజైన్ చేయడం వరకు విస్తృత శ్రేణి డొమైన్లు మరియు టాస్క్లను కవర్ చేస్తాయి. Brain రూపొందించిన నైపుణ్యాలను అవి వివరించే వర్క్ఫ్లోల ఆధారంగా మేము వర్గీకరించాము. అతిపెద్ద డొమైన్ అయిన సాఫ్ట్వేర్ ఇంజనీరింగ్ కూడా కేవలం 11% నైపుణ్యాలను మాత్రమే కలిగి ఉంది; దాని తర్వాత పరిశోధన మరియు బ్రీఫింగ్లు (10.1%), సేల్స్ మరియు ఆపరేషన్స్ (9.9%), ఫైనాన్స్ మరియు పెట్టుబడులు (9.9%) ఉన్నాయి.
ఆటోమేటిక్ వ్యక్తిగత-నైపుణ్య మెరుగుదల ప్రారంభించబడిన వినియోగదారులను, అది నిలిపివేయబడిన కంట్రోల్ గ్రూప్తో పోలుస్తూ, మేము ప్రొడక్షన్ ట్రాఫిక్పై ఎనిమిది వారాల యాదృచ్ఛిక పరీక్షను నిర్వహించాము. నైపుణ్య మెరుగుదల ప్రారంభించబడిన వారిలో 72.9% మందికి కనీసం ఒక కొత్త వ్యక్తిగత నైపుణ్యం లభించింది, అది లేని వారిలో కేవలం 6.5% మంది మాత్రమే మాన్యువల్గా కొత్త నైపుణ్యాన్ని జోడించారు. ట్రీట్మెంట్ గ్రూప్లో సగానికి పైగా (53%) మంది వినియోగదారులు ప్రారంభించిన సంభాషణలో వ్యక్తిగత నైపుణ్యం లోడ్ అయింది, కంట్రోల్ గ్రూప్లో ఇది 13%; వారి టర్న్లలో వ్యక్తిగత నైపుణ్యం సుమారు 3.6 రెట్లు ఎక్కువసార్లు లోడ్ అయింది. Brain రాసిన నైపుణ్యాన్ని పొందిన కస్టమర్లలో 63% మంది నాలుగు వారాలలోపు తదుపరి సంభాషణలో అలాంటి నైపుణ్యాన్ని మళ్లీ ఉపయోగించారు.
ఈ కొత్త మరియు అప్డేట్ చేసిన నైపుణ్యాలు టాస్క్ అమలును మరియు మొత్తం పనితీరును ఎలా ప్రభావితం చేస్తాయో నిర్ణయించడం మా మూల్యాంకనాల లక్ష్యం.
అదే యాదృచ్ఛిక ప్రయోగం ఫలితాలు టూల్ కాల్ వైఫల్యాలు మరియు వినియోగదారు అసంతృప్తి తగ్గినట్లు చూపుతున్నాయి. ఆటోమేటిక్ నైపుణ్య మెరుగుదల ఉన్న వినియోగదారులకు, మొత్తం Computer కార్యకలాపాల్లో టూల్ కాల్ వైఫల్య రేటు 11% తగ్గింది. సిస్టమ్ సొంత బ్యాక్గ్రౌండ్ రన్లను మినహాయించినా, టూల్ కాల్లు సుమారు 7% తక్కువసార్లు విఫలమయ్యాయి, ఇది వినియోగదారు పనిలో విశ్వసనీయత మెరుగుపడిందని సూచిస్తుంది. ఒక్కో వినియోగదారుకు మధ్యస్థ/అధిక అసంతృప్తి ఉన్న థ్రెడ్ల సంఖ్యగా కొలిచిన వినియోగదారు అసంతృప్తి 7.6% తగ్గింది. ఖర్చులో లేదా ప్రతిస్పందన సమయంలో కొలవదగిన మార్పు ఏదీ కనిపించలేదు. ఈ ప్రారంభ పరీక్షలు ఆశాజనక ఫలితాలను చూపుతున్నాయి, మరియు మేము సిస్టమ్ను మెరుగుపరుస్తూ, స్వీయ-మెరుగుదల నైపుణ్యాలను మరింత మంది వినియోగదారులకు అందుబాటులోకి తెస్తున్న కొద్దీ కాలక్రమేణా మెరుగుదలలు పెరుగుతాయని ఆశిస్తున్నాము.
ఆఫ్లైన్ ప్రయోగాలు కూడా పరిమిత సెట్టింగ్లలో మెరుగుదలలను నమోదు చేశాయి. ఒక SkillLearnBench ప్రయోగంలో, Computer మునుపటి టాస్క్ ట్రాజెక్టరీలను ఉపయోగించి తొమ్మిది టాస్క్ ఫ్యామిలీలలో ప్రతి దానికి ఒక వ్యక్తిగత నైపుణ్యాన్ని సృష్టించింది. 16 జత మూల్యాంకన సందర్భాలలో, టాస్క్ విజయం నైపుణ్యాలు లేకుండా 43.8% నుండి జనరేట్ చేసిన నైపుణ్యాలతో 62.5%కి పెరిగింది, ఇది గత అనుభవం నుండి రూపొందించిన నైపుణ్యాలు పునరావృత టాస్క్లపై పనితీరును మెరుగుపరచగలవని ఆధారాలను అందిస్తుంది. ఒక అంతర్నిర్మిత కేస్ స్టడీలో, ఒక ఈకామర్స్ నైపుణ్యానికి చేసిన సవరణలు 32% తక్కువ ఖర్చుతో 6% నాణ్యత పెరుగుదలకు దారితీశాయి, నాణ్యతను ఆటోమేటెడ్ జడ్జ్ ద్వారా కొలిచారు.
ముగింపు
స్వీయంగా మెరుగుపడే నైపుణ్యాలు, Computer తాను చేసే పని నుండి నేర్చుకోవడానికి మరొక మార్గాన్ని అందిస్తాయి. ఇది ప్రొసీజరల్ మెమరీని సృష్టించి నిర్వహించేలా Brainను విస్తరిస్తుంది, సంక్లిష్ట వర్క్ఫ్లోలపై పనితీరును మెరుగుపరుస్తుంది. ఆటోమేటిక్ నైపుణ్య మెరుగుదల ఇప్పటికే నైపుణ్యాల వినియోగాన్ని పెంచింది, టూల్ వైఫల్య రేట్లను తగ్గించింది మరియు వినియోగదారు అసంతృప్తిని తగ్గించింది.
వ్యక్తిగత నైపుణ్య మెరుగుదల ఇప్పుడు USలోని Max సబ్స్క్రైబర్లందరికీ అందుబాటులో ఉంది. అర్హత ఉన్న వినియోగదారులకు ఇది డిఫాల్ట్గా ఆన్లో ఉంటుంది, కానీ దీన్ని ఆఫ్ చేయవచ్చు. ప్లగ్ఇన్లు ట్యాబ్ అందుబాటులో ఉన్న నైపుణ్యాలను చూపుతుంది, Brain రూపొందించిన వాటిని గుర్తిస్తుంది, మరియు ఏ నైపుణ్యాలను ప్రారంభించాలో ఎంచుకోవడానికి వినియోగదారులను అనుమతిస్తుంది.
తర్వాత, వినియోగదారులు రూపొందించిన నైపుణ్యాలు, ప్రాజెక్ట్లలో షేర్ చేసిన నైపుణ్యాలు మరియు సంస్థ నైపుణ్యాలతో సహా మరిన్ని నైపుణ్య తరగతులకు మెరుగుదలను విస్తరిస్తాము. సవరణలు మరింత విశ్వసనీయమైన విధానాలకు మరియు మెరుగైన ఫలితాలకు దారితీసేలా మెరుగుదల పైప్లైన్ను మరియు దాని మూల్యాంకనాలను మెరుగుపరచడం కొనసాగిస్తాము.
ఉల్లేఖనం
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}