ЖИ агенттерін қалай бағалау керек: тест жиынтықтары, бағалаушылар және регрессиялық тексерулер

Әрбір үздік ЖИ өнімінің артында қателерді ерте анықтап, агенттің дұрыс жұмыс істеуін қамтамасыз ететін, evals деп аталатын ЖИ агентін бағалаудың мықты процесі тұр. Evals біреудің атынан қаражат қайтару сияқты жоғары тәуекелді әрекеттерді орындайтын ЖИ агенттері үшін аса маңызды.

Мұндай процесті құру белгілі бір техникалық білім мен деректерді талдау дағдыларын талап етеді. Бірақ бұл естілгендей қорқынышты немесе қолжетімсіз емес. Бастауыңызға көмектесу үшін біз ЖИ агенттерін бағалаудың алты практикалық қадамын және процесті бұзатын жиі кездесетін қате түсініктерді жинақтадық.

ЖИ агентін бағалау дегеніміз не?

ЖИ агентін бағалау — оның тапсырмаларды қаншалықты дұрыс орындайтынын және шешімдерінің ұйым талаптарына сай келетін-келмейтінін сараптау. Практикалық тұрғыдан алғанда, ЖИ агентін бағалау немесе evals — ұйымдарға агенттің өзіне арналған рөлде жеткілікті сенімді жұмыс істейтінін анықтауға көмектесетін нақты метрикалар.

Өндірістік зауытта қосалқы бөлшектер қорын тексеріп, толықтыру сұрауларын дайындайтын ЖИ сатып алу агентін елестетіп көріңіз. Егер мақұлданған бөлшек қолжетімсіз болса немесе жеткізуші туралы ақпарат ескірсе, агент мәселені белгілей ме, әлде мақұлданбаған баламаны ұсына ма?

Ал осы мәселені түзету үшін оның жүйелік промптын өзгертсеңіз, басқа мәселе туындатпағаныңызды қайдан білесіз?

Бағалау болмаса, өнім менеджерлері іс жүзінде болжаммен ғана әрекет етеді. Сондықтан evals өнімділікті өлшеуге, қайталанатын мәселелерді анықтауға және өзгерістерді үлкен сеніммен тексеруге мүмкіндік беретін кері байланыс сигналын ұсынады.

Айта кетсек, агентті бағалау іске қосудың бірнеше аспектісін қарастыра алады:

• Соңғы нәтиженің сапасы
• Агент пайдаланған ақпарат
• Ол шақырған құралдар
• Оның мінез-құлқын реттейтін ережелерді сақтаған-сақтамағаны

ЖИ агентін бағалаудың жиі қолданылатын метрикалары

Evals сапалық және сандық деректермен жұмыс істейді. Сапалық бағалау не болып жатқанын және неліктен екенін түсінуге көмектеседі, оның ішінде агент шешімдерін қолмен қарап шығу да бар. Сандық бағалау осы бақылауларды өлшенетін сигналдарға айналдырады: мысалы, белгілі бір қате түрлерінің жиілігін санайды немесе тапсырмалардың сәтті орындалу үлесін есептейді.

ЖИ агентін бағалаудың негізгі метрикаларының тізімі:

• Тапсырманың сәтті орындалуы агенттің көзделген нәтижеге жеткен-жетпегенін өлшейді; әдетте жарамды нәтиже берген іске қосулардың пайызымен өлшенеді.
• Әрекеттердің дұрыстығы агенттің құралдарды орынды пайдаланғанын, жарамды аргументтерді таңдағанын және рұқсаттарды сақтағанын өлшейді.
• Жауап сапасы соңғы нәтиженің дәл, толық және пайдалы екенін бағалайды. Оған фактілік дұрыстық, нұсқауларды сақтау және агенттің өз шешімдерін қолжетімді ақпаратпен негіздей алуы кіруі мүмкін.
• Сенімділік қайталанған сынақтарда, әртүрлі кіріс деректерде және шекті жағдайларда нәтиженің тұрақтылығын өлшейді.
• Құн мен кідіріс сәтті нәтижеге жету үшін қажетті ресурстарды, соның ішінде орындалу уақытын, токен шығынын және құрал шақыруларын өлшейді.

Нені өлшейтініңізге қарай evals агенттің басынан аяғына дейінгі өнімділігін, оның орындалу траекториясын немесе құрал шақырулары мен ақпарат іздеу қадамдары сияқты жекелеген құрамдас бөліктерін бағалай алады.

1-қадам: агенттің сәтті іске қосылуы қандай болатынын анықтаңыз

Алдымен агент нені орындауы тиіс екенін — өнім талаптарын — нақты сипаттаңыз. Бұл айқын нәрсе сияқты көрінгенімен, таңқаларлықтай қиын болуы мүмкін. Тіпті оның арнайы атауы да бар: спецификация алшақтығы.

Біздің аға деректер ғалымымыз Андрей Хомутовтың айтуынша, бұл міндетке былай келу керек:

«Екі сұрақтан бастаңыз: „Жұмыс орындалды деп нені санауға болады?“ және „Сырттай сәтті көрінген іске қосуды не қабылданбайтын етеді?“

Агенттер үшін техникалық тұрғыдан бұл нәтижені де, агенттердің оған қалай жеткенін де тексеру дегенді білдіреді.»

Агент дұрыс жауапқа ағып кеткен жауаптар кілтін пайдалану арқылы жетуі немесе тапсырманы орындау барысында рұқсат етілмеген әрекеттер жасауы мүмкін. Хомутовтың атап өтуінше, жауаптардың ағып кетуі және бағалау кезіндегі қауіпті әрекеттер — тек соңғы жауапқа қарап баға бермеудің нақты себептері.

«Траекторияны тексеру нәтиже күмәнді көрінгенде ғана жасалатын нәрсе емес, агентті бағалау жиынтықтарының стандартты бөлігіне айналады деп күтемін», — деп қосады ол.

Содан кейін сәттілік критерийлерін растау үшін сала сарапшысын тартыңыз. Сала бойынша практикалық білімі бар адамдар ЖИ агентіне біз қойған шарттардың сәтті нәтижені көрсететін-көрсетпейтінін ажырата алады.

2-қадам. Нақты тапсырмалар мен сәтсіздіктерден тест жиынтығын құрыңыз

Жақсы және нашар өнімділіктің қандай болатынын түсіну үшін агенттің нақты мінез-құлқын зерттеңіз. Тек не дұрыс болмай қалуы мүмкін деген өз болжамыңызға сүйеніп, ондаған тест жасаудан бастау азғыруына берілмеңіз.

Хамел Хусейн (Parlance Lab компаниясының ML инженері) мен Шрея Шанкар (ML жүйелері және қолданбалы ЖИ evals зерттеушісі) ұсынғандай, жұмысты машиналық оқыту мен деректер ғылымынан алынған қателерді талдау әдісінен бастаған жөн. Бұл процесс агенттің орындалу іздерін — пайдаланушының кіріс деректерін, құрал шақыруларын, алынған ақпаратты және агенттің нәтижесін көрсететін жазбаларды — сапалық талдаудан басталады.

1. Жеке іздерді қарап шығып, қателерге аннотация жасаңыз (ашық кодтау). Сала сарапшысы агенттің іске қосуларын тексеріп, не дұрыс болмағаны туралы қысқа бақылаулар жазсын. Алғашқы маңызды қатеге назар аударыңыз.
2. Бақылауларды қате түрлеріне топтаңыз (осьтік кодтау). Жазбалар жеткілікті жиналған соң, ұқсас қателердің санаттарын ұсыну үшін LLM пайдаланыңыз. Оларға үйлеспейтін бөлшектерді ұсыну, қор туралы деректерді дұрыс алмау және адамға тапсырудың сәтсіз аяқталуы жатуы мүмкін.
3. Жағдайлар санын есептеңіз. Әр бақылауды бір санатқа жатқызыңыз, содан кейін әр қате түрінің қаншалықты жиі кездесетінін есептеу үшін электрондық кестені немесе жиынтық кестені пайдаланыңыз.
4. Нені бірінші кезекте шешу керектігін анықтаңыз — жиілігі мен ауырлығын ескеріңіз.
5. Маңызды сәтсіздіктерді тест жағдайларына айналдырыңыз. Агентті сол сценарий бойынша қайта тексеру үшін тиісті кіріс деректерін, бастапқы шарттарды, күтілетін нәтижені және бағалау критерийлерін сақтаңыз.

Қанша ізді тексеру керек? Шамамен 100, бірақ сиқырлы сан жоқ. Теориялық қанығуға жеткенде ертерек тоқтаңыз: бұл — қосымша іздерді қарау жаңа маңызды қате үлгілерін бұдан әрі ашпайтын сәт.

Қолданбаны әлі іске қоспадыңыз ба? Бастапқы тест жиынтығын құруға синтетикалық мысалдар көмектесе алады, бірақ нақты пайдаланушы деректері қолжетімді бола салысымен, тест жиынтығын соларға сүйеніп жетілдіру керек.

ЖИ агентін бағалауда бенчмарктерді пайдалану

Өз тест жағдайларыңызды жасаумен қатар, агенттің мүмкіндіктерін бағалау үшін бенчмарктер деп аталатын стандартталған бағалау тапсырмаларының дайын жинақтарын пайдалана аласыз.

Бірақ бенчмарктер де мінсіз емес. SWE-bench аудиттері, Epoch AI бенчмарк шолулары және TheoPhysEval-да бастапқыда қабылданбаған дұрыс жауаптар қате құрастырылған тапсырмалардың немесе күтілетін жауаптардың бағалау нәтижелерін қалай бұрмалайтынын көрсетеді.

Хомутов кеңес бергендей, өз салаңызға сәйкес келетін өзекті бенчмарктерді таңдаңыз және ұпайларды агент өнімділігінің сенімді дәлелі ретінде қабылдамас бұрын, күтпеген сәттіліктер мен сәтсіздіктерді зерттеңіз.

3-қадам. Агентті қайталауға болатын тест ортасында іске қосыңыз

Қайталауға болатын тест ортасы — ЖИ агентін бірдей бастапқы шарттарда бірдей тест жағдайлары бойынша іске қосып, нәтижелерді салыстыруға мүмкіндік беретін бақыланатын орта. Оған тест жағдайлары бар қалта, агентті іске қосатын Python скрипті немесе нәтижелерді бағалайтын тексерулер жиынтығы кіреді.

Бастау үшін репрезентативті кіріс деректерін JSON файлдары ретінде сақтап, агенттің жұмыс процесін орындау және оның нәтижелерін assert тексерулері арқылы тексеру үшін Python скриптін пайдалана аласыз. Біздің өндірістік зауыттың қор агенті үшін қайталауға болатын тест ортасы мынадай болуы мүмкін:

Ұлғайту

Қайталауға болатын тест ортасын баптау үшін мына қадамдарды орындаңыз:

1. Репрезентативті кіріс деректерін сақтаңыз. Нақты оқиғаларды немесе тест жағдайларын қолданбаңыз өнімдік ортада қабылдайтын құрылыммен сақтаңыз. Біздің сценарийде станок идентификаторы, қажетті қосалқы бөлшек және техникалық қызмет көрсету күні бар техникалық қызмет көрсету сұрауын қор мен мақұлданған бөлшектер деректерінің снапшотымен бірге JSON файлы ретінде сақтайсыз.
2. Жұмыс процесін орындаңыз. Әр кірісті агент арқылы өткізіңіз: ақпарат іздеу қадамдары, құрал шақырулары және жауап генерациясы да қамтылсын.
3. Нәтиже мен ізді жазып алыңыз. Агенттің сәтсіздікке ұшырағанын ғана емес, қай жерде ұшырағанын да көру үшін соңғы нәтижені және тиісті аралық әрекеттерді (мысалы, қордан іздеуді) тіркеңіз.
4. Сәтсіздіктің ауырлығына, жиілігіне және мәселені түзетудің қиындығына қарай жағдайларды қайталаңыз. LLM қолданбалары детерминистік емес (бірдей кіріс деректерден әртүрлі нәтиже бере алады), сондықтан бір сәтті іске қосу келесісінің де сәтті болатынына кепілдік бермейді. Сәтті сынақтардың үлесін көрсетіп, сәтсіздіктерді тексеріңіз.

Соңғысы үшін Хомутов pass@1 (агенттің бір әрекетте қаншалықты жиі сәтті болатыны) және pass@k (белгіленген әрекеттер саны ішінде кемінде бір рет сәтті болу ықтималдығы) көрсеткіштерін өлшеуге кеңес береді. pass@k көрсеткішін ұсынсаңыз, әрекеттер санын көрсетіңіз, өйткені бірнеше жауаптың ішінде біреуінің дұрыс болуы агенттің қайсысын таңдау керектігін білетінін білдірмейді.

Қолданбаңыз өскен сайын тесттерді ұйымдастыру және іске қосу үшін pytest сияқты тестілеу фреймворкін пайдаланыңыз және үлкен тест деректер жиынтықтары мен нәтижелерді дерекқорда сақтауды қарастырыңыз.

4-қадам. Әр тексеру үшін дұрыс бағалаушыны таңдаңыз

Бағалаушы (grader; оны жиі evaluator деп те атайды) — агенттің нәтижесін немесе әрекетін белгіленген критерий бойынша тексеретін механизм: ол код үзіндісі, бағалау рубрикасына сүйенетін LLM немесе адам-рецензент болуы мүмкін. Бағалаушы өтті/өтпеді деген шешім мен тиісті дәлелдерді көрсететін түсініктемені қайтарады.

Ақпарат: Бағалау рубрикасы — дұрыс немесе қолайлы нәтиже деп нені санауға болатынын анықтайтын критерийлер мен нұсқаулар жиынтығы.

Дұрыс бағалаушы түрі нені тексергіңіз келетініне байланысты. Үш тәсіл былайша салыстырылады:

Кейде бір іске қосудың әртүрлі аспектілері әртүрлі бағалау әдістерін талап етуі мүмкін, сондықтан бағалаушыларды біріктіру қажет болуы мүмкін.

Бағалаушыларды қалай біріктіруге болады?

Өзіңізге сұрақ қойыңыз: «Нәтижені белгілі ережемен немесе күтілетін мәнмен салыстырып тексеруге бола ма, әлде ол адамша баға беруді қажет ете ме?»

• Егер нәтижені дәл тексере алсаңыз, кодқа негізделген бағалаушыдан бастаңыз. Кодқа негізделген бағалаушылар құрылымдалған нәтижелерді, өрістердің жарамды мәндерін, құрал аргументтерін немесе дерекқордың соңғы күйін де тексере алады.
• Егер тексеру контекстті түсіндіруді талап етсе, төреші ретіндегі LLM тәсілін пайдаланыңыз.
• Салаға тән немесе даулы шешімдер үшін адам-рецензенттерді тартыңыз.

Маңызды! LLM бағалаушысы дәлелдерді қате түсіндіруі немесе рубриканы дұрыс қолданбауы мүмкін. Сондықтан оған қосымша бағалау қадамы қажет: адам шешімдерімен салыстыра отырып калибрлеу.

LLM бағалаушысын адам шешімдерімен салыстыра отырып калибрлеңіз.

Негізінде калибрлеу үшін сала сарапшысы агенттің нақты іске қосуларын бағалауы керек. Содан кейін сарапшы өз шешімдерін LLM шешімдерімен салыстырып, келіспеушіліктер негізінде бағалау рубрикасын жетілдіреді.

Міне, бес қадамнан тұратын бағалаушыны калибрлеу процесі:

1. Агенттің кіріс деректерінің, нәтижелерінің және тиісті іздерінің мысалдарын жинаңыз.
2. Сала сарапшысы әр мысалдың бағалау критерийіне сәйкес келетін-келмейтінін дербес бағаласын.
3. LLM бағалаушысын осы мысалдарда іске қосыңыз.
4. Адам мен модельдің шешімдерін салыстырыңыз.
5. Бағалаушыны жаңа мысалдарда тексермес бұрын, келіспеушіліктерді зерттеп, оның рубрикасын жетілдіріңіз.

Хомутов сондай-ақ LLM бағалаушысының тұрақтылығын бөлек тексерудің маңыздылығын атап өтеді:

«Агентті қайта іске қоспай, бағалаушыға дәл сол сақталған іске қосу мен файлдарды бірнеше рет беріңіз. Осылайша агент жұмысындағы ауытқуды бағалаудағы ауытқудан ажырата аласыз.»

Егер бір нәтиже әртүрлі баға алса, ұпайдың әрбір өзгерісі агенттен туындайды деп есептемеңіз. Оның орнына бағалаушы қателерді қашан дұрыс анықтағанын, қашан өткізіп алғанын немесе қолайлы нәтижелерді қашан қате деп белгілегенін көрсететін қателер матрицасын қарап шығыңыз.

Адамның тексеруі эталондық шешімдерді белгілеу, даулы жағдайларды шешу және қолданыстағы бағалаушылар анықтауға арналмаған жаңа қате түрлерін табу үшін әлі де маңызды.

5-қадам. Нұсқаларды салыстырып, регрессиялық тексерулер жүргізіңіз

Қателерді талдау қор агентіңіздің мақұлданбаған алмастыратын бөлшектерді жиі ұсынатынын анықтады делік. Сіз оның жүйелік промптын үйлесімділікті нақты тексеруді талап ететіндей етіп өзгертесіз. Бастапқыда сәтсіз болған жағдай енді өтеді. Бірақ бұл өзгерістің басқа тапсырмаларға әсер етпегенін қайдан білесіз?

Дәл осы жерде регрессиялық тестілеу көмекке келеді.

Регрессиялық тестілеу — агенттің промптын, моделін немесе жұмыс процесін өзгерткеннен кейін өзгерістің жаңа сәтсіздіктер тудырмағанына көз жеткізу үшін бұрын сәтті өткен тест жағдайларын қайта іске қосу.

1. Тест жиынтығындағы сақталған кіріс деректерін пайдаланып, бастапқы сәтсіздікті қайталап шығарыңыз.
2. Промптқа, модельге немесе жұмыс процесіне мақсатты өзгеріс енгізіңіз.
3. Мәселенің шешілгенін тексеру үшін сәтсіз тестті қайта іске қосыңыз.
4. Өзгеріс бұрын дұрыс жұмыс істеп тұрған мүмкіндіктерді бұзбағанына көз жеткізу үшін қалған тесттерді іске қосыңыз.
5. Нәтижелерді қарап шығыңыз және жаңадан пайда болған ақаулардың себебін зерттеңіз.

Нәтижелер дәл болуы үшін базалық және жаңартылған агентті бірдей тест жағдайлары мен бағалау критерийлері бойынша салыстырыңыз.

6-қадам: өндірістік ортада ЖИ агентінің өнімділігін бақылау

Қолданбаны орналастырғаннан кейін агентті бағалау тоқтамайды. Хусейн мен Шанкар түсіндіргендей, әзірлеу кезінде қолданатын бағалаушыларды агентіңіздің уақыт өте келе қалай жұмыс істейтінін өлшеу үшін нақты өндірістік деректерде де іске қосуға болады.

Бұл онлайн бағалау деп аталады. Ол қайталанатын әрі бұрын белгісіз болған ақауларды анықтауға көмектесетін кеңірек өндірістік мониторинг процесінің бір бөлігі болып табылады.

Бұл процесс итеративті сипатта болады және бір-бірін толықтыратын төрт әрекеттен тұрады:

• Өндірістік трассаларда калибрленген LLM төрешілерін іске қосыңыз. Агенттің нақты өзара әрекеттесулерінен іріктеме алып, адам бағалауларымен салыстырып тексерген бағалаушыларыңызды қолданыңыз.
• Ақаулар жиілігін уақыт бойынша қадағалаңыз. Қайталанатын мәселелердің ауқымын сандық тұрғыда анықтау үшін қателерді талдау кезінде белгіленген ақау санаттарын пайдаланыңыз.
• Трассаларды қолмен қарауды жалғастырыңыз. Автоматтандырылған бағалаушылар өздері анықтауға арналған мәселелерді ғана табады. Жаңа қателерді немесе пайдаланушылардың әдеттен тыс сұрауларын анықтау үшін агенттің нақты өзара әрекеттесулерінің үлгілерін қолмен тексеріңіз.
• Бизнес нәтижелерін өлшеу үшін A/B тестілеуді қолданыңыз (тек орынды болғанда). Тапсырманың орындалуы, пайдаланушы қанағаттануы және мәселені шешу уақыты сияқты метрикалар арқылы әртүрлі промпттарды, модельдерді немесе жұмыс процестерін салыстырыңыз. Бұл процесс өзгерістің жекелеген тесттерден өтумен ғана шектелмей, өнімді пайдалану тәжірибесін шын мәнінде жақсартатынын анықтауға көмектеседі.

Бір маңызды ескерту: бағалауларды мінсіз етіп жетілдірудің қажеті жоқ. Олар өніміңізді жақсартуға жеткілікті деңгейде жақсы болса болғаны.

ЖИ агенттерін бағалау туралы жиі кездесетін қате түсініктер

• Бағалаулар — жай ғана модульдік тесттер. Олай емес: модульдік тесттер — бағалаудың бір бөлігі ғана болып табылатын шағын автоматтандырылған тексерулер. Бағалауға сондай-ақ қателерді сапалық талдау, адам бағалаулары, өндірістік мониторинг және қолданба сапасын өлшеуге арналған эксперименттер кіреді.
• Бағалау платформасы бәрін сіз үшін жасай алады. Дайын құралдар кейбір тексерулерді автоматтандыра алады, бірақ өніміңіз үшін қандай ақау режимдерінің (қате түрлерінің немесе агенттің қажетсіз әрекеттерінің) маңызды екенін анықтай алмайды.
• Бәрін LLM-ге бағалатуға болады. Бұл — өрескел қате пікір. Адам жүргізетін қателерді талдау мен бағалаушыларды калибрлеу әлі де маңызды, өйткені LLM-дерде әрбір мәселені анықтауға қажетті бизнес контексі жоқ.
• A/B тестілеу немесе агентті жай пайдалану бағалауларды алмастырады. Дұрыс емес. A/B тесттері таңдалған метрикалар бойынша қай нұсқаның жақсырақ жұмыс істейтінін көрсете алады, бірақ негізгі мәселелерді өз бетінше түсіндіре алмайды.

ЖИ агенттерін бағалау: жиі қойылатын сұрақтар

1. ЖИ агенттерін бағалау мен LLM бағалаудың айырмашылығы неде?

LLM бағалау тіл моделінің сұраққа жауап беру, құжатты қорытындылау немесе ақпаратты шығарып алу сияқты белгілі бір тапсырманы қаншалықты жақсы орындайтынын өлшейді. ЖИ агенттерін бағалау тапсырманы орындау үшін бірнеше қадамды өз бетінше жүзеге асыратын жүйені бағалайды.

Әдеттегі LLM бағалаудан айырмашылығы, агентті бағалау соңғы нәтижені де, оған жету үшін жасалған әрекеттер тізбегін де, соның ішінде құралдарды шақыруды, шешімдерді және алдын ала анықталған ережелердің сақталуын тексереді.

2. ЖИ агенттерін бағалаудың негізгі метрикалары

ЖИ агенттерін бағалау метрикалары екі негізгі санатқа бөлінеді:

• Техникалық өнімділік метрикалары: тапсырманың сәтті орындалу деңгейі, әрекеттердің дұрыстығы, жауап сапасы, сенімділік (pass@1 және pass@k), кідіріс, токен шығыны және сәтті орындалған әр тапсырманың құны.
• Бизнес және пайдаланушы тәжірибесі метрикалары: тұтынушы қанағаттануы (CSAT), мәселелерді шешу деңгейі, эскалация деңгейі, конверсия деңгейі, тапсырманы орындау уақыты және агенттің рөліне тән басқа да нәтижелер.

Мысалы, тұтынушыларды қолдау агенті мәселелерді сәтті шешуі мен тұтынушы қанағаттануы бойынша бағалануы мүмкін, ал ЖИ сатып алу агентінің жұмысы қорды толықтыру сұрауларының дәлдігімен, мақұлдау деңгейімен және сатып алу циклінің ұзақтығымен өлшенуі мүмкін.

Дұрыс метрикалар агенттің қаншалықты сенімді жұмыс істейтінін де, оның жұмысы бизнес нәтижелерін жақсартатын-жақсартпайтынын да көрсетуі керек.

3. ЖИ агенттерін бағалауға арналған ең жақсы құралдар қандай?

Жиі қолданылатын нұсқалар:

• Тестілеу фреймворктері: Python-дағы assert тексерулері мен pytest қайталанатын тест жағдайларын іске қосуға және агенттің дұрыс құралды таңдағаны немесе жарамды бөлшек идентификаторын (part ID) қайтарғаны сияқты нақты шарттарды тексеруге пайдалы.
• ЖИ агенттерін бағалау фреймворктері: DeepEval және Google компаниясының agent-eval toolkit құралы орындалу трассаларын, LLM негізіндегі бағалаушыларды және автоматтандырылған регрессиялық тестілеуді қоса алғанда, күрделірек бағалауларды қолдайды.
• Бағалау және бақыланымдылық (observability) платформалары: LangSmith, Arize Phoenix және MLflow командаларға агенттің әрекетін зерттеуге, бағалау деректер жинақтарын басқаруға, агент нұсқаларын салыстыруға және өндірістік ортадағы өнімділікті бақылауға көмектеседі.

4. ЖИ агенттерін бағалауды қалай автоматтандыруға болады?

ЖИ агенттерін бағалауды қайталанатын тесттер құру, автоматтандырылған бағалаушыларды қолдану және осы тексерулерді әзірлеу мен өндірістік жұмыс процестеріне біріктіру арқылы автоматтандыруға болады:

1. Бағалау деректер жинағын жасаңыз: пайдаланушылардың типтік тапсырмаларын, күтілетін нәтижелерді, белгілі ақауларды және агенттің орындалу трассаларын жинаңыз. Құралды шақырудың сәтсіздігі, ақпараттың жетіспеуі және рұқсатсыз әрекеттер сияқты шекаралық жағдайларды қосыңыз.
2. Тесттерді орындау мен бағалауды автоматтандырыңыз: тест жағдайларын іске қосу және кодқа негізделген тексерулерді немесе LLM бағалаушыларын қолдану үшін pytest немесе DeepEval сияқты фреймворктерді пайдаланыңыз. LLM бағалаушыларының ұпайларына сүйенбес бұрын, оларды адам бағалауларымен салыстырып тексеріңіз.
3. Бағалауларды CI/CD процесіне кіріктіріңіз: әзірлеушілер агенттің промпттарын, модельдерін, құралдарын немесе жұмыс процесін жаңартқан кезде регрессиялық тесттерді автоматты түрде қайта іске қосыңыз. Нәтижелерді базалық деңгеймен салыстырып, маңызды тексерулер сәтсіз болғанда шығарылымдарды тоқтататын сапа шектерін белгілеңіз.
4. Іріктелген өндірістік трассаларға калибрленген бағалаушыларды қолданыңыз, ақаулар жиілігін және басқа өнімділік метрикаларын қадағалаңыз, сондай-ақ жаңа қателерді қолмен қарау арқылы зерттеңіз.