Hvernig á að meta gervigreindarfulltrúa: prófunarsöfn, einkunnagjafar og afturhvarfsprófanir

Á bak við hverja frábæra gervigreindarvöru er öflugt matsferli fyrir gervigreindarfulltrúa, svokallað evals, sem greinir villur snemma og tryggir að fulltrúinn starfi rétt. Slíkt mat skiptir sköpum fyrir gervigreindarfulltrúa sem framkvæma áhættusamar aðgerðir á borð við endurgreiðslur fyrir hönd annarra.

Að byggja upp slíkt ferli krefst nokkurrar tækniþekkingar og færni í gagnagreiningu. En það er hvergi nærri jafn ógnvekjandi eða óaðgengilegt og það kann að hljóma. Til að hjálpa þér að byrja höfum við tekið saman sex hagnýt skref við mat á gervigreindarfulltrúum ásamt algengum ranghugmyndum sem spilla ferlinu.

Hvað felst í því að meta gervigreindarfulltrúa?

Að meta gervigreindarfulltrúa felur í sér að leggja mat á hversu vel honum tekst að leysa verkefni rétt af hendi og hvort ákvarðanir hans uppfylli kröfur fyrirtækisins. Í reynd eru mælingar á gervigreindarfulltrúum, eða evals, tilteknir mælikvarðar sem hjálpa fyrirtækjum að ákvarða hvort fulltrúinn virki nægilega áreiðanlega fyrir fyrirhugað hlutverk sitt.

Hugsaðu þér gervigreindarfulltrúa sem sér um innkaup í verksmiðju, fer yfir birgðir varahluta og útbýr beiðnir um áfyllingu. Ef samþykktur hlutur er ekki fáanlegur eða upplýsingar um birgja eru úreltar, mun fulltrúinn þá vekja athygli á vandanum eða mæla með ósamþykktum staðgengli?

Og ef þú breytir kerfisfyrirmælum hans til að laga það vandamál, hvernig veistu að þú hafir ekki skapað nýtt?

Án mats eru vörustjórar í raun að giska. Mat veitir því endurgjöf til að mæla frammistöðu, koma auga á endurtekin vandamál og prófa breytingar af meira öryggi.

Að því sögðu getur mat á fulltrúa tekið til nokkurra þátta keyrslu:

• Gæði lokaniðurstöðunnar
• Upplýsingarnar sem fulltrúinn notaði
• Tólin sem hann kallaði á
• Hvort hann fylgdi reglunum sem gilda um hegðun hans

Algengir mælikvarðar við mat á gervigreindarfulltrúum

Mat byggir á bæði eigindlegum og megindlegum gögnum. Eigindlegt mat hjálpar þér að skilja hvað er að gerast og hvers vegna, meðal annars með því að fara handvirkt yfir ákvarðanir fulltrúans. Megindlegt mat breytir þessum athugunum í mælanleg merki, til dæmis með því að telja hversu oft tilteknar villutegundir koma upp eða reikna út hlutfall verkefna sem takast.

Hér er listi yfir grundvallarmælikvarða við mat á gervigreindarfulltrúum:

• Árangur verkefna mælir hvort fulltrúinn náði tilætlaðri niðurstöðu; yfirleitt mældur sem hlutfall keyrslna sem skila gildum niðurstöðum.
• Réttmæti aðgerða mælir hvort fulltrúinn notaði tól á viðeigandi hátt, valdi gild viðföng og virti heimildir.
• Gæði svara segja til um hvort lokaúttakið sé nákvæmt, tæmandi og gagnlegt. Þar getur verið um að ræða réttmæti staðreynda, fylgni við fyrirmæli og hvort fulltrúinn rökstyðji ákvarðanir sínar með tiltækum upplýsingum.
• Áreiðanleiki mælir samkvæmni í endurteknum tilraunum, við breytilegt inntak og í jaðartilvikum.
• Kostnaður og biðtími mæla þau tilföng sem þarf til að ná árangursríkri niðurstöðu, þar á meðal keyrslutíma, tókanotkun og köll í tól.

Eftir því hvað þú ert að mæla getur mat tekið til heildarframmistöðu fulltrúans frá upphafi til enda, framvindu keyrslunnar eða einstakra þátta á borð við köll í tól og upplýsingaöflunarskref.

Skref 1: Ákveddu hvernig árangursrík keyrsla fulltrúa lítur út

Fyrst skaltu lýsa skýrt hverju fulltrúinn á að áorka — vörukröfunum. Það hljómar augljóst en getur reynst furðu erfitt. Það er meira að segja til heiti yfir þetta: forskriftarbilið.

Svona mælir Andrey Khomutov, yfirgagnafræðingur hjá okkur, með að nálgast þetta:

„Byrjaðu á tveimur spurningum: „Hvað myndi teljast að verkinu sé lokið?“ og „Hvað myndi gera keyrslu sem virðist árangursrík óásættanlega?“

Fyrir fulltrúa þýðir það, frá tæknilegu sjónarhorni, að skoða bæði niðurstöðuna og hvernig fulltrúinn komst að henni.“

Fulltrúi gæti skilað réttu svari með því að komast í svarlykil sem hefur lekið út, eða gripið til óheimilla aðgerða á meðan hann leysir verkefnið. Khomutov bendir á að svarleki og óöruggar aðgerðir við mat séu áþreifanlegar ástæður til að dæma ekki lokasvarið eitt og sér.

„Ég býst við að skoðun á framvindu keyrslna verði staðlaður hluti af matssöfnum fyrir fulltrúa, frekar en eitthvað sem við gerum aðeins þegar niðurstaða virðist grunsamleg,“ bætir hann við.

Fáðu síðan sérfræðing á viðkomandi sviði til að staðfesta árangursviðmiðin þín. Fólk með hagnýta þekkingu á sviðinu getur metið hvort skilyrðin sem við setjum gervigreindarfulltrúa endurspegli árangursríka niðurstöðu.

Skref 2. Búðu til prófunarsafn úr raunverulegum verkefnum og villum

Skoðaðu raunverulega hegðun fulltrúans til að skilja hvernig góð og slæm frammistaða lítur út. Standstu freistinguna að byrja á því að búa til tugi prófana sem byggja eingöngu á því sem þú heldur að gæti farið úrskeiðis.

Hamel Husain, ML-verkfræðingur hjá Parlance Lab, og Shreya Shankar, rannsakandi á sviði ML-kerfa og mats á hagnýtri gervigreind, mæla með því að byrja á villugreiningu, aðferð sem fengin er að láni úr vélanámi og gagnavísindum. Ferlið hefst á eigindlegri greiningu á keyrsluslóðum fulltrúans — skrám sem sýna inntak notandans, köll í tól, sóttar upplýsingar og úttak fulltrúans.

1. Farðu yfir einstakar keyrsluslóðir og skráðu villur (opin kóðun). Láttu sérfræðing á sviðinu skoða keyrslur fulltrúans og skrifa stuttar athugasemdir um hvað fór úrskeiðis. Einbeittu þér að fyrstu villunni sem skiptir máli.
2. Flokkaðu athuganir í villutegundir (ásakóðun). Þegar þú hefur safnað nægum athugasemdum skaltu nota mállíkan (LLM) til að stinga upp á flokkum fyrir sambærilegar villur. Þar á meðal gætu verið ráðleggingar um ósamhæfa varahluti, rangar birgðaupplýsingar við upplýsingaöflun og misheppnaðar yfirfærslur til starfsfólks.
3. Teldu tilvikin. Settu hverja athugun í flokk og notaðu síðan töflureikni eða veltitöflu til að reikna út hversu oft hver villutegund kemur fyrir.
4. Forgangsraðaðu því sem þarf að taka á, með tilliti til bæði tíðni og alvarleika.
5. Breyttu mikilvægum villum í prófunartilvik. Vistaðu viðeigandi inntak, upphafsskilyrði, vænta niðurstöðu og matsviðmið svo hægt sé að prófa fulltrúann aftur við sömu aðstæður.

Hversu margar keyrsluslóðir ættirðu að skoða? Um það bil 100, en það er engin töfratala. Hættu fyrr ef þú nærð fræðilegri mettun: þeim punkti þar sem frekari yfirferð keyrsluslóða leiðir ekki lengur í ljós ný villumynstur sem skipta máli.

Hefurðu ekki enn gefið forritið út? Tilbúin dæmi geta hjálpað til við að byggja upp fyrsta prófunarsafnið, en raunveruleg notendagögn ættu að móta það um leið og þau verða tiltæk.

Notkun viðmiðunarprófa við mat á gervigreindarfulltrúum

Auk þess að búa til eigin prófunartilvik geturðu notað fyrirliggjandi söfn staðlaðra matsverkefna, svokölluð viðmiðunarpróf (e. benchmarks), til að meta getu fulltrúa.

En viðmiðunarpróf eru ekki óskeikul. Úttektir á SWE-bench, yfirferð Epoch AI á viðmiðunarprófum og rétt svör sem upphaflega var hafnað í TheoPhysEval sýna hvernig gölluð verkefni eða vænt svör geta skekkt niðurstöður mats.

Eins og Khomutov ráðleggur skaltu velja nýleg viðmiðunarpróf sem tengjast þínu sviði og rannsaka óvæntar niðurstöður, hvort sem próf standast eða falla, áður en þú lítur á einkunnirnar sem áreiðanlega vísbendingu um frammistöðu fulltrúans.

Skref 3. Keyrðu fulltrúann í endurtakanlegu prófunarumhverfi

Endurtakanlegt prófunarumhverfi er stýrð uppsetning þar sem þú getur keyrt gervigreindarfulltrúa á sömu prófunartilvikum við sömu upphafsskilyrði og borið saman niðurstöðurnar. Þetta felur í sér möppu með prófunartilvikum, Python-skriftu sem keyrir fulltrúann eða safn athugana sem meta niðurstöðurnar.

Þú getur byrjað á því að vista dæmigert inntak sem JSON-skrár og nota Python-skriftu til að keyra verkflæði fulltrúans og athuga úttak hans með staðhæfingum (assertions). Fyrir birgðafulltrúa verksmiðjunnar okkar gæti endurtakanlegt prófunarumhverfi litið svona út:

Stækka

Fylgdu þessum skrefum til að setja upp endurtakanlegt prófunarumhverfi:

1. Vistaðu dæmigert inntak. Geymdu raunverulega atburði eða prófunartilvik á sama sniði og forritið þitt tekur við í raunkeyrslu. Í okkar dæmi myndirðu vista viðhaldsbeiðni sem inniheldur auðkenni vélar, nauðsynlegan varahlut og dagsetningu viðhalds sem JSON-skrá, ásamt skyndimynd af birgðum og gögnum um samþykkta varahluti.
2. Keyrðu verkflæðið. Keyrðu hvert inntak í gegnum fulltrúann, þar á meðal upplýsingaöflunarskref, köll í tól og gerð svars.
3. Skráðu niðurstöðuna og keyrsluslóðina. Vistaðu lokaúttakið og viðeigandi millistigsaðgerðir (eins og uppflettingar í birgðum) svo þú sjáir ekki aðeins hvort fulltrúanum mistókst, heldur einnig hvar.
4. Endurtaktu tilvik út frá alvarleika villu, tíðni og því hversu erfitt er að laga vandann. Forrit sem byggja á mállíkönum eru ólöggeng (þau geta skilað ólíkum niðurstöðum úr sama inntaki), þannig að ein árangursrík keyrsla tryggir ekki að sú næsta takist. Gefðu upp hlutfall árangursríkra tilrauna og skoðaðu þær sem mistókust.

Varðandi hið síðarnefnda ráðleggur Khomutov að mæla pass@1 (hversu oft fulltrúanum tekst ætlunarverkið í einni tilraun) og pass@k (líkurnar á að það takist að minnsta kosti einu sinni í tilteknum fjölda tilrauna). Ef þú gefur upp pass@k, skaltu tilgreina fjölda tilrauna, þar sem eitt rétt svar af nokkrum þýðir ekki að fulltrúinn viti hvert þeirra eigi að velja.

Eftir því sem forritið þitt stækkar skaltu nota prófunarramma eins og pytest til að skipuleggja og keyra prófanir og íhuga að geyma stór prófunargagnasöfn og niðurstöður í gagnagrunni.

Skref 4. Veldu réttan matsaðila fyrir hverja athugun

Matsaðili (e. grader, einnig oft kallaður evaluator) er aðferð í formi kóðabúts, mállíkans sem stýrt er af matskvarða eða mannlegs yfirlesara sem ber úttak eða aðgerð fulltrúa saman við skilgreint viðmið. Matsaðili skilar úrskurði um hvort viðmiðið sé uppfyllt eða ekki ásamt útskýringu sem tilgreinir viðeigandi sönnunargögn.

Upplýsingar: Matskvarði er safn viðmiða og leiðbeininga sem skilgreina hvað telst rétt eða ásættanleg niðurstaða.

Hvaða tegund matsaðila hentar fer eftir því hvað þú ert að reyna að sannreyna. Svona bera aðferðirnar þrjár sig saman:

Stundum krefjast ólíkir þættir sömu keyrslu mismunandi matsaðferða, svo þú gætir þurft að sameina matsaðila.

Hvernig sameinarðu matsaðila?

Þú spyrð: „Er hægt að sannreyna niðurstöðuna út frá þekktri reglu eða væntu gildi, eða krefst hún mats sem líkist mannlegu mati?“

• Ef þú getur sannreynt niðurstöðuna nákvæmlega skaltu byrja á kóðabundnum matsaðila. Kóðabundnir matsaðilar geta einnig sannreynt skipulagt úttak, gild svæðisgildi, viðföng tóla eða lokastöðu gagnagrunns.
• Ef athugunin krefst túlkunar á samhengi skaltu nota mállíkan sem dómara (LLM-as-a-judge).
• Notaðu mannlega yfirlesara fyrir sérhæfðar eða umdeildar ákvarðanir.

Mikilvægt! Matsaðili sem byggir á mállíkani getur mistúlkað sönnunargögn eða beitt matskvarða rangt. Því þarf viðbótarskref í matinu: kvörðun út frá mati fólks.

Kvarðaðu LLM-matsaðilann út frá mati fólks.

Í grunninn krefst kvörðun þess að sérfræðingur á sviðinu meti raunverulegar keyrslur fulltrúans. Sérfræðingurinn ber síðan sitt mat saman við mat mállíkansins og fínstillir matskvarðann út frá því sem ber á milli.

Hér er fimm skrefa kvörðunarferli fyrir matsaðila:

1. Safnaðu dæmum um inntak, úttak og viðeigandi keyrsluslóðir fulltrúans.
2. Láttu sérfræðing á sviðinu meta sjálfstætt hvort hvert dæmi uppfylli matsviðmiðið.
3. Keyrðu LLM-matsaðilann á þessum dæmum.
4. Berðu saman mat fólksins og líkansins.
5. Rannsakaðu ágreiningsatriði og fínstilltu matskvarða matsaðilans áður en þú prófar hann á nýjum dæmum.

Khomutov leggur einnig áherslu á mikilvægi þess að prófa samkvæmni LLM-matsaðilans sérstaklega:

„Gefðu honum nákvæmlega sömu vistuðu keyrsluna og skrárnar nokkrum sinnum, án þess að keyra fulltrúann aftur. Þannig geturðu greint á milli breytileika í vinnu fulltrúans og breytileika í matinu.“

Ef sama úttak fær mismunandi úrskurði skaltu ekki gera ráð fyrir að allar breytingar á einkunn stafi frá fulltrúanum. Skoðaðu frekar ruglingsfylki sem sýnir hvenær matsaðilinn greindi villur rétt, missti af þeim eða merkti ásættanlegt úttak ranglega.

Mannleg yfirferð er áfram nauðsynleg til að ákvarða viðmiðunarmat, skera úr um umdeild tilvik og uppgötva nýjar villutegundir sem núverandi matsaðilar voru ekki hannaðir til að greina.

Skref 5. Berðu saman útgáfur og keyrðu aðhvarfsprófanir

Segjum að villugreining leiði í ljós að birgðafulltrúinn þinn mæli oft með ósamþykktum varahlutum. Þú breytir kerfisfyrirmælum hans þannig að krafist sé skýrrar samhæfnisathugunar. Upprunalega tilvikið sem féll stenst nú. En hvernig veistu að breytingin hafi ekki haft áhrif á önnur verkefni?

Þar koma aðhvarfsprófanir til sögunnar.

Aðhvarfsprófun felst í því að keyra aftur prófunartilvik sem áður stóðust eftir að fyrirmælum, líkani eða verkflæði fulltrúans hefur verið breytt, til að tryggja að breytingin hafi ekki valdið nýjum villum.

1. Endurskapaðu upprunalegu villuna með vistuðu inntaki úr prófunarsafninu.
2. Gerðu markvissa breytingu á fyrirmælunum, líkaninu eða verkflæðinu.
3. Keyrðu prófið sem féll aftur til að athuga hvort vandinn sé leystur.
4. Keyrðu hinar prófanirnar til að ganga úr skugga um að breytingin hafi ekki raskað hegðun sem áður virkaði.
5. Skoðaðu niðurstöðurnar og rannsakaðu allar nýjar villur.

Berðu viðmiðsútgáfu gervigreindarfulltrúans saman við uppfærðu útgáfuna með sömu prófunartilvikum og matsviðmiðum til að fá nákvæmar niðurstöður.

Skref 6: Vaktaðu frammistöðu gervigreindarfulltrúans í raunkeyrslu

Mati á gervigreindarfulltrúa lýkur ekki þótt forritið hafi verið tekið í notkun. Eins og Husain og Shankar útskýra er hægt að keyra sömu matstólin og þú notar við þróun á raunveruleg gögn úr raunkeyrslu til að mæla hvernig gervigreindarfulltrúinn stendur sig með tímanum.

Þetta kallast mat í rauntíma og er einn hluti af víðtækara vöktunarferli í raunkeyrslu sem hjálpar til við að koma auga á endurteknar og áður óþekktar villur.

Ferlið byggist á ítrunum og samanstendur af fjórum þáttum sem bæta hver annan upp:

• Láttu kvarðaða LLM-dómara meta keyrsluferla úr raunkeyrslu. Taktu úrtak af raunverulegum samskiptum gervigreindarfulltrúans og beittu matstólunum sem þú hefur þegar sannreynt gagnvart mati fólks.
• Fylgstu með villutíðni yfir tíma. Notaðu villuflokkana sem skilgreindir voru í villugreiningunni til að mæla endurtekin vandamál.
• Haltu áfram að fara handvirkt yfir keyrsluferla. Sjálfvirkir einkunnagjafar greina aðeins þau vandamál sem þeir eru hannaðir til að finna. Skoðaðu handvirkt úrtök af raunverulegum samskiptum gervigreindarfulltrúans til að koma auga á nýjar villur eða óvenjulegar beiðnir notenda.
• Notaðu A/B-prófanir til að mæla viðskiptalegan árangur (aðeins þegar það á við). Berðu saman mismunandi kvaðningar, líkön eða verkflæði með mælikvörðum á borð við hlutfall lokinna verkefna, ánægju notenda og tíma til úrlausnar. Ferlið hjálpar til við að meta hvort breyting bæti raunverulega upplifun af vörunni, umfram það að standast einstakar prófanir.

Eitt mikilvægt atriði: matið þarf ekki að vera fullkomið. Það þarf einfaldlega að vera nógu gott til að bæta vöruna þína.

Algengur misskilningur um mat á gervigreindarfulltrúum

• Mat snýst bara um einingaprófanir. Svo er ekki; einingaprófanir eru litlar, sjálfvirkar athuganir sem eru aðeins einn hluti af matinu. Mat felur einnig í sér eigindlega villugreiningu, mat fólks, vöktun í raunkeyrslu og tilraunir til að mæla gæði forritsins.
• Matsvettvangur getur séð um allt fyrir þig. Tilbúin tól geta gert sumar athuganir sjálfvirkar, en þau geta ekki ákvarðað hvaða bilunarhættir (tegundir villna eða óæskilegrar hegðunar gervigreindarfulltrúa) skipta máli fyrir vöruna þína.
• Þú getur látið mállíkan meta allt. Það er mikill misskilningur. Villugreining undir stjórn fólks og kvörðun einkunnagjafa eru áfram nauðsynlegar, þar sem mállíkön skortir það viðskiptalega samhengi sem þarf til að finna öll vandamál.
• A/B-prófanir eða einföld notkun gervigreindarfulltrúans koma í stað mats. Rangt. A/B-prófanir geta sýnt hvaða útgáfa stendur sig betur miðað við valda mælikvarða, en geta ekki einar og sér útskýrt undirliggjandi vandamál.

Algengar spurningar um mat á gervigreindarfulltrúum

1. Hver er munurinn á mati á gervigreindarfulltrúum og mati á mállíkönum (LLM)?

Mat á mállíkönum mælir hversu vel mállíkan leysir tiltekið verkefni, svo sem að svara spurningu, draga saman skjal eða draga út upplýsingar. Mat á gervigreindarfulltrúum metur kerfi sem framkvæmir sjálfstætt mörg skref til að ljúka verkefni.

Ólíkt hefðbundnu mati á mállíkönum skoðar mat á gervigreindarfulltrúum bæði lokaniðurstöðuna og þá aðgerðaröð sem leiddi til hennar, þar á meðal tólaköll, ákvarðanir og fylgni við fyrir fram skilgreindar reglur.

2. Lykilmælikvarðar fyrir mat á gervigreindarfulltrúum

Mælikvarðar fyrir mat á gervigreindarfulltrúum skiptast í tvo meginflokka:

• Mælikvarðar á tæknilega frammistöðu: Árangurshlutfall verkefna, réttmæti aðgerða, gæði svara, áreiðanleiki (pass@1 og pass@k), svartími, tókanotkun og kostnaður á hvert vel heppnað verkefni.
• Mælikvarðar á viðskipti og notendaupplifun: Ánægja viðskiptavina (CSAT), hlutfall leystra mála, hlutfall mála sem vísað er áfram, umbreytingarhlutfall, tími til að ljúka verkefnum og aðrar niðurstöður sem tengjast sérstaklega hlutverki gervigreindarfulltrúans.

Til dæmis mætti meta gervigreindarfulltrúa í þjónustuveri út frá því hversu vel hann leysir mál og hversu ánægðir viðskiptavinir eru, en gervigreindarfulltrúa fyrir innkaup mætti meta út frá nákvæmni áfyllingarbeiðna, samþykktarhlutfalli og lengd innkaupaferlisins.

Réttu mælikvarðarnir ættu að endurspegla bæði hversu áreiðanlega gervigreindarfulltrúinn vinnur og hvort vinna hans bæti viðskiptalegan árangur.

3. Hver eru bestu tólin til að meta gervigreindarfulltrúa?

Algengir valkostir eru meðal annars:

• Prófunarrammar: Python-fullyrðingar og pytest nýtast vel til að keyra endurtakanleg prófunartilvik og athuga nákvæm skilyrði, til dæmis hvort gervigreindarfulltrúi hafi valið rétta tólið eða skilað gildu hlutanúmeri.
• Rammar fyrir mat á gervigreindarfulltrúum: DeepEval og agent-eval toolkit frá Google styðja flóknara mat, þar á meðal keyrsluferla, einkunnagjafa sem byggja á mállíkönum og sjálfvirkar afturhvarfsprófanir.
• Vettvangar fyrir mat og vöktun: LangSmith, Arize Phoenix og MLflow hjálpa teymum að skoða hegðun gervigreindarfulltrúa, halda utan um matsgagnasöfn, bera saman útgáfur gervigreindarfulltrúa og vakta frammistöðu í raunkeyrslu.

4. Hvernig er hægt að gera mat á gervigreindarfulltrúum sjálfvirkt?

Þú getur gert mat á gervigreindarfulltrúum sjálfvirkt með því að smíða endurtakanlegar prófanir, beita sjálfvirkum einkunnagjöfum og samþætta þessar athuganir í verkflæði þróunar og raunkeyrslu:

1. Búðu til matsgagnasafn: Safnaðu dæmigerðum verkefnum notenda, væntum niðurstöðum, þekktum villum og keyrsluferlum gervigreindarfulltrúans. Taktu með jaðartilvik á borð við misheppnuð tólaköll, upplýsingar sem vantar og óheimilar aðgerðir.
2. Gerðu keyrslu prófana og einkunnagjöf sjálfvirka: Notaðu ramma á borð við pytest eða DeepEval til að keyra prófunartilvik og beita kóðabundnum athugunum eða LLM-einkunnagjöfum. Sannreyndu LLM-einkunnagjafa gagnvart mati fólks áður en þú treystir á einkunnir þeirra.
3. Samþættu matið við CI/CD: Keyrðu afturhvarfsprófanir sjálfkrafa þegar forritarar uppfæra kvaðningar, líkön, tól eða verkflæði gervigreindarfulltrúans. Berðu niðurstöðurnar saman við viðmiðsútgáfu og settu gæðaþröskulda sem koma í veg fyrir útgáfu þegar mikilvægar athuganir standast ekki.
4. Beittu kvörðuðum einkunnagjöfum á úrtak keyrsluferla úr raunkeyrslu, fylgstu með villutíðni og öðrum frammistöðumælikvörðum og rannsakaðu nýjar villur með handvirkri yfirferð.