Samhengishrörnun hjá gervigreindarfulltrúum: hvers vegna löng verkefni tapa nákvæmni og hvernig má koma í veg fyrir það

Leiðarvísir um hvað safnast upp í samhengi gervigreindarfulltrúa, hvers vegna það skaðar nákvæmni og hvernig á að setja upp verkefni sem haldast áreiðanleg.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

Hvað samhengishrörnun þýðir fyrir gervigreindarfulltrúa

Samhengishrörnun (e. context rot) hjá gervigreindarfulltrúum er smám saman minnkandi nákvæmni sem kemur fram eftir því sem samhengi fulltrúans fyllist í löngu verkefni.

Samhengi gervigreindarfulltrúa samanstendur af þeim upplýsingum sem líkanið hefur aðgang að fyrir næsta skref sitt. Það getur innihaldið fyrirmæli, fyrri skilaboð, leitarniðurstöður og texta af vefsíðum eða úr skrám. Eftir því sem fulltrúinn vinnur getur hann bætt meiru við.

Segjum til dæmis að verkefni gervigreindarfulltrúa sé að finna birgja sem afhenda innan tveggja vikna. Í upphafi inniheldur samhengið aðeins þessa beiðni. Þegar verkefnið er hálfnað inniheldur samhengið einnig texta af tugum vefsíðna birgja, nokkrar síður af leitarniðurstöðum og minnispunkta um hvaða birgja fulltrúinn hefur þegar skoðað.

Það eru takmörk fyrir því hversu mikið samhengi líkan getur rúmað (kallað samhengisgluggi). Glugginn er mældur í táknum (e. tokens), sem eru litlir textabútar, yfirleitt orð eða hluti úr orði. Samhengishrörnun eykst eftir því sem samhengið stækkar og þess vegna er hún líklegust í löngum verkefnum með mörgum skrefum.

Eftir því sem samhengishrörnunin versnar verður fulltrúinn ónákvæmari. Hann gæti fylgt upprunalegu fyrirmælunum síður nákvæmlega, litið fram hjá smáatriðum eða ruglað svipuðum upplýsingum saman við það sem hann þarf.

Fulltrúinn gæti til dæmis farið að taka með birgja sem þurfa sex vikur, jafnvel þótt honum hafi verið sagt að finna afhendingu innan tveggja vikna. Fyrirmælin eru enn í samhengi hans, en þau móta ekki lengur val hans.

Samhengishrörnun er ekki það sama og að plássið í samhengisglugganum einfaldlega klárist. Þegar samhengi verkefnis vex út fyrir gluggann er efni skorið af eða verkefnið mistekst. Samhengishrörnun hefst löngu fyrir þann tímapunkt, á meðan allt kemst enn fyrir.

Hún er heldur ekki það sama og samhengiseitrun (þegar villandi eða skaðlegar upplýsingar komast inn í samhengi fulltrúans). Fulltrúi með réttar og tæmandi upplýsingar getur samt orðið fyrir samhengishrörnun.

Hvers vegna samhengishrörnun á sér stað

Samhengishrörnun á sér stað vegna þess að athygli líkans er takmörkuð, jafnvel þegar nóg pláss er eftir í samhengisglugganum. Í gervigreindarlíkönum er athygli (e. attention) tæknilega hugtakið yfir það hvernig líkan ákveður hvaða hluta inntaksins það styðst við þegar það skrifar hvert orð svars. Allir hlutar samhengisins keppa um þessa athygli. Því meiri texti sem er til staðar, því minni athygli fær hver hluti.

Chroma birti til dæmis rannsókn á því hvernig lengd inntaks hefur áhrif á gervigreindarlíkön. Þar voru prófuð 18 líkön frá Anthropic, OpenAI, Google og Alibaba. Í einu prófinu földu rannsakendurnir setningu með ráðum um skrif inni í löngu ritgerðasafni. Síðan spurðu þeir líkanið hver ráðin væru.

Þeir keyrðu prófið mörgum sinnum og bættu við meiri ritgerðatexta í hvert skipti. Setningin og spurningin breyttust aldrei. Aðeins magn textans í kringum þær breyttist.

Því meiri texta sem líkönin þurftu að lesa, því verr stóðu þau sig. Þessi niðurstaða gilti í öllum prófum skýrslunnar. Rannsakendurnir spá því að nákvæmnin myndi minnka enn meira í raunverulegri vinnu sem tekur mörg skref, eins og flest verkefni gervigreindarfulltrúa.

Hvernig samhengishrörnun getur haft áhrif á gervigreindarfulltrúa

Samhengishrörnun birtist yfirleitt á einn af fjórum vegu:

Að missa sjónar á upprunalegu fyrirmælunum

Einfaldasta próf Chroma fólst í því að biðja líkön að afrita nákvæmlega langan streng af endurteknum orðum, þar sem einu öðruvísi orði hafði verið skotið inn einhvers staðar. Þetta var einfalt verkefni með skýrum fyrirmælum. Samt dró úr frammistöðu allra líkananna eftir því sem textinn lengdist. Sum líkön fóru að framleiða orð sem voru alls ekki í inntakinu.

Í verkefni gervigreindarfulltrúa setur notandinn yfirleitt tilteknar skorður í upphafi, svo sem fjárhagsramma eða tilskilið snið. Fulltrúinn gæti beitt þeim með minni samkvæmni eftir því sem samhengið vex. Orsökin er heildarlengd samhengisins, ekki hvar fyrirmælin eru staðsett.

Smáatriði úr miðju verkefni fara forgörðum

Samkvæmt rannsókn frá Stanford árið 2023 nýta gervigreindarlíkön upplýsingar áreiðanlegast þegar þær eru alveg í byrjun eða alveg í lok inntaksins. Í einu prófinu fengu rannsakendurnir líkönunum safn 20 skjala og lögðu fyrir þau spurningu sem aðeins eitt skjalanna svaraði. Þegar það skjal var fyrst eða síðast fundu líkönin yfirleitt svarið. Þegar það var í miðju safninu misstu þau mun oftar af því. Rannsakendur kalla þetta staðsetningaráhrif.

Sama mynstur á við um gervigreindarfulltrúa. Upplýsingar sem fundust fyrr í verkefninu geta lent í miðju löngu samtali, þar sem sum líkön eiga erfiðara með að nýta þær. Í birgjadæminu gæti góðan birgi, sem fulltrúinn skoðaði um miðbik verkefnisins, vantað á lokalistann.

Svipuðum upplýsingum ruglað saman

Eftir því sem samhengið vex geta gervigreindarfulltrúar átt erfiðara með að greina hvaða upplýsingar passa við fyrirmæli þeirra. Segjum til dæmis að notandinn hafi sagt fulltrúanum að finna birgja sem senda „innan tveggja vikna“. Á vefsíðu birgis stendur „berst innan 14 almanaksdaga frá pöntun“. Í stuttu verkefni myndi fulltrúi líklega átta sig á að þetta merkir það sama. Innan um tugi annarra birgjasíðna er líklegra að hann missi af samsvöruninni.

Einnig gæti gervigreindarfulltrúinn farið að taka með niðurstöður sem eiga ekki við. Segjum að fulltrúinn sé að leita að birgjum fyrir skrifstofustóla. Á vefsíðu eins birgis er lofað afhendingu innan tveggja vikna, en aðeins á skrifborðum. Afhending á stólunum tekur sex vikur. Vefsíðan notar sömu orð og fyrirmælin, svo fulltrúinn gæti samt bætt birginum á listann. Rannsakendur kalla slíkar upplýsingar truflara (e. distractor). Þær virðast eiga við en gera það ekki og keppa því við upplýsingarnar sem skipta máli.

Rannsókn Chroma leiddi í ljós að bæði vandamálin versnuðu eftir því sem magn textans í kring jókst.

Villur sem erfitt er að koma auga á

Samhengishrörnun kallar ekki fram villuboð. Gervigreindarfulltrúinn heldur áfram að vinna og skilar niðurstöðu sem lítur út fyrir að vera fullunnin. Þess vegna er auðvelt að missa af mistökum hans.

Í prófum Chroma birtust þessi mistök með tvennum hætti. Stundum gaf líkan rangt svar af fullri sannfæringu. Í birgjarannsóknardæminu gæti gervigreindarfulltrúinn skilað snyrtilegum, vel sniðnum birgjalista sem inniheldur birgi þar sem fulltrúinn misskildi afhendingarskilmálana.

Í önnur skipti sagðist líkan ekki finna upplýsingar sem voru í raun til staðar. Fulltrúinn gæti til dæmis skilað skýrslu um að engir birgjar standist tveggja vikna mörkin þegar nokkrir gera það.

Hvernig á að setja upp verkefni fyrir gervigreindarfulltrúa til að draga úr samhengishrörnun

Með því að setja verkefni rétt upp er hægt að lágmarka áhrif samhengishrörnunar og tryggja að gervigreindarfulltrúinn haldist eins nákvæmur og mögulegt er út allt verkefnið. Eftirfarandi bestu starfsvenjur geta hjálpað.

Settu verkefnið fram sem verklýsingu

Skýr verklýsing dregur úr umfangi samhengisins. Gervigreindarfulltrúinn veit hvenær hann er búinn, svo hann hættir að safna efni þegar hann hefur nóg. Tilteknar kröfur gefa honum líka eitthvað áþreifanlegt til að bera hverja síðu saman við. Það auðveldar fulltrúanum að koma auga á réttu upplýsingarnar.

Áður en þú sendir verkefni skaltu ganga úr skugga um að það nái yfir þrennt:

  • Verkefnið: hvað gervigreindarfulltrúinn á að gera og skila, svo sem „finndu birgja og skilaðu stuttlista“.
  • Kröfurnar: staðreyndirnar sem gervigreindarfulltrúinn getur ekki giskað á, svo sem fjárhagsramminn, fresturinn, afhendingarheimilisfangið og fyrir hvern niðurstaðan er.
  • Úttakið: sniðið, lengdin og uppbyggingin, svo sem „tafla með nafni, verði á stól og afhendingartíma“.

Samanlagt gæti fyrirspurnin fyrir birgjaverkefnið litið svona út:

„Finndu 10 birgja sem geta afhent 40 skrifstofustóla á skrifstofuna okkar í Chicago innan tveggja vikna, fyrir undir 250 $ á stól. Skilaðu töflu með nafni birgis, verði á stól, afhendingartíma og tengli á vörusíðuna. Listinn er fyrir skrifstofustjórann okkar, sem mun leggja inn pöntunina.“

Haltu hverju verkefni afmörkuðu

Eitt verkefni með eitt skýrt markmið heldur samhenginu litlu. Löng verkefni kosta líka meira. Hvert skref vinnur úr öllu sem safnast hefur hingað til, svo uppblásið samhengi notar fleiri einingar í hverju skrefi.

Ef verk skiptist í nokkra hluta skaltu brjóta það upp:

  1. Teldu upp aðskilda verkþætti, til dæmis birgjaleit, verðsamanburð og tölvupóst til birgisins sem verður fyrir valinu.
  2. Keyrðu hvern verkþátt sem sérstakt verkefni.
  3. Færðu aðeins fullunna niðurstöðu frá einu verkefni yfir í það næsta. Hladdu til dæmis birgjatöflunni upp sem skrá til að hefja samanburðarverkefnið, í stað þess að halda áfram í þræðinum þar sem hún varð til.

Samanburðarverkefnið hefst þá með einni töflu í stað allra síðnanna.

Vísaðu gervigreindarfulltrúanum á réttu heimildirnar

Hver síða sem gervigreindarfulltrúinn les bætist við samhengi hans, þar á meðal valmyndir, auglýsingar og staðlaður texti í kringum gagnlega hlutann. Ef fulltrúinn fær heimildirnar beint dregur það úr þessum hávaða.

Hladdu upp skrám sem verkefnið byggir á, svo sem lista yfir samþykkta söluaðila, með því að hengja þær við fyrirspurnina. Nefndu vefsvæðin sem vert er að leita á þegar gervigreindarfulltrúinn þarf að leita á vefnum, svo sem tvær traustar birgjaskrár.

Tengdu verkfærin þar sem upplýsingarnar eru geymdar. Í Perplexity Computer skaltu til dæmis opna Tengingar í hliðarstikunni og virkja forritin sem verkefnið þarfnast, svo sem Google Drive eða Slack. Nefndu þau síðan í fyrirspurninni: „Notaðu tækniupplýsingarnar um stólana í Google Drive hjá okkur.“ Tengdu aðeins viðeigandi forrit, þar sem hver tenging tekur upp hluta af samhengi gervigreindarfulltrúans.

Ef upplýsingarnar eru í forriti sem er ekki á listanum yfir Tengingar gæti samt verið hægt að tengja það. Mörg forrit bjóða upp á MCP-tengingu (Model Context Protocol), staðlaða leið fyrir gervigreindarverkfæri til að tengjast öðrum hugbúnaði. Computer getur notað slíkar tengingar samhliða innbyggðum tengingum sínum. Í fyrirtækjaaðgangi gæti stjórnandi þurft að virkja þær fyrst.

Biddu um lokayfirferð miðað við fyrirmælin

Ljúktu fyrirspurninni með yfirferðarskrefi sem nefnir mikilvægustu skorðurnar:

„Áður en þú lýkur skaltu bera hvern birgi saman við þessar kröfur: afhending innan tveggja vikna, undir 250 $ á stól. Merktu þá sem uppfylla ekki þessar kröfur í stað þess að sleppa þeim.“

Skorðurnar eru enn í upphafi samhengisins. Yfirferðarskrefið gefur gervigreindarfulltrúanum ástæðu til að bera lokaniðurstöðuna saman við skorðurnar, í stað þess að treysta á að fyrirmælin haldi áhrifum sínum í gegnum hvert skref.

Á sama tíma verður auðveldara að koma auga á mistök ef fulltrúinn er beðinn um að merkja vandamál frekar en að sleppa einfaldlega þeim niðurstöðum (til dæmis ef hann hafnar birgi sem lofar afhendingu innan 14 almanaksdaga vegna þess að birgirinn notar ekki orðin „tvær vikur“).

Farðu yfir vinnuna í áföngum

Fyrir lengri verkefni skaltu byggja áfangaskoðun inn í fyrirspurnina:

„Byrjaðu á að finna 20 mögulega birgja og hættu svo. Ég staðfesti listann áður en þú safnar verðupplýsingum.“

Berðu stuttlistann saman við upprunalegu fyrirmælin. Leiðréttu það sem er rangt í framhaldsfyrirspurn og leyfðu gervigreindarfulltrúanum svo að halda áfram. Mistök sem uppgötvast á þessu stigi berast ekki inn í öll skrefin sem á eftir koma.

Byrjaðu á nýju verkefni þegar eitt fer út af sporinu

Ef gervigreindarfulltrúinn endurtekur sömu mistökin eftir leiðréttingar skaltu byrja á nýju verkefni. Hver leiðrétting bætir meiri texta við samhengi sem er þegar langt. Búðu frekar til nýtt verkefni. Endurtaktu fyrirmælin, hladdu upp góðu úttaki úr fyrstu tilrauninni og byrjaðu upp á nýtt.

Sumir gervigreindarfulltrúar gera eitthvað þessu líkt sjálfkrafa, með ferli sem kallast þjöppun. Þegar verkefni lengist skiptir fulltrúinn eldra efni, svo sem heildartexta síðna sem hann las snemma, út fyrir stutta samantekt á því sem hann fann. Portable Computer frá Perplexity þjappar samhengi sínu á þennan hátt, svo líkanið haldist innan þess magns sem það ræður vel við.

Það er líka mikilvægt að byrja á nýju verkefni ef markmiðið breytist. Þráður sem hófst sem birgjaleit ætti ekki líka að verða að yfirferð samnings.

Gerðu endurtekin fyrirmæli að Skill

Sum fyrirmæli koma upp í hverju verkefni af tiltekinni gerð, svo sem æskilegt töflusnið, listi yfir söluaðila sem á að forðast eða staðlað yfirferðarskref. Í Computer er hægt að vista þau sem Skill, endurnýtanlegt safn fyrirmæla sem gervigreindarfulltrúinn fylgir í hvert skipti. Skill fléttar aðrar bestu starfsvenjur inn í hvert verkefni sem nýtir Skill.

Svona setur þú upp Skill:

  1. Veldu verkefni sem kemur oft upp, svo sem birgjarannsóknir.
  2. Skrifaðu niður fyrirmælin sem eru gefin í hvert skipti: sniðið, yfirferðirnar og heimildirnar sem á að nota eða forðast.
  3. Vistaðu þau sem Skill. Fyrirmæli sem þegar eru skrifuð í Markdown er hægt að flytja beint inn.
  4. Vísaðu í Skill í síðari fyrirspurnum: „Notaðu Skill fyrir birgjarannsóknir til að finna stólabirgja fyrir skrifstofuna í Denver.“

Hvernig Perplexity nálgast samhengi í vinnu gervigreindarfulltrúa

Perplexity Computer meðhöndlar löng verkefni þannig að samhengi hvers líkans haldist lítið og viðeigandi. Þrír þættir í hönnuninni takmarka hversu mikið líkan þarf að lesa í einu.

Vinnunni skipt á milli undirfulltrúa

Computer skiptir beiðni niður í verkefni og undirverkefni og býr síðan til undirfulltrúa til að sinna þeim. Hver undirfulltrúi vinnur að einum hluta verksins í eigin samhengi. Í birgjaverkefninu gæti einn undirfulltrúi kannað verð á meðan annar skoðar afhendingarskilmála. Hvorugur þarf að lesa allt sem hinn las.

Vinnan geymd í skrám

Hvert verkefni í Computer fær eigið vinnusvæði, með eigin skrám, vafra og verkfærum. Gervigreindarfulltrúinn getur vistað vinnu sína í skrá, svo sem töflu sem hann uppfærir jafnóðum yfir birgjana sem hann hefur skoðað. Hann opnar síðan skrána aftur aðeins þegar hann þarf á henni að halda.

Viðeigandi textabútar valdir úr leitarniðurstöðum

Vefsíður eru fullar af efni sem líkanið þarf ekki, svo sem valmyndum, auglýsingum, lýsigögnum og texta um önnur efni. Fyrirspurnarmeðvituð samhengisþjöppun fjarlægir það. Áður en síða berst líkaninu heldur Perplexity aðeins eftir setningunum sem tengjast fyrirspurninni.

Skoðaðu ábendingar, leiðbeiningar og dæmi um verkefni fyrir Perplexity Computer til að koma þessum skrefum í framkvæmd.

Algengar spurningar

Er samhengishrörnun það sama og ofskynjun?

Nei, en þetta tengist. Ofskynjun er hvert það svar sem fullyrðir eitthvað rangt eða órökstutt. Samhengishrörnun er eitt af þeim skilyrðum sem gera ofskynjanir líklegri, ásamt öðrum mistökum eins og hunsuðum fyrirmælum og smáatriðum sem fara fram hjá.

Getur betri fyrirspurn lagað samhengishrörnun?

Skýr fyrirspurn dregur úr samhengishrörnun með því að halda verkefninu afmörkuðu. Hún getur þó ekki komið í veg fyrir að samhengið vaxi. Í nógu löngu verkefni safnar gervigreindarfulltrúinn samt meiru en hann getur nýtt vel og þess vegna skiptir jafnmiklu máli og fyrirspurnin sjálf að skipta vinnunni upp og fara yfir hana jafnóðum.

Hefur samhengishrörnun áhrif á venjuleg spjöll við gervigreind, ekki bara fulltrúa?

Já. Í spjalli er samhengið allt samtalið hingað til, þar á meðal öll skilaboð og öll skjöl sem hafa verið límd inn eða hlaðið upp í það. Þráður sem hefur staðið yfir í marga klukkutíma um nokkur efni getur valdið sömu mistökum og langt verkefni fulltrúa. Með því að hefja nýjan þráð fyrir nýtt efni helst hvert samtal afmarkað.

Hversu langt getur verkefni orðið áður en samhengishrörnun hefst?

Það er enginn fastur punktur. Það fer eftir líkaninu og verkefninu. Líkön sem keyra á tækinu sjálfu með 260.000 tákna samhengisglugga byrja til dæmis að eiga í erfiðleikum þegar komið er yfir um 100.000 tákn, langt undir hámarkinu. Hnignunin er líka smám saman frekar en skyndileg.