AI 에이전트의 컨텍스트 부패: 긴 작업에서 정확도가 떨어지는 이유와 예방 방법

AI 에이전트의 컨텍스트에 무엇이 쌓이는지, 그것이 정확도를 떨어뜨리는 이유는 무엇인지, 그리고 신뢰성을 유지하는 작업을 설정하는 방법을 알아보는 가이드입니다.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

AI 에이전트에게 컨텍스트 부패가 의미하는 것

AI 에이전트의 컨텍스트 부패(context rot)란 긴 작업 중 에이전트의 컨텍스트가 채워지면서 정확도가 점차 떨어지는 현상을 말합니다.

에이전트의 컨텍스트란 모델이 다음 단계에서 활용할 수 있는 정보를 말합니다. 여기에는 지침, 이전 메시지, 검색 결과, 웹사이트나 파일의 텍스트 등이 포함될 수 있습니다. 에이전트가 작업을 진행하면서 정보가 더 추가될 수도 있습니다.

예를 들어 에이전트의 작업이 2주 이내에 배송할 수 있는 공급업체를 찾는 것이라고 해 보겠습니다. 처음에는 컨텍스트에 그 요청만 담겨 있습니다. 작업이 중반에 이르면 컨텍스트에는 수십 개 공급업체 웹사이트의 텍스트, 여러 페이지 분량의 검색 결과, 에이전트가 이미 확인한 공급업체에 대한 메모까지 포함됩니다.

모델이 담을 수 있는 컨텍스트의 양에는 한계가 있습니다(이를 컨텍스트 윈도우라고 합니다). 컨텍스트 윈도우는 토큰 단위로 측정되며, 토큰은 보통 단어 하나 또는 단어의 일부에 해당하는 작은 텍스트 조각입니다. 컨텍스트 부패는 컨텍스트가 커질수록 심해지므로, 단계가 많은 긴 작업에서 발생할 가능성이 가장 높습니다.

컨텍스트 부패가 심해질수록 에이전트의 정확도는 떨어집니다. 원래 지침을 덜 충실하게 따르거나, 세부 사항을 놓치거나, 겉보기에 비슷한 정보를 필요한 정보로 착각할 수 있습니다.

예를 들어 에이전트는 2주 이내에 배송하는 업체를 찾으라는 지시를 받았는데도 6주가 걸리는 공급업체를 포함하기 시작할 수 있습니다. 해당 지침은 여전히 컨텍스트에 있지만, 더 이상 에이전트의 선택에 영향을 주지 못하는 것입니다.

컨텍스트 부패는 단순히 컨텍스트 윈도우의 공간이 부족해지는 것과는 다릅니다. 작업의 컨텍스트가 윈도우를 넘어설 만큼 커지면 내용이 잘려 나가거나 작업이 실패합니다. 컨텍스트 부패는 그보다 훨씬 이전, 즉 모든 내용이 아직 윈도우 안에 들어 있을 때부터 시작됩니다.

또한 컨텍스트 오염(오해의 소지가 있거나 유해한 정보가 에이전트의 컨텍스트에 들어가는 현상)과도 다릅니다. 정확하고 완전한 정보를 가진 에이전트에서도 컨텍스트 부패는 발생할 수 있습니다.

컨텍스트 부패가 발생하는 이유

컨텍스트 부패는 컨텍스트 윈도우에 여유 공간이 있더라도 모델의 어텐션이 제한되어 있기 때문에 발생합니다. AI 모델에서 어텐션(attention)이란 모델이 응답의 각 단어를 작성할 때 입력의 어느 부분을 참고할지 결정하는 방식을 가리키는 기술 용어입니다. 컨텍스트의 모든 부분이 이 어텐션을 두고 경쟁합니다. 텍스트가 많을수록 각 부분이 받는 어텐션은 줄어듭니다.

예를 들어 Chroma는 입력 길이가 AI 모델에 미치는 영향에 관한 연구를 발표했습니다. 이 연구에서는 Anthropic, OpenAI, Google, Alibaba의 모델 18개를 테스트했습니다. 한 테스트에서 연구진은 글쓰기 조언에 관한 문장 하나를 긴 에세이 모음 속에 숨겨 두었습니다. 그런 다음 모델에게 그 조언이 무엇이었는지 물었습니다.

연구진은 매번 에세이 텍스트를 더 추가하면서 이 테스트를 여러 번 반복했습니다. 문장과 질문은 그대로였고, 그 주변 텍스트의 양만 달라졌습니다.

모델이 읽어야 하는 텍스트가 많을수록 성능은 떨어졌습니다. 이 결과는 보고서의 모든 테스트에서 일관되게 나타났습니다. 연구진은 대부분의 에이전트 작업처럼 여러 단계를 거치는 실제 업무에서는 정확도 하락 폭이 더 클 것으로 예상합니다.

컨텍스트 부패가 AI 에이전트에 미치는 영향

컨텍스트 부패는 일반적으로 다음 네 가지 형태 중 하나로 나타납니다.

원래 지침을 잊어버림

Chroma의 가장 단순한 테스트는 반복되는 단어로 이루어진 긴 문자열을 정확히 그대로 복사하도록 모델에게 요청하는 것이었습니다. 문자열 어딘가에는 다른 단어 하나가 삽입되어 있었습니다. 명시적인 지침이 주어진 아주 간단한 작업이었습니다. 그런데도 텍스트가 길어질수록 모든 모델의 성능이 떨어졌습니다. 일부 모델은 입력에 전혀 없던 단어를 만들어 내기 시작했습니다.

에이전트 작업에서 사용자는 보통 작업을 시작할 때 예산이나 필수 형식 같은 구체적인 제약 조건을 설정합니다. 컨텍스트가 커지면 에이전트가 이러한 제약 조건을 덜 일관되게 적용할 수 있습니다. 원인은 지침의 위치가 아니라 컨텍스트의 전체 길이입니다.

작업 중간에 나온 세부 정보 누락

2023년 스탠퍼드 연구에 따르면 AI 모델은 정보가 입력의 맨 앞이나 맨 끝에 있을 때 그 정보를 가장 안정적으로 활용합니다. 한 테스트에서 연구진은 모델에게 문서 20개를 제공하고, 그중 단 하나의 문서에만 답이 있는 질문을 했습니다. 해당 문서가 맨 처음이나 맨 마지막에 있으면 모델은 대개 답을 찾았습니다. 반면 문서가 중간에 있으면 답을 놓치는 경우가 훨씬 많았습니다. 연구자들은 이를 위치 효과라고 부릅니다.

에이전트에도 같은 패턴이 적용됩니다. 작업 초반에 찾은 정보가 긴 대화의 중간에 놓이게 되면, 일부 모델은 그 정보를 활용하는 데 더 어려움을 겪습니다. 공급업체 예시에서는 에이전트가 작업 도중에 확인한 좋은 공급업체가 최종 목록에서 빠질 수 있습니다.

비슷한 정보의 혼동

컨텍스트가 커지면 에이전트는 어떤 정보가 지침에 부합하는지 알아보는 능력이 떨어질 수 있습니다. 예를 들어 사용자가 에이전트에게 “2주 이내”에 배송하는 공급업체를 찾으라고 지시했다고 해 보겠습니다. 한 공급업체의 웹사이트에는 “주문 후 역일 기준 14일 이내 도착”이라고 적혀 있습니다. 짧은 작업이라면 에이전트는 이 둘이 같은 의미라는 것을 알아차릴 가능성이 높습니다. 하지만 수십 개의 다른 공급업체 페이지 속에 묻혀 있으면 이 일치를 놓칠 가능성이 커집니다.

또는 에이전트가 관련 없는 결과를 포함하기 시작할 수도 있습니다. 에이전트가 사무용 의자 공급업체를 찾고 있다고 해 보겠습니다. 한 공급업체의 웹사이트는 2주 배송을 약속하지만, 이는 책상에만 해당합니다. 의자는 6주가 걸립니다. 웹사이트에 지침과 같은 단어가 쓰여 있기 때문에 에이전트는 그래도 이 공급업체를 목록에 추가할 수 있습니다. 연구자들은 이런 정보를 방해 요소(distractor)라고 부릅니다. 관련 있어 보이지만 실제로는 그렇지 않기 때문에 중요한 정보와 경쟁하게 됩니다.

Chroma의 연구에 따르면 두 문제 모두 주변 텍스트의 양이 늘어날수록 악화되었습니다.

발견하기 어려운 오류

컨텍스트 부패가 발생해도 오류 메시지는 표시되지 않습니다. 에이전트는 계속 작업하고, 완성된 것처럼 보이는 결과물을 내놓습니다. 그래서 실수를 놓치기 쉽습니다.

Chroma의 테스트에서 이러한 실수는 두 가지 형태로 나타났습니다. 때로는 모델이 틀린 답을 확신에 차서 내놓았습니다. 공급업체 조사 예시라면, 에이전트가 깔끔하게 정리된 공급업체 목록을 전달하지만 그 안에 배송 조건을 잘못 읽은 공급업체가 포함되어 있을 수 있습니다.

또 어떤 때는 모델이 실제로 있는 정보를 찾을 수 없다고 답했습니다. 예를 들어 에이전트는 2주 조건을 충족하는 공급업체가 여러 곳 있는데도 해당하는 공급업체가 없다는 보고서를 전달할 수 있습니다.

컨텍스트 부패를 줄이기 위한 에이전트 작업 설정 방법

작업을 올바르게 설정하면 컨텍스트 부패의 영향을 최소화하고, 작업 전반에 걸쳐 에이전트의 정확도를 최대한 유지할 수 있습니다. 다음 모범 사례가 도움이 될 수 있습니다.

작업을 명확한 과제로 작성하기

명확한 과제는 컨텍스트를 작게 유지해 줍니다. 에이전트는 언제 작업이 끝나는지 알기 때문에 충분한 자료가 모이면 수집을 멈춥니다. 또한 구체적인 요구 사항이 있으면 각 페이지를 확인할 구체적인 기준이 생깁니다. 그 덕분에 에이전트가 올바른 정보를 더 쉽게 찾아낼 수 있습니다.

작업을 보내기 전에 다음 세 가지가 포함되어 있는지 확인하세요.

  • 작업: 에이전트가 수행하고 만들어 내야 할 것(예: “공급업체를 찾아 후보 목록을 반환해 주세요”).
  • 요구 사항: 예산, 마감일, 배송 주소, 결과물을 받을 사람 등 에이전트가 추측할 수 없는 사실.
  • 결과물: 형식, 길이, 구조(예: “업체명, 의자당 가격, 배송 기간이 포함된 표”).

이를 모두 합치면 공급업체 작업 쿼리는 다음과 같은 형태가 될 수 있습니다.

“2주 이내에 시카고 사무실로 사무용 의자 40개를 의자당 250달러 미만에 배송할 수 있는 공급업체 10곳을 찾아 주세요. 공급업체명, 의자당 가격, 배송 기간, 제품 페이지 링크가 포함된 표로 정리해 주세요. 이 목록은 주문을 담당할 사무실 관리자에게 전달됩니다.”

작업마다 초점 유지하기

명확한 목표가 하나인 작업은 컨텍스트를 작게 유지합니다. 긴 작업은 비용도 더 많이 듭니다. 각 단계에서 지금까지 수집된 모든 내용을 처리하므로, 컨텍스트가 비대해지면 단계마다 더 많은 크레딧이 소모됩니다.

여러 부분으로 이루어진 프로젝트라면 다음과 같이 나누세요.

  1. 개별 결과물을 나열합니다. 예를 들어 공급업체 검색, 가격 비교, 선정된 공급업체에 보낼 이메일 등이 있습니다.
  2. 각 결과물을 별도의 작업으로 실행합니다.
  3. 한 작업에서 다음 작업으로는 완성된 결과만 전달합니다. 예를 들어 공급업체 표를 만든 스레드에서 계속 진행하는 대신, 그 표를 파일로 업로드해 비교 작업을 시작합니다.

그러면 비교 작업은 모든 페이지가 아니라 표 하나로 시작합니다.

에이전트에게 적절한 출처 지정하기

에이전트가 읽는 모든 페이지는 유용한 부분 주변의 메뉴, 광고, 상투적인 문구까지 포함해 컨텍스트에 추가됩니다. 에이전트에게 출처를 직접 제공하면 이런 노이즈를 줄일 수 있습니다.

승인된 공급업체 목록처럼 작업에 필요한 파일은 쿼리에 첨부해 업로드하세요. 에이전트가 웹을 검색해야 할 때는 신뢰할 수 있는 공급업체 디렉터리 두 곳처럼 검색할 가치가 있는 웹사이트를 지정하세요.

정보가 있는 곳의 도구를 연결하세요. 예를 들어 Perplexity Computer에서는 사이드바에서 커넥터를 열고 Google Drive나 Slack처럼 작업에 필요한 앱을 활성화합니다. 그런 다음 쿼리에서 해당 앱을 언급합니다. “Google Drive에 있는 의자 사양을 사용해 주세요.” 커넥터마다 에이전트의 컨텍스트를 일부 차지하므로 관련 있는 앱만 연결하세요.

정보가 커넥터 목록에 없는 앱에 있더라도 연결할 수 있는 경우가 있습니다. 많은 앱이 MCP(Model Context Protocol) 커넥터를 제공하는데, 이는 AI 도구를 다른 소프트웨어에 연결하는 표준 방식입니다. Computer는 기본 제공 커넥터와 함께 이러한 커넥터도 사용할 수 있습니다. 회사 계정에서는 관리자가 먼저 활성화해야 할 수 있습니다.

지침에 맞는지 최종 확인 요청하기

가장 중요한 제약 조건을 명시한 검토 단계로 쿼리를 마무리하세요.

“작업을 마치기 전에 모든 공급업체가 다음 요구 사항을 충족하는지 확인해 주세요: 2주 이내 배송, 의자당 250달러 미만. 이 요구 사항을 충족하지 않는 공급업체는 제외하지 말고 표시해 주세요.”

제약 조건은 여전히 컨텍스트의 시작 부분에 있습니다. 검토 단계는 지침이 모든 단계에 걸쳐 영향력을 유지하기를 기대하는 대신, 에이전트가 최종 결과물을 제약 조건과 비교해 볼 이유를 제공합니다.

한편 문제가 있는 결과를 단순히 제외하는 대신 표시하도록 요청하면 실수를 더 쉽게 잡아낼 수 있습니다(예: 역일 기준 14일 이내 도착을 약속하는 공급업체를 “2주”라는 표현을 쓰지 않았다는 이유로 제외하는 경우).

체크포인트에서 작업 검토하기

더 긴 작업이라면 쿼리에 체크포인트를 넣으세요.

“먼저 후보 공급업체 20곳을 찾은 다음 멈춰 주세요. 가격 정보를 수집하기 전에 제가 목록을 확인하겠습니다.”

후보 목록을 원래 지침과 비교해 확인하세요. 잘못된 부분은 후속 메시지로 바로잡은 다음 에이전트가 계속 진행하도록 하세요. 이 시점에 잡아낸 실수는 이후 단계로 이어지지 않습니다.

작업이 잘못된 방향으로 흘러가면 새 작업 시작하기

수정 후에도 에이전트가 같은 실수를 반복한다면 새 작업을 시작하세요. 수정할 때마다 이미 긴 컨텍스트에 텍스트가 더 추가됩니다. 대신 새 작업을 만드세요. 지침을 다시 제시하고, 첫 번째 시도에서 얻은 좋은 결과물을 업로드한 다음 다시 시작하세요.

일부 에이전트는 이와 비슷한 작업을 자동으로 수행하는데, 이를 압축(compaction)이라고 합니다. 작업이 길어지면 에이전트는 초반에 읽은 페이지의 전체 텍스트 같은 오래된 자료를 찾은 내용의 짧은 요약으로 대체합니다. Perplexity의 Portable Computer는 이런 방식으로 컨텍스트를 압축해, 모델이 잘 처리할 수 있는 양을 넘지 않도록 합니다.

목표가 바뀌는 경우에도 새 작업을 시작하는 것이 중요합니다. 공급업체 검색으로 시작한 스레드에서 계약 검토까지 진행해서는 안 됩니다.

반복되는 지침을 스킬로 만들기

선호하는 표 형식, 피해야 할 공급업체 목록, 표준 검토 단계처럼 특정 유형의 작업마다 반복되는 지침이 있습니다. Computer에서는 이러한 지침을 에이전트가 매번 따르는 재사용 가능한 지침 모음인 스킬로 저장할 수 있습니다. 스킬을 사용하면 다른 모범 사례가 해당 스킬을 쓰는 모든 작업에 반영됩니다.

설정 방법은 다음과 같습니다.

  1. 공급업체 조사처럼 자주 하는 작업을 선택합니다.
  2. 매번 제공하는 지침(형식, 확인 사항, 사용하거나 피해야 할 출처)을 적어 둡니다.
  3. 이를 스킬로 저장합니다. 이미 Markdown으로 작성된 지침은 바로 가져올 수 있습니다.
  4. 이후 쿼리에서 스킬 이름을 언급합니다. “공급업체 조사 스킬을 사용해 덴버 사무실에 필요한 의자 공급업체를 찾아 주세요.”

Perplexity가 에이전트 작업에서 컨텍스트를 다루는 방식

Perplexity Computer는 각 모델의 컨텍스트를 작고 관련성 높게 유지하는 방식으로 긴 작업을 처리합니다. 설계의 세 가지 요소가 모델이 한 번에 읽어야 하는 양을 제한합니다.

하위 에이전트에 작업 분산하기

Computer는 요청을 작업과 하위 작업으로 나눈 다음, 이를 수행할 하위 에이전트를 생성합니다. 각 하위 에이전트는 자체 컨텍스트에서 작업의 한 부분을 담당합니다. 공급업체 작업에서는 한 하위 에이전트가 가격을 조사하는 동안 다른 하위 에이전트가 배송 조건을 확인할 수 있습니다. 어느 쪽도 다른 하위 에이전트가 읽은 내용을 모두 읽을 필요가 없습니다.

작업 내용을 파일에 보관하기

각 Computer 작업에는 자체 파일, 웹 브라우저, 도구를 갖춘 전용 작업 공간이 주어집니다. 에이전트는 확인한 공급업체를 계속 기록해 나가는 표처럼 작업 내용을 파일에 저장할 수 있습니다. 그리고 필요할 때만 그 파일을 다시 엽니다.

검색 결과에서 관련 구절 선별하기

웹 페이지에는 메뉴, 광고, 메타데이터, 다른 주제의 텍스트 등 모델에 필요하지 않은 자료가 가득합니다. 쿼리 인식 컨텍스트 압축은 이런 내용을 걸러 냅니다. 페이지가 모델에 전달되기 전에 Perplexity는 쿼리와 관련된 문장만 남깁니다.

Perplexity Computer 팁, 가이드, 예시 작업을 살펴보고 이 단계를 실제로 적용해 보세요.

자주 묻는 질문

컨텍스트 부패는 환각과 같은 것인가요?

아니요, 하지만 서로 관련이 있습니다. 환각이란 거짓이거나 근거 없는 내용을 진술하는 모든 답변을 말합니다. 컨텍스트 부패는 지침 무시나 세부 정보 누락 같은 다른 실수와 더불어 환각이 일어날 가능성을 높이는 조건 중 하나입니다.

더 나은 쿼리로 컨텍스트 부패를 해결할 수 있나요?

명확한 쿼리는 작업의 초점을 유지해 컨텍스트 부패를 줄여 줍니다. 하지만 컨텍스트가 커지는 것 자체를 막을 수는 없습니다. 작업이 충분히 길어지면 에이전트는 여전히 제대로 활용할 수 있는 양보다 더 많은 정보를 수집하게 됩니다. 그래서 작업을 나누고 진행 중에 확인하는 것이 쿼리 자체만큼이나 중요합니다.

컨텍스트 부패는 에이전트뿐 아니라 일반 AI 채팅에도 영향을 미치나요?

네. 채팅에서 컨텍스트는 지금까지의 전체 대화이며, 모든 메시지와 대화에 붙여 넣거나 업로드한 문서가 포함됩니다. 여러 주제를 넘나들며 몇 시간 동안 이어진 스레드는 긴 에이전트 작업과 같은 실수를 일으킬 수 있습니다. 새로운 주제는 새 스레드에서 시작하면 각 대화의 초점을 유지할 수 있습니다.

작업이 얼마나 길어지면 컨텍스트 부패가 시작되나요?

정해진 지점은 없습니다. 모델과 작업에 따라 다릅니다. 예를 들어 컨텍스트 윈도우가 26만 토큰인 온디바이스 모델은 한도에 한참 못 미치는 약 10만 토큰을 넘어서면 어려움을 겪기 시작합니다. 또한 성능 저하는 갑자기 일어나기보다 점진적으로 진행됩니다.