컨텍스트 윈도우: 개념과 일상적인 AI 사용에 미치는 영향
AI 모델의 컨텍스트 윈도우에 대한 가이드로, 토큰 단위로 측정하는 방법, 대화 중 윈도우를 채우는 요소, 현재 모델의 윈도우 크기, 대화가 한도를 넘었을 때 일어나는 일, 그리고 윈도우 안에서 작업하기 위한 일상 습관을 다룹니다.

컨텍스트 윈도우는 AI 모델이 한 번에 처리할 수 있는 텍스트의 양입니다. 이 가이드에서는 컨텍스트 윈도우를 채우는 요소, 현재 모델의 컨텍스트 윈도우 크기, 그리고 일상에서 그 한도 안에서 작업하는 방법을 다룹니다.
컨텍스트 윈도우란 무엇인가
컨텍스트 윈도우는 AI 모델이 한 번에 처리할 수 있는 텍스트 양의 한도입니다. 이 한도에는 질문과 그에 첨부된 문서처럼 모델에 입력되는 텍스트와 모델이 출력하는 답변이 모두 포함됩니다. 윈도우 안에 들어가지 않는 내용은 모델이 볼 수 없으며 답변할 때 활용할 수도 없습니다.
컨텍스트 윈도우는 모델이 학습 과정에서 익힌 내용과는 별개입니다. 학습은 모델이 출시되기 전에 방대한 양의 텍스트를 바탕으로 이루어지며, 이를 통해 모델은 일반 지식과 언어 능력을 갖추게 됩니다. 컨텍스트 윈도우에는 당면한 작업에 필요한 자료만 담깁니다.
AI 모델 자체는 이전 메시지를 기억하지 않습니다. 대화를 저장하는 것은 Perplexity나 ChatGPT처럼 모델이 실행되는 앱입니다. 새 메시지가 올 때마다 앱은 최신 메시지만이 아니라 지금까지의 대화 전체를 모델에 보냅니다. 모델은 답변하기 전에 그 내용을 모두 다시 읽고, 그 답변은 다음번에 전송되는 내용의 일부가 됩니다. 대화가 윈도우에서 차지하는 공간은 메시지를 주고받을 때마다 늘어나므로, 짧은 메시지로 이루어진 긴 채팅도 상당한 공간을 차지할 수 있습니다.
컨텍스트 윈도우를 측정하는 방법
대화 속 모든 메시지, 문서, 답변은 윈도우의 공간을 차지합니다. 사용 가능한 공간의 양은 특정한 단어 수나 페이지 수가 아니라 토큰 단위로 측정됩니다.
토큰은 모델이 하나의 단위로 처리하는 텍스트 조각입니다. 짧은 단어일 수도 있고, 긴 단어의 일부, 문장 부호, 또는 앞에 공백이 붙은 단어일 수도 있습니다. OpenAI에 따르면 100토큰은 약 75단어에 해당합니다. 이 영어 기준 추정치를 적용하면 3,000단어 분량의 보고서는 약 4,000토큰이 됩니다.
모델이 무언가를 읽기 전에 토크나이저라는 도구가 텍스트를 토큰으로 나누고 각 토큰을 숫자로 변환합니다. 모델은 이 숫자들을 처리해 답변을 일련의 토큰으로 생성하고, 도구는 이를 다시 텍스트로 변환합니다.
토큰 수는 표준화되어 있지 않습니다. 토큰 수는 언어와 내용에 따라 달라집니다. 토크나이저는 모델마다 다를 수 있으므로, 같은 문단이라도 모델에 따라 토큰 수가 다르게 나올 수 있습니다.
컨텍스트 윈도우와 저장된 메모리의 차이
컨텍스트 윈도우에는 모델이 현재 질문에 답하는 데 사용할 수 있는 내용이 담깁니다. 예를 들어 AI가 보고서를 편집할 때는 보고서, 편집 지침, 작업 중에 주고받은 메시지가 윈도우의 공간을 차지합니다.
저장된 메모리는 선택된 세부 정보를 여러 대화에 걸쳐 유지합니다. Perplexity에서는 앱이 저장할 내용을 자동으로 선택하며, 선호 사항과 중요한 정보를 찾고 자주 언급되는 세부 정보에 더 큰 비중을 둡니다. “내가 쓰는 모든 글에 영국식 영어를 사용해 줘”와 같은 지속적인 지침은 기억해 둘 만한 세부 정보의 예이지만, “이 문단을 더 짧게 줄여 줘”는 당면한 작업에만 해당합니다.
앱이 이러한 세부 정보 중 하나를 새 대화로 가져오면, 그 정보는 모델의 컨텍스트의 일부가 되어 윈도우의 공간을 사용합니다. Perplexity에서는 설정 → 메모리에서 메모리를 관리할 수 있습니다. 메모리를 끄면 이후 답변에는 사용되지 않지만, 이미 저장된 세부 정보가 삭제되지는 않습니다.
대화 중 컨텍스트 윈도우를 채우는 요소
컨텍스트 윈도우에는 사람이 입력하는 단어보다 훨씬 많은 내용이 담깁니다. 일반적인 대화에서는 앱의 지침, 대화 기록, 파일이나 웹에서 가져온 자료, 모델의 답변이라는 네 종류의 텍스트가 공간을 함께 사용합니다. 그중 대부분은 화면에 전혀 표시되지 않습니다.
앱의 지침
사람의 메시지가 모델에 도달하기 전에 앱은 자체 지침(흔히 시스템 프롬프트라고 함)을 추가합니다. 이 지침은 답변 형식, 사용할 어조, 사용 가능한 도구, 오늘 날짜 같은 세부 정보 등 모델이 어떻게 동작해야 하는지를 알려 줍니다. 앱의 내부 지침처럼 이 자료 중 일부는 일반적으로 사용자에게 표시되지 않습니다.
대화 기록
여기에는 현재 답변을 위한 사람의 모든 메시지뿐 아니라 모델의 이전 답변도 포함됩니다. AI의 답변은 사용자의 질문보다 훨씬 긴 경우가 많습니다.
업로드한 파일, 웹페이지, 검색 결과
파일에서 가져온 텍스트는 대화와 함께 컨텍스트 공간을 사용하지만, 앱은 파일 전체를 제공할 수도 있고 관련 부분만 골라 제공할 수도 있습니다. 예를 들어 Perplexity는 짧은 파일은 전체를 분석하고, 긴 파일에서는 중요한 부분을 추출해 질문에 답할 수 있습니다.
검색 결과도 공간을 차지합니다. 예를 들어 Perplexity는 질문에 답하기 위해 웹을 검색하고, 그 결과를 모델에 제공해 읽게 할 수 있습니다.
모델의 답변과 추론
답변은 같은 윈도우 안에 작성되므로 앱은 답변을 위한 공간을 남겨 두어야 합니다. 일부 모델은 답변을 준비하는 동안 내부 추론도 생성하는데, 사람은 이를 전혀 보지 못할 수도 있습니다. 추론 텍스트는 질문을 여러 부분으로 나누거나 자체 수치를 확인하는 것처럼, 최종 답변 전에 작성되는 모델의 단계별 작업 과정입니다. 이 역시 보통 윈도우 한도에 포함됩니다.
현재 AI 모델의 컨텍스트 윈도우 크기
컨텍스트 윈도우가 클수록 모델은 더 긴 문서, 더 많은 출처, 더 긴 대화를 처리할 수 있습니다. 현재 OpenAI, Anthropic, Google의 주요 모델은 각각 약 100만 토큰의 윈도우를 제공합니다. 이는 대략 1,500페이지 분량의 텍스트에 해당합니다.
모델 | 제공업체 | 컨텍스트 윈도우(토큰) |
GPT-6 Astra | OpenAI | 105만 |
Claude Opus 5.5 | Anthropic | 100만 |
Gemini 4 Argon | 1,048,576 |
제공업체 API 사양 기준(2026년 11월 5일 확인). 앱 내에서 사용할 수 있는 한도는 다를 수 있습니다.
윈도우가 크다고 해서 모델이 그 전체를 똑같이 잘 활용한다는 뜻은 아닙니다. 연구에 따르면 입력 길이가 길어질수록 성능의 신뢰도가 떨어질 수 있으며, 이러한 현상을 컨텍스트 부패(context rot)라고 합니다.
입력 한도와 출력 한도
컨텍스트 윈도우는 모델이 읽고 쓰는 모든 것이 함께 사용하는 공유 예산입니다. 모델은 한 번의 답변에서 쓸 수 있는 양보다 훨씬 많은 양을 읽을 수 있습니다.
입력을 처리할 때 모델은 여러 토큰을 병렬로 처리할 수 있습니다. 답변을 생성할 때는 보통 앞에 나온 내용을 바탕으로 다음에 올 내용을 선택하면서 토큰을 순차적으로 만들어 냅니다. 문장의 처음 네 단어를 알기 전에는 다섯 번째 단어를 고를 수 없으므로, 답변을 한 번에 한 토큰씩 생성해야 합니다.
이 때문에 긴 답변을 생성하는 일은 긴 입력을 읽는 일보다 훨씬 느리고 비용도 많이 듭니다. 아주 긴 문서를 다시 쓰거나 번역해 달라는 요청이 중간에 멈출 수 있는 것도, 결과를 여러 부분으로 나누어 요청하는 편이 더 효과적인 것도 바로 이 때문입니다.
대화가 한도를 넘으면 어떻게 될까
대화가 컨텍스트 윈도우에 비해 너무 커지면, 앱은 모델이 답변하기 전에 공간을 확보해야 합니다. 앱마다 이를 처리하는 방식은 몇 가지로 나뉘며, 방식에 따라 모델이 여전히 볼 수 있는 내용이 달라집니다.
한 가지 방법은 가장 오래된 메시지부터 삭제하는 것입니다. 모델은 대화의 최근 부분을 가지고 계속 작업합니다. 초기의 사용자 지침, 결정 사항, 문서 내용은 윈도우에서 빠질 수 있습니다. 모델은 더 이상 가지고 있지 않은 텍스트를 참조할 수 없지만, 무언가가 빠졌다는 사실을 사용자에게 반드시 알려 주는 것은 아닙니다.
또 다른 방법은 대화의 앞부분을 요약하고 전체 텍스트 대신 요약본을 유지하는 것입니다. 이는 컨텍스트 압축(context compaction)이라고 불리는 방식의 한 형태입니다. 요약본은 공간을 훨씬 적게 차지하므로 대화를 훨씬 더 오래 이어 갈 수 있습니다. 다만 정확한 수치, 이름, 표현 같은 세부 정보가 누락될 수 있습니다.
모델이 컨텍스트를 삭제하거나 압축한 경우, 이미 알고 있어야 할 정보를 요청하기 시작할 수 있습니다. 형식이나 선호하는 어조처럼 처음에 제시된 지침을 갑자기 따르지 않을 수도 있습니다. 사용자가 앞서 내린 결정과 모순되는 말을 하거나, 앞서 공유된 문서에 대해 모호하게 답할 수도 있습니다.
어떤 앱은 대신 대화를 중단하고 새 대화를 시작하라고 요청하거나, 너무 길어서 들어가지 않는 메시지나 파일을 거부합니다.
컨텍스트 윈도우 안에서 작업하기 위한 일상 습관
- 새 작업마다 새 스레드 시작하기: 예를 들어 행사 기획에 관한 기존 스레드에 보고서를 추가하기보다는, 보고서 검토는 별도의 대화에서 진행하세요.
- 필요한 내용만 이어 가기: 이전 작업을 바탕으로 하는 작업이라면, 다음 작업에 필요한 확정된 세부 정보와 승인된 문구를 모델에게 추려 달라고 요청하세요.
- 관련 정보만 공유하기: 예를 들어 설문 참여자를 어떻게 선정했는지 묻는다면, 보고서 전체 대신 방법론 섹션과 관련 참고 자료를 제공하세요.
- 긴 문서를 공유하기 전에 관련 섹션 찾기: 보고서나 핸드북에 목차가 있다면 목차를 먼저 공유하세요. 어떤 섹션에 질문의 답이 있을 가능성이 높은지 모델에게 물어본 다음, 해당 섹션을 대화에 복사해 넣으세요.
- 긴 문서는 나누어 검토하기: 핸드북이나 보고서를 정책, 장 또는 주제별로 나누세요. 서로 독립적인 검토에는 별도의 스레드를 사용하고, 각 스레드에 동일한 지침을 적용하세요.
- 긴 결과물은 단계별로 요청하기: 분량이 많은 재작성이나 번역은 같은 스레드에서 한 번에 한 섹션씩 요청하세요. 섹션이나 페이지 범위를 지정하고, 모델에게 계속 진행하라고 요청하기 전에 결과를 확인하세요.
- 적절한 답변 길이 정하기: 주요 결과 다섯 가지, 짧은 설명, 특정 열로 구성된 표 등을 요청하세요. 간단한 답변으로 충분할 때는 상세한 분석을 요청하지 마세요.
- 필요한 부분만 수정 요청하기: 초안에서 한 문단을 바꾸려면 모델에게 해당 문단만 다시 쓰도록 요청하세요. 초안 전체를 다시 작성하게 하기보다는 무엇을 바꿔야 하는지 구체적으로 지정하세요.
Perplexity가 컨텍스트를 관리하는 방식
Perplexity의 컨텍스트에는 대화 이상의 것이 포함됩니다. 실시간 검색으로 찾은 정보, 저장된 선호 사항, 작업에 제공된 파일도 활용할 수 있습니다.
조사가 필요한 질문의 경우, 실시간 검색은 모델이 답변을 구성하는 데 사용할 수 있는 출처 자료를 제공하며, 정보의 출처를 보여 주는 인용도 함께 제공합니다. 예를 들어 새로운 규정에 대해 질문하면, 기사를 먼저 모아 채팅에 붙여 넣지 않아도 관련 웹 정보를 작업에 가져올 수 있습니다.
저장된 메모리는 다른 종류의 컨텍스트를 제공합니다. 글쓰기 선호 사항이나 진행 중인 프로젝트에 대한 배경 정보처럼 이전 대화에서 얻은 관련 세부 정보입니다. Perplexity는 답변할 때 이러한 세부 정보를 불러오며, 메모리는 Perplexity가 제공하는 모든 모델에서 작동합니다. 따라서 Perplexity 안에서 모델을 전환해도 저장된 선호 사항을 계속 사용할 수 있습니다.
여러 대화에 걸친 작업의 경우 프로젝트에 파일과 지침을 함께 보관할 수 있으며, 프로젝트 지침은 각 질문에 적용됩니다. 보고서의 대상 독자, 목적, 작성 요건은 프로젝트에 보관하고, 자료 조사와 초안 작성은 별도의 스레드에서 진행할 수 있습니다.
질문하는 방법, 파일로 작업하는 방법, 후속 질문으로 답변을 발전시키는 방법에 대한 안내는 Perplexity 시작하기에서 확인하세요.
자주 묻는 질문
이미지도 컨텍스트 윈도우에 포함되나요?
네. 이미지는 토큰으로 변환되어 텍스트와 함께 공간을 차지합니다. 토큰의 양은 모델이 이미지를 처리하는 방식에 따라 달라집니다. 스크린샷이나 스캔한 페이지는 그 안의 텍스트를 채팅에 복사하지 않았더라도 컨텍스트 공간을 사용합니다.
컨텍스트 윈도우가 크면 비용이 더 드나요?
꼭 그렇지는 않습니다. 윈도우가 크다는 것은 모델이 처리할 수 있는 양을 나타낼 뿐, 작업이 그 용량을 얼마나 사용하는지를 나타내지는 않습니다.
대화가 컨텍스트 윈도우를 얼마나 사용했는지 확인할 수 있나요?
경우에 따라 가능합니다. 일부 앱은 윈도우가 얼마나 찼는지 보여 주는 컨텍스트 미터를 표시합니다. “남은 메시지 수”를 보여 주는 카운터는 의미가 다릅니다. 이는 모델이 대화에 더 담을 수 있는 정보의 양이 아니라, 계정에서 추가로 보낼 수 있는 요청 수를 나타냅니다. 컨텍스트 미터가 있는지 따로 확인하세요.
공유받은 대화를 이어 갈 수 있나요?
네. Perplexity에서는 공유된 대화를 읽고 후속 질문을 할 수 있습니다. 그 질문은 해당 사용자의 계정에서 새 대화로 시작되며, 원래 대화는 변경되지 않습니다.