팀의 토큰 지출을 추적하고 관리하는 방법

토큰 지출이란?

토큰 지출은 팀이 AI를 사용하면서 소비하는 토큰의 양과 그에 드는 비용을 말합니다. 토큰은 AI 모델이 읽거나 쓰는 텍스트의 단위로, 단어, 단어의 일부, 문장 부호 등이 이에 해당합니다. 영어에서는 1토큰이 대략 4자에 해당합니다. 토큰은 모델이나 제공업체마다 기준이 다르기 때문에 같은 텍스트라도 도구에 따라 토큰 수가 다르게 집계될 수 있습니다.

사용량 보고서에서는 보통 토큰을 몇 가지 유형으로 나눕니다.

• 입력 토큰은 모델이 하나의 요청을 처리하기 위해 읽는 모든 내용입니다. 여기에는 쿼리, 첨부된 텍스트, 그리고 같은 스레드의 앞부분에서 모델이 다시 활용하는 대화 기록이 포함됩니다.
• 출력 토큰은 모델이 작성하는 응답입니다. 출력 토큰은 입력 토큰보다 비싼 경우가 많습니다. Perplexity의 API 요금을 보면 일부 모델은 출력에 입력의 6배에 달하는 요금을 부과합니다.
• 추론 토큰은 모델이 답변하기 전에 문제를 풀어 나가기 위해 내부적으로 생성하는 텍스트입니다. 추론 토큰은 답변에 드러나지 않으므로, 화면에 보이는 응답이 길다고 해서 모델이 전체적으로 더 많은 토큰을 사용했다는 뜻은 아닙니다.

구독형 AI 도구를 사용하는 팀은 토큰당 요금을 직접 확인할 일이 거의 없습니다. 그래도 토큰은 사용할 수 있는 양을 좌우합니다. 무거운 작업일수록 크레딧을 더 빨리 소진하거나 사용 한도에 더 빨리 도달하기 때문입니다. 반면 AI 모델을 기반으로 자체 도구를 구축하는 팀은 대개 사용량 기반 요금제에 따라 토큰당 요금을 지불합니다.

토큰 지출을 추적하는 방법

구독 요금제에서 토큰 지출 추적하기

구독형 도구는 보통 토큰 수를 보여 주지 않습니다. 대신 많은 요금제가 크레딧을 사용합니다. 크레딧은 작업이 진행될 때마다 요금제에서 차감되는 선불 단위입니다. 크레딧 하나로 텍스트, 이미지 또는 기타 작업을 처리할 수 있으므로 크레딧이 토큰과 같은 것은 아닙니다. 하지만 토큰을 많이 쓰는 작업은 대개 크레딧도 많이 쓰기 때문에, 구독 요금제에서는 크레딧이 토큰 지출을 가늠하는 가장 좋은 지표입니다. 사용자는 자신의 크레딧 사용량을 추적할 수 있으며, 일부 요금제에는 팀 전체의 크레딧 사용량을 보여 주는 관리자 대시보드도 포함되어 있습니다.

예를 들어 Perplexity에서는 일반 검색에 크레딧이 사용되지 않습니다. 크레딧을 사용하는 것은 여러 단계로 이루어진 작업을 처리하는 어시스턴트인 Perplexity Computer뿐입니다. Computer 사용자는 지금까지 사용한 크레딧 양과 사용처를 확인할 수 있습니다. 또한 각 Computer 작업의 크레딧 합계는 해당 대화의 "사용량" 메뉴에서 확인할 수 있습니다.

확대

Enterprise 요금제에서는 관리자가 인사이트 대시보드에서 Perplexity를 사용하는 인원과 이들이 매주 실행하는 쿼리 수를 확인할 수 있습니다(시트가 50개 이상이거나 Enterprise Max 멤버가 한 명 이상 있는 조직에서 사용 가능).

확대

API 사용량 보고서에서 토큰 지출 추적하기

API 제공업체의 사용량 보고서에는 토큰 수가 직접 표시되며, 보통 토큰 유형별로 나뉘어 있습니다. 예를 들어 Perplexity의 API Platform 콘솔에서는 결제 페이지에서 입력, 출력, 추론 토큰 지출 같은 지표를 추적할 수 있습니다.

토큰 지출이 늘어나는 이유

에이전트는 작업 하나를 처리하는 데 여러 단계를 거치며, 각 단계는 모델에 보내는 별도의 요청입니다. 작업 하나에 수십만, 많게는 수백만 토큰이 쌓일 수 있습니다.

추론 모델도 점점 보편화되고 있습니다. 추론 모델은 답변하기 전에 사고 과정을 작성하며, 그 모든 단어가 토큰으로 집계됩니다. 그래서 화면에 보이는 답변의 길이가 비슷하더라도, 같은 요청에 대해 추론 모델은 일반 모델보다 대개 더 많은 토큰을 사용합니다.

마지막으로, AI를 사용하는 사람과 워크플로우가 전반적으로 늘어나면서 토큰 사용량도 함께 늘어납니다. 이러한 증가의 일부는 토큰맥싱(tokenmaxxing)에서 비롯되기도 합니다. 토큰맥싱이란 엔지니어가 주로 개인 토큰 수를 늘리고 사내 토큰 리더보드에서 순위를 올리기 위해 에이전트를 실행하는 것을 말합니다.

토큰 지출을 줄이는 방법

토큰 지출이 많은 경우는 대부분 겉보기보다 토큰을 많이 쓰는 몇 가지 유형의 작업에서 비롯됩니다.

긴 대화와 에이전트 작업

모델은 답변할 때마다 보통 지금까지의 대화 전체를 다시 읽습니다. 새 요청에는 이전 대화 기록 전체와 현재 사용자 메시지가 함께 포함됩니다. 그래서 긴 스레드의 후반부에 던진 짧은 질문은 새 스레드에서 같은 질문을 할 때보다 토큰을 더 많이 사용합니다. 에이전트 작업도 마찬가지입니다. 각 단계의 결과가 기록에 추가되고, 다음 단계에서 그 기록을 다시 읽기 때문입니다.

확대

해결 방법

• 주제가 바뀌면 새 대화를 시작하세요. 새 대화를 시작할 때는 이전 스레드에서 모델이 여전히 알아야 할 내용을 두세 줄로 요약해 알려 주세요.
• 긴 에이전트 작업은 더 작은 작업으로 나누세요. 각 부분을 별도의 작업으로 실행하고, 다음 부분에 필요한 결과만 전달하세요.
• 팀에서 사용하는 에이전트 도구가 컨텍스트 압축을 지원하는지 확인하세요. 컨텍스트 압축은 작업의 오래된 부분을 자동으로 요약해 모델이 다시 읽어야 하는 양을 줄여 줍니다. 도구에서 설정으로 제공한다면 켜 두세요.

같은 문서를 반복해서 처리하는 경우

정책 핸드북이나 제품 카탈로그처럼 긴 파일을 여러 개의 개별 쿼리에 반복해서 첨부하면 모델은 매번 파일 전체를 읽습니다. 그리고 읽을 때마다 입력 토큰으로 집계됩니다.

해결 방법

• 핸드북이나 카탈로그 파일 전체를 첨부하는 대신 관련 부분만 복사해 요청에 넣도록 사용자에게 안내하세요.
• 팀에서 자주 사용하는 문서는 요약본을 만들어 두세요. 긴 정책 문서를 한 페이지로 요약해 두면 일상적인 쿼리에서 원본 문서 대신 사용할 수 있습니다.

재시도와 반복 루프

답변이 원하던 내용이 아니어서 작업을 다시 실행하면 시도할 때마다 토큰이 사용됩니다. 에이전트가 같은 단계를 반복하며 멈춰 있을 때도 마찬가지입니다.

해결 방법

• 첫 요청에서 작업 내용, 원하는 결과, 참고할 출처를 명확히 밝히세요. 예: "첨부한 설문 결과만 사용해 3분기에 고객이 해지한 주요 이유를 글머리 기호 5개로 요약해 줘."
• 에이전트 작업의 처음 몇 단계를 확인하세요. 에이전트가 같은 단계나 검색을 반복한다면 작업을 중지하고 범위를 좁힌 요청으로 다시 시작하세요.

간단한 작업에 대형 모델을 사용하는 경우

성능이 뛰어난 모델일수록 대개 토큰당 비용이 높기 때문에, 요약이나 서식 변경 같은 일상적인 작업에도 이런 모델을 쓰면 팀의 예산이 필요 이상으로 빨리 소진될 수 있습니다.

해결 방법

• 각 작업을 처리할 수 있는 모델에 맞춰 배정하는 모델 라우팅을 활용하세요. 짧은 재작성이나 요약은 더 작고 저렴한 모델에 맡기고, 가장 성능이 뛰어난 모델은 여러 단계의 추론이나 분석에 사용하는 식입니다. Perplexity의 API도 프리셋을 통해 이런 방식을 적용합니다. 프리셋은 간단한 조회에는 작은 모델을, 철저한 분석에는 큰 모델을 배정합니다.

새 워크플로우 도입 후 급증하는 경우

새로운 자동화 워크플로우를 도입하거나 팀 전체에 도구를 배포하면 사용량이 하룻밤 사이에 늘어날 수 있습니다. 급증 자체가 문제는 아니지만, 어떤 작업 때문에 늘었는지는 파악해 두는 것이 좋습니다.

해결 방법

• 새 워크플로우는 먼저 소규모 그룹에서 테스트하세요. 팀 전체에 배포하기 전에 1~2주 동안 해당 그룹의 사용량을 확인하세요.
• 팀별로 월간 예산을 설정하세요. 평소 한 달 사용량을 기준으로 잡으면 급증했을 때 바로 눈에 띕니다.
• 자동 충전을 끄세요. 자동 충전을 끄면 크레딧이 소진되었을 때 크레딧이 자동으로 추가 구매되지 않고 작업이 중단됩니다.

Perplexity에서 토큰 지출을 최적화하는 방법

일상적인 사용을 위한 팁

Computer는 크레딧을 사용하지만, 사용자가 직접 선택할 때만 실행됩니다. Computer 아이콘을 선택하거나, 기본 모드가 Computer로 설정된 프로젝트에서 작업하거나, Comet Work 모드를 사용할 때가 이에 해당합니다.

확대

일반 검색으로 돌아가려면 Perplexity 아이콘을 선택해 Ask 모드로 다시 전환하세요. 크레딧 사용량은 Perplexity 인터페이스 안의 트래커에서 확인할 수 있습니다.

확대

Perplexity의 공유 작업 공간인 프로젝트에서 작업하는 팀은 프로젝트별로 기본 모드를 검색 또는 Computer로 설정할 수 있습니다. 주로 간단한 리서치에 사용하는 프로젝트는 기본 모드를 검색으로 설정해 두면 실수로 Computer 작업을 시작하는 일을 막을 수 있습니다.

Enterprise 관리자를 위한 팁

• 시트별로 포함된 내용을 파악하세요. Enterprise Pro 사용자는 매월 500크레딧을, Enterprise Max 사용자는 15,000크레딧을 할당받습니다. 이 크레딧은 매월 주기가 끝나면 만료되며 다음 달로 이월되지 않습니다.
• 먼저 기본 사용 한도를 설정하세요. 사용 한도는 멤버가 자신에게 할당된 크레딧을 모두 쓴 뒤 공유 풀에서 추가로 가져다 쓸 수 있는 크레딧의 상한입니다.
• 사용자 유형별로 이름을 붙인 한도를 만드세요. 관리자는 "표준", "파워 유저", "외부 계약자" 같은 한도를 만들어 사용자 그룹이나 개별 멤버에게 할당할 수 있습니다. 그룹은 Perplexity에서 만들거나 회사의 ID 공급자에서 동기화할 수 있습니다. 한 사람이 여러 그룹에 속해 있으면 가장 높은 한도가 적용됩니다.
• 예외 상황에는 개인 재정의를 사용하세요. 특정 사용자에게 소속 그룹과 다른 상한이 필요할 때, 개인 재정의는 그룹 한도나 공유 한도보다 우선 적용됩니다. 팀 전체의 상한을 올리지 않고도 리서치가 많이 필요한 단기 프로젝트에 대응할 수 있어 유용합니다.
• 자동 충전에 상한을 두세요. 자동 충전은 공유 풀을 자동으로 채워 줍니다. 월간 충전 한도를 설정할 수 있으므로 지출이 정해진 최대치를 넘어 늘어나지 않습니다.
• 멤버가 크레딧을 추가로 요청하는 방식을 정하세요. 멤버의 추가 크레딧 요청 허용 설정을 사용하면 한도에 도달한 사용자가 작업이 바로 중단되는 대신 관리자에게 크레딧을 추가로 요청할 수 있습니다.
• 매월 사용량을 검토하세요. 조직 크레딧 페이지에서는 멤버별로 지급된 크레딧, 사용한 크레딧, 남은 크레딧과 함께 그룹 한도 및 풀 잔액을 확인할 수 있습니다. 시트가 50개 이상이거나 Enterprise Max 멤버가 한 명 이상 있는 조직은 인사이트 대시보드에서 월간 활성 사용자 수와 시간에 따른 주간 쿼리 수도 확인할 수 있습니다. 더 자세한 내용은 작업 실행, 커넥터 사용, 크레딧 소비, 크레딧 지급을 기록하는 감사 로그에서 확인하세요.

API로 개발하는 팀을 위한 팁

• 도구나 팀마다 별도의 API 키를 발급하세요. Perplexity에서는 키별로 결제 내역을 따로 확인할 수 있으며, 키를 분리하면 어떤 도구가 사용량을 늘리고 있는지 명확히 알 수 있습니다.
• 결제 페이지에서 어떤 유형의 토큰이 늘고 있는지 확인하세요. 결제 페이지에는 시간에 따른 입력, 출력, 추론 토큰이 표시됩니다. 입력 토큰이 늘고 있다면 대개 도구가 필요 이상으로 많은 텍스트를 보내고 있다는 뜻입니다. 추론 토큰이 늘고 있다면 문제를 오래 깊이 생각하는 모델에서 작업이 실행되고 있다는 뜻입니다.
• 도구에 검색 결과만 필요하다면 Search API를 사용하세요. Search API는 모델이 답변을 작성하지 않고 웹 검색 결과만 반환하며, 요청당 요금만 부과되고 토큰 기반 추가 요금은 없습니다.
• 에이전트 도구는 프리셋으로 시작하세요. Perplexity의 프리셋은 작업 규모에 맞는 크기의 모델을 배정하므로 간단한 요청이 가장 비싼 모델로 처리되지 않습니다

로컬 우선 작업

유료 클라우드 모델이 전혀 필요 없는 작업도 있습니다. Portable Computer는 사용자 자신의 컴퓨터에서 실행되는 Perplexity 에이전트 버전으로, 해당 기기에 저장된 AI 모델을 사용합니다. 모델이 로컬에서 실행되므로 일상적인 작업에는 유료 토큰이 사용되지 않습니다. 작업에 필요한 경우에만 웹, 연결된 앱 또는 더 강력한 클라우드 모델에 접근하며, 그 전에 먼저 사용자에게 확인을 요청합니다.

웹, 파일, 연결된 도구 전반에서 Perplexity Computer가 여러 단계로 이루어진 작업을 처리하는 방식을 살펴보세요.

자주 묻는 질문

토큰 지출과 AI 비용은 어떻게 다른가요?

토큰 지출은 팀이 수행하는 AI 작업의 양을 토큰 단위로 측정한 것입니다. AI 비용은 구독료, 추가 크레딧, 도입 비용 등 팀이 AI를 사용하기 위해 지불하는 모든 비용을 포괄합니다. 토큰 지출은 그중 사용량 기반 요금을 좌우합니다.

구독 사용자도 토큰당 요금을 내나요?

대개 직접 내지는 않습니다. 구독형 도구는 메시지, 쿼리 또는 크레딧 단위로 사용량을 추적하며, 토큰을 많이 쓰는 작업일수록 이를 더 빨리 소진합니다. Perplexity에서는 일반 검색에 크레딧이 전혀 사용되지 않으며, Computer 작업에만 크레딧이 사용됩니다.

AI 에이전트는 왜 토큰을 많이 사용하나요?

에이전트는 여러 단계를 거쳐 작업을 완료하며, 각 단계는 지금까지의 작업 내용을 다시 읽는 별도의 요청입니다. 따라서 긴 작업은 단계가 진행될수록 토큰을 더 많이 사용합니다.

토큰 사용량이 갑자기 급증하는 이유는 무엇인가요?

급증은 대부분 새로운 자동화 워크플로우 도입, 더 많은 사람에게 도구 배포, 긴 에이전트 작업처럼 팀의 업무 방식이 바뀐 뒤에 나타납니다. 급증한 날짜를 최근 도입한 항목과 비교해 보면 대개 원인을 찾을 수 있습니다. 새 워크플로우를 먼저 소규모 그룹에서 테스트하면 급증을 예방하는 데 도움이 됩니다.