Como acompanhar e controlar o gasto com tokens da equipe

O que é gasto com tokens

O gasto com tokens é o número de tokens que uma equipe consome com IA e quanto esses tokens custam. Um token é uma unidade de texto, como uma palavra, parte de uma palavra ou um sinal de pontuação, que um modelo de IA lê ou escreve. Em inglês, 1 token corresponde a aproximadamente 4 caracteres. Os tokens não são padronizados entre modelos ou provedores, então o mesmo texto pode gerar uma contagem diferente em ferramentas diferentes.

Os relatórios de uso costumam dividir os tokens em alguns tipos:

• Tokens de entrada são tudo o que o modelo lê em uma solicitação. Isso inclui a consulta, qualquer texto anexado e o histórico da conversa que o modelo reaproveita de mensagens anteriores no mesmo tópico.
• Tokens de saída são a resposta que o modelo escreve. Eles costumam custar mais do que os tokens de entrada. Nos preços da API da Perplexity, alguns modelos cobram seis vezes mais pela saída.
• Tokens de raciocínio são o texto que um modelo gera internamente para resolver um problema antes de responder. Eles não aparecem na resposta, então uma resposta visível mais longa não significa necessariamente que um modelo usou mais tokens no total.

Equipes que usam ferramentas de IA por assinatura raramente veem uma cobrança por token. Ainda assim, os tokens determinam o que elas recebem, já que tarefas mais pesadas consomem créditos ou atingem os limites de uso mais rapidamente. Já as equipes que criam as próprias ferramentas sobre um modelo de IA normalmente pagam por token, no modelo de preços baseados no uso.

Como acompanhar o gasto com tokens

Como acompanhar o gasto com tokens em um plano de assinatura

Ferramentas por assinatura geralmente não mostram a contagem de tokens. Em vez disso, muitos planos usam créditos, unidades pré-pagas que o plano vai consumindo à medida que o trabalho é feito. Créditos não são a mesma coisa que tokens, já que um crédito pode cobrir texto, imagens ou outros tipos de trabalho. Mas tarefas que usam mais tokens geralmente também usam mais créditos, então eles são o melhor indicador do gasto com tokens em uma assinatura. Os usuários podem acompanhar o próprio uso de créditos, e alguns planos também incluem um painel de administração que mostra o uso de créditos de toda a equipe.

Na Perplexity, por exemplo, as buscas comuns não usam créditos. Apenas o Perplexity Computer, o assistente que realiza tarefas com várias etapas, os utiliza. Quem usa o Computer pode ver quantos créditos já usou e em quê. Cada tarefa do Computer também mostra o próprio total de créditos no menu "Uso" da conversa.

Expandir

Nos planos Enterprise, os administradores podem ver quantas pessoas usam a Perplexity e quantas consultas elas fazem por semana no painel Insights (disponível para organizações com 50 ou mais licenças, ou com pelo menos um membro Enterprise Max).

Expandir

Como acompanhar o gasto com tokens nos relatórios de uso da API

Os relatórios de uso do provedor da API mostram a contagem de tokens diretamente, geralmente divididos por tipo de token. O console da API Platform da Perplexity, por exemplo, permite que os usuários acompanhem métricas como o gasto com tokens de entrada, de saída e de raciocínio na página de Faturamento.

Por que o gasto com tokens está crescendo

Os agentes executam muitas etapas por tarefa, e cada etapa é uma solicitação separada a um modelo. Uma única tarefa pode chegar a centenas de milhares ou até milhões de tokens.

Os modelos de raciocínio também estão se tornando mais comuns. Um modelo de raciocínio escreve o próprio raciocínio antes de responder, e cada palavra disso conta como tokens. Por isso, a mesma solicitação geralmente usa mais tokens em um modelo de raciocínio do que em um modelo padrão, mesmo que a resposta na tela pareça ter o mesmo tamanho.

Por fim, à medida que mais pessoas e fluxos de trabalho usam IA de modo geral, o uso de tokens vai se acumulando. Parte desse crescimento também vem do tokenmaxxing, prática em que engenheiros executam agentes principalmente para aumentar a própria contagem de tokens e subir nos rankings internos de tokens.

Como reduzir o gasto com tokens

A maior parte do gasto elevado com tokens vem de alguns tipos de trabalho que usam mais tokens do que parece.

Conversas longas e tarefas de agentes

Sempre que um modelo responde, ele geralmente relê toda a conversa até aquele ponto. Cada nova solicitação inclui todo o histórico anterior da conversa mais a mensagem atual do usuário. Por isso, uma pergunta curta no fim de um tópico longo usa mais tokens do que a mesma pergunta em um tópico novo. As tarefas de agentes funcionam da mesma forma, porque cada etapa adiciona seus resultados ao histórico que a etapa seguinte relê.

Expandir

O que fazer a respeito

• Inicie uma nova conversa quando o assunto mudar. Comece com um resumo de duas ou três linhas de tudo o que o modelo ainda precisa saber do tópico anterior.
• Divida tarefas longas de agentes em tarefas menores. Execute cada parte como uma tarefa independente e passe adiante apenas os resultados de que a parte seguinte precisa.
• Verifique se as ferramentas de agentes da equipe usam compactação de contexto. A compactação resume automaticamente as partes mais antigas de uma tarefa para que o modelo releia menos. Se uma ferramenta oferecer isso como configuração, ative-a.

Os mesmos documentos processados repetidamente

Quando alguém anexa o mesmo arquivo longo, como um manual de políticas ou um catálogo de produtos, a várias consultas separadas, o modelo lê o arquivo inteiro todas as vezes. Cada leitura conta como tokens de entrada.

O que fazer a respeito

• Oriente os usuários a copiar na solicitação o trecho relevante do manual ou do catálogo em vez de anexar o arquivo inteiro.
• Crie versões resumidas dos documentos que a equipe usa com frequência. Um resumo de uma página de uma política extensa pode substituir o documento completo em consultas rotineiras.

Novas tentativas e loops

Quando uma resposta não atende ao que a pessoa precisava e ela executa a tarefa novamente, cada tentativa usa tokens. O mesmo acontece quando um agente fica preso repetindo a mesma etapa.

O que fazer a respeito

• Explique claramente a tarefa, o resultado e as fontes na primeira solicitação. Por exemplo: "Resuma os principais motivos pelos quais os clientes cancelaram no terceiro trimestre, usando apenas os resultados da pesquisa anexada, em cinco itens."
• Acompanhe as primeiras etapas de uma tarefa de agente. Se o agente repetir a mesma etapa ou busca, interrompa-o e recomece com uma solicitação mais específica.

Modelos grandes em tarefas simples

Modelos mais avançados geralmente custam mais por token, então trabalhos rotineiros, como resumos ou reformatação, podem consumir o orçamento de uma equipe mais rápido do que o necessário.

O que fazer a respeito

• Use o roteamento de modelos, que direciona cada tarefa para um modelo capaz de lidar com ela. Uma reescrita curta ou um resumo pode ir para um modelo menor e mais barato, e o modelo mais avançado fica reservado para raciocínio ou análise com várias etapas. A API da Perplexity adota essa abordagem com suas predefinições, que atribuem um modelo menor a uma consulta rápida e um maior a uma análise exaustiva.

Picos após novos fluxos de trabalho

Um novo fluxo de trabalho automatizado, ou uma ferramenta implantada para uma equipe inteira, pode aumentar o uso da noite para o dia. Um pico não é um problema em si, mas vale a pena saber qual trabalho o causou.

O que fazer a respeito

• Teste novos fluxos de trabalho primeiro com um grupo pequeno. Acompanhe o uso desse grupo por uma ou duas semanas antes de implantar o fluxo de trabalho para toda a equipe.
• Defina um orçamento mensal para cada equipe. Baseie-o no uso de um mês típico, para que um aumento repentino se destaque.
• Desative a recarga automática. Com a recarga automática desativada, o trabalho é interrompido quando os créditos acabam, em vez de mais créditos serem comprados automaticamente.

Como otimizar o gasto com tokens na Perplexity

Para o uso diário

O Computer usa créditos, mas só é executado quando você o escolhe, seja selecionando o ícone do Computer, trabalhando em um Projeto que usa o Computer por padrão ou usando o modo Work do Comet.

Expandir

Para voltar à busca comum, selecione o ícone da Perplexity para retornar ao modo Perguntar. Para ver o uso de créditos, os usuários podem abrir o rastreador na interface da Perplexity.

Expandir

Equipes que trabalham em Projetos, os espaços de trabalho compartilhados da Perplexity, podem definir o modo padrão de cada Projeto como Busca ou Computer. Um Projeto usado principalmente para pesquisas rápidas pode usar Busca por padrão, para que ninguém inicie uma tarefa do Computer por engano.

Para administradores do Enterprise

• Saiba o que cada licença inclui. Os usuários do Enterprise Pro recebem uma cota mensal de 500 créditos, e os usuários do Enterprise Max recebem 15.000 créditos. Esses créditos expiram ao fim de cada ciclo mensal e não são acumulados para o ciclo seguinte.
• Defina primeiro um limite de uso padrão. Um limite de uso restringe quantos créditos extras um membro pode usar do pool compartilhado depois que a própria cota acabar.
• Crie limites nomeados para diferentes tipos de usuários. Os administradores podem configurar limites como "Padrão", "Usuário avançado" e "Prestador de serviços" e atribuí-los a grupos de usuários ou a membros individuais. Os grupos podem ser criados na Perplexity ou sincronizados a partir do provedor de identidade da empresa. Se alguém pertencer a mais de um grupo, vale o limite mais alto.
• Use substituições pessoais para exceções. Quando uma pessoa precisa de um limite diferente do definido para o grupo, uma substituição pessoal tem prioridade sobre qualquer limite de grupo ou compartilhado. Isso é útil para um projeto curto com muita pesquisa, sem aumentar o limite de uma equipe inteira.
• Defina um teto para a recarga automática. A recarga automática reabastece o pool compartilhado automaticamente. Ela tem um limite mensal de recarga configurável, para que os gastos não cresçam sem um máximo definido.
• Decida como os membros podem pedir mais créditos. A configuração Permitir que membros solicitem mais créditos deixa quem atingiu o limite pedir mais a um administrador, em vez de ser simplesmente bloqueado.
• Revise o uso todos os meses. A página Créditos da organização mostra os créditos concedidos, usados e restantes de cada membro, além dos limites de grupo e do saldo do pool. Para organizações com 50 ou mais licenças, ou com pelo menos um membro Enterprise Max, o painel Insights acrescenta os usuários ativos mensais e as consultas semanais ao longo do tempo. Para mais detalhes, os logs de auditoria registram a execução de tarefas, o uso de conectores, o consumo de créditos e as concessões de créditos.

Para equipes que desenvolvem com a API

• Dê a cada ferramenta ou equipe a própria chave de API. A Perplexity pode mostrar o faturamento de cada chave separadamente, e chaves separadas deixam claro qual ferramenta está gerando o uso.
• Confira na página de faturamento qual tipo de token está crescendo. Ela mostra os tokens de entrada, de saída e de raciocínio ao longo do tempo. Um aumento nos tokens de entrada geralmente significa que uma ferramenta está enviando mais texto do que precisa. Um aumento nos tokens de raciocínio significa que as tarefas estão sendo executadas em modelos que analisam os problemas de forma extensa.
• Use a Search API quando uma ferramenta precisar apenas de resultados de busca. Ela retorna resultados da web sem que um modelo escreva uma resposta e cobra por solicitação, sem cobranças adicionais baseadas em tokens.
• Inicie as ferramentas de agentes a partir de uma predefinição. As predefinições da Perplexity ajustam o tamanho do modelo ao tamanho da tarefa e evitam que solicitações simples sejam enviadas aos modelos mais caros.

Trabalho com prioridade local

Alguns trabalhos nem precisam de um modelo pago na nuvem. O Portable Computer é uma versão do agente da Perplexity que é executada no próprio computador da pessoa, usando um modelo de IA armazenado nessa máquina. Como o modelo é executado localmente, o trabalho rotineiro não consome tokens pagos. Ele só recorre à web, a aplicativos conectados ou a um modelo mais potente na nuvem quando uma tarefa exige, e pede permissão ao usuário antes.

Descubra como o Perplexity Computer lida com trabalhos de várias etapas na web, em arquivos e em ferramentas conectadas.

Perguntas frequentes

Qual é a diferença entre gasto com tokens e custos de IA?

O gasto com tokens mede quanto trabalho de IA uma equipe realiza, contado em tokens. Os custos de IA abrangem tudo o que uma equipe paga para usar IA, incluindo assinaturas, créditos extras e configuração. O gasto com tokens determina a parte dessa conta que é baseada no uso.

Usuários de assinatura pagam por token?

Normalmente não de forma direta. As ferramentas por assinatura medem o uso em mensagens, consultas ou créditos, e tarefas que usam mais tokens esgotam esses limites mais rapidamente. Na Perplexity, as buscas comuns não usam créditos; apenas as tarefas do Computer usam.

Por que os agentes de IA usam tantos tokens?

Um agente conclui uma tarefa em muitas etapas, e cada etapa é uma solicitação separada que relê todo o trabalho feito até então. Por isso, uma tarefa longa usa mais tokens a cada etapa que executa.

Por que o uso de tokens aumenta de repente?

A maioria dos picos ocorre após uma mudança na forma como a equipe trabalha, como um novo fluxo de trabalho automatizado, uma ferramenta implantada para mais pessoas ou uma tarefa longa de agente. Comparar a data do pico com lançamentos recentes geralmente revela a causa. Testar novos fluxos de trabalho primeiro com um grupo pequeno ajuda a evitar picos.