Cómo supervisar y controlar el gasto en tokens de tu equipo

Qué es el gasto en tokens

El gasto en tokens es la cantidad de tokens que consume un equipo al usar la IA y lo que cuestan esos tokens. Un token es una unidad de texto, como una palabra, parte de una palabra o un signo de puntuación, que un modelo de IA lee o escribe. En inglés, 1 token equivale aproximadamente a 4 caracteres. Los tokens no están estandarizados entre modelos ni proveedores, por lo que un mismo texto puede dar un recuento distinto en herramientas diferentes.

Los informes de uso suelen dividir los tokens en varios tipos:

• Los tokens de entrada son todo lo que el modelo lee en una solicitud. Eso incluye la consulta, cualquier texto adjunto y el historial de la conversación que el modelo reutiliza de mensajes anteriores del mismo hilo.
• Los tokens de salida son la respuesta que escribe el modelo. Suelen costar más que los tokens de entrada. En los precios de la API de Perplexity, algunos modelos cobran seis veces más por la salida.
• Los tokens de razonamiento son el texto que un modelo genera internamente para resolver un problema antes de responder. No aparecen en la respuesta, así que una respuesta visible más larga no significa necesariamente que un modelo haya usado más tokens en total.

Los equipos que usan herramientas de IA con una suscripción rara vez ven un cargo por token. Aun así, los tokens determinan lo que obtienen, ya que las tareas más exigentes agotan antes los créditos o alcanzan antes los límites de uso. Los equipos que crean sus propias herramientas sobre un modelo de IA, en cambio, suelen pagar por token, con precios basados en el uso.

Cómo hacer un seguimiento del gasto en tokens

Seguimiento del gasto en tokens en un plan de suscripción

Las herramientas de suscripción no suelen mostrar el recuento de tokens. En su lugar, muchos planes usan créditos, unidades prepagadas que el plan va descontando a medida que se realiza el trabajo. Los créditos no son lo mismo que los tokens, ya que un crédito puede cubrir texto, imágenes u otro tipo de trabajo. Pero las tareas que usan más tokens suelen consumir también más créditos, por lo que son la mejor referencia del gasto en tokens en una suscripción. Los usuarios pueden hacer un seguimiento de su propio consumo de créditos, y algunos planes también incluyen un panel de administración que muestra el consumo de créditos de todo el equipo.

En Perplexity, por ejemplo, las búsquedas normales no consumen créditos. Solo los consume Perplexity Computer, el asistente que se encarga de las tareas de varios pasos. Quienes usan Computer pueden ver cuántos créditos han consumido y en qué. Cada tarea de Computer también muestra su propio total de créditos en el menú «Uso» de su conversación.

Ampliar

En los planes Enterprise, los administradores pueden ver cuántas personas usan Perplexity y cuántas consultas realizan cada semana en el panel Insights (disponible para organizaciones con 50 puestos o más, o con al menos un miembro de Enterprise Max).

Ampliar

Seguimiento del gasto en tokens en los informes de uso de la API

Los informes de uso del proveedor de la API muestran directamente el recuento de tokens, normalmente desglosado por tipo de token. La consola de API Platform de Perplexity, por ejemplo, permite a los usuarios hacer un seguimiento de métricas como el gasto en tokens de entrada, de salida y de razonamiento en la página de facturación.

Por qué está creciendo el gasto en tokens

Los agentes ejecutan muchos pasos por tarea, y cada paso es una solicitud independiente a un modelo. Una sola tarea puede sumar cientos de miles o incluso millones de tokens.

Los modelos de razonamiento también son cada vez más habituales. Un modelo de razonamiento pone por escrito su proceso de pensamiento antes de responder, y cada palabra de ese proceso cuenta como tokens. Por eso, una misma solicitud suele usar más tokens en un modelo de razonamiento que en uno estándar, aunque la respuesta en pantalla tenga la misma longitud.

Por último, a medida que más personas y flujos de trabajo usan la IA en general, el uso de tokens se va acumulando. Parte de ese crecimiento también se debe al tokenmaxxing, una práctica en la que los ingenieros ejecutan agentes principalmente para aumentar su recuento personal de tokens y subir posiciones en las clasificaciones internas de tokens.

Cómo reducir el gasto en tokens

La mayor parte del gasto elevado en tokens procede de unos pocos tipos de trabajo que consumen más tokens de lo que parece.

Conversaciones largas y tareas de agentes

Cada vez que un modelo responde, normalmente vuelve a leer toda la conversación hasta ese momento. Cada nueva solicitud incluye todo el historial anterior de la conversación más el mensaje actual del usuario. Por eso, una pregunta breve al final de un hilo largo usa más tokens que la misma pregunta en uno nuevo. Las tareas de agentes funcionan igual, porque cada paso añade sus resultados al historial que vuelve a leer el paso siguiente.

Ampliar

Qué hacer al respecto

• Inicia una nueva conversación cuando cambie el tema. Empiézala con un breve resumen de dos o tres líneas de lo que el modelo aún necesite del hilo anterior.
• Divide las tareas largas de agentes en otras más pequeñas. Ejecuta cada parte como una tarea independiente y pasa solo los resultados que necesite la parte siguiente.
• Comprueba si las herramientas de agentes del equipo usan la compactación de contexto. La compactación resume automáticamente las partes más antiguas de una tarea para que el modelo tenga que volver a leer menos. Si una herramienta la ofrece como ajuste, actívala.

Los mismos documentos procesados una y otra vez

Cuando alguien adjunta el mismo archivo largo, como un manual de políticas o un catálogo de productos, a muchas consultas distintas, el modelo lee el archivo completo cada vez. Cada lectura cuenta como tokens de entrada.

Qué hacer al respecto

• Enseña a los usuarios a copiar la sección relevante de un manual o catálogo en la solicitud en lugar de adjuntar el archivo completo.
• Crea una versión breve de los documentos que el equipo usa con frecuencia. Un resumen de una página de una política extensa puede sustituir al documento completo en las consultas rutinarias.

Reintentos y bucles

Cuando una respuesta no es lo que alguien necesitaba y vuelve a ejecutar la tarea, cada intento consume tokens. Lo mismo ocurre cuando un agente se queda atascado repitiendo el mismo paso.

Qué hacer al respecto

• Detalla la tarea, el resultado y las fuentes en la primera solicitud. Por ejemplo: «Resume en cinco viñetas los principales motivos por los que los clientes cancelaron en el tercer trimestre, usando solo los resultados de la encuesta adjunta».
• Revisa los primeros pasos de una tarea de agente. Si el agente repite el mismo paso o la misma búsqueda, detenlo y vuelve a empezar con una solicitud más acotada.

Modelos grandes para tareas sencillas

Los modelos más capaces suelen costar más por token, por lo que el trabajo rutinario, como los resúmenes o los cambios de formato, puede agotar el presupuesto de un equipo más rápido de lo necesario.

Qué hacer al respecto

• Usa el enrutamiento de modelos, que asigna a cada tarea un modelo capaz de gestionarla. Una reescritura breve o un resumen pueden ir a un modelo más pequeño y económico, y el modelo más capaz se reserva para el razonamiento o el análisis de varios pasos. La API de Perplexity aplica este enfoque con sus configuraciones predefinidas, que asignan un modelo más pequeño a una búsqueda rápida y uno más grande a un análisis exhaustivo.

Picos tras nuevos flujos de trabajo

Un nuevo flujo de trabajo automatizado, o una herramienta implantada en todo un equipo, puede disparar el uso de la noche a la mañana. Un pico no es un problema en sí mismo, pero conviene saber qué trabajo lo ha provocado.

Qué hacer al respecto

• Prueba primero los nuevos flujos de trabajo con un grupo reducido. Revisa su uso durante una o dos semanas antes de implantar el flujo de trabajo en todo el equipo.
• Establece un presupuesto mensual para cada equipo. Calcúlalo a partir del uso de un mes típico para que cualquier aumento brusco destaque.
• Desactiva la recarga automática. Con la recarga automática desactivada, el trabajo se detiene cuando se agotan los créditos, en lugar de comprarse más créditos automáticamente.

Cómo optimizar el gasto en tokens en Perplexity

Para el uso diario

Computer consume créditos, pero solo se ejecuta cuando lo eliges, ya sea seleccionando el icono de Computer, trabajando en un Proyecto que usa Computer de forma predeterminada o usando el modo Work de Comet.

Ampliar

Para volver a la búsqueda normal, selecciona el icono de Perplexity para cambiar de nuevo al modo Preguntar. Para ver el consumo de créditos, los usuarios pueden abrir el panel de seguimiento en la interfaz de Perplexity.

Ampliar

Los equipos que trabajan en Proyectos, los espacios de trabajo compartidos de Perplexity, pueden establecer Búsqueda o Computer como modo predeterminado de cada Proyecto. Un Proyecto que se usa sobre todo para investigaciones rápidas puede tener Búsqueda como modo predeterminado, para que nadie inicie una tarea de Computer por accidente.

Para administradores de Enterprise

• Conoce lo que incluye cada puesto. Los usuarios de Enterprise Pro reciben una asignación mensual de 500 créditos, y los de Enterprise Max reciben 15.000 créditos. Estos créditos caducan al final de cada ciclo mensual y no se acumulan para el siguiente.
• Establece primero un límite de uso predeterminado. Un límite de uso fija cuántos créditos adicionales puede tomar un miembro del fondo compartido una vez que se agota su propia asignación.
• Crea límites con nombre para distintos tipos de usuarios. Los administradores pueden configurar límites como «Estándar», «Usuario avanzado» y «Contratista», y asignarlos a grupos de usuarios o a miembros concretos. Los grupos pueden crearse en Perplexity o sincronizarse desde el proveedor de identidad de la empresa. Si alguien pertenece a más de un grupo, se aplica el límite más alto.
• Usa excepciones personales para casos puntuales. Cuando una persona necesita un límite distinto al de su grupo, una excepción personal tiene prioridad sobre cualquier límite de grupo o compartido. Resulta útil para un proyecto corto con mucha investigación, sin tener que subir el límite a todo un equipo.
• Pon un tope a la recarga automática. La recarga automática repone el fondo compartido de forma automática. Incluye un límite mensual de recarga configurable, para que el gasto no pueda crecer sin un máximo establecido.
• Decide cómo pueden pedir más los miembros. El ajuste Permitir que los miembros soliciten más créditos permite a quienes alcanzan su límite pedir más a un administrador, en lugar de quedarse bloqueados sin más.
• Revisa el uso cada mes. La página Créditos de la organización muestra los créditos concedidos, usados y restantes de cada miembro, junto con los límites de grupo y el saldo del fondo. Para organizaciones con 50 puestos o más, o con al menos un miembro de Enterprise Max, el panel Insights añade los usuarios activos mensuales y las consultas semanales a lo largo del tiempo. Para obtener más detalle, los registros de auditoría recogen la ejecución de tareas, el uso de conectores, el consumo de créditos y las concesiones de créditos.

Para equipos que desarrollan sobre la API

• Asigna a cada herramienta o equipo su propia clave de API. Perplexity puede mostrar la facturación de cada clave por separado, y usar claves distintas deja claro qué herramienta está generando el uso.
• Consulta en la página de facturación qué tipo de token está creciendo. Muestra los tokens de entrada, de salida y de razonamiento a lo largo del tiempo. Si aumentan los tokens de entrada, normalmente significa que una herramienta está enviando más texto del necesario. Si aumentan los tokens de razonamiento, significa que las tareas se están ejecutando en modelos que analizan los problemas a fondo.
• Usa la Search API cuando una herramienta solo necesite resultados de búsqueda. Devuelve resultados web sin que un modelo redacte una respuesta, y cobra por solicitud sin cargos adicionales basados en tokens.
• Inicia las herramientas de agentes a partir de una configuración predefinida. Las configuraciones predefinidas de Perplexity ajustan el tamaño del modelo al de la tarea y evitan que las solicitudes sencillas lleguen a los modelos más caros.

Priorizar el trabajo en local

Algunos trabajos no necesitan en absoluto un modelo de pago en la nube. Portable Computer es una versión del agente de Perplexity que se ejecuta en el propio ordenador de la persona, con un modelo de IA almacenado en ese equipo. Como el modelo se ejecuta en local, el trabajo rutinario no consume tokens de pago. Solo recurre a la web, a las aplicaciones conectadas o a un modelo en la nube más potente cuando una tarea lo necesita, y antes pide permiso al usuario.

Descubre cómo Perplexity Computer gestiona el trabajo de varios pasos en la web, los archivos y las herramientas conectadas.

Preguntas frecuentes

¿Qué diferencia hay entre el gasto en tokens y los costes de IA?

El gasto en tokens mide cuánto trabajo de IA realiza un equipo, contabilizado en tokens. Los costes de IA abarcan todo lo que paga un equipo por usar la IA, incluidas las suscripciones, los créditos adicionales y la configuración. El gasto en tokens determina la parte de esa factura basada en el uso.

¿Los usuarios con suscripción pagan por token?

Normalmente no de forma directa. Las herramientas de suscripción registran el uso en mensajes, consultas o créditos, y las tareas que usan más tokens los agotan más rápido. En Perplexity, las búsquedas normales no consumen créditos en absoluto; solo las tareas de Computer los consumen.

¿Por qué los agentes de IA usan tantos tokens?

Un agente completa una tarea en muchos pasos, y cada paso es una solicitud independiente que vuelve a leer el trabajo realizado hasta ese momento. Por lo tanto, una tarea larga consume más tokens con cada paso que da.

¿Por qué el uso de tokens se dispara de repente?

La mayoría de los picos se producen tras un cambio en la forma de trabajar de un equipo, como un nuevo flujo de trabajo automatizado, una herramienta implantada para más personas o una tarea de agente larga. Comparar la fecha del pico con los lanzamientos recientes suele revelar la causa. Probar primero los nuevos flujos de trabajo con un grupo reducido ayuda a evitar picos.