¿Como ahorrar tokens?

De entender la tarificación a dominar la caché, el enrutamiento y la monitorización

La caché de prefijos es la optimización individual más eficaz para aplicaciones con contenido estático repetido. Proveedores como OpenAI y Anthropic almacenan prefijos de prompt que aparecen en múltiples peticiones y facturan las porciones cacheadas a una fracción del precio estándar, entre un 50% y un 90% menos. Los requisitos típicos son un mínimo cacheable de 1.024 tokens en OpenAI o 2.048 en Anthropic, una TTL de 5 a 60 minutos, y que el contenido sea idéntico al inicio del prompt. La estructura óptima coloca el prompt de sistema estático primero, el contexto semiestático en medio y el mensaje dinámico del usuario al final.

La letra pequeña: la caché abarata el contexto repetido, no lo elimina. Los tokens cacheados siguen ocupando ventana de contexto, y la salida no se abarata por arte de magia. Escribir en caché cuesta algo más que la entrada normal (en Anthropic, un recargo del 25%), y se amortiza en cuanto la segunda petición acierta. El truco está en colocar lo estable arriba y lo variable abajo.

La selección de modelo según la tarea es crucial. La escalera va desde insignia para razonamiento complejo, pasando por equilibrados de propósito general, hasta pequeños para clasificación y extracción, y afinados para tareas repetitivas. Un chatbot de atención al cliente que enruta el 80% de las consultas a un modelo pequeño y el 20% al insignia redujo costes un 75% frente a usar siempre el modelo caro. Los modelos económicos pueden costar entre 15 y 50 veces menos.

Bajar de modelo es lo último, no lo primero. Primero se quita desperdicio; si se empieza recortando el prompt hasta dejarlo en los huesos, se gastará menos en la primera petición y más en las cuatro correcciones que vienen detrás. Bajar el nivel de razonamiento en tareas sencillas sí evita trabajo interno que no aporta.

El procesamiento por lotes ofrece descuentos del 50% en la mayoría de proveedores para cargas no sensibles al tiempo, con ventanas de 24 horas: etiquetado, generación de contenido, informes, traducciones y datos sintéticos.

El control de la salida es crítico porque los tokens de salida cuestan entre 2 y 5 veces más que los de entrada. Hay que fijar límites duros de max_tokens, usar secuencias de parada para cortar en marcadores, y pedir formatos concisos en el propio prompt: "responde en menos de 50 palabras", "solo viñetas", "devuelve solo JSON, sin explicación". Separar el razonamiento tipo cadena de pensamiento de la respuesta final evita inflar la salida: pedir el razonamiento dentro de una etiqueta de borrador y la respuesta en otra permite a la aplicación parsear y descartar el bloque de pensamiento.

La optimización de RAG pasa por recuperar pocos fragmentos bien rankeados (top_k=3), comprimir para eliminar redundancia, truncar a un límite, usar fragmentación semántica en lugar de tamaño fijo, eliminar el markdown de los fragmentos recuperados e implementar re-ranking. Recuperar solo el pasaje relevante, por ejemplo mediante similitud coseno con embeddings, permite que una base de 10.000 tokens donde solo 800 son relevantes reduzca el coste del contexto en más del 90%.

El preprocesamiento antes de que la IA lea es una de las mayores ganancias. Un modelo no debería leerse 10.000 líneas de log para encontrar cuatro errores si una búsqueda normal las extrae antes: filtrar, agrupar, quitar duplicados y cortar ruido con código. Filtrar un log enorme para devolver solo las líneas con errores convierte decenas de miles de tokens en unos cientos. La IA debería hacer solo la parte que pide criterio; una expresión regular no necesita cobrar por pensar.

La limpieza de instrucciones permanentes es especialmente relevante en asistentes personalizados y agentes de código. Con el tiempo los archivos se convierten en un trastero de reglas duplicadas y ejemplos obsoletos. Cada norma debe aparecer una sola vez, las generales quedan en la base, las de tarea concreta se cargan solo cuando toca y lo obsoleto se borra. En pruebas internas, configuraciones con prompts más limpios redujeron los tokens totales entre un 41% y un 66% y subieron la puntuación de evaluaciones entre un 10% y un 15%.

La caché de respuestas evita llamadas a la API por completo. La caché exacta almacena respuestas bajo un hash del prompt y el modelo. La caché semántica va más allá: almacena embeddings vectoriales y recupera respuestas para consultas similares, de modo que "¿qué tiempo hace hoy?" y "¿cómo está el tiempo ahora?" impactan en la misma entrada. Soluciones de caché semántica han alcanzado reducciones de coste de hasta el 73% en cargas de alta repetición.

Para los agentes hay que poner límites antes de soltarlos: qué resultado entregar, qué fuentes consultar, cuántos intentos permite la tarea, cuándo parar y qué acciones necesitan permiso. Buscar herramientas bajo demanda, ejecutar cadenas como un único script, cachear definiciones estables y borrar resultados antiguos son los cuatro remedios recomendados.

La monitorización hace posible todo lo demás. Las métricas esenciales son tokens totales, de entrada, de salida, coste y número de peticiones. La métrica que importa no es el coste por llamada sino el coste por tarea resuelta: una petición barata seguida de tres correcciones sale más cara que una buena a la primera.

Un caso real ilustra el resultado combinado: