He notado una tendencia interesante: la era de los tokens baratos ha terminado oficialmente. Antes, cuando las grandes empresas subsidiaban la API, todos vivíamos como reyes. Lanzábamos miles de palabras en los prompts, obligando a GPT-4 a hacer cosas absurdas como "hacer la primera letra mayúscula". ¿Por qué? Porque era barato. Pero el viento ha cambiado de dirección.

Ahora las facturas por potencia computacional se han vuelto reales. NVIDIA H100 — es un conflicto geopolítico, no solo una competencia comercial. Cada llamada a la API cuesta dinero real. Un token ya no es solo una unidad, es realmente como oro.

El asunto es que la mayoría de los equipos no entienden dónde realmente se escapan los fondos. La gente mira la factura al final del mes y entra en shock. Las pérdidas están ocultas en los lugares menos evidentes. Usted se comunica cortésmente con el modelo — hola, gracias, por favor. Pero cada palabra, cada espacio — es un token que paga usted. El sistema de prompts se acumula, se repite en cada sesión, y paga por lo que ya pagó ayer.

El RAG a menudo se vuelve catastrófico. Idealmente — extraer tres oraciones relevantes. En la práctica — el usuario hace una consulta, y el sistema lanza al modelo diez documentos PDF de 10 mil palabras cada uno. El desarrollador piensa: que lo encuentre solo. No es pereza, es un crimen contra la potencia computacional. La información contextual inadecuada no solo confunde el mecanismo de atención, sino que también conduce a un consumo astronómico de tokens.

Los agentes no controlados — ya son un extremo. Cuando la IA entra en un ciclo de errores, gira allí indefinidamente, gastando tokens de salida caros. Sin un mecanismo adecuado de parada de emergencia, esto puede vaciar su tarjeta de crédito en una noche.

Pero hay una solución. La caché semántica — la forma más sencilla. Las consultas de los usuarios a menudo son del mismo tipo. En lugar de llamar a GPT-4 cada vez, verifica la similitud con la caché. Si alguien ya hizo una pregunta similar, toma la respuesta lista. Tokens gastados en cero. La latencia de segundos pasa a milisegundos.

La compresión de prompts — es el segundo nivel. Los algoritmos basados en entropía informacional analizan qué palabras son críticas y cuáles son redundantes. Se puede comprimir un texto de mil tokens a trescientos, conservando el contenido. Deja que las máquinas hablen en lenguaje máquina — lo que a los humanos les parece torpe, para los modelos es completamente comprensible.

La enrutación de modelos — es la mayor prueba para los arquitectos. No pongas todas las tareas en el modelo más caro. Para transformaciones simples de formato o traducciones — enrutarlos a API baratas o modelos pequeños desplegados localmente. Los costos casi desaparecen. Para razonamientos complejos — entonces usa herramientas potentes. Como una empresa bien coordinada: la recepción no pasa las consultas directamente al director general.

Aquí es donde realmente se pone interesante — mira a OpenClaw y Hermes. Son agentes que entienden la realidad de recursos limitados. OpenClaw casi obsesivamente controla los tokens. En lugar de un flujo libre de texto — salida forzada en JSON Schema. La IA no conversa, llena formularios. A simple vista — es para facilitar el análisis, pero en realidad es un ahorro quirúrgico de tráfico.

Hermes de Nous Research demuestra precisión en la ejecución de instrucciones. Hacerlo bien desde la primera vez — es el mayor ahorro. En interacciones de múltiples pasos, no almacenan toda la historia. La memoria de trabajo — los últimos 3–5 mensajes. Cuando la ventana se llena, un modelo ligero hace un resumen de varias oraciones clave y lo guarda en una base vectorial. El diálogo antiguo se elimina, pero el conocimiento permanece. No es tirar basura, es una eliminación quirúrgica en la memoria.

Ahora, el punto clave — no es un problema técnico, es un cambio de mentalidad. Antes, veíamos los tokens como consumidores en un supermercado. Ves un descuento — lo pones en la cesta. Las empresas conectaban ciegamente LLM a todo, incluso al menú del comedor. Ahora hay que cambiar a una mentalidad de inversión. Cada token — es una inversión. La pregunta: ¿qué me ha aportado? ¿Aumentó la tasa de cierre de tickets? ¿Redujo el tiempo de corrección de errores?

Si una función basada en reglas cuesta 10 centavos, y un gran modelo — 1 dólar por token, pero solo aumenta la conversión en un 2%, córtela. Sin dudarlo. Dejen de perseguir soluciones de IA grandes y omnipresentes. Busquen pequeños y precisos golpes mejorados. Cuando un negocio pregunta: ¿puedo leer 100 mil informes y hacer un resumen? Pregunte a su vez: ¿cubrirán sus ingresos unos pocos millones de tokens en API?

Haga los cálculos. Ahorre. Cuente los tokens como un dueño de tienda de productos. No suena muy ciberpunk — más bien, muy agrícola. Pero es un paso necesario en el camino hacia la madurez de la IA. La era del uso ilimitado y gratuito ha terminado. Ahora ganan quienes entienden la arquitectura, la enrutación y saben aprovechar al máximo cada gota de potencia computacional. Cuando la marea baja, se ve quién nada desnudo. En esta ocasión, la marea de tokens baratos se retira. Solo quienes extraen cada gota como oro podrán obtener una verdadera armadura.