BlogInteligencia artificial

Cuánto cuesta realmente un asistente con IA, y cómo bajarlo sin perder calidad

El costo de un LLM es una multiplicación: tokens por precio por token. Caché, ruteo de modelos, agentes y memoria, y por qué ningún ahorro vale si no mides la calidad al mismo tiempo. Con calculadora.

Alberto Valdovinos · 7 min de lectura

Hacer que un asistente con IA funcione es la primera mitad del trabajo. La segunda es que la factura al final del mes tenga sentido. Y casi nadie la planea desde el principio.

Estoy cursando AI Cost Optimization de ByteByteGo, con Jeremy Hintz, y el curso arranca con una idea que ordena todo lo demás: el costo de un modelo de lenguaje es una multiplicación.

costo = número de tokens × precio por token

Toda técnica de optimización ataca uno de esos dos factores. Esto es lo que me llevo.

Factor 1: mandar menos tokens

Cada llamada a un modelo cobra por lo que entra (instrucciones, contexto, historial) y por lo que sale (la respuesta). En un asistente con RAG, la entrada suele ser la parte más grande: el documento recuperado viaja en cada pregunta.

  • Caché del prompt: las instrucciones del sistema y el contexto fijo se repiten idénticos en cada llamada. Los proveedores cobran mucho menos por la parte que ya tienen en caché.
  • Caché semántico: si alguien pregunta "¿cuántos días tengo para pedir un reembolso?" y otro "¿hasta cuándo puedo devolver algo?", es la misma pregunta. Con embeddings se detecta y se responde desde la caché, sin llamar al modelo.
  • Compactar el contexto: resumir el historial de la conversación en lugar de reenviarlo completo.
  • Memoria estructurada: guardar aparte los datos que importan para recuperarlos solo cuando se necesitan.

Estas técnicas tienen una ventaja enorme: devuelven la misma respuesta por menos dinero.

Factor 2: pagar menos por cada token

Aquí está la diferencia más grande. Una escalera de precios típica con tres modelos (dólares por millón de tokens, entrada / salida, a noviembre de 2026):

Nivel Modelo Precio
Económico gpt-4o-mini $0.15 / $0.60
Intermedio claude-haiku-4-5 $1.00 / $5.00
Frontera claude-sonnet-4-6 $3.00 / $15.00

El modelo de frontera cuesta unas 20 veces más. Para una pregunta sencilla ("¿cuántos días tengo para pedir un reembolso?") los dos responden bien, y pagar el fuerte es tirar el dinero. Para una pregunta con trampa ("me equivoqué de contraseña 3 veces a las 10:00 y 2 veces a las 10:20, ¿está bloqueada mi cuenta?"), el económico se equivocó en las pruebas y el fuerte no.

Ese es el problema del ruteo de modelos: decidir, pregunta por pregunta, qué modelo responde.

Cuatro formas de rutear, de la más simple a la más sofisticada

  1. Reglas en el gateway. Se califica la pregunta por su forma: longitud, palabras como "paso a paso", código, montos. Es gratis y auditable, pero mide qué tan complicada se ve una pregunta, no qué tan difícil es. Y cada regla nueva trae falsos positivos que alguien tiene que mantener.
  2. Rutas por embeddings. Cada pregunta se compara con ejemplos de cada departamento (pedidos, facturación, cuenta) y se manda al modelo asignado a ese departamento. Funciona, pero "facturación es dinero, mándalo al fuerte" sigue siendo una suposición humana.
  3. Cascada. Responde primero el modelo económico, un verificador barato califica la respuesta y, si hay duda, escala al fuerte. La idea viene del paper FrugalGPT. Su trampa: cuando escala, pagas los dos intentos.
  4. Ruteo por preferencias. Un modelo de machine learning clásico, entrenado con miles de comparaciones entre respuestas de modelos, predice desde la pregunta si el modelo fuerte daría una respuesta mejor. Es el enfoque de RouteLLM.

La calculadora de abajo compara la cascada contra mandar todo a un solo modelo. Mueve el porcentaje de preguntas difíciles y la tasa de falsas alarmas del verificador, y observa en qué momento deja de ahorrar.

Calculadora · Costo de un asistente con IA

¿Cuánto pagas al mes, y qué calidad obtienes?

El modelo de frontera cuesta 22× más por solicitud que el económico con estos tokens.

Todo al modelo fuerte$2,400/mes
Respuestas correctas: 100%Referencia
Todo al modelo económico$111/mes
Respuestas correctas: 80%Ahorro 95%
Cascada: económico, verificar, escalar si hay duda$757/mes
Respuestas correctas: 98%Ahorro 68%

Punto de equilibrio de la cascada

Hoy escala el 26% de las preguntas. La cascada deja de ahorrar si escala más del 94%, porque pagas el intento económico y el fuerte.

costo = económico + verificador + escalamiento × fuerte

Modelo simplificado: supone que el modelo fuerte siempre acierta y el económico falla solo en las preguntas difíciles. Los números reales se miden con tus evals.

Lo que más me sorprendió

Rutear cambia la respuesta

La caché y la compresión devuelven la misma respuesta por menos dinero. El ruteo no: un modelo distinto puede responder distinto. Por eso cada experimento debe registrar costo y precisión en la misma tabla. Un ahorro sin la columna de calidad no sirve para tomar una decisión de producción.

Es exactamente la idea de las evals en el ciclo de vida de una aplicación GenAI: sin una forma de medir, no sabes si ahorraste o si empeoraste el producto.

Los umbrales no se pueden copiar

RouteLLM publica umbrales calibrados con tráfico público de chatbots. En la práctica, el umbral que en teoría manda "más o menos la mitad" al modelo fuerte mandó alrededor del 60% del tráfico de ejemplo. Un umbral solo vale para el tráfico con el que se calibró. La forma correcta es calibrarlo con una muestra de tu propio tráfico y una decisión de negocio: "puedo pagar el modelo fuerte en el 30% de las preguntas".

El valor de un router está en tus datos

Entrené un router propio con unas 250 comparaciones de preguntas de un negocio de ejemplo. El router publicado, entrenado con decenas de miles de comparaciones, distinguía las preguntas difíciles apenas mejor que una moneda al aire en ese dominio. El propio, con 250 ejemplos, lo superó.

Y aun así, con solo 32 preguntas de prueba, no se podía demostrar que uno fuera mejor que el otro: el modelo económico se equivocaba en tan pocas que casi no había dónde ver la diferencia. Medir bien también requiere suficientes datos.

Agentes: el costo crece con cada paso

Un agente es un modelo en un ciclo con herramientas. El problema de costo es que en cada paso vuelve a leer todo lo anterior: las instrucciones, la definición de cada herramienta y cada resultado previo. En una prueba, la última llamada de un agente fue más del doble de grande que la primera, y todo se cobró al precio del modelo fuerte.

Dos ideas para controlarlo:

  • Planear y ejecutar. El modelo fuerte lee el caso una sola vez y escribe un plan de pasos independientes. Cada paso lo ejecuta un modelo económico con un contexto limpio. El costo se concentra en el plan; si el caso es sencillo, el plan es puro gasto extra.
  • Equipos de especialistas. Cada agente tiene su modelo, sus herramientas y su parte de la documentación: facturación con el modelo fuerte, pedidos con el económico. Pero un sistema multiagente no es más barato por diseño: solo lo es si el trabajo realmente cae en los agentes baratos. En un ejemplo, bajar al especialista de facturación de nivel recortó el costo del equipo alrededor de 40% y perdió uno de nueve datos correctos.

Memoria: compactar sin olvidar

Resumir la conversación ahorra tokens, pero el resumen puede tirar justo el dato importante. Un ejemplo clarísimo: el cliente da su número de pedido en el primer mensaje y lo vuelve a necesitar en el décimo; con la conversación compactada, el asistente ya no lo tiene.

La solución es una memoria de hechos: después de cada turno, un modelo económico extrae los datos duraderos (identificadores, montos, decisiones) y antes de cada respuesta se recuperan los que tienen que ver con la pregunta.

Mi checklist de costos

  • ¿Sé cuánto cuesta cada solicitud y cada etapa de un agente, no solo la factura total?
  • ¿Las instrucciones y el contexto fijo aprovechan la caché del prompt?
  • ¿Las preguntas repetidas se resuelven con caché semántico?
  • ¿Uso el modelo fuerte solo donde mis datos demuestran que hace falta?
  • ¿Cada cambio de ruteo se valida con evals de calidad, en la misma tabla que el costo?
  • ¿La memoria conserva los datos clave cuando compacto la conversación?

Optimizar costos de IA no es usar el modelo más barato. Es pagar el modelo caro solo cuando la diferencia se nota, y tener los datos para demostrarlo.

Referencias