Hacer que un asistente con IA funcione es la primera mitad del trabajo. La segunda es que la factura al final del mes tenga sentido. Y casi nadie la planea desde el principio.
Estoy cursando AI Cost Optimization de ByteByteGo, con Jeremy Hintz, y el curso arranca con una idea que ordena todo lo demás: el costo de un modelo de lenguaje es una multiplicación.
costo = número de tokens × precio por token
Toda técnica de optimización ataca uno de esos dos factores. Esto es lo que me llevo.
Factor 1: mandar menos tokens
Cada llamada a un modelo cobra por lo que entra (instrucciones, contexto, historial) y por lo que sale (la respuesta). En un asistente con RAG, la entrada suele ser la parte más grande: el documento recuperado viaja en cada pregunta.
- Caché del prompt: las instrucciones del sistema y el contexto fijo se repiten idénticos en cada llamada. Los proveedores cobran mucho menos por la parte que ya tienen en caché.
- Caché semántico: si alguien pregunta "¿cuántos días tengo para pedir un reembolso?" y otro "¿hasta cuándo puedo devolver algo?", es la misma pregunta. Con embeddings se detecta y se responde desde la caché, sin llamar al modelo.
- Compactar el contexto: resumir el historial de la conversación en lugar de reenviarlo completo.
- Memoria estructurada: guardar aparte los datos que importan para recuperarlos solo cuando se necesitan.
Estas técnicas tienen una ventaja enorme: devuelven la misma respuesta por menos dinero.
Factor 2: pagar menos por cada token
Aquí está la diferencia más grande. Una escalera de precios típica con tres modelos (dólares por millón de tokens, entrada / salida, a noviembre de 2026):
| Nivel | Modelo | Precio |
|---|---|---|
| Económico | gpt-4o-mini | $0.15 / $0.60 |
| Intermedio | claude-haiku-4-5 | $1.00 / $5.00 |
| Frontera | claude-sonnet-4-6 | $3.00 / $15.00 |
El modelo de frontera cuesta unas 20 veces más. Para una pregunta sencilla ("¿cuántos días tengo para pedir un reembolso?") los dos responden bien, y pagar el fuerte es tirar el dinero. Para una pregunta con trampa ("me equivoqué de contraseña 3 veces a las 10:00 y 2 veces a las 10:20, ¿está bloqueada mi cuenta?"), el económico se equivocó en las pruebas y el fuerte no.
Ese es el problema del ruteo de modelos: decidir, pregunta por pregunta, qué modelo responde.
Cuatro formas de rutear, de la más simple a la más sofisticada
- Reglas en el gateway. Se califica la pregunta por su forma: longitud, palabras como "paso a paso", código, montos. Es gratis y auditable, pero mide qué tan complicada se ve una pregunta, no qué tan difícil es. Y cada regla nueva trae falsos positivos que alguien tiene que mantener.
- Rutas por embeddings. Cada pregunta se compara con ejemplos de cada departamento (pedidos, facturación, cuenta) y se manda al modelo asignado a ese departamento. Funciona, pero "facturación es dinero, mándalo al fuerte" sigue siendo una suposición humana.
- Cascada. Responde primero el modelo económico, un verificador barato califica la respuesta y, si hay duda, escala al fuerte. La idea viene del paper FrugalGPT. Su trampa: cuando escala, pagas los dos intentos.
- Ruteo por preferencias. Un modelo de machine learning clásico, entrenado con miles de comparaciones entre respuestas de modelos, predice desde la pregunta si el modelo fuerte daría una respuesta mejor. Es el enfoque de RouteLLM.
La calculadora de abajo compara la cascada contra mandar todo a un solo modelo. Mueve el porcentaje de preguntas difíciles y la tasa de falsas alarmas del verificador, y observa en qué momento deja de ahorrar.


