BlogInteligencia artificial

Del demo a producción: el ciclo de vida de una aplicación GenAI

Hacer que un modelo responda bien en una demo toma una tarde. Hacer que responda bien todos los días, frente a usuarios reales, es otra disciplina. Este es el mapa completo, paso a paso y en versión interactiva.

Alberto Valdovinos · 4 min de lectura

Hay un momento que casi todos los que trabajamos con IA generativa hemos vivido: escribes un buen prompt, el modelo responde algo sorprendente, y alguien en la sala dice "esto ya está, hay que lanzarlo".

No está. Lo que tienes es un prototipo. Entre ese momento y una aplicación en la que la gente confía todos los días hay un proceso entero: definir qué significa "funcionar bien", medirlo, observar lo que pasa en producción y convertir cada falla en una mejora. Ese proceso no es una línea recta. Es un ciclo.

En este artículo te comparto el mapa que uso para pensar en ese ciclo. Abajo lo encuentras en versión interactiva: puedes recorrerlo paso a paso o hacer clic en cualquier bloque para ver qué es, por qué importa y qué preguntas debe responder tu equipo antes de avanzar.

Por qué el software con IA necesita otro proceso

En el software tradicional, si una función recibe la misma entrada, devuelve la misma salida. Escribes pruebas unitarias, pasan, y puedes dormir tranquilo.

Con un modelo de lenguaje eso deja de ser cierto. Tres cosas cambian las reglas:

  • No es determinístico. La misma pregunta puede producir respuestas distintas, y un cambio en el prompt que arregla un caso puede romper otros diez.
  • Falla en silencio. Una API rota lanza un error. Un modelo que alucina devuelve un 200 OK con una respuesta perfectamente redactada… y equivocada.
  • Se mueve debajo de ti. El proveedor actualiza el modelo, tus usuarios empiezan a preguntar cosas nuevas, tus documentos cambian. La calidad puede degradarse sin que nadie toque el código.

Por eso no basta con "construir y lanzar". Hay que construir, medir, observar y mejorar de forma continua.

Las cuatro fases del ciclo

El mapa tiene 17 pasos agrupados en cuatro fases:

  1. Definir. Antes de escribir código: cuál es el problema, cómo se ve el éxito en números (métricas) y cómo vamos a medirlo automáticamente (evals).
  2. Construir y lanzar. La prueba de concepto, el sistema agéntico que orquesta al modelo, la aplicación que usan las personas y la exposición gradual a usuarios reales.
  3. Observar y monitorear. Trazas de cada ejecución, feedback humano, una plataforma central de observabilidad, tableros de métricas y alertas cuando algo se sale de rango.
  4. Evaluar y mejorar. Correr las evals sobre tráfico real, encontrar las que fallan y elegir la palanca correcta para corregirlas: prompt, datos, modelo o arquitectura. El resultado es una nueva versión que vuelve a los usuarios.
CostoErroresLatenciaEvalsTTFTTokensGuardrailsRAGDatosPrompt eng.AgentesToolsRuteo modelosRerankingTopologíaProblema1Construirprototipo2Métricas dedesempeño3Definirevals4ConstruirPoC5Sistemaagéntico6ModeloGenAI (API)7Construiraplicación(v.X)8Exponer ausuarios9Tracing10Feedbackhumano11Plataforma deobservabilidad12Monitoreo enproducción13Alerta14Correr evalssobre trazas15Evalsfallidas16Prompt engineering / Fine-tune / Mejorar topología17
Paso 1 de 17
Fase 1 · Definir

1. Problema

Problem

Requiere decisión o acción de una persona

Qué es

Describir con precisión qué dolor de negocio o de usuario se quiere resolver, para quién, y cómo se resuelve hoy. Es el punto de partida y la referencia a la que vuelves cada vez que dudas si algo vale la pena.

Por qué es importante

Sin un problema bien definido no hay forma de saber si la solución funciona. Es la principal causa de proyectos de IA que nunca llegan a producción: “IA buscando un problema” en lugar de un problema que justifica la IA.

Preguntas que debes responder

  • ¿Quién es el usuario y qué tarea concreta intenta completar?
  • ¿Cuánto cuesta hoy (tiempo, dinero, errores) no tener esta solución?
  • ¿Por qué un modelo generativo y no una regla, un formulario o un buscador?

Señal de que está listo

Puedes explicar el problema en dos frases y decir cómo se vería el éxito.

Viene de

Es el punto de partida

Lleva a

No es una línea, es un ciclo.

  1. Definir antes de construir. Problema, métricas y evals existen antes del primer PoC; así “mejor” significa algo medible.
  2. Todo lo que pasa en producción se registra. Trazas y feedback humano alimentan una sola plataforma de observabilidad.
  3. Dos vigilancias en paralelo. El monitoreo operativo (costo, latencia, errores) dispara alertas; las evals sobre trazas vigilan la calidad.
  4. Los fallos se convierten en trabajo. Cada eval fallida guía una mejora que produce una nueva versión de la app y vuelve a los usuarios.

Tip: usa las flechas ← → del teclado para moverte entre pasos.

Tres ideas que vale la pena llevarte

1. Las evals se definen antes que el PoC

Es tentador construir primero y medir después. Pero si no defines las evals al principio, nunca sabrás si la versión 2 es mejor que la 1; solo sabrás que se siente mejor. Un conjunto pequeño de casos reales con su respuesta esperada (un golden dataset) vale más que cualquier demo impresionante.

2. Si no está en una traza, no pasó

Cada ejecución del sistema debería dejar un registro completo: qué entró, qué contexto se recuperó, qué herramientas se llamaron, qué respondió el modelo, cuánto tardó y cuántos tokens consumió. Sin eso, depurar un agente es adivinar. Con eso, una queja de un usuario se convierte en un caso de prueba en minutos.

3. Elige la palanca más barata primero

Cuando una eval falla, la reacción instintiva es pensar en fine-tuning o en cambiar de modelo. Casi siempre conviene empezar por lo más barato:

Palanca Costo Cuándo usarla
Prompt engineering Bajo Instrucciones ambiguas, formato inconsistente
Preparación de datos / RAG Medio Respuestas sin fundamento o con información desactualizada
Herramientas y agentes Medio El modelo necesita calcular, consultar o actuar
Ruteo de modelos Medio Costo o latencia altos en casos simples
Fine-tuning Alto Estilo o tarea muy específica que no se logra de otra forma

Y con las evals en su lugar, cada cambio se puede demostrar antes de lanzarlo.

Cómo usar este mapa en tu equipo

Te propongo un ejercicio sencillo: toma un proyecto de IA que tengas en curso y recórrelo paso a paso con tu equipo. En cada etapa, respondan las tres preguntas que aparecen en el panel. Lo más probable es que descubran dos o tres huecos; típicamente, evals que nunca se definieron o trazas que no se están guardando.

Esos huecos son exactamente donde los proyectos de IA se atoran entre la demo y producción.

La diferencia entre una demo y un producto no es el modelo. Es el ciclo que lo rodea.

En próximas entradas voy a profundizar en cada fase con ejemplos concretos: cómo armar un primer golden dataset, qué registrar en una traza y cómo decidir entre RAG y fine-tuning. Si quieres que cubra algún paso en particular, escríbeme.