BlogInteligencia artificial

Cómo funciona un LLM, en 7 frases

De la predicción del siguiente token a un producto con guardrails: los fundamentos de los modelos de lenguaje, condensados en siete ideas y con un playground para ver en vivo qué hacen la temperatura y el top-p.

Alberto Valdovinos · 4 min de lectura

Cuando empecé a estudiar a fondo los modelos de lenguaje, me propuse un ejercicio: al final de cada semana, resumir todo lo aprendido en siete frases. Si no cabe en siete frases, todavía no lo entiendo.

Este es el resumen de la semana 1: los fundamentos. Para cada frase agrego lo que realmente significa cuando construyes un producto con un LLM.

1. La mayoría de los LLM son Transformers decoder-only entrenados para predecir el siguiente token

Un LLM no "entiende" una pregunta y luego "piensa" una respuesta. Recibe una secuencia de tokens (fragmentos de palabras) y calcula una distribución de probabilidad sobre cuál debería ser el siguiente. Eso es todo. La arquitectura decoder-only, la de la familia GPT y la mayoría de los modelos abiertos como Llama, solo mira hacia atrás: cada token se predice a partir de los anteriores.

En producción: todo lo que el modelo "sabe" de tu caso tiene que estar en el contexto. Si no está en el prompt, en los documentos recuperados o en la conversación, para el modelo no existe.

2. El preentrenamiento con billones de tokens produce un modelo base con conocimiento amplio, pero que solo continúa texto

El preentrenamiento consume cantidades enormes de texto, limpio y tokenizado. El resultado es un modelo base: sabe muchísimo, pero si le escribes "¿Cuál es la capital de Francia?", puede responder con otra pregunta, porque en internet las preguntas suelen venir en listas de preguntas.

En producción: casi nunca usas un modelo base directamente. Usas uno que ya pasó por las etapas 4 y 5.

3. El texto se genera token por token; la estrategia de decodificación equilibra enfoque y variedad

En cada paso, el modelo produce probabilidades y alguien tiene que elegir un token. Ahí entran dos perillas:

  • Temperatura: escala las probabilidades. Baja la concentra en lo más probable; alta la aplana y da oportunidad a opciones raras.
  • Top-p (nucleus sampling): solo sortea entre los tokens más probables que, juntos, suman p. Todo lo demás queda fuera, aunque la temperatura sea alta.

Pruébalo tú mismo. Mueve las perillas y genera respuestas para ver cuánta variedad sale:

Playground · Decodificación

“El café de Oaxaca es muy ▍”

5tokens en juego
50.9%prob. de “rico”
rico50.9%
aromático24.1%
famoso12.9%
intenso8.9%
caro3.3%
dulcefuera
verdefuera
cuánticofuera
Logits ilustrativos, no de un modelo real.

En producción: la configuración depende de la tarea. Para extraer campos de un documento o generar código conviene temperatura baja; para lluvia de ideas, más alta. Y la misma configuración que funciona en un caso puede ser un riesgo en otro.

4. El SFT enseña al modelo base a seguir instrucciones a partir de ejemplos (prompt, respuesta)

El Supervised Fine-Tuning toma el modelo base y lo entrena con pares de instrucción y respuesta escritos o curados por personas. Ahí aprende el formato de un asistente: responder la pregunta, seguir el tono pedido, respetar una estructura.

En producción: cuando haces fine-tuning de un modelo con tus propios ejemplos, estás haciendo una versión pequeña de este paso. Es poderoso, pero caro de iterar; muchas veces un buen prompt o mejores datos de contexto resuelven lo mismo.

5. El aprendizaje por refuerzo hace las respuestas más correctas, útiles y seguras

Después del SFT viene el aprendizaje por refuerzo (RL). El modelo genera respuestas y recibe una recompensa, que puede venir de verificadores automáticos (¿el código compila?, ¿la respuesta matemática es correcta?) o de un modelo de recompensa entrenado con las preferencias de personas que compararon respuestas.

En producción: este paso explica por qué los modelos modernos rechazan ciertas solicitudes, piden aclaraciones o admiten incertidumbre. No es un accidente; es comportamiento entrenado.

6. Se evalúa con benchmarks, jueces LLM, calificaciones humanas y arenas; ningún número cuenta la historia completa

Un modelo puede ser excelente en un benchmark de matemáticas y mediocre en tu caso de uso. Por eso se combinan varias señales: benchmarks públicos, un LLM que califica respuestas con una rúbrica, evaluación humana y arenas donde las personas comparan modelos a ciegas.

En producción: los benchmarks públicos te ayudan a elegir un modelo; tus propias evals te dicen si funciona para tu problema. Lo desarrollé a fondo en el ciclo de vida de una aplicación GenAI.

7. Un producto real envuelve al LLM con guardrails, manejo de prompts y gestión de sesiones

El modelo es solo una pieza. Alrededor necesita:

  • Guardrails: filtros de entrada y salida para datos sensibles, contenido inseguro o respuestas fuera de política.
  • Manejo de prompts: plantillas versionadas, contexto recuperado, instrucciones del sistema.
  • Gestión de sesiones: memoria de la conversación, límites de contexto, identidad del usuario y permisos.

En producción: aquí es donde se juega la seguridad. Un LLM conectado a datos reales hereda todos los riesgos de cualquier sistema que maneja información sensible, más algunos nuevos, como la inyección de prompts.


La idea que me llevo de la semana 1

Un LLM es un predictor de tokens muy bien educado. El producto es todo lo que construyes alrededor para que esa predicción sea útil, medible y segura.

La próxima semana: cómo se representa el significado (embeddings), cómo funciona la recuperación de documentos (RAG) y por qué la calidad de los datos importa más que el tamaño del modelo.