Cuando empecé a estudiar a fondo los modelos de lenguaje, me propuse un ejercicio: al final de cada semana, resumir todo lo aprendido en siete frases. Si no cabe en siete frases, todavía no lo entiendo.
Este es el resumen de la semana 1: los fundamentos. Para cada frase agrego lo que realmente significa cuando construyes un producto con un LLM.
1. La mayoría de los LLM son Transformers decoder-only entrenados para predecir el siguiente token
Un LLM no "entiende" una pregunta y luego "piensa" una respuesta. Recibe una secuencia de tokens (fragmentos de palabras) y calcula una distribución de probabilidad sobre cuál debería ser el siguiente. Eso es todo. La arquitectura decoder-only, la de la familia GPT y la mayoría de los modelos abiertos como Llama, solo mira hacia atrás: cada token se predice a partir de los anteriores.
En producción: todo lo que el modelo "sabe" de tu caso tiene que estar en el contexto. Si no está en el prompt, en los documentos recuperados o en la conversación, para el modelo no existe.
2. El preentrenamiento con billones de tokens produce un modelo base con conocimiento amplio, pero que solo continúa texto
El preentrenamiento consume cantidades enormes de texto, limpio y tokenizado. El resultado es un modelo base: sabe muchísimo, pero si le escribes "¿Cuál es la capital de Francia?", puede responder con otra pregunta, porque en internet las preguntas suelen venir en listas de preguntas.
En producción: casi nunca usas un modelo base directamente. Usas uno que ya pasó por las etapas 4 y 5.
3. El texto se genera token por token; la estrategia de decodificación equilibra enfoque y variedad
En cada paso, el modelo produce probabilidades y alguien tiene que elegir un token. Ahí entran dos perillas:
- Temperatura: escala las probabilidades. Baja la concentra en lo más probable; alta la aplana y da oportunidad a opciones raras.
- Top-p (nucleus sampling): solo sortea entre los tokens más probables que, juntos, suman p. Todo lo demás queda fuera, aunque la temperatura sea alta.
Pruébalo tú mismo. Mueve las perillas y genera respuestas para ver cuánta variedad sale:


