Saltar al contenido

Hablar por WhatsApp PanelEntrar al panel

Preentrenamiento

Primera fase de entrenamiento de un modelo grande, en la que aprende patrones generales del lenguaje o del mundo a partir de corpus masivos, antes de cualquier especialización.

Primera fase de entrenamiento de un modelo grande, en la que aprende patrones generales del lenguaje o del mundo a partir de corpus masivos, antes de cualquier especialización.

Actualizado: 3 de junio de 2026.

En el preentrenamiento, un LLM aprende a predecir el siguiente token sobre billones de palabras. De ahí salen su gramática, conocimiento general y capacidad de razonar superficialmente.

Lo que viene después

Un modelo preentrenado sabe mucho pero no obedece bien. Por eso se le aplica luego fine-tuning de instrucciones y RLHF para que sea útil y seguro como asistente.

Coste

Es la parte más cara: requiere miles de GPU y semanas de cómputo. Por eso pocas organizaciones preentrenan modelos fundacionales desde cero.

Términos relacionados

Entrenamiento (de modelos)Proceso por el que un modelo ajusta sus parámetros analizando datos para minimizar sus errores. Es la fase más costosa del ciclo de vida de un modelo de IA y determina lo que el modelo sabe.Fine-tuning (Ajuste fino)El fine-tuning es el proceso de tomar un modelo de IA ya preentrenado y reentrenarlo con un conjunto de datos propio para especializarlo en una tarea, un dominio o un estilo concretos, sin partir de cero.Modelo fundacionalModelo de gran tamaño preentrenado sobre enormes cantidades de datos que sirve de base para múltiples tareas, ya sea por adaptación o mediante prompts. GPT, Claude y Gemini son modelos fundacionales.LLM (Large Language Model / Modelo de Lenguaje Grande)Un LLM es un modelo de inteligencia artificial entrenado con enormes cantidades de texto que aprende a predecir la siguiente palabra y, gracias a ello, es capaz de comprender, generar y razonar sobre lenguaje natural.RLHF (Aprendizaje por refuerzo con retroalimentación humana)Método para alinear un modelo de lenguaje con las preferencias de las personas: humanos puntúan respuestas, se entrena un modelo de recompensa con esas preferencias y se ajusta el LLM mediante aprendizaje por refuerzo.

Ver todos los términos

02 / LLEVAR A LA PRÁCTICA

Después de leer

Convierte una idea útil en una habilidad repetible.

Elige una ruta breve, aplícala a una tarea real y termina con algo que puedas revisar, usar o compartir.

Explorar cursos Empezar gratis