Destilación de modelos

Técnica para transferir el conocimiento de un modelo grande (maestro) a uno más pequeño (alumno), que aprende a imitar sus salidas. Permite obtener modelos ligeros y rápidos con buena parte de la calidad del original.

Actualizado: 3 de junio de 2026.

En la destilación, un modelo pequeño se entrena para reproducir las respuestas de uno grande. El resultado es un modelo con menos parámetros, más barato de servir, que conserva gran parte del rendimiento.

Por qué importa

Reduce el coste por token y la latencia, haciendo viable desplegar IA en dispositivos limitados o a gran escala.

Junto a la cuantización

Destilación y cuantización se combinan a menudo: primero se obtiene un modelo más pequeño y luego se comprime su precisión numérica.