Saltar al contenido

Hablar por WhatsApp PanelEntrar al panel

Latencia de inferencia

Tiempo que tarda un modelo en devolver una respuesta tras recibir una entrada. Es un factor clave en la experiencia de usuario y en el coste de las aplicaciones de IA.

Tiempo que tarda un modelo en devolver una respuesta tras recibir una entrada. Es un factor clave en la experiencia de usuario y en el coste de las aplicaciones de IA.

Actualizado: 3 de junio de 2026.

En un asistente, la latencia es lo que el usuario percibe como "rapidez". Modelos más grandes y razonadores suelen ser más lentos; modelos pequeños o cuantizados, más ágiles.

Cómo reducirla

Cuantización, destilación, mejor hardware (GPU/TPU), respuestas en streaming y elegir el modelo adecuado para cada tarea.

Compromiso

Suele haber tensión entre calidad, coste por token y latencia. El reto es equilibrarlos según el caso de uso.

Términos relacionados

InferenciaFase en la que un modelo ya entrenado se usa para generar predicciones o respuestas a partir de nuevas entradas. A diferencia del entrenamiento, la inferencia no modifica los pesos del modelo.CuantizaciónTécnica que reduce la precisión numérica de los pesos de un modelo (por ejemplo de 16 a 4 bits) para que ocupe menos memoria y se ejecute más rápido, con una pérdida de calidad mínima.Destilación de modelosTécnica para transferir el conocimiento de un modelo grande (maestro) a uno más pequeño (alumno), que aprende a imitar sus salidas. Permite obtener modelos ligeros y rápidos con buena parte de la calidad del original.Coste por tokenModelo de precios habitual de las APIs de IA, en el que se cobra según la cantidad de tokens procesados, tanto de entrada como de salida. Determina el coste operativo de una aplicación de IA.GPU (Unidad de procesamiento gráfico)Chip diseñado para realizar miles de operaciones matemáticas en paralelo. Aunque nació para gráficos, es el caballo de batalla del entrenamiento y la inferencia de modelos de IA modernos.

Ver todos los términos

02 / LLEVAR A LA PRÁCTICA

Después de leer

Convierte una idea útil en una habilidad repetible.

Elige una ruta breve, aplícala a una tarea real y termina con algo que puedas revisar, usar o compartir.

Explorar cursos Empezar gratis