Latencia de inferencia

Tiempo que tarda un modelo en devolver una respuesta tras recibir una entrada. Es un factor clave en la experiencia de usuario y en el coste de las aplicaciones de IA.

Actualizado: 8 de octubre de 2026.

Medí la espera que importa

Nota práctica. Distinguí el tiempo hasta el primer token del tiempo hasta completar la respuesta. El throughput mide cuánto se procesa por unidad de tiempo y no describe por sí solo la espera de una persona. El streaming muestra avances antes de terminar; no garantiza que el cálculo completo sea más rápido. La cuantización, la destilación, el hardware y la elección de modelo pueden ayudar según la tarea y el entorno. Probá con entradas representativas y revisá calidad, costo y latencia juntos. Una respuesta rápida que pierde un dato importante necesita corrección; una respuesta más larga también puede aumentar la espera.

Cómo comparar dos opciones

Usá la misma tarea y registrá el inicio, el primer contenido útil y el final. Incluí la red, la cola, las herramientas y el tamaño de la salida. Una demo aislada no demuestra cómo funciona una aplicación durante el uso habitual. Elegí por el resultado que necesitás, no sólo por el nombre o tamaño del modelo.

Aprendé más

Si un asistente se siente lento, revisa primero Inferencia y Cuantización para entender dónde ocurre la espera y cuándo conviene un modelo más ligero.

Para aplicarlo en una tarea real, empieza con ChatGPT para Principiantes; si buscas un flujo laboral, revisa ChatGPT para el Trabajo; o explora todos los cursos.

Fuente técnica consultada el 2 de octubre de 2026: guía de optimización de latencia de OpenAI.