Aprendizaje por refuerzo: qué es y cómo funciona

El aprendizaje por refuerzo o reinforcement learning es un paradigma de machine learning en el que un agente aprende una política de acciones al interactuar con un entorno. Cada acción modifica el estado y produce una recompensa; el objetivo no es acertar una etiqueta aislada, sino maximizar la recompensa acumulada a largo plazo mediante ensayo, evaluación y exploración controlada.

Actualizado: 13 de julio de 2026.

Cómo funciona el aprendizaje por refuerzo

El aprendizaje por refuerzo convierte una secuencia de decisiones en un problema de optimización. En cada paso ocurre este ciclo:

1. el agente recibe un estado u observación del entorno;
2. su política elige una acción;
3. el entorno cambia y devuelve una nueva observación;
4. el agente recibe una recompensa;
5. el algoritmo actualiza lo aprendido para favorecer mejores resultados futuros.

La recompensa inmediata no siempre coincide con el objetivo real. En ajedrez, capturar una pieza puede parecer positivo y conducir a una derrota varios turnos después. Por eso se optimiza el retorno, una combinación de recompensas presentes y futuras, a menudo descontadas con un factor gamma.

La introducción de OpenAI Spinning Up resume el campo como el estudio de agentes que aprenden por ensayo y error para maximizar recompensa acumulada. Esa definición incluye una dificultad central: el agente aprende de la señal que recibe, no de la intención que el diseñador tenía en mente.

Elementos de un problema de reinforcement learning

Estado y observación no siempre son equivalentes. El estado puede contener toda la información relevante del entorno, mientras que el agente solo observa una parte ruidosa. Un vehículo no conoce la intención exacta de un peatón; la estima a partir de señales incompletas.

Ejemplo paso a paso

Imagina un sistema que decide cuándo cargar una batería industrial:

• el estado incluye precio eléctrico, nivel de carga y demanda prevista;
• las acciones son cargar, esperar o descargar;
• la recompensa combina coste energético, cumplimiento de demanda y degradación;
• la política aprende qué acción conviene en cada contexto;
• un episodio puede representar un día completo de operación.

Una regla que minimice el precio de este instante puede fallar si deja la batería vacía antes de un pico de demanda. El aprendizaje por refuerzo considera esas consecuencias temporales. Sin embargo, no basta con ejecutar experimentos en producción: las acciones inseguras deberían limitarse, simularse o pasar por una política de respaldo.

Aprendizaje por refuerzo vs. otros paradigmas

El aprendizaje por refuerzo no es simplemente “supervisado con recompensas”. La acción elegida altera los datos que el agente observará después. Además, debe resolver el dilema entre explorar acciones inciertas y explotar la mejor acción conocida.

Proceso de decisión de Markov

Muchos problemas se formalizan como un proceso de decisión de Markov (MDP) con estados, acciones, probabilidades de transición, recompensas y un factor de descuento. La propiedad de Markov supone que el estado actual contiene la información necesaria para modelar el futuro, sin tener que conservar toda la historia.

En el mundo real esa suposición puede no cumplirse. Si el agente recibe observaciones parciales, el problema se aproxima mejor con un POMDP o con una política que mantenga memoria. Nombrar un problema como MDP no demuestra que el estado elegido sea suficiente.

Familias de algoritmos

Métodos basados en valor

Aprenden cuánto retorno puede esperar el agente desde un estado o una pareja estado-acción. Q-learning y DQN pertenecen a esta familia. La política puede escoger la acción con mayor valor estimado.

Métodos de gradiente de política

Optimizan directamente los parámetros de la política. Resultan naturales para acciones continuas o políticas probabilísticas, aunque las estimaciones del gradiente pueden tener alta varianza.

Actor-crítico

Combinan un actor, que propone acciones, y un crítico, que estima su calidad. PPO, SAC y otros algoritmos usan variantes de esta idea.

Con modelo y sin modelo

Un método con modelo aprende o conoce cómo evoluciona el entorno y puede planificar antes de actuar. Uno sin modelo aprende valores o políticas sin representar explícitamente esa dinámica. Tener un modelo puede mejorar la eficiencia de datos, pero sus errores también se acumulan durante la planificación.

On-policy y off-policy

Los algoritmos on-policy aprenden principalmente de datos recogidos por la política actual. Los off-policy pueden reutilizar experiencia de otras políticas, por ejemplo desde un búfer de repetición. Esa reutilización ayuda, pero exige controlar diferencias entre la distribución de los datos y la política que se quiere optimizar.

Relación entre RL, RLHF y modelos de razonamiento

El RLHF aplica ideas de preferencias y recompensa para orientar un modelo hacia respuestas que evaluadores humanos consideran mejores. Un flujo posible recopila comparaciones, entrena un modelo de recompensa y optimiza la política del modelo. No todo ajuste por preferencias usa necesariamente ese flujo: métodos de optimización directa pueden aprender de pares preferidos sin un bucle de RL tradicional.

En modelos de razonamiento, una recompensa verificable puede valorar si el resultado de matemáticas o código es correcto. Eso no garantiza que cada explicación escrita revele el proceso interno real ni que el comportamiento se generalice fuera de las tareas evaluadas.

Riesgos y errores frecuentes

Una recompensa detallada puede acelerar el aprendizaje y, a la vez, introducir atajos inesperados. Antes de optimizarla, conviene escribir ejemplos de comportamiento deseado, indeseado y ambiguo, además de restricciones que nunca deben violarse.

Cómo evaluar un agente

No informes únicamente la recompensa de entrenamiento. Mide al menos:

• retorno promedio y distribución entre episodios;
• porcentaje de éxito y tasa de violaciones de seguridad;
• rendimiento en escenarios no vistos;
• cantidad de interacciones necesaria para aprender;
• estabilidad entre semillas y versiones del entorno;
• latencia, consumo y coste de inferencia;
• degradación frente a cambios o perturbaciones.

La evaluación debe separar los datos usados para ajustar hiperparámetros de los escenarios reservados para la prueba final. También necesita una línea base: una regla sencilla o un método supervisado puede ser más fiable y barato.

Cuándo usar aprendizaje por refuerzo

Es una opción razonable cuando hay decisiones secuenciales, consecuencias diferidas, un entorno que puede simularse o medirse y suficientes interacciones seguras. Aparece en control, robótica, juegos, programación de recursos y optimización de políticas.

No suele ser la primera opción para clasificar datos independientes, ejecutar una regla conocida o resolver una tarea con pocas interacciones y alto riesgo. Si existe una etiqueta correcta por ejemplo, empieza por supervisado. Si una solución determinista satisface el objetivo, no necesitas que un agente descubra la regla por ensayo y error.

Fuentes primarias y técnicas

• OpenAI Spinning Up — Key concepts in reinforcement learning.
• Sutton y Barto — Reinforcement Learning: An Introduction.