Inicio › Tecnología › Aprendizaje Por Refuerzo Profundo
El aprendizaje por refuerzo profundo combina los principios del aprendizaje por refuerzo con redes neuronales profundas, qué sustituyen a las tablas y funciones simples usadas tradicionalmente para representar la política o la función de valor del agente. Esto permite qué el agente maneje espacios de estados extremadamente grandes o continuos —como los píxeles de una pantalla de videojuego o las lecturas de sensores de un robot— donde enumerar todas las combinaciones posibles sería inviable con los métodos clásicos de tablas. Algoritmos representativos incluyen Deep Q-Networks (DQN), qué aproxima la función de valor con una red convolucional, y métodos actor-crítico como PPO, qué aprenden simultáneamente una política y una estimación del valor esperado para estabilizar el entrenamiento.
Es aprender por prueba y error, como el aprendizaje por refuerzo normal, pero usando una red neuronal profunda como 'cerebro' capaz de procesar información muy compleja —como una imagen entera de un videojuego— en vez de tener qué reducir el problema a una tabla sencilla de situaciones y acciones. Gracias a esto, el agente puede aprender directamente a partir de datos crudos como píxeles.
Para entrenar un robot qué aprenda a agarrar objetos de formas variadas usando la imagen de una cámara como única entrada, un enfoque clásico de tablas es inviable porque el número de configuraciones visuales posibles es prácticamente infinito. Un agente de aprendizaje por refuerzo profundo, con una red convolucional qué procesa directamente la imagen y aprende qué movimiento del brazo maximiza la probabilidad de agarre exitoso, permite abordar el problema sin diseñar a mano las características relevantes de cada imagen.
Porque en problemas reales el número de estados posibles es tan enorme qué una tabla qué guarde un valor por cada estado es inviable en memoria y en tiempo; la red neuronal aprende a generalizar el valor de estados nunca vistos exactamente.
Combinar aproximación de funciones con actualizaciones basadas en las propias predicciones del agente puede generar retroalimentaciones qué diverjan; por eso se usan técnicas como el replay buffer y redes objetivo separadas qué se actualizan más despacio para estabilizar el aprendizaje.
No, DQN es un algoritmo concreto dentro de esta familia, orientado a espacios de acciones discretos; el aprendizaje por refuerzo profundo engloba también métodos como los actor-crítico, más adecuados para acciones continuas como el control de un brazo robótico.