Deep Q-Network (DQN)

Le Deep Q-Network (DQN) est une extension du Q-learning, une méthode d’apprentissage par renforcement, qui utilise un réseau de neurones profond pour approximer la fonction Q. Dans les environnements complexes où l’espace d’état est vaste, la table Q traditionnelle devient inefficace car elle nécessite une quantité astronomique de mémoire. Le DQN résout ce problème en remplaçant la table Q par un réseau de neurones qui apprend à estimer les valeurs de Q pour chaque état-action. Cela permet de traiter des environnements de grande dimension, comme les jeux vidéo ou la robotique.

Formule de mise à jour de la fonction Q dans DQN :

Comme dans le Q-learning classique, le DQN met à jour la fonction Q en utilisant la règle suivante :

$$Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left( r_t + \gamma \max_a Q(s_{t+1}, a) – Q(s_t, a_t) \right)$$

La différence ici est que $Q(s_t, a_t)$ est approximée par un réseau de neurones, plutôt que d’être stockée dans une table.