L’apprentissage par renforcement est une approche de l’intelligence artificielle où un agent apprend à prendre des décisions en interagissant avec un environnement.
Plutôt que d’apprendre à partir de données étiquetées, l’agent apprend par essai et erreur, en recevant des récompenses ou des punitions selon la qualité de ses actions.
L’objectif est simple : maximiser la récompense cumulée au fil du temps.
L’agent : c’est le “cerveau” du système, celui qui prend des décisions.
Exemple : un drone autonome.
L’environnement : le monde dans lequel évolue l’agent.
Exemple : une zone de vol avec des obstacles.
Les actions : les choix possibles de l’agent.
Exemple : avancer, reculer, tourner à gauche ou à droite, monter, descendre.
L’état : la situation actuelle observée par l’agent.
Exemple : position du drone, vitesse, proximité d’obstacles.
La récompense : un score positif ou négatif renvoyé à chaque action.
Exemple : +10 pour éviter un obstacle, -50 pour une collision, +100 pour atteindre la destination.
La politique (policy) : la stratégie que l’agent adopte pour choisir ses actions selon l’état de l’environnement.
L’apprentissage se fait en boucle :
L’agent observe l’état actuel de l’environnement.
Il choisit une action selon sa politique.
L’environnement réagit et renvoie une récompense.
L’agent met à jour sa stratégie pour maximiser les récompenses futures.
Ce cycle se répète des milliers ou millions de fois.
Au début, l’agent agit souvent au hasard, mais au fil du temps, il apprend quelles actions mènent à de meilleures récompenses.
Imaginons une voiture autonome qui apprend à se garer :
Si elle se rapproche du trottoir sans heurter un autre véhicule : +10 points.
Si elle touche un obstacle : -100 points.
Si elle réussit à se garer parfaitement : +500 points.
Au début, la voiture fera beaucoup d’erreurs. Mais après des centaines de tentatives simulées, elle découvrira le meilleur enchaînement de manœuvres pour se garer efficacement.
Robotique : apprendre à marcher, saisir un objet ou maintenir l’équilibre.
Finance : optimiser un portefeuille d’investissement selon les fluctuations du marché.
Santé : personnaliser des traitements médicaux en fonction des réactions du patient.
Jeux vidéo et e-sport : battre des humains dans des jeux complexes comme StarCraft ou Dota 2.
Véhicules autonomes : navigation, évitement d’obstacles, optimisation des trajets.
Le Reinforcement Learning from Human Feedback (RLHF) est une extension du RL classique.
L’idée est d’ajouter une dimension humaine à la fonction de récompense.
Plutôt que de laisser un algorithme seul décider de ce qui est “bien” ou “mal”, on intègre le jugement humain pour aligner le modèle sur les attentes humaines.
Collecte de données :
Des humains rédigent des exemples de conversations, de questions et de bonnes réponses.
Exemple :
Question : “Explique-moi la différence entre le cloud public et le cloud privé.”
Bonne réponse (humaine) : “Le cloud public est géré par un fournisseur externe... etc.”
Entraînement supervisé initial :
Le modèle de base apprend à imiter ces bonnes réponses.
→ Cela constitue le fine-tuning supervisé.
Création d’un modèle de récompense :
Les humains comparent plusieurs réponses générées par le modèle et indiquent laquelle ils préfèrent.
Exemple : “Réponse A est plus claire que Réponse B.”
Ces préférences servent à entraîner un modèle de récompense.
Optimisation par renforcement :
Le modèle principal est ensuite affiné à l’aide du modèle de récompense.
Il apprend à produire des réponses qui maximisent la satisfaction humaine prédite.
Imaginons que vous entraîniez un chatbot pour votre entreprise.
Vous fournissez des conversations réelles avec de bons exemples de réponses humaines.
Vous entraînez un premier modèle à imiter ces réponses.
Ensuite, plusieurs variantes de réponses générées par le modèle sont notées par des humains selon la politesse, la clarté et la pertinence.
Ces préférences servent à former un modèle de récompense.
Enfin, le chatbot apprend à maximiser cette récompense, c’est-à-dire à produire des réponses humaines et utiles.
Résultat : le modèle devient plus aligné sur les valeurs humaines, plus sûr, et plus adapté à un usage réel.
Il permet d’obtenir des modèles alignés sur les intentions humaines.
Il corrige les biais des données brutes.
Il améliore la qualité conversationnelle des IA.
Il réduit le risque de comportements indésirables ou non sécurisés.