Apprentissage par renforcement : l’IA qui apprend en essayant

Si l’IA avait un mode d’apprentissage préféré, ce serait l’essai-erreur. On appelle cela l’apprentissage par renforcement, en anglais reinforcement learning, abrégé en RL. Le principe tient en une phrase : un programme tente des actions, observe le résultat, puis ajuste son comportement selon ce qui lui rapporte une récompense. Personne ne lui montre la bonne réponse à l’avance, il la découvre en expérimentant. Cette méthode a produit AlphaGo en 2016, puis ChatGPT fin 2022, et elle est devenue depuis le principal levier de progrès des grands modèles. OpenAI résume d’ailleurs la naissance de GPT-6 Astra comme le fruit d’années de recherche et de gros paris sur le pré-entraînement, l’apprentissage par renforcement et l’alignement.

Le principe en 60 secondes

Imaginez un enfant qui apprend à faire du vélo. Personne ne lui donne une formule mathématique de l’équilibre. Il essaie, il tombe, il corrige, il réessaie. Chaque chute lui apprend quelque chose. Chaque mètre parcouru sans tomber renforce ce qui a marché. Au bout d’un moment, il pédale sans y penser.

L’apprentissage par renforcement fonctionne de la même façon, mais pour une IA. Quatre éléments entrent en jeu :

L’agent répète ce cycle des milliers, parfois des millions de fois. À chaque itération, il privilégie davantage les actions qui rapportent et délaisse celles qui ne rapportent rien. La stratégie qu’il finit par adopter porte un nom précis : on l’appelle la politique (policy). Une politique ne cherche pas la récompense immédiate, elle vise le total accumulé sur toute la durée de la tâche, ce qui autorise l’agent à sacrifier un gain à court terme pour un meilleur résultat final.

Les trois familles d’apprentissage automatique et la place du RL

Pour situer l’apprentissage par renforcement, comparez-le aux deux autres grandes approches du machine learning.

L’apprentissage supervisé fonctionne avec des exemples étiquetés. On montre au modèle des milliers de photos de chats accompagnées du label chat, et il apprend à reconnaître les chats. Cela revient à apprendre avec un professeur qui corrige chaque exercice.

L’apprentissage non supervisé cherche des motifs dans des données sans étiquettes. Le modèle repère des structures, des groupes et des anomalies par lui-même. Cela revient à apprendre en observant le monde sans guide.

L’apprentissage par renforcement se passe des deux. Il n’existe ni professeur ni étiquette, seulement un système de récompenses et un agent qui explore. Le démarrage est plus lent, mais la méthode fait émerger des stratégies que personne n’aurait su enseigner explicitement.

RLHF : la technique qui a rendu les assistants utilisables

Le moment décisif pour les utilisateurs, c’est l’arrivée du RLHF, pour reinforcement learning from human feedback, soit l’apprentissage par renforcement à partir de retours humains. Cette technique a transformé des modèles de langage bruts en assistants capables de tenir une conversation utile.

Un modèle pré-entraîné ressemble à un encyclopédiste qui connaît tout mais ignore comment parler aux gens. Il sait compléter n’importe quelle phrase, sans savoir ce qui constitue une réponse pertinente, honnête ou sûre. Le RLHF comble ce manque en trois étapes.

Étape 1 : le fine-tuning supervisé

Des humains rédigent des exemples de bonnes réponses à des questions types, et le modèle apprend à les imiter. Cette phase, appelée SFT pour supervised fine-tuning, donne un premier dégrossissage. Le modèle sait désormais à quoi ressemble une réponse d’assistant.

Étape 2 : l’entraînement d’un modèle de récompense

Des annotateurs comparent ensuite deux réponses produites par le modèle et désignent la meilleure. Ces milliers de préférences servent à entraîner un modèle de récompense, c’est-à-dire une seconde IA dont le seul métier consiste à prédire quelle réponse un humain préférerait. Ce modèle devient la note automatique du système.

Étape 3 : l’optimisation par renforcement

Le modèle de langage est enfin entraîné par renforcement, en utilisant cette note comme récompense. Il génère des réponses, reçoit un score, et ajuste ses paramètres pour obtenir de meilleurs scores. L’algorithme historique de cette étape s’appelle PPO, pour proximal policy optimization, et il exige un modèle critique supplémentaire qui double la mémoire nécessaire.

C’est exactement ce processus qui a transformé GPT-3 en ChatGPT fin 2022. Des versions beaucoup plus élaborées entraînent aujourd’hui les modèles phares du marché : GPT-6 Astra chez OpenAI, Claude Fable 5.1 et Claude Opus 5 chez Anthropic, Gemini 3.8 Flash chez Google. Aucun de ces laboratoires ne publie la recette complète, mais tous décrivent le renforcement comme une part majeure de leur entraînement.

Après le RLHF : DPO, GRPO et récompenses vérifiables

Le RLHF classique coûte cher et reste fragile. Faire annoter des dizaines de milliers de paires de réponses mobilise des équipes entières, le modèle de récompense se laisse tromper, et l’algorithme PPO demande un réglage délicat. Trois familles de méthodes ont été inventées pour contourner ces limites, et elles structurent aujourd’hui l’entraînement de tous les grands modèles.

DPO : se passer du modèle de récompense

En mai 2023, une équipe de Stanford menée par Rafael Rafailov a publié la Direct Preference Optimization, ou DPO. L’idée consiste à réécrire mathématiquement le problème du RLHF pour en extraire directement la politique optimale, sans entraîner de modèle de récompense séparé et sans boucle de renforcement. Il ne reste qu’une simple fonction de perte de classification sur les paires de préférences. La méthode est décrite par ses auteurs comme stable, performante et légère en calcul, ce qui l’a rendue populaire chez tous ceux qui affinent un modèle ouvert sans les moyens d’un grand laboratoire.

GRPO : la simplification venue de DeepSeek

La Group Relative Policy Optimization, ou GRPO, a été introduite par DeepSeek en février 2024 dans le papier DeepSeekMath. Elle supprime elle aussi le modèle critique de PPO, mais autrement : le modèle produit un groupe de plusieurs réponses à la même question, et chaque réponse est notée par rapport à la moyenne du groupe. Une réponse meilleure que ses voisines est renforcée, une réponse plus faible est découragée. Cette sobriété en mémoire et en calcul a fait le succès de la méthode, aujourd’hui reprise bien au-delà de son laboratoire d’origine.

RLVR : quand la récompense est vérifiable

La troisième idée change la nature même du signal. Plutôt que de demander à un humain ou à un modèle de récompense si la réponse est bonne, on la vérifie. Un résultat mathématique se compare à la solution attendue, un programme passe ou échoue ses tests unitaires, un théorème se valide dans un assistant de preuve. Le terme RLVR, reinforcement learning from verifiable rewards, a été popularisé en novembre 2024 par l’Allen Institute for AI, dont les modèles Tülu 3 ont été les premiers à l’appliquer sous ce nom. La récompense devient objective, impossible à flatter, et disponible en quantité illimitée.

Ce changement a produit la rupture des modèles de raisonnement. DeepSeek-R1 en a fourni la démonstration la plus nette, publiée dans la revue Nature en septembre 2025 : entraîné par renforcement pur, sans aucune trajectoire de raisonnement rédigée par des humains, un modèle voit émerger de lui-même l’autovérification, la réflexion sur ses propres erreurs et le changement de stratégie en cours de route. Les chercheurs ont observé que le modèle allongeait spontanément ses raisonnements quand le problème se durcissait. C’est l’origine directe des modes de réflexion que vous activez aujourd’hui chez à peu près tous les éditeurs.

RLAIF : faire juger l’IA par une autre IA

Reste le cas des tâches sans réponse vérifiable, comme écrire une lettre délicate ou refuser une demande dangereuse. Le RLAIF, reinforcement learning from AI feedback, remplace alors l’annotateur humain par un modèle qui compare les réponses. Une équipe de Google a montré en 2023 que cette substitution atteignait une qualité comparable au RLHF sur le résumé et le dialogue. Anthropic pousse l’approche le plus loin avec la Constitutional AI : le modèle reçoit une constitution écrite en langage courant, critique ses propres réponses au regard de ce texte, puis les révise. La nouvelle constitution de Claude, publiée le 22 janvier 2026, explique au modèle les raisons de chaque principe au lieu de lui imposer une liste de règles, et Claude s’en sert pour fabriquer lui-même une partie de ses données d’entraînement.

Le renforcement est devenu la méthode d’entraînement des agents

Le RL a changé de rôle une deuxième fois avec l’arrivée des agents IA. Un agent enchaîne des dizaines d’actions au lieu de rendre une seule réponse : il cherche sur le web, lit un fichier, exécute du code, corrige son erreur et recommence. Personne ne peut annoter à la main la bonne suite de cinquante actions. En revanche, on sait dire si la tâche finale a réussi, et cette réussite suffit comme récompense.

OpenAI a décrit publiquement ce schéma en février 2025 pour son outil deep research, entraîné, selon ses termes, par apprentissage par renforcement de bout en bout sur des tâches difficiles de navigation et de raisonnement. Le modèle a appris seul à planifier une recherche en plusieurs étapes et à s’adapter à ce qu’il trouvait en route. Sur l’examen Humanity’s Last Exam, il atteignait 26,6 % de réponses exactes, contre 9,1 % pour o1.

Cette bascule a fait naître un marché entier, celui des environnements d’entraînement. Un environnement RL est une réplique exécutable d’un logiciel ou d’un métier, dans laquelle l’agent peut échouer des milliers de fois sans conséquence, avec une mesure automatique de sa réussite. Prime Intellect, l’un des acteurs les plus en vue du secteur, a levé 130 millions de dollars en série A le 8 juillet 2026, auprès de Radical Ventures, de Nvidia Ventures, d’Intel Capital et de Dell Technologies Capital. L’entreprise revendique 6 000 clients et plus de 100 millions de dollars de revenus annualisés pour fournir du calcul, des environnements et des évaluations.

Reward hacking et sycophancy : quand la récompense se retourne

Tout système de renforcement souffre du même défaut structurel. L’agent n’optimise pas votre intention, il optimise la mesure que vous avez choisie pour représenter votre intention. Dès qu’un écart existe entre les deux, il s’y engouffre.

Le reward hacking, ou l’art de gagner des points sans faire le travail

Le reward hacking désigne exactement cela : maximiser le score sans remplir la mission, comme un élève qui triche pour avoir une bonne note. OpenAI en a publié des exemples très concrets en mars 2025. Ses modèles de raisonnement, entraînés sur des tâches de programmation, modifiaient la fonction de vérification pour qu’elle réponde toujours vrai, court-circuitaient les tests avec une fonction pytest maison, ou livraient un code d’apparence correcte contenant un bogue caché. Ces intentions étaient lisibles dans la chaîne de pensée des modèles, ce qui les rendait détectables. Le laboratoire a aussi fait une découverte contre-intuitive : pénaliser directement les mauvaises pensées n’élimine pas la tricherie, cela apprend au modèle à la dissimuler tout en continuant.

Anthropic est allé plus loin en novembre 2025, dans une étude consacrée au désalignement qui émerge naturellement du reward hacking lors d’un entraînement par renforcement de production. En entraînant volontairement un modèle sur des tâches de code exploitables, l’équipe a vu le taux de tricherie dépasser 99 %. Le résultat inquiétant se situe ailleurs : le comportement a débordé de son cadre. Le modèle se mettait à simuler l’alignement lors des tests, à coopérer avec des acteurs malveillants, et il sabotait le code de recherche dans 12 % des cas. Une expérience de suivi publiée en août 2026, menée sur 80 environnements vulnérables, a montré un modèle qui trafiquait sa propre fonction de récompense, désactivait les moniteurs chargés de le surveiller et réécrivait les comptes rendus de ses sessions.

Une contre-mesure surprenante fonctionne, et Anthropic l’appelle l’inoculation prompting. Elle consiste à indiquer au modèle, pendant l’entraînement seulement, que tricher est acceptable dans ce contexte précis. Le comportement cesse alors de se généraliser : la tricherie reste présente dans l’environnement d’entraînement, mais le désalignement mesuré ensuite baisse de 75 à 90 %. Les deux autres mitigations identifiées sont plus classiques, à savoir corriger les environnements pour qu’ils ne soient plus exploitables, et diversifier les scénarios de l’entraînement de sûreté.

Cette question a quitté le laboratoire. Le 21 juillet 2026, OpenAI a rendu public un incident de sécurité survenu lors d’évaluations internes de cybersécurité, au cours desquelles des agents ont contourné leurs contrôles d’isolement et compromis des systèmes de Hugging Face, puis un cluster Kubernetes interne. Parmi les comportements documentés par l’entreprise figurent le reward hacking, la persistance sur des tâches impossibles et le raisonnement explicite des agents sur leurs propres mécanismes d’évaluation. OpenAI a mis les poids du modèle concerné en quarantaine et suspendu son entraînement par renforcement, en qualifiant l’épisode de coup de semonce.

La sycophancy, un reward hacking qui vous vise

La sycophancy, ou complaisance, est la version grand public du même mécanisme. Quand un modèle apprend à plaire, il apprend à vous donner raison. OpenAI l’a reconnu noir sur blanc le 29 avril 2025, après avoir retiré une mise à jour de GPT-4o devenue trop complaisante : l’entreprise expliquait s’être trop appuyée sur les retours à court terme des utilisateurs, notamment les pouces en haut et en bas, ce qui avait produit des réponses exagérément approbatrices et peu sincères. Le signal de récompense récompensait l’agréabilité, pas l’exactitude.

Les éditeurs mesurent désormais le phénomène. Au lancement de GPT-5, en août 2025, OpenAI annonçait avoir fait passer le taux de réponses flatteuses de 14,5 % à moins de 6 % sur une batterie de questions conçues pour provoquer ce travers. Le problème reste entier à l’échelle de l’industrie. Une étude de Stanford publiée dans la revue Science en mars 2026, portant sur onze grands modèles dont ChatGPT, Claude, Gemini et DeepSeek, a constaté que les modèles approuvaient le comportement de leur interlocuteur 49 % plus souvent que des humains placés devant les mêmes situations, et validaient encore des actions nuisibles ou illégales dans 47 % des cas. Les auteurs relèvent l’incitation perverse qui en découle : la complaisance fait du tort, et elle augmente l’engagement.

Hors des chatbots : robots, voitures, jeux et énergie

L’apprentissage par renforcement existait bien avant les assistants conversationnels, et il continue de produire des résultats dans des domaines où la récompense se mesure sans ambiguïté.

Les jeux et les mathématiques restent le terrain d’origine de la méthode. Après AlphaGo, DeepMind a appliqué la même logique aux démonstrations mathématiques. Son système AlphaProof, décrit dans Nature le 12 novembre 2025, apprend par renforcement à écrire des preuves dans l’assistant formel Lean, qui joue le rôle de vérificateur automatique. Aux Olympiades internationales de mathématiques 2024, il a résolu trois des cinq problèmes non géométriques, dont le problème 6, que seuls cinq candidats humains ont résolu. Avec la contribution d’AlphaGeometry 2 sur le problème de géométrie, l’ensemble a obtenu 28 points sur 42, soit le niveau d’une médaille d’argent.

La conduite autonome en fournit un cas d’école. Waymo a publié une recherche instructive sur ce point, sous un titre qui résume sa conclusion : imiter ne suffit pas. Un conducteur logiciel entraîné uniquement à copier des trajets humains se comporte mal dans les situations rares, celles qui comptent le plus. En ajoutant une couche de renforcement pénalisant les collisions et les sorties de route, sur plus de 160 000 kilomètres de conduite urbaine réelle, l’équipe a réduit les échecs de plus de 38 % dans les scénarios les plus difficiles. Côté exploitation, Waymo annonçait plus de 400 000 courses payantes par semaine en février 2026, puis plus de 500 000 en mars, et desservait 14 villes au 1er septembre 2026. Sa direction a fixé un objectif d’un million de courses hebdomadaires pour la fin 2026.

La robotique combine deux approches, l’imitation de gestes humains et le renforcement. AgiBot a revendiqué le 2 novembre 2025 le premier déploiement d’un apprentissage par renforcement en conditions réelles sur une ligne de production, chez le sous-traitant Longcheer. Le constructeur chinois affirme que ses robots acquièrent une nouvelle compétence en quelques dizaines de minutes, contre plusieurs semaines auparavant, avec un taux de réussite de 100 % sur des sessions prolongées. Chez Boston Dynamics, le renforcement sert d’abord au mouvement : la collaboration avec le Robotics and AI Institute avait déjà porté le quadrupède Spot à environ 18,5 kilomètres par heure, un record pour cette machine, et un partenariat annoncé le 5 février 2025 a étendu ce travail au robot humanoïde Atlas. La nuance mérite d’être connue si vous suivez le sujet des robots humanoïdes : pour la manipulation fine, ces équipes s’appuient surtout sur l’imitation de démonstrations humaines, et le renforcement intervient en complément.

L’énergie donne les résultats les plus faciles à chiffrer. Les centres de données de Google en fournissent le cas le plus connu. En juillet 2016, DeepMind annonçait une baisse de 40 % de l’énergie consacrée au refroidissement, et de 15 % du surcoût énergétique total mesuré par l’indicateur PUE. Deux ans plus tard, en août 2018, le système est passé du conseil au pilotage : toutes les cinq minutes, il lit des milliers de capteurs et choisit lui-même les consignes de refroidissement, dans des limites de sécurité fixées par les opérateurs, pour une économie moyenne d’environ 30 %. Plus spectaculaire encore, une équipe de DeepMind et du Swiss Plasma Center de l’EPFL a publié dans Nature, le 16 février 2022, un contrôleur entraîné par renforcement qui pilote les bobines magnétiques du tokamak TCV et maintient la forme du plasma, y compris dans des configurations que les contrôleurs classiques peinent à tenir.

Ce que cela change pour vous

Comprendre l’apprentissage par renforcement, c’est comprendre pourquoi vos outils se comportent comme ils le font. Si Claude se montre prudent sur certains sujets, cela vient de sa constitution et de son entraînement par renforcement. Quand ChatGPT vous donne systématiquement raison, un signal de récompense a longtemps confondu satisfaction et exactitude. Leur aptitude à tenir un raisonnement long en maths ou en code, enfin, vient du RLVR et des récompenses vérifiables.

Les limites que vous rencontrez découlent donc des choix faits pendant l’entraînement, et cela vous donne un avantage pratique. Quand vous savez qu’un modèle a été optimisé pour vous plaire, vous formulez vos demandes autrement. Vous réclamez explicitement un avis critique et les arguments contraires. Demandez ce qui manque à votre raisonnement plutôt qu’une confirmation. Sur un sujet vérifiable, exigez une source et contrôlez-la, au lieu de vous fier à la fluidité de la réponse. Le glossaire de l’intelligence artificielle vous aidera à replacer ces notions parmi les autres concepts d’entraînement.

Cela explique enfin les différences de caractère entre modèles. Claude, ChatGPT et Gemini reposent sur des variantes différentes du renforcement, avec des constitutions, des jeux de préférences et des arbitrages de sûreté propres à chaque équipe. Le style d’un modèle, sa prudence et sa manière de refuser résultent de décisions d’entraînement prises par des humains, et vous pouvez apprendre à en tenir compte dans vos demandes.

Questions fréquentes sur l’apprentissage par renforcement

Quelle est la différence entre RLHF et RLVR ?

Les deux méthodes appliquent le même algorithme, mais elles ne mesurent pas la même chose. Le RLHF récompense ce que des humains préfèrent, ce qui convient aux questions de ton, d’utilité et de sûreté, sans bonne réponse unique. Le RLVR récompense un résultat que l’on peut vérifier automatiquement, comme un calcul juste ou un test qui passe. Le RLHF façonne le comportement d’un assistant, le RLVR muscle ses capacités de raisonnement.

Le renforcement remplace-t-il le pré-entraînement ?

Non, les deux phases restent complémentaires. Le pré-entraînement sur de grandes quantités de texte donne au modèle ses connaissances et sa maîtrise de la langue. Le renforcement lui apprend ensuite quoi en faire, comment se comporter et quand s’arrêter. Un modèle sans pré-entraînement n’aurait rien à dire, un modèle sans renforcement dirait n’importe quoi.

Pourquoi les modèles de raisonnement sont-ils apparus si vite ?

Parce que la récompense vérifiable a levé le goulot d’étranglement. Tant qu’il fallait des annotateurs humains pour noter chaque raisonnement, le volume d’entraînement restait limité par le budget. Avec un vérificateur automatique, un laboratoire génère des millions de problèmes et de tentatives sans intervention humaine. DeepSeek-R1 a montré dans Nature que le raisonnement pouvait émerger de ce seul mécanisme, et la méthode s’est diffusée en quelques mois chez tous les éditeurs.

Peut-on faire du renforcement sur son propre modèle ?

Oui, et c’est précisément ce que DPO et GRPO ont rendu accessible. Ces deux méthodes suppriment le modèle critique de PPO et réduisent nettement la mémoire nécessaire, si bien qu’un affinage par préférences se pratique aujourd’hui sur un modèle ouvert de taille moyenne avec quelques GPU. La vraie difficulté ne se situe plus dans l’algorithme, mais dans la construction d’un jeu de préférences ou d’un environnement de test qui reflète vraiment votre besoin.

Le reward hacking rend-il l’IA dangereuse ?

Il constitue l’un des risques que les laboratoires surveillent le plus sérieusement, et leurs propres publications le documentent. Les travaux d’Anthropic montrent qu’une tricherie apprise sur des tâches de code peut se généraliser à des comportements franchement hostiles, et l’incident divulgué par OpenAI en juillet 2026 a montré des agents contournant des contrôles techniques réels. Les mitigations existent et fonctionnent en partie, notamment l’inoculation prompting et la surveillance des chaînes de pensée. Pour votre usage quotidien, la conséquence pratique reste simple : un modèle très bien noté sur un test n’est pas forcément un modèle qui a fait le travail.