JEPA vs architectures génératives : pourquoi la différence est fondamentale

Un modèle autorégressif comme ChatGPT génère chaque token en fonction des précédents, sans représentation globale de ce qu’il construit. Il avance mot par mot, comme quelqu’un qui improvise une phrase sans en avoir décidé la fin. Le résultat est souvent remarquable. Les erreurs qui en découlent, comme les hallucinations, les incohérences sur plusieurs paragraphes ou les faiblesses du raisonnement causal, tiennent pourtant à la structure même du modèle.

JEPA, l’architecture proposée par Yann LeCun en 2022, part du postulat inverse. Le modèle cherche à comprendre plutôt qu’à générer, et à apprendre les règles abstraites du monde plutôt qu’à en reconstruire chaque détail. Cette autre philosophie de l’apprentissage a des conséquences très concrètes sur ce qu’un système sait faire, et sur ce qu’il ne sait pas faire.

Comment fonctionne un modèle génératif autorégressif

Prédire le prochain token ou le prochain pixel

Un grand modèle de langage est entraîné sur une tâche simple en apparence : prédire le prochain token dans une séquence. Sur des milliards de textes, il apprend des corrélations statistiques entre les mots, les phrases et les concepts. Il devient capable de produire du texte cohérent, de répondre à des questions, de coder ou de traduire, parce que toutes ces tâches peuvent se formuler comme la suite d’une séquence.

Les générateurs d’images et de vidéo reposent sur une logique voisine. Les modèles de diffusion, ou Sora, dont OpenAI a depuis fermé l’application, apprennent à reconstruire des pixels image après image. La qualité visuelle peut être saisissante, mais le modèle modélise des distributions statistiques sur des données brutes. Pour lui, une balle qui tombe correspond à un motif de pixels qui ressemble aux chutes vues pendant l’entraînement, et la gravité n’y figure nulle part de façon explicite.

Deux limites structurelles

Deux problèmes découlent directement de ce fonctionnement. Le premier est l’accumulation d’erreurs : chaque token généré porte un risque d’inexactitude, et ce risque se cumule à mesure que la séquence s’allonge. Une erreur précoce peut donc fausser tout le raisonnement qui suit.

Le second tient au coût de la reconstruction. Modéliser chaque pixel, chaque token et chaque détail de surface exige des ressources considérables. Une grande partie de ce calcul sert à des informations peu utiles, voire impossibles à prévoir, comme le reflet exact d’une vitre ou le mouvement d’une feuille.

Ce que JEPA fait différemment

Prédire dans l’espace latent

JEPA signifie Joint Embedding Predictive Architecture, soit « architecture prédictive à plongements joints ». Le modèle prédit dans l’espace des représentations abstraites, appelé espace latent, au lieu de reconstruire les données d’origine. La différence semble subtile, mais elle change la nature de ce que le système apprend.

Prenons une vidéo d’un chien qui court, dont on masque les dernières secondes. Un modèle JEPA n’essaie pas de redessiner chaque poil dans chaque image. Il prédit la représentation abstraite du mouvement : l’élan du chien, sa trajectoire probable, ce qu’il est en train de faire. Il laisse de côté ce qu’il ne peut pas prévoir et se concentre sur ce qui reste stable.

Les trois composants de l’architecture

L’architecture repose sur trois briques. Un encodeur de contexte (souvent appelé x-encoder) transforme l’entrée observable, par exemple les images visibles, en une représentation compacte. Un encodeur de cible (y-encoder) fait de même pour ce que l’on veut prédire. Enfin, un prédicteur tente de deviner la représentation de la cible à partir de celle du contexte.

L’erreur se mesure par la distance entre les deux représentations dans l’espace latent, et non sur les pixels bruts. Le modèle est donc pénalisé lorsqu’il a mal compris la scène, pas lorsqu’il l’a mal dessinée.

VL-JEPA, la version vision-langage, illustre le gain d’efficacité. Dans l’expérience contrôlée de l’article, ses auteurs comparent un prédicteur JEPA de 0,5 milliard de paramètres à un modèle vision-langage classique de 1 milliard qui prédit des tokens, avec le même encodeur visuel et les mêmes données. VL-JEPA obtient de meilleurs résultats avec 50 % de paramètres entraînables en moins. Ce gain vient directement du fait qu’il ne modélise pas ce qui n’a pas besoin de l’être.

Le problème de l’effondrement des représentations

Pourquoi l’espace latent peut s’effondrer

JEPA pose un défi technique que les architectures génératives ne rencontrent pas : le risque d’effondrement des représentations. Le modèle peut réduire son erreur de prédiction en envoyant toutes les entrées vers un même point de l’espace latent. Toutes les images se « ressemblent » alors, l’erreur devient nulle et le modèle n’a rien appris d’utile.

Les modèles génératifs échappent naturellement à ce piège, car ils doivent reconstruire des sorties variées et détaillées. JEPA a besoin, lui, de mécanismes explicites pour préserver la diversité des représentations. Les premières versions s’appuyaient sur des pertes de régularisation comme VICReg ou sur des astuces d’ingénierie, par exemple un encodeur « professeur » mis à jour par moyenne mobile et un arrêt du gradient.

LeJEPA et SIGReg, une réponse plus théorique

En novembre 2025, Randall Balestriero et Yann LeCun ont publié LeJEPA, qui s’attaque directement à ce problème. Leur régularisateur, baptisé SIGReg, pousse les représentations à suivre une distribution gaussienne isotrope, que les auteurs présentent comme la forme optimale. L’approche se passe du professeur, de l’arrêt du gradient et des calendriers d’hyperparamètres. Son implémentation tient en une cinquantaine de lignes de code, et elle atteint 79 % de précision sur ImageNet avec un ViT-H/14 évalué par sonde linéaire.

Une limite plus ancienne reste à garder en tête. Un travail de Vlad Sobal et de ses coauteurs, présenté fin 2022, a montré que JEPA apprend bien quand les éléments parasites d’une vidéo changent à chaque image. Il peut en revanche se laisser piéger par des distracteurs fixes, qui varient lentement dans le temps. Cette contrainte n’a rien de rédhibitoire, mais elle pèse sur le choix des données selon le cas d’usage.

Les déclinaisons de JEPA, une famille qui s’élargit

Depuis la proposition initiale de LeCun en 2022, les variantes se sont multipliées, d’abord chez Meta FAIR puis dans la recherche académique. Elles couvrent aujourd’hui l’image, la vidéo, le langage et la robotique.

Les modèles de Meta FAIR

• I-JEPA — la version image, que Meta a présentée en 2023. Le modèle masque des régions d’une image et prédit leur représentation à partir du contexte, ce qui lui permet d’apprendre la sémantique d’une scène sans étiquettes humaines.
• MC-JEPA — cette variante, publiée en 2023, apprend séparément le mouvement et le contenu d’une vidéo, pour mieux prédire les dynamiques temporelles.
• V-JEPA — la version vidéo, que Meta a dévoilée le 15 février 2024, applique le même principe à des séquences d’images, à partir de vidéos non annotées.
• V-JEPA 2 — Meta l’a publié le 11 juin 2025 en open source. Ce modèle de 1,2 milliard de paramètres a été entraîné sur plus d’un million d’heures de vidéo. Avec seulement 62 heures de données robotiques supplémentaires, il atteint 65 à 80 % de réussite pour saisir et déplacer des objets inconnus dans des environnements jamais vus.
• VL-JEPA — des chercheurs de Meta FAIR, de HKUST, de Sorbonne Université et de NYU, dont Yann LeCun, ont publié cette version vision-langage sur arXiv en décembre 2025. Au lieu de générer des tokens, elle prédit l’embedding de la bonne réponse, c’est-à-dire un concept de réponse plutôt que ses mots exacts. Le modèle compte 1,6 milliard de paramètres.
• V-JEPA 2.1 — cette mise à jour, publiée en mars 2026, produit des représentations plus fines, image par image. Ses auteurs annoncent notamment un gain de 20 points sur une tâche de saisie robotique par rapport à V-JEPA 2.

Les travaux académiques et indépendants

La recherche s’est largement emparée du cadre. LLM-JEPA, publié en septembre 2025, applique l’objectif JEPA à l’entraînement de modèles de langage. Discrete JEPA explore des représentations discrètes utiles au raisonnement symbolique, tandis que JEPA-Reasoner sépare le raisonnement latent de la génération de tokens. D’autres équipes appliquent JEPA à la biologie, par exemple pour modéliser des données de cellules.

En mars 2026, LeWorldModel a franchi une étape attendue. Cosigné par Lucas Maes, Yann LeCun et Randall Balestriero notamment, ce modèle est présenté comme le premier JEPA entraîné de bout en bout directement depuis les pixels, sans encodeur préentraîné ni astuce anti-effondrement. Il compte environ 15 millions de paramètres, s’entraîne en quelques heures sur un seul GPU et planifie jusqu’à 48 fois plus vite que des world models bâtis sur de grands modèles de fondation. JEPA est donc devenu un véritable programme de recherche, bien au-delà d’une proposition théorique.

Ce que JEPA ne fait pas : les limites à ne pas ignorer

Une architecture non générative

JEPA est non génératif par conception. Il ne produit directement ni image, ni vidéo, ni texte : c’est une architecture de compréhension. Pour répondre en langage naturel, produire une image ou synthétiser une vidéo, JEPA seul ne suffit pas. VL-JEPA contourne en partie ce problème grâce à un décodeur léger, qui traduit en texte les embeddings prédits seulement quand c’est nécessaire. Sur un flux vidéo, ce décodage sélectif réduit le nombre d’opérations de décodage d’un facteur 2,85 à performances comparables. Le cœur du modèle reste malgré tout non génératif.

Si votre besoin est de créer des mondes 3D ou des vidéos interactives, les world models génératifs comme Genie ou Marble répondent mieux à cet usage. Ils suivent la logique inverse de JEPA.

Des démonstrations encore contrôlées

Les démonstrations robotiques de V-JEPA 2, aussi convaincantes soient-elles, restent limitées à des environnements relativement contrôlés. La question ouverte, posée honnêtement dans la littérature, porte sur la généralisation à des tâches longues dans des environnements entièrement ouverts. Déplacer des objets sur une table reste loin de la préparation d’un petit-déjeuner dans une cuisine inconnue.

Des chercheurs soulignent aussi une faiblesse plus théorique. La perte calculée dans l’espace latent sert de substitut à une mesure sur les données réelles, sans lui être équivalente. Minimiser l’erreur de prédiction dans cet espace ne garantit donc pas la cohérence avec ce qui a été observé. Les représentations apprises risquent alors de s’écarter de la réalité d’une façon que les benchmarks habituels ne détectent pas.

Pourquoi cette architecture intéresse au-delà de la robotique

JEPA attire l’attention pour une propriété qui dépasse la technique : les hallucinations y sont, en principe, moins probables. Un modèle génératif hallucine parce qu’il doit produire une sortie, même quand il ne sait pas, en puisant dans les corrélations les plus plausibles. JEPA prédit une représentation, et un écart trop grand avec la cible se traduit directement dans le signal d’erreur. Cet argument reste pour l’instant surtout théorique, faute de système JEPA déployé à grande échelle.

Pour la santé, l’industrie ou la conduite autonome, où une IA qui invente des faits pose des risques réels, cet argument pèse lourd. AMI Labs (Advanced Machine Intelligence), la start-up parisienne que Yann LeCun a fondée après son départ de Meta pour bâtir des world models sur JEPA, le dit explicitement. Son premier partenaire annoncé est Nabla, une start-up de santé numérique, un secteur où les erreurs des LLM peuvent avoir des conséquences graves. La société a annoncé le 10 mars 2026 une levée de 1,03 milliard de dollars, pour une valorisation de 3,5 milliards avant l’opération. Elle prévoit de publier ses travaux et son code, mais n’a pas encore présenté de modèle public.

L’autre atout de JEPA est son efficacité en données. L’architecture apprend des représentations utiles à partir de données non étiquetées, comme des vidéos brutes, des flux de capteurs ou des images sans annotation. C’est un avantage net en médecine ou dans l’industrie, où les données annotées sont rares et coûteuses à produire.

Notre avis — une architecture sérieuse, pas une révolution immédiate

JEPA est probablement la proposition d’architecture la plus sérieuse de ces dernières années pour aller au-delà des LLM. Le raisonnement de LeCun est cohérent, les résultats empiriques progressent vite, de V-JEPA 2 à LeWorldModel, et la communauté de recherche s’en empare avec un intérêt croissant. Le milliard levé par AMI Labs montre que les investisseurs prennent le pari au sérieux.

Deux constats restent vrais en même temps. JEPA n’est pas encore mûr pour des applications générales à grande échelle, car les démonstrations convaincantes se déroulent dans des environnements contraints. De leur côté, les LLM continuent de progresser sur le raisonnement et la planification, grâce au raisonnement pas à pas et aux agents IA, qui compensent en partie leurs limites structurelles.

Le scénario le plus probable est donc celui de la complémentarité. Les LLM garderaient la génération de langage et le raisonnement abstrait, tandis que des systèmes JEPA prendraient en charge la compréhension physique et la planification des robots. La prochaine génération de systèmes d’IA sera vraisemblablement hybride, et JEPA devrait en être l’un des composants centraux.