Vision par ordinateur : comment l’IA voit le monde

Vous photographiez une facture, vous l’envoyez à un assistant IA, et le montant hors taxes atterrit dans la bonne colonne de votre tableau. Cette opération banale enchaîne pourtant plusieurs traitements distincts : détecter la zone de texte, la lire, comprendre la structure du document, associer une valeur à un libellé. La vision par ordinateur regroupe l’ensemble de ces techniques qui donnent du sens à une image. Elle constitue l’autre moitié de l’intelligence artificielle moderne, à côté du traitement du langage naturel, et les deux se sont largement rejointes.

Le domaine a beaucoup changé en trois ans. Les modèles généralistes ont absorbé une partie du travail, des modèles spécialisés ont pris le reste, et la frontière entre les deux se trouve exactement là où les projets réussissent ou échouent. Voici comment tout cela s’articule.

Comment une machine voit une image

Pour un ordinateur, une image est une grille de nombres. Chaque pixel porte trois valeurs de couleur, rouge, vert et bleu, et une photo de smartphone en compte plusieurs millions. La vision par ordinateur rassemble les méthodes qui extraient une information utile de cette grille, et ce travail s’organise en quatre niveaux de difficulté croissante.

La détection repère la présence et la position des objets. Le modèle renvoie des boîtes englobantes accompagnées d’un score de confiance, et il indique qu’il y a un chien, une voiture et une personne à tel endroit de l’image.

La classification nomme ce qui a été détecté. Le modèle range l’objet dans une catégorie apprise, du labrador à la pièce défectueuse, parmi quelques dizaines ou plusieurs milliers d’étiquettes possibles.

La segmentation délimite les contours au pixel près, sans se contenter d’une boîte rectangulaire. C’est elle qui vous permet de flouter l’arrière-plan d’une visioconférence, et c’est aussi elle qui mesure la surface exacte d’une tumeur sur une coupe d’IRM.

La compréhension de scène interprète les relations entre les objets. Le système ne dit plus seulement ce qu’il voit, il explique que la personne tient la laisse du chien et qu’ils marchent vers la voiture. À ce niveau, la vision rejoint le raisonnement.

Les modèles multimodaux ont absorbé la vision généraliste

Le basculement le plus visible concerne les grands modèles de langage, devenus multimodaux. GPT-6 Astra accepte du texte et des images en entrée et produit du texte en sortie, dans une fenêtre de 1 050 000 tokens. Claude Fable 5.1 et Gemini 3.8 Flash lisent également des images, et Gemini va plus loin sur la vidéo. DeepSeek-V4.1-Flash, sorti le 10 septembre 2026, revendique une compréhension visuelle native inscrite dans son architecture plutôt qu’ajoutée après coup. Du côté des poids ouverts, la série Qwen3-VL couvre l’OCR dans 32 langues et le pilotage d’interfaces graphiques sous licence Apache 2.0, et nous détaillons ses usages dans notre article sur l’analyse visuelle de documents avec Qwen3-VL.

Ces modèles sont bons, sans être bons partout. Le banc d’essai Vision Evals de Roboflow fait passer les mêmes échantillons réels à plus de cinquante modèles, sur six tâches. Il place GPT-6 Astra en tête avec 86,6 %, devant Gemini 3.5 Flash à 86,0 % et Claude Opus 5.5 à 85,5 %. Gemini 3.8 Flash arrive cinquième avec 85,1 %. Les sous-scores sont plus instructifs que le classement général. Gemini 3.8 Flash obtient 97,3 % en extraction de données, premier de tous les modèles testés, et 97,9 % en identification. Il tombe en revanche à 68,1 % en détection d’objets et à 87,3 % en OCR, ce qui le relègue au trente-huitième rang sur cette dernière tâche.

La leçon est directement utilisable. Un modèle généraliste excelle pour décrire, résumer et extraire des informations d’une image, parce que ces tâches se formulent en langage. Il reste médiocre dès qu’il faut localiser précisément, compter beaucoup d’objets ou traiter un flux à la milliseconde. Ces travaux-là appartiennent encore à des modèles dédiés, plus petits, plus rapides et souvent moins chers. Les grandes familles de modèles et leurs différences sont décrites dans notre guide sur les LLM.

Segmenter au pixel : SAM 3 et la segmentation par concept

La segmentation a connu son propre saut. Meta a publié SAM 3 en novembre 2025, avec une idée simple à énoncer : vous décrivez un concept en quelques mots, le modèle trouve et détoure toutes les occurrences correspondantes, dans une image comme dans une vidéo. On parle de segmentation de concept promptable. Vous pouvez aussi fournir un exemple visuel, une boîte ou un point, comme dans les versions précédentes.

Meta annonce un doublement du score sur son banc d’essai SA-Co, en image comme en vidéo, face aux systèmes existants. Le laboratoire revendique aussi une inférence de 30 millisecondes pour une image contenant plus de cent objets, sur un GPU H200. La mise à jour SAM 3.1, publiée le 27 mars 2026, ajoute le multiplexage : le modèle suit jusqu’à seize objets en une seule passe et raisonne sur l’ensemble, au lieu de recalculer chaque piste. Le débit passe ainsi de 16 à 32 images par seconde sur un H100. Code et poids sont publiés en accès ouvert.

Concrètement, un monteur vidéo peut isoler « toutes les bouteilles rouges » dans un rush sans dessiner un seul masque, et une équipe industrielle peut compter des pièces sur un tapis roulant sans constituer un jeu de données annoté. La segmentation par concept supprime l’étape d’annotation qui bloquait la plupart des projets.

Lire des documents : l’OCR a changé de génération

La lecture automatique de documents a longtemps reposé sur des moteurs de reconnaissance de caractères imparfaits. Les modèles multimodaux spécialisés ont changé la donne, et c’est probablement l’usage professionnel le plus rentable de la vision par ordinateur.

Mistral a sorti OCR 4 le 23 juin 2026. Le modèle couvre 170 langues, rend le texte en markdown structuré et l’accompagne de boîtes englobantes, d’un typage des blocs, titres, tableaux, équations ou signatures, et de scores de confiance par page et par mot. Mistral revendique 85,20 sur olmOCRBench, 93,07 sur OmniDocBench et un taux de préférence de 72 % en évaluation humaine face aux concurrents, pour 4 dollars les mille pages, moitié prix en traitement par lots. La version OCR 4.1, sortie le 16 juillet 2026, a ajouté les boîtes au niveau du paragraphe et les scores de confiance par bloc.

Du côté ouvert, deux approches méritent le détour. PaddleOCR-VL tient dans 0,9 milliard de paramètres, gère 109 langues et affiche 92,56 sur OmniDocBench v1.5, ce qui prouve qu’un petit modèle bien conçu suffit pour cette tâche. DeepSeek-OCR explore une piste plus surprenante : le texte est encodé comme une image, puis compressé optiquement. Le papier rapporte 97 % de précision jusqu’à un facteur de compression de 10, puis une chute à environ 60 % au facteur 20. Côté vitesse, le système traite plus de 200 000 pages par jour sur un seul GPU A100.

L’intérêt pratique dépasse la simple numérisation. Un OCR fiable transforme des archives papier en corpus interrogeable, donc en matière première pour un système de recherche augmentée par récupération. Factures, contrats, dossiers médicaux, actes notariés, relevés techniques : tout ce qui dormait dans des PDF scannés devient exploitable, à condition de vérifier les extractions sensibles.

La vidéo, le temps réel et leurs contraintes

La vidéo coûte cher, parce qu’elle multiplie les images. L’API Gemini documente précisément ce coût. Un modèle à un million de tokens de contexte avale jusqu’à une heure de vidéo en résolution haute, ou trois heures en résolution basse. La facture tourne autour de 300 tokens par seconde de vidéo en haute résolution, et de 100 tokens en basse. Le mode agentique, réservé aux modèles Flash récents, réduit fortement cette facture sur les contenus longs.

Ces limites expliquent les architectures réelles. Personne n’envoie un flux de caméra de surveillance à un grand modèle multimodal en continu, car le coût serait absurde. Un petit modèle embarqué filtre localement, déclenche sur un événement, et seul l’extrait pertinent monte vers un modèle plus puissant. La conversation vocale suit la même logique, avec des modèles dédiés comme Gemini 3.8 Live, sorti le 15 septembre 2026, qui traite l’audio de bout en bout sans passer par une transcription intermédiaire.

Vision embarquée et robotique

La vision devient intéressante quand elle quitte le centre de données. Nvidia a présenté le 15 juillet 2026 deux nouveaux calculateurs Jetson Thor pour la robotique et l’IA en périphérie. Le T3000 délivre 865 téraflops en FP4, avec 32 Go de mémoire LPDDR5X et 273 Go/s de bande passante. Le T2000 descend à 400 téraflops et 16 Go pour les projets plus modestes. La disponibilité est annoncée pour le premier trimestre 2027. Ces modules servent aux robots mobiles, aux bras industriels, aux agents visuels et aux systèmes de transport intelligents.

Google DeepMind a annoncé Gemini Robotics 2 le 30 juillet 2026, une famille de trois briques. Un modèle vision-langage-action pilote un humanoïde ou un robot à deux bras. Un modèle de raisonnement incarné planifie plusieurs étapes et coordonne plusieurs machines. Une version embarquée s’adapte enfin à un nouveau corps de robot en quelques heures, avec souvent moins de deux cents exemples. Apptronik, Boston Dynamics et Agile Robots figurent parmi les partenaires, et Google a publié en même temps un banc d’essai de sûreté agentique nommé ASIMOV-Agentic.

Mistral est entré sur le même terrain le 8 juillet 2026 avec Robostral Navigate. Ce modèle de 8 milliards de paramètres guide un robot à partir d’une instruction en langage naturel et d’une seule caméra RGB, sans lidar ni capteur de profondeur. Il atteint 76,6 % de réussite sur la partie inédite du banc R2R-CE, soit 9,7 points de plus que la meilleure méthode monocaméra, et 4,5 points de plus que des systèmes équipés de plusieurs capteurs. L’enjeu économique est évident : une caméra coûte quelques dizaines d’euros, un lidar plusieurs milliers.

Des usages concrets, avec des chiffres

D’autres secteurs avancent avec la même logique. Le contrôle qualité industriel détecte des défauts invisibles à l’œil nu sur une ligne de production, en continu et sans fatigue. La logistique reconnaît des colis, lit des étiquettes abîmées et vérifie des palettes. Le commerce propose la recherche visuelle de produit et le réassort automatique des rayons. L’accessibilité progresse aussi, car un modèle multimodal génère des descriptions d’images utilisables par un lecteur d’écran, avec un bénéfice de référencement au passage.

Pour un indépendant ou une petite équipe, trois usages se mettent en place en une journée. Photographiez vos justificatifs, et un modèle en extrait un tableau exploitable. Une capture d’écran de tableau de bord suffit ensuite pour obtenir une lecture des courbes, sans exporter les données. Soumettez enfin une planche de visuels, et vous récupérez des descriptions alternatives rédigées, prêtes pour vos attributs alt.

Reconnaissance faciale et biométrie : ce que le droit européen interdit

La vision par ordinateur appliquée aux personnes relève d’un régime juridique strict en Europe, et cette partie est souvent résumée de façon fausse. Quatre interdictions issues de l’AI Act visent directement la biométrie, et elles s’appliquent depuis le 2 février 2025.

• Les bases de visages moissonnées — la collecte non ciblée d’images sur internet ou sur des flux de vidéosurveillance pour constituer ou enrichir une base de reconnaissance faciale est interdite.
• La reconnaissance des émotions — elle est proscrite sur le lieu de travail et dans les établissements d’enseignement, quel que soit le motif invoqué.
• La catégorisation biométrique — un système ne peut pas déduire d’un visage ou d’un corps des caractéristiques protégées, comme l’origine ethnique, les convictions religieuses ou l’orientation sexuelle.
• L’identification à distance en temps réel — elle est interdite dans l’espace public à des fins répressives, en dehors d’exceptions strictement définies et soumises à autorisation.

Une interdiction supplémentaire a été ajoutée par le Digital Omnibus, entré en vigueur le 27 juillet 2026. Elle vise les systèmes qui produisent des images intimes non consenties de personnes identifiables, applications de dénudation comprises, ainsi que les contenus pédocriminels, et elle prend effet le 2 décembre 2026. Notre article sur les deepfakes détaille les conséquences pratiques de ce volet.

Deux dates méritent d’être retenues correctement. Les obligations applicables aux systèmes à haut risque de l’annexe III, qui couvre la biométrie, l’emploi ou le contrôle aux frontières, ont été repoussées au 2 décembre 2027, et celles de l’annexe I au 2 août 2028. L’article 50 sur la transparence, lui, n’a pas été reporté : il s’applique depuis le 2 août 2026 et impose d’indiquer qu’un contenu a été généré par une IA. Les systèmes déjà commercialisés avant cette date disposent d’un délai jusqu’au 2 décembre 2026 pour se conformer au marquage. Le détail du calendrier figure dans notre dossier sur l’AI Act européen.

La France illustre bien la nuance entre analyse d’images et biométrie. Une loi du 18 août 2026 a prolongé l’expérimentation de la vidéosurveillance algorithmique jusqu’au 31 décembre 2030, après validation par le Conseil constitutionnel. Le texte exclut explicitement tout système d’identification biométrique, tout traitement de donnée biométrique et toute technique de reconnaissance faciale, et le Conseil a limité à trois mois renouvelables les autorisations visant les bâtiments et lieux exposés à un risque permanent. Un algorithme peut donc détecter un mouvement de foule ou un colis abandonné, mais il ne peut pas reconnaître un visage. Les obligations de protection des données restent par ailleurs entières, comme nous l’expliquons dans notre article sur l’IA et le RGPD.

Les limites à connaître avant de lancer un projet

• La localisation reste faible chez les généralistes. Le score de 68,1 % en détection d’objets du meilleur modèle Flash de Google montre qu’un modèle conversationnel ne remplace pas un détecteur spécialisé. Pour compter des pièces ou suivre une trajectoire, entraînez un modèle dédié.
• Les biais visuels se transmettent. Un modèle entraîné majoritairement sur des visages, des vêtements et des décors occidentaux se trompe davantage ailleurs. L’écart de performance selon la couleur de peau a été documenté depuis des années sur les systèmes de reconnaissance faciale, et rien ne garantit qu’il ait disparu dans les modèles multimodaux.
• Les hallucinations visuelles existent. Un modèle décrit parfois un objet absent de l’image, ou lit un chiffre qui n’y figure pas. Le mécanisme ressemble à celui des hallucinations de l’IA sur le texte, et il impose une relecture humaine sur tout usage à conséquence, en santé, en comptabilité ou en droit.
• Le coût dépend du volume, pas du modèle. Une image occasionnelle ne coûte presque rien, un flux vidéo continu coûte très cher. Calculez le nombre de tokens avant de choisir une architecture, car c’est là que les projets dérapent.
• La qualité de la prise de vue décide de tout. Un éclairage instable, un angle inhabituel ou une caméra sale dégradent les résultats plus sûrement qu’un mauvais choix de modèle. L’investissement le plus rentable porte souvent sur le capteur et sur la lumière.