NVIDIA poursuit son offensive dans l’intelligence artificielle au-delà des puces. L’entreprise vient de présenter Cosmos 3, un modèle d’IA ouvert conçu pour aider les robots, les véhicules autonomes et d’autres systèmes physiques à mieux comprendre, anticiper et simuler le monde réel.

L’enjeu est important. Jusqu’ici, une grande partie de l’IA générative s’est concentrée sur le texte, l’image, le son ou la vidéo. Avec Cosmos 3, NVIDIA vise un autre terrain : celui de l’IA physique, c’est-à-dire des systèmes capables non seulement d’analyser une scène, mais aussi de prévoir ce qui pourrait s’y produire et de planifier une action.

Selon NVIDIA, Cosmos 3 a été entraîné à partir de 20 billions de jetons de données multimodales. Ces données incluent près d’un milliard d’images, 400 millions de vidéos réelles et synthétiques, du son ambiant, du texte ainsi que des données d’action provenant d’humains et de robots. C’est cette dernière catégorie qui distingue Cosmos d’un simple générateur vidéo.

L’objectif n’est pas seulement de produire des images réalistes. Cosmos 3 doit aussi aider les machines à apprendre comment les objets, les humains et les robots se déplacent dans l’espace. Il peut générer des données comme les angles d’articulation d’un robot, la position d’une pince ou la trajectoire d’un mouvement. Ces informations peuvent ensuite servir à entraîner des robots à manipuler des objets, circuler dans un environnement ou réagir à des situations complexes.

NVIDIA met aussi l’accent sur la simulation. Cosmos 3 peut générer des scénarios rares, dangereux ou coûteux à reproduire dans le monde réel. Pour un véhicule autonome, cela peut vouloir dire une situation inhabituelle sur la route. Pour un robot industriel, cela peut être une collision ou un geste imprévu. En théorie, ces simulations permettent d’entraîner les systèmes sans multiplier les essais risqués dans des environnements physiques.

Deux versions sont lancées immédiatement. Une version « super » est destinée aux usages qui exigent une grande précision physique, notamment pour la robotique et les véhicules autonomes. Une version « nano » vise plutôt la rapidité, avec des résultats produits en une fraction de seconde. NVIDIA annonce aussi une version « edge », capable de fonctionner localement, qui doit arriver plus tard.

Le caractère ouvert du modèle est aussi stratégique. Comme avec certains modèles Nemotron, NVIDIA veut permettre aux fabricants de matériel et aux développeurs de personnaliser Cosmos selon leurs besoins. L’entreprise cherche ainsi à faire de son écosystème un point de départ pour ceux qui développent des robots, des véhicules autonomes ou des agents vidéo industriels.

NVIDIA s’entoure également de partenaires pour soutenir l’initiative. Parmi les premiers noms cités figurent Agile Robots, Black Forest Labs et Runway. Cette coalition doit aider à faire évoluer Cosmos en fonction des besoins concrets de l’industrie, plutôt que de rester un modèle généraliste déconnecté des contraintes du terrain.

Cette annonce s’inscrit dans une tendance plus large. Les modèles dits « world models » deviennent un secteur clé de l’IA, parce qu’ils promettent de donner aux machines une meilleure compréhension des relations physiques entre les objets, les mouvements et les conséquences possibles d’une action. Des entreprises comme World Labs, fondée par Fei-Fei Li, ou AMI Labs, associée à Yann LeCun, travaillent aussi dans cette direction.

Pour NVIDIA, Cosmos 3 marque donc une étape dans une stratégie plus vaste : ne plus être seulement le fournisseur incontournable de processeurs graphiques pour l’IA, mais aussi un acteur central des modèles, logiciels et infrastructures qui feront fonctionner l’IA dans le monde physique. Après les robots conversationnels, les générateurs d’images et les agents logiciels, la prochaine bataille pourrait bien être celle des machines capables d’agir dans le réel.

Source : NVIDIA

*****

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.