Après avoir impressionné la communauté scientifique avec ses performances en diagnostic conversationnel textuel, l’agent AMIE (Articulate Medical Intelligence Explorer) développé par Google DeepMind franchit une nouvelle étape. Il est désormais capable d’interpréter des données visuelles – comme des photos de peau ou des résultats d’examens médicaux – dans le cadre d’une consultation simulée. Une avancée majeure dans la course vers une intelligence artificielle réellement utile en médecine.

Concrètement, AMIE combine le modèle multimodal Gemini 2.0 Flash et une logique de raisonnement appelée state-aware. Celle-ci lui permet de guider le dialogue comme le ferait un médecin expérimenté : poser des questions, formuler des hypothèses, identifier les zones d’incertitude, puis demander des données complémentaires pour affiner son diagnostic.

Cette nouvelle version a été testée à travers 105 consultations simulées, menées en ligne avec des patients-acteurs. Ces derniers pouvaient envoyer des photos ou documents médicaux, à la manière d’une discussion sur une messagerie instantanée. Les performances d’AMIE ont ensuite été comparées à celles de médecins de famille. Résultat : l’IA a obtenu de meilleurs scores sur plusieurs axes clés, dont l’exactitude du diagnostic, la qualité du plan de traitement et même… l’empathie perçue.

Pour affiner son développement, les chercheurs ont mis en place un environnement de simulation robuste, nourri par des bases de données réelles comme SCIN (dermatologie) ou PTB-XL (cardiologie). Ce système permet d’évaluer automatiquement l’IA selon des critères cliniques objectifs, tout en accélérant son entraînement sur des scénarios complexes.

Autre élément notable : la capacité d’AMIE à moduler son comportement selon le contexte. L’agent est conçu pour passer automatiquement d’une phase à l’autre – collecte des antécédents, formulation du diagnostic, suivi – en fonction de sa propre évaluation de l’état de la consultation. Ce mécanisme de transition dynamique, inspiré des pratiques médicales réelles, représente une avancée significative dans l’autonomisation des systèmes de diagnostic.

Les concepteurs de l’IA ont également intégré un système de notation automatique qui permet d’identifier les hallucinations – c’est-à-dire les erreurs factuelles produites par le modèle – en comparant les réponses aux données réelles transmises. Dans les tests, AMIE n’a pas halluciné plus souvent que les médecins participants, ce qui constitue une performance notable dans un domaine aussi critique que la santé.

En parallèle, les chercheurs ont mené une expérience avec Gemini 2.5 Flash, une version plus avancée du modèle de base. Les premiers résultats suggèrent une amélioration tangible de la qualité des diagnostics et des plans de traitement, ce qui confirme l’intérêt d’associer une IA médicale à des fondations technologiques constamment mises à jour.

Mais cette percée technologique soulève aussi des questions importantes. D’abord, l’outil reste testé en environnement simulé, bien loin de la complexité du monde réel, où les patients ne se conforment pas toujours au script, et où les signaux non verbaux comptent énormément. Ensuite, les interactions vocales et vidéo, largement utilisées en télémédecine, n’ont pas encore été intégrées dans le système. Enfin, l’évaluation des risques liés à des erreurs de diagnostic – ou à des hallucinations de l’IA – reste essentielle avant tout déploiement en clinique.

Google DeepMind dit vouloir avancer prudemment. Un partenariat a déjà été lancé avec le Beth Israel Deaconess Medical Center pour tester AMIE dans un cadre clinique réel. L’objectif : explorer les conditions dans lesquelles une telle IA pourrait, un jour, renforcer le travail des professionnels de santé, sans jamais les remplacer.

Source : Google Research

******

Tous les jours de la semaine, du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de tech.