Apple vient de publier une étude approfondie intitulée The Illusion of Thinking, qui remet en question les capacités des grands modèles de langage conçus pour raisonner, comme Claude 3.7 Sonnet ou DeepSeek-R1. Ces nouveaux modèles, appelés Large Reasoning Models (LRMs), prétendent réfléchir avant de répondre, en générant de longs raisonnements intermédiaires. Mais cette sophistication n’est pas toujours synonyme de véritable intelligence.

Les chercheurs d’Apple ont voulu comprendre si ces modèles raisonnants parvenaient réellement à mieux résoudre des problèmes complexes. Pour cela, ils ont conçu un banc d’essai original : des énigmes logiques contrôlées, comme la tour de Hanoï ou des jeux de traversée de rivière. Contrairement aux benchmarks mathématiques habituels, ces puzzles permettent de moduler la difficulté avec précision et d’évaluer non seulement la réponse finale, mais aussi les étapes du raisonnement.

Les résultats sont surprenants : lorsqu’un problème devient trop complexe, tous les modèles, qu’ils « pensent » ou non, échouent. Pire encore, les modèles qui raisonnent réduisent leur effort de réflexion à mesure que la complexité augmente, comme s’ils renonçaient en chemin. Ce phénomène, baptisé « effondrement du raisonnement », survient malgré une marge confortable dans leur budget de calcul.

L’étude distingue trois régimes de performance. Sur des tâches simples, les modèles standards (sans raisonnement explicite) sont plus efficaces et plus précis. Pour des problèmes de complexité moyenne, les LRMs montrent un avantage réel. Mais dès que la difficulté franchit un certain seuil, tous les modèles, même les plus récents, s’effondrent, incapables de maintenir un raisonnement cohérent ou de suivre des algorithmes clairs.

Autre découverte inquiétante : même lorsqu’on fournit aux modèles la méthode exacte pour résoudre un puzzle, ils échouent parfois à l’appliquer correctement. Cela suggère que ces systèmes peinent non seulement à trouver des solutions, mais aussi à suivre des instructions logiques précises, ce qui soulève des doutes sur leur capacité à effectuer des calculs exacts.

Apple souligne également le phénomène d’« overthinking », où un modèle trouve la bonne solution rapidement mais continue à générer des réponses incorrectes. Cette inefficacité accroît la consommation de ressources sans améliorer le résultat final. En revanche, dans des tâches plus complexes, les modèles explorent d’abord de mauvaises pistes avant d’approcher, parfois, une réponse correcte, soulignant leur difficulté à se corriger en cours de route.

Cette étude constitue un signal d’alarme pour l’industrie : alors que les attentes envers les modèles d’IA continuent de croître, leurs limites fondamentales en matière de raisonnement demeurent largement sous-estimées. Apple appelle à repenser l’évaluation de ces systèmes et à mieux encadrer leur déploiement dans des domaines critiques. Car penser, en IA, n’est pas encore synonyme de comprendre.

En terminant, je ne peux m’empêcher de penser qu’Apple n’aurait sans doute pas publié les résultats d’une telle recherche si l’entreprise n’était pas autant à la traîne dans ce domaine, et si Apple Intelligence avait été un véritable succès. Un peu comme un coureur en retard qui critique la piste plutôt que d’admettre qu’il manque d’entraînement.

Source : Apple

+++

Tous les jours de la semaine, du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de tech.