LLMs führen kein formales Denken durch – und das ist ein RIESIGES Problem (Wichtige neue Studie von Apple)

> A superb new article on LLMs from six AI researchers at Apple who were brave enough to challenge the dominant paradigm has just come out.

Le fait que les LLM ne fassent pas de raisonnement formel est loin d’être une découverte ni une affirmation controversée, c’est l’essence même de ces techniques (les méthodes statistiques type réseaux de neurones, par opposition aux approches symboliques). Ils ne sont pas faits pour ça.

Ce qui est peut-être un peu plus controversé, c’est que certains chercheurs dans la communauté pensent qu’on pourrait à terme apprendre à un réseau de neurones à raisonner, mais à ma connaissance personne (je ne parle pas des promesses commerciales qui n’engagent que ceux qui y croient) ne dit que c’est possible avec les modèles actuels. Je pense personnellement (comme l’auteur du billet) que l’avenir est à la fusion entre approches connexionnistes et approches logiques.

Quoi qu’il en soit c’est intéressant d’avoir une étude qui montre à quel point ces outils sont peu robustes face à des tâches de raisonnement assez basiques.

Il faut arrêter de considérer que le raisonnement est quelque chose de binaire qu’on a ou qu’on n’a pas. C’est une notion de degré. Et même avec ces stress tests la plupart des modeles s’en sortent bien mieux que le hasard voire mieux que l’humain median.

Apple en train de justifier la nullité de Siri /s

Il faut une étude d’Apple pour ça alors que tout le monde peut s’en rendre compte? Rien qu’hier, j’ai donné de simples problèmes de physique à ChatGPT et Gemini (simple application de formules de mécanique ou d’électricité). ChatGPT a fait un peu mieux mais en lui demandant plusieurs fois la même chose, il donne des réponses différentes. Les deux ont donné une mauvaise réponse à cause d’une interprétation erronée de l’énoncé, un peu comme dans l’article.