L'équipe de recherche de Zhejiang University propose une nouvelle voie : enseigner à l'IA la façon dont le cerveau humain comprend le monde

null

Les grands modèles ne cessent de grossir, et l’opinion dominante veut que plus le nombre de paramètres est élevé, plus le modèle se rapproche des modes de pensée humains. Cependant, une étude publiée le 1er avril par une équipe de l’Université du Zhejiang dans Nature Communications avance un point de vue différent (lien vers l’article original : après une hausse de 22 millions à 304,37 millions, le taux de réussite sur les tâches de concepts concrets passe de 74,94% à 85,87%, et celui sur les tâches de concepts abstraits passe de 54,37% à 52,82%).

Différences entre la façon de penser de l’humain et du modèle

Quand le cerveau humain traite des concepts, il forme d’abord un ensemble de relations de classification. Le cygne et le hibou ne se ressemblent pas, mais l’humain les met quand même dans la catégorie des oiseaux. Plus haut encore, les oiseaux et les chevaux peuvent continuer à être rangés dans la couche « animaux ». Face à une nouveauté, l’humain pense souvent d’abord : à quoi cela ressemble-t-il par rapport à quelque chose qu’il a déjà vu, et à quelle catégorie cela appartient probablement. Il continue d’apprendre de nouveaux concepts, puis d’organiser l’expérience, afin de reconnaître de nouveaux objets et de s’adapter à de nouvelles situations grâce à ces relations.

Le modèle aussi se classe, mais de manière différente. Il s’appuie principalement sur des formes qui reviennent à maintes reprises dans de grandes quantités de données. Plus l’occurrence d’un objet est fréquente, plus il lui sera facile de l’identifier. Arrivé à l’étape de catégories encore plus larges, le modèle a davantage de difficultés. Il doit saisir les points communs entre plusieurs objets, puis regrouper ces points communs dans la même classe. Les modèles existants présentent encore de nettes lacunes à ce niveau. Quand les paramètres continuent d’augmenter, les tâches de concepts concrets s’améliorent, tandis que les tâches de concepts abstraits peuvent parfois diminuer.

Le point commun entre le cerveau humain et le modèle, c’est que chacun finit par former un ensemble de relations de classification. Mais les priorités ne sont pas les mêmes : les régions visuelles de haut niveau du cerveau distinguent naturellement des grandes catégories comme le vivant et le non-vivant. Le modèle peut séparer des objets spécifiques, mais il lui est difficile de former de façon stable ces catégories plus larges. Cette différence fait que le cerveau applique plus facilement les anciennes expériences à de nouveaux objets ; ainsi, quand on se retrouve face à quelque chose qu’on n’a jamais vu, nous pouvons classer rapidement. Le modèle, lui, dépend davantage des connaissances existantes ; ainsi, lorsqu’il rencontre un nouvel objet, il reste plus facilement bloqué sur les caractéristiques superficielles. La méthode proposée par l’article s’appuie précisément sur cette particularité : elle utilise des signaux cérébraux pour contraindre la structure interne du modèle, afin de le rapprocher davantage de la manière dont le cerveau classe.

La solution de l’équipe de l’Université du Zhejiang

La solution proposée par l’équipe est également très singulière : au lieu d’ajouter simplement des paramètres, elle utilise une petite quantité de signaux cérébraux pour superviser. Ces signaux cérébraux proviennent des enregistrements de l’activité cérébrale lorsque l’humain regarde des images. Dans l’article original, il est écrit : « transfer human conceptual structures to DNNs ». Autrement dit, on veut transmettre au modèle comment le cerveau humain classe, comment il fait des déductions, et comment il regroupe des concepts proches.

L’équipe a mené des expériences avec 150 catégories d’entraînement connues et 50 catégories de test jamais vues. Les résultats montrent qu’à mesure que l’entraînement progresse, la distance entre le modèle et les représentations du cerveau diminue continuellement. Ce changement apparaît simultanément dans deux catégories, ce qui indique que le modèle n’apprend pas seulement à partir d’un échantillon isolé, mais commence réellement à apprendre une manière d’organiser les concepts, plus proche de celle du cerveau humain.

Après cet entraînement, le modèle a de meilleures capacités d’apprentissage lorsque les données d’échantillons sont très rares, et il se comporte aussi mieux face à de nouvelles situations. Dans une tâche où l’on ne fournit que très peu d’exemples, mais où l’on exige du modèle qu’il distingue des concepts abstraits comme le vivant et le non-vivant, le modèle gagne en moyenne 20,5%, tout en dépassant des modèles de comparaison dont la quantité de paramètres est bien plus grande. L’équipe a aussi mené 31 séries de tests supplémentaires spécifiques ; dans plusieurs modèles, on observe des améliorations proches d’un dixième.

Au cours des dernières années, la voie que l’industrie des modèles connaît bien consistait à augmenter la taille des modèles. L’équipe de l’Université du Zhejiang a choisi une autre direction : passer de « bigger is better » à « structured is smarter ». L’expansion de la taille est effectivement utile, mais elle améliore surtout les performances sur des tâches familières. La capacité humaine à comprendre abstraitement et à faire la généralisation par transfert est tout aussi cruciale pour l’IA ; cela exige, à l’avenir, que la structure de pensée de l’IA se rapproche davantage de celle du cerveau humain. La valeur de cette approche réside dans le fait qu’elle ramène l’attention de l’industrie, qui ne se concentre plus uniquement sur l’augmentation de la taille, vers la structure cognitive elle-même.

Neosoul et l’avenir

Cela ouvre une possibilité plus vaste : l’évolution de l’IA ne se produit peut-être pas uniquement pendant la phase d’entraînement des modèles. L’entraînement des modèles peut déterminer comment l’IA organise des concepts et forme des structures de jugement de meilleure qualité. Une fois passée dans le monde réel, la seconde couche d’évolution de l’IA commence seulement : comment les jugements d’un agent IA sont consignés, comment ils sont vérifiés, comment il progresse et évolue continuellement dans une compétition réelle entre pairs, comme un humain qui s’apprend et s’améliore lui-même. C’est précisément ce que fait Neosoul aujourd’hui. Neosoul ne se contente pas de faire produire des réponses par l’agent IA ; il place l’agent IA dans un système où l’on fait une prédiction continue, une validation continue, une consolidation continue des comptes, un filtrage continu, afin qu’il optimise sa propre structure à partir des prédictions et des résultats, en conservant les structures meilleures et en éliminant les structures moins bonnes. Ce vers quoi pointent ensemble l’équipe de l’Université du Zhejiang et Neosoul est en réalité le même objectif : faire en sorte que l’IA ne sache plus seulement « faire des exercices », mais qu’elle dispose aussi d’une capacité de pensée globale, et qu’elle évolue en permanence.