L'IA est-elle une science expérimentale ?
Aujourd'hui, je vous propose une question à la fois simple et déroutante : l'intelligence artificielle, en tant que domaine, est-elle une science expérimentale ?
L'IA c'est une branche de l'informatique qui repose avant tout sur des bases mathématiques, et des calculs déterministes. Et en même temps, on a parfois l'impression que les scientifiques font des expériences sur les modèles d'IA. Ils les étudient comme des objets mystérieux, guettant leurs moindres faits et gestes, comme s'ils avaient oublié qu'ils en étaient les créateurs.
Voici ce que le professeur Paul Cohen écrivait, en 1995, dans son ouvrage "Méthodes empiriques pour l'intelligence artificielle" :
« Notre sujet porte sur les méthodes empiriques pour étudier les programmes d'IA, c'est-à-dire des méthodes qui consistent à exécuter ces programmes et à enregistrer leurs comportements. Contrairement à d'autres scientifiques, qui étudient des réactions chimiques, des processus cellulaires, des ponts soumis à des contraintes, des animaux dans des labyrinthes, etc., nous étudions des programmes informatiques qui accomplissent des tâches dans des environnements. Cela ne devrait pas être difficile : comparés aux systèmes biologiques, les systèmes d'IA sont simples ; comparées à la cognition humaine, leurs tâches sont rudimentaires ; et comparés aux environnements physiques de la vie quotidienne, ceux dans lesquels nos programmes évoluent sont extrêmement réduits. Pourtant, à bien des égards, les programmes ressemblent à des processus chimiques, biologiques, mécaniques ou psychologiques. D'abord, nous ne savons pas vraiment comment ils fonctionnent. Nous ne pouvons généralement pas dire combien de temps ils mettront à s'exécuter, quand ils échoueront, quelle quantité de connaissances est nécessaire pour atteindre un taux d'erreur donné, combien de noeuds d'un arbre de recherche doivent être examinés, et ainsi de suite. [...] Étudier les systèmes d'IA n'est pas très différent du fait d'étudier des animaux modérément intelligents comme les rats. On oblige l'agent (rat ou programme) à accomplir une tâche selon un protocole expérimental, en observant et en analysant la structure macro et micro de son comportement. »
Donc, malgré l'aspect exact de l'informatique et des mathématiques derrière l'IA, Paul Cohen défend bel et bien la position selon laquelle il s'agit d'une science expérimentale.
La théorie et la pratique
Pour voir si cela a du sens, revenons aux bases. Tout d'abord, qu'est-ce qui distingue une science théorique, d'une science empirique ? Les mathématiques sont théoriques, et par essence, étudient des objets abstraits. C'est peut-être évident ce que je vais dire, mais par exemple le nombre 3 n'existe pas, il n'est pas réel. On peut avoir 3 objets : par exemple 3 êtres humains, 3 pièces de 1 euro... Mais le nombre 3 en lui même, n'a pas de réalité matérielle. C'est un concept. Il en est de même pour les formes géométriques. Quand on trace un carré sur une feuille de papier, on trace en fait la représentation d'un carré, le carré, le vrai, en tant qu'objet mathématique, avec ses côtés parfaitement égaux, est abstrait, il ne peut pas exister dans le monde réel. C'est un concept. Les mathématiques sont avant tout une construction de théorèmes, basée sur des propositions admises, les axiomes, et des règles de raisonnement logique.
À l'inverse, des sciences comme la physique, ou encore la biologie, étudient la nature, la réalité concrète. On expérimente, on manipule, on observe des phénomènes tangibles. On interroge la réalité.
Et l'IA dans tout ça ?
Alors, qu'en est-il de l'informatique et, plus précisément, du domaine de l'intelligence artificielle ? Tout comme les nombres et les figures géométriques, les algorithmes d'IA sont des objets abstraits, et on les programme dans nos machines, de la même façon qu'on programme les additions et les multiplications de nos calculatrices. Ce sont des calculs, déterministes, et on s'aide de nos machines pour les réaliser.
Et pourtant, dès qu'on entraîne un réseau de neurones ou qu'on évalue un modèle d'IA, on se heurte à la complexité du monde réel :
- D'une part on a les données, qui par nature sont aléatoires, et vont grandement influencer le modèle puisqu'il les utilise pour apprendre. La qualité des données, leur provenance, leurs biais intrinsèques, voire même l'ordre dans lequel elles sont traitées, sont autant de variables qui déterminent le comportement du modèle.
- Et d'autre part, le modèle en lui-même peut être très complexe, typiquement constitué de milliards de paramètres initialisés semi-aléatoirement et organisés en une multitude de couches de neurones. Tout cela engendre, in fine, une "boîte noire" au comportement imprévisible. Pour parvenir à tester le programme, à l'évaluer, voir s'il fait bien ce qu'on souhaitait initialement, on a donc besoin de concevoir des protocoles expérimentaux.
C'est ce que Paul Cohen expliquait déjà en 1995, mais cet effet est évidemment accentué par les développements récents, notamment l'explosion de la puissance de calcul et la disponibilité massive de données. Aujourd'hui, la quasi-totalité des articles présentés dans les grandes conférences d'IA, comme NeurIPS et ICLR, s'appuie sur des validations empiriques plutôt que purement théoriques. Une méthodologie expérimentale solide, comme on peut en trouver dans d'autres sciences empiriques, est donc cruciale, tout simplement parce qu'on étudie des phénomènes émergents. Et à mesure que la tendance s'accentue, la communauté scientifique tend même à adopter une démarche inspirée des sciences du comportement. On conçoit donc des protocoles de test mesurant des compétences variées, incluant les capacités de raisonnement, et de généralisation. L'exemple des modèles de langage illustre bien cette approche : on les évalue au moyen de tests de psychologie, des tests de mathématiques, des tests de QI, et on les compare à des annotateurs humains, que les modèles récents parviennent souvent à surpasser. Des initiatives, comme BIG-bench et HELM, proposent des batteries de tests comprenant plusieurs centaines de tâches, et s'intéressent, outre les performances, également à la robustesse, aux biais ou encore à la toxicité des réponses.
Ouvrir la boîte noire
Bon, avant de conclure, on peut tout de même nuancer un peu l'idée selon laquelle les algorithmes d'IA sont des boîtes noires opaques et indéchiffrables. Il existe en effet tout un domaine de recherche dont l'objet est justement de comprendre les retours de nos algorithmes : c'est ce qu'on appelle l'explicabilité. Et on parvient à faire pas mal de choses :
- Diviser le modèle en plusieurs sous-agents dont on comprend mieux les fonctionnements,
- Décortiquer les différentes couches de réseaux de neurones pour voir ce qu'il se passe à l'intérieur,
- Ou encore, utiliser des sondes capables d'interpréter les calculs internes aux réseaux de neurones artificiels.
On n'est donc pas dans le noir complet.
En définitive, l'IA repose certes sur des bases mathématiques, mais son étude, aujourd'hui, repose bien sur une démarche expérimentale. Tout simplement parce que, d'une part les modèles atteignent des tailles gigantesques, et d'autre part on a une quantité de données à disposition qui est faramineuse. Étudier cette machinerie, même s'il s'agit de notre propre création, se rapproche alors des sciences du vivant ou du comportement, où l'observation et la confrontation au réel sont indispensables pour déchiffrer des mécanismes émergents à grande échelle.
Et les défis futurs ne manqueront pas :
- Comment concevoir des programmes dont les décisions sont transparentes ?
- Comment garantir l'alignement éthique de nos machines ?
- Et, jusqu'où peuvent aller les capacités de l'IA ?
Quelles que soient les réponses à ces questions, il est crucial de garder une démarche scientifique rigoureuse. Alors que l'intelligence artificielle continue de transformer notre monde, nous nous devons d'être capables de la comprendre, de la maîtriser, et, donc, d'ouvrir la boîte noire.
Références
Paul R. Cohen. Empirical methods for artificial intelligence. MIT Press, 1995.
ML comme science expérimentale :
http://www.aaai.org/Papers/Workshops/2006/WS-06-06/WS06-06-002.pdf
Articles expérimentaux en conférences :
https://hal.science/hal-02447823
Leilani H. Gilpin et al. Explaining explanations : An overview of interpretability of machine learning.
Différentes idées ici sont tirées de ma thèse :
https://theses.hal.science/tel-04401932v1
BIG-Bench : https://github.com/google/BIG-bench