L'intelligence artificielle ne suit pas la logique du progrès scientifique
Nous avons écrit à plusieurs reprises dans MT sur les chercheurs et les professionnels qui proclament que les systèmes d'apprentissage automatique sont des « boîtes noires » (1) même pour ceux qui les construisent. Cela rend difficile l'évaluation des résultats et la réutilisation des algorithmes émergents.
Les réseaux de neurones - la technique qui nous donne des robots de conversion intelligents et des générateurs de texte ingénieux qui peuvent même créer de la poésie - restent un mystère incompréhensible pour les observateurs extérieurs.
Ils deviennent de plus en plus volumineux et complexes, gèrent d'énormes ensembles de données et utilisent des baies de calcul massives. Cela rend la réplication et l'analyse des modèles obtenus coûteuses et parfois impossibles pour d'autres chercheurs, sauf pour les grands centres avec des budgets énormes.
De nombreux scientifiques sont bien conscients de ce problème. Parmi eux se trouve Joel Pino (2), président de NeurIPS, la première conférence sur la reproductibilité. Les experts sous sa direction veulent créer une "liste de contrôle de reproductibilité".
L'idée, a déclaré Pino, est d'encourager les chercheurs à proposer aux autres une feuille de route afin qu'ils puissent recréer et utiliser le travail déjà effectué. Vous pouvez vous émerveiller devant l'éloquence d'un nouveau générateur de texte ou la dextérité surhumaine d'un robot de jeu vidéo, mais même les meilleurs experts n'ont aucune idée du fonctionnement de ces merveilles. Par conséquent, la reproduction des modèles d'IA est importante non seulement pour identifier de nouveaux objectifs et orientations de recherche, mais aussi comme un guide purement pratique à utiliser.
D'autres tentent de résoudre ce problème. Les chercheurs de Google ont proposé des "cartes modèles" pour décrire en détail la façon dont les systèmes ont été testés, y compris les résultats indiquant des bogues potentiels. Des chercheurs de l'Allen Institute for Artificial Intelligence (AI2) ont publié un article qui vise à étendre la liste de contrôle de reproductibilité Pinot à d'autres étapes du processus expérimental. "Montrez votre travail", demandent-ils.
Parfois, des informations de base manquent parce que le projet de recherche est la propriété, notamment des laboratoires travaillant pour l'entreprise. Plus souvent, cependant, c'est le signe d'une incapacité à décrire des méthodes de recherche changeantes et de plus en plus complexes. Les réseaux de neurones sont un domaine très complexe. Pour obtenir les meilleurs résultats, un réglage fin de milliers de "boutons et boutons" est souvent nécessaire, ce que certains appellent la "magie noire". Le choix du modèle optimal est souvent associé à un grand nombre d'expériences. La magie devient très chère.
Par exemple, lorsque Facebook a tenté de reproduire le travail d'AlphaGo, un système développé par DeepMind Alphabet, la tâche s'est avérée extrêmement difficile. D'énormes exigences de calcul, des millions d'expériences sur des milliers d'appareils pendant plusieurs jours, combinés au manque de code, ont rendu le système "très difficile, voire impossible, à recréer, tester, améliorer et étendre", selon les employés de Facebook.
Le problème semble être spécialisé. Cependant, si l'on y réfléchit plus loin, le phénomène des problèmes de reproductibilité des résultats et des fonctions d'une équipe de recherche à l'autre met à mal toute la logique de fonctionnement des processus scientifiques et de recherche que nous connaissons. En règle générale, les résultats des recherches antérieures peuvent servir de base à d'autres recherches qui stimulent le développement des connaissances, de la technologie et du progrès général.
