Dites à votre chaton ce que vous pensez à l'intérieur - l'effet boîte noire

Le fait que les algorithmes avancés d'IA soient comme une boîte noire (1) qui jette un résultat sans révéler comment il est arrivé inquiète les uns et dérange les autres.

En 2015, une équipe de recherche du Mount Sinai Hospital à New York a été invitée à utiliser cette méthode pour analyser une vaste base de données de patients locaux (2). Cette immense collection contient un océan d'informations sur les patients, de résultats de tests, d'ordonnances médicales, etc.

Les scientifiques ont appelé le programme analytique développé au cours des travaux. Il s'est entraîné sur les données d'environ 700 XNUMX personnes. humain, et lorsqu'il a été testé dans de nouveaux registres, il s'est avéré extrêmement efficace pour prédire la maladie. Sans l'aide d'experts humains, il a découvert des modèles dans les dossiers hospitaliers qui indiquent quel patient est sur le chemin d'une maladie, comme le cancer du foie. Selon les experts, l'efficacité pronostique et diagnostique du système était bien supérieure à celle de toute autre méthode connue.

2. Système d'intelligence artificielle médicale basé sur des bases de données de patients

Dans le même temps, les chercheurs ont remarqué que cela fonctionnait de manière mystérieuse. Il s'est avéré, par exemple, qu'il est idéal pour reconnaissance des troubles mentauxcomme la schizophrénie, qui est extrêmement difficile pour les médecins. C'était surprenant, d'autant plus que personne ne savait comment le système d'IA pouvait si bien voir la maladie mentale en se basant uniquement sur les dossiers médicaux du patient. Oui, les spécialistes étaient très satisfaits de l'aide d'un diagnostiqueur de machine aussi efficace, mais ils seraient beaucoup plus satisfaits s'ils comprenaient comment l'IA arrive à ses conclusions.

Couches de neurones artificiels

Dès le début, c'est-à-dire à partir du moment où le concept d'intelligence artificielle est devenu connu, il y avait deux points de vue sur l'IA. Le premier suggérait qu'il serait plus raisonnable de construire des machines qui raisonnent conformément aux principes connus et à la logique humaine, rendant leur fonctionnement interne transparent pour tous. D'autres pensaient que l'intelligence émergerait plus facilement si les machines apprenaient par l'observation et l'expérimentation répétée.

Ce dernier signifie inverser la programmation informatique typique. Au lieu que le programmeur écrive des commandes pour résoudre un problème, le programme génère propre algorithme en fonction des données d'échantillon et du résultat souhaité. Les méthodes d'apprentissage automatique qui ont ensuite évolué pour devenir les systèmes d'IA les plus puissants connus aujourd'hui viennent de s'engager sur la voie de, en fait, la machine elle-même programme.

Cette approche est restée en marge de la recherche sur les systèmes d'IA dans les années 60 et 70. Ce n'est qu'au début de la décennie précédente, après quelques changements et améliorations pionniers, Réseaux de neurones "profonds" a commencé à démontrer une amélioration radicale des capacités de perception automatisée. 

L'apprentissage automatique en profondeur a doté les ordinateurs de capacités extraordinaires, telles que la capacité de reconnaître les mots parlés presque aussi précisément qu'un humain. C'est une compétence trop complexe à programmer à l'avance. La machine doit pouvoir créer son propre "programme" en formation sur d'énormes ensembles de données.

L'apprentissage en profondeur a également modifié la reconnaissance des images informatiques et considérablement amélioré la qualité de la traduction automatique. Aujourd'hui, il est utilisé pour prendre toutes sortes de décisions clés dans les domaines de la médecine, de la finance, de la fabrication, etc.

Cependant, avec tout cela vous ne pouvez pas simplement regarder à l'intérieur d'un réseau neuronal profond pour voir comment fonctionne "l'intérieur". Les processus de raisonnement en réseau sont intégrés dans le comportement de milliers de neurones simulés, organisés en dizaines voire centaines de couches étroitement interconnectées..

Chacun des neurones de la première couche reçoit une entrée, telle que l'intensité d'un pixel dans une image, puis effectue des calculs avant de sortir la sortie. Ils sont transmis dans un réseau complexe aux neurones de la couche suivante - et ainsi de suite, jusqu'au signal de sortie final. De plus, il existe un processus connu sous le nom d'ajustement des calculs effectués par des neurones individuels afin que le réseau d'entraînement produise le résultat souhaité.

Dans un exemple souvent cité lié à la reconnaissance d'image de chien, des niveaux inférieurs d'IA analysent des caractéristiques simples telles que la forme ou la couleur. Les plus élevés traitent de problèmes plus complexes comme la fourrure ou les yeux. Seule la couche supérieure rassemble tout, identifiant l'ensemble complet d'informations en tant que chien.

La même approche peut être appliquée à d'autres types d'entrées qui permettent à la machine d'apprendre elle-même : les sons qui composent les mots dans la parole, les lettres et les mots qui composent les phrases dans un texte écrit, ou un volant, par exemple. mouvements nécessaires à la conduite d'un véhicule.

La voiture ne saute rien.

Une tentative est faite pour expliquer ce qui se passe exactement dans de tels systèmes. En 2015, des chercheurs de Google ont modifié un algorithme de reconnaissance d'images d'apprentissage en profondeur afin qu'au lieu de voir des objets sur des photos, il les génère ou les modifie. En exécutant l'algorithme à l'envers, ils voulaient découvrir les caractéristiques que le programme utilise pour reconnaître, par exemple, un oiseau ou un bâtiment.

Ces expériences, connues publiquement sous le titre, ont produit des représentations étonnantes (3) d'animaux, de paysages et de personnages grotesques et bizarres. En révélant certains des secrets de la perception de la machine, tels que le fait que certains modèles sont renvoyés et répétés à plusieurs reprises, ils ont également montré à quel point l'apprentissage automatique en profondeur diffère de la perception humaine - par exemple, en ce sens qu'il étend et duplique des artefacts que nous ignorons. dans notre processus de perception sans penser. .

3. Image créée dans le projet

Soit dit en passant, d'autre part, ces expériences ont percé le mystère de nos propres mécanismes cognitifs. Peut-être est-ce dans notre perception qu'il existe divers composants incompréhensibles qui nous font immédiatement comprendre et ignorer quelque chose, tandis que la machine répète patiemment ses itérations sur des objets « sans importance ».

D'autres tests et études ont été menés pour tenter de "comprendre" la machine. Jason Yosinski il a créé un outil qui agit comme une sonde plantée dans le cerveau, ciblant n'importe quel neurone artificiel et recherchant l'image qui l'active le plus fortement. Dans la dernière expérience, des images abstraites sont apparues à la suite d'un "voyage" du réseau en flagrant délit, ce qui a rendu les processus se déroulant dans le système encore plus mystérieux.

Cependant, pour de nombreux scientifiques, une telle étude est un malentendu, car, à leur avis, pour comprendre le système, reconnaître les schémas et les mécanismes d'un ordre supérieur de prise de décisions complexes, toutes les interactions informatiques à l'intérieur d'un réseau neuronal profond. C'est un labyrinthe géant de fonctions et de variables mathématiques. Pour l'instant, c'est incompréhensible pour nous.

L'ordinateur ne démarre pas ? Pourquoi?

Pourquoi est-il important de comprendre les mécanismes décisionnels des systèmes avancés d'intelligence artificielle ? Des modèles mathématiques sont déjà utilisés pour déterminer quels détenus peuvent être libérés sur parole, qui peuvent bénéficier d'un prêt et qui peuvent obtenir un emploi. Ceux qui sont intéressés aimeraient savoir pourquoi cette décision et non une autre a été prise, quels en sont les fondements et le mécanisme.

il a admis en avril 2017 dans le MIT Technology Review. Tommy Yaakkola, un professeur du MIT travaillant sur des applications pour l'apprentissage automatique. -.

Il existe même une position juridique et politique selon laquelle la capacité d'examiner et de comprendre le mécanisme de prise de décision des systèmes d'IA est un droit humain fondamental.

Depuis 2018, l'UE travaille à obliger les entreprises à fournir des explications à leurs clients sur les décisions prises par les systèmes automatisés. Il s'avère que cela n'est parfois pas possible même avec des systèmes qui semblent relativement simples, tels que des applications et des sites Web qui utilisent une science approfondie pour afficher des publicités ou recommander des chansons.

Les ordinateurs qui exécutent ces services se programment eux-mêmes, et ils le font d'une manière que nous ne pouvons pas comprendre... Même les ingénieurs qui créent ces applications ne peuvent pas expliquer pleinement comment cela fonctionne.