Personne ne peut dire si les androïdes rêveront de moutons électriques, mais ils auront presque certainement besoin de périodes de repos qui offrent des avantages similaires à ceux que le sommeil offre aux cerveaux vivants, selon de nouvelles recherches du Los Alamos National Laboratory.
Nous étudions le renforcement des réseaux de neurones, qui sont des systèmes qui apprennent beaucoup comme le font les cerveaux vivants. Nous étions fascinés par la perspective de former un processeur neuromorphique d'une manière analogue à la façon dont les humains et d'autres systèmes biologiques apprennent de leur environnement pendant le développement de l'enfance. «
Yijing Watkins, informaticien, Laboratoire national de Los Alamos
Watkins et son équipe de recherche ont constaté que les simulations de réseau devenaient instables après des périodes continues d'apprentissage non supervisé. Lorsqu'ils ont exposé les réseaux à des états analogues aux ondes que les cerveaux vivants subissent pendant le sommeil, la stabilité a été restaurée. « C'était comme si nous donnions aux réseaux de neurones l'équivalent d'une bonne nuit de sommeil », a déclaré Watkins.
La découverte a eu lieu alors que l'équipe de recherche travaillait à développer des réseaux de neurones qui se rapprochent étroitement de la façon dont les humains et les autres systèmes biologiques apprennent à voir.
Le groupe a d'abord eu du mal à stabiliser les réseaux neuronaux simulés en suivant une formation par dictionnaire non supervisé, ce qui implique de classer les objets sans avoir d'exemples préalables pour les comparer.
« La question de savoir comment empêcher les systèmes d'apprentissage de devenir instables ne se pose vraiment que lorsque vous essayez d'utiliser des processeurs neuromorphiques biologiquement réalistes et enrichis ou lorsque vous essayez de comprendre la biologie elle-même », a déclaré l'informaticien de Los Alamos et coauteur de l'étude Garrett Kenyon.
« La grande majorité des chercheurs en apprentissage automatique, en apprentissage profond et en IA ne rencontrent jamais ce problème parce que dans les systèmes très artificiels qu'ils étudient, ils ont le luxe d'effectuer des opérations mathématiques globales qui ont pour effet de réguler le gain dynamique global du système. »
Les chercheurs caractérisent la décision d'exposer les réseaux à un analogue artificiel du sommeil comme presque un dernier effort pour les stabiliser.
Ils ont expérimenté différents types de bruit, à peu près comparables à l'électricité statique que vous pourriez rencontrer entre les stations pendant le réglage d'une radio. Les meilleurs résultats sont venus lorsqu'ils ont utilisé des ondes de bruit dit gaussien, qui incluent une large gamme de fréquences et d'amplitudes.
Ils émettent l'hypothèse que le bruit imite l'entrée reçue par les neurones biologiques pendant le sommeil à ondes lentes. Les résultats suggèrent que le sommeil à ondes lentes peut agir, en partie, pour garantir que les neurones corticaux maintiennent leur stabilité et n'hallucinent pas.
Le prochain objectif des groupes est d'implémenter leur algorithme sur la puce neuromorphique d'Intel Loihi. Ils espèrent que permettre à Loihi de dormir de temps en temps lui permettra de traiter de manière stable les informations d'une caméra rétinienne en silicium en temps réel.
Si les résultats confirment le besoin de sommeil dans le cerveau artificiel, nous pouvons probablement nous attendre à ce qu'il en soit de même pour les androïdes et autres machines intelligentes qui pourraient survenir à l'avenir.
Watkins présentera la recherche à l'atelier Women in Computer Vision le 14 juin à Seattle.
La source:
DOE / Los Alamos National Laboratory