Inspirés par la vision remarquable des chats, des chercheurs ont créé un nouveau système de vision artificielle qui permet aux robots de détecter et de suivre des objets même dans des environnements difficiles, ouvrant ainsi de nouvelles perspectives en matière de robotique et de systèmes autonomes.
Recherche : Vision artificielle inspirée de l'œil félin pour améliorer le camouflage dans diverses conditions de luminosité. Crédit photo : kholywood / Shutterstock
Dans une étude récente publiée dans la revue Progrès scientifiquesles chercheurs ont exploité des aspects cruciaux des yeux félins, notamment leur tapetum lucidum et leurs pupilles allongées verticalement (VP), pour développer un système de vision artificielle monoculaire capable de détecter, de reconnaître et de briser le camouflage des objets au niveau matériel. Bien que des implémentations assistées par logiciel de reconnaissance et de suivi d'objets aient été tentées, elles nécessitent des besoins considérables en énergie et en calcul, ce qui nécessite des innovations au niveau matériel.
Le système de vision actuel utilise une ouverture elliptique en forme de fente personnalisée (inspirée de la profondeur de champ asymétrique des VP des chats) pour augmenter la mise au point de l'objet et permettre une profondeur de champ asymétrique, améliorant ainsi le contraste entre l'objet cible et son arrière-plan. Un réseau supplémentaire de photodiodes en silicium inspiré du tapetum lucidum avec des réflecteurs métalliques à motifs améliore la vision en basse lumière. Ensemble, ces avancées ouvrent la voie à une nouvelle génération de robots mobiles capables de détecter, de reconnaître et de suivre des cibles avec une précision considérablement améliorée, même dans des environnements en évolution dynamique avec des conditions d'éclairage variables.
Sommaire
Arrière-plan
Le 21e siècle a été témoin de progrès sans précédent dans le domaine de la robotique et de l’automatisation, ce qui a entraîné l’arrivée progressive de la robotique dans les applications scientifiques, médicales, industrielles et militaires. Si les déploiements d’apprentissage automatique (ML) et d’intelligence artificielle (IA) basés sur des logiciels ont révolutionné l’automatisation robotique, les progrès au niveau du matériel restent entravés par les limites des décisions de conception et de fabrication conventionnelles.
Les stratégies d'exploitation basées sur la vision en sont un exemple idéal. Les dispositifs de capture d'images classiques (par exemple, les caméras) ont été optimisés pour enregistrer des données d'image (par exemple, l'intensité lumineuse, la couleur et la forme de l'objet), mais nécessitaient une intervention de l'utilisateur pour ajuster la taille de l'ouverture et la durée d'exposition afin de cibler les objets mis au point sous un éclairage changeant de manière dynamique. Les applications robotiques modernes, en particulier celles utilisées pour la surveillance, ne peuvent pas se contenter d'une acquisition passive de données d'image. Au lieu de cela, elles doivent extraire et analyser des données d'image en temps réel et utiliser ces informations pour guider leur mouvement ultérieur.
« Cependant, ces tâches deviennent considérablement difficiles dans des environnements et des conditions d'éclairage variés (par exemple, à l'intérieur et à l'extérieur, de jour comme de nuit). Cette variabilité peut gravement affecter le contraste entre les objets cibles et leurs arrière-plans, principalement en raison de la saturation des pixels dans des conditions de luminosité et du faible courant photoélectrique dans des conditions d'obscurité. Les objets créent souvent des limites indistinctes avec leurs arrière-plans, ce qui pose des problèmes de détection et de différenciation. »
Les technologies de vision par ordinateur basées sur des logiciels, notamment la plage dynamique élevée (HDR), la détection de camouflage basée sur la vision binoculaire et le post-traitement assisté par IA, ont partiellement résolu les limitations matérielles des implémentations robotiques actuelles. Malheureusement, ces technologies nécessitent des investissements informatiques et énergétiques (puissance/électricité) substantiels, augmentant la taille et les coûts de fonctionnement des systèmes robotiques résultants. Il est donc impératif pour l'avenir de l'automatisation des robots que soit développé un matériel capable d'identifier des objets sans assistance, de détecter des camouflages et d'optimiser les performances dans une large gamme de conditions d'éclairage.
« …les animaux se sont adaptés à des environnements écologiquement complexes pour leur survie. En conséquence, des systèmes de vision distinctifs optimisés pour leurs habitats ont été développés au cours d’une évolution à long terme. Ces systèmes de vision naturels pourraient offrir des solutions potentielles pour surmonter les limites des systèmes de vision artificielle conventionnels, en termes de profondeur de champ (DoF), de champ de vision (FoV) et d’aberrations optiques. »
À propos de l'étude
Dans la présente étude, les chercheurs ont développé et testé un système de vision artificielle qui imite l'œil félin. Le système comprend deux composants principaux : une lentille optique sur mesure capable de faire varier les ouvertures entre une forme elliptique, une petite forme et une ouverture circulaire complète et un nouveau réseau de photodiodes hémisphériques en silicium avec des réflecteurs métalliques (argent) à motifs (HPA-AgR).
Le réseau de photodiodes a été fabriqué en enduisant par centrifugation une plaquette de dioxyde de silicium (SiO₂) avec une solution d'acide polyamique contenant une couche de polyimide (PI) ultra-mince sur laquelle un réflecteur à motifs a été superposé en utilisant la technique de gravure humide (100 nm Ag). Les réflecteurs structurés ont été conçus pour simuler les propriétés de réflexion de la lumière du tapetum lucidum, améliorant l'absorption de la lumière dans des conditions de faible éclairage. Les performances de la photodiode résultante ont été mesurées à l'aide d'une lampe halogène à large plage de températures (3100 K), d'une station de sonde (réseau de capteurs d'images + analyseur de dispositifs semi-conducteurs) et d'une carte d'acquisition de données (DAQ).
Le traçage de rayons basé sur la méthode de Monte-Carlo a été utilisé pour évaluer les performances de rupture de camouflage du système de vision inspiré du félin par rapport aux systèmes optiques conventionnels (pupille circulaire (CP)) contre un éclairage variable de 0 à 500 lumens.
Résultats de l'étude
Alors que les systèmes CP monoculaires (y compris les yeux humains) ont du mal à différencier l'objet cible et son arrière-plan (saturation en pixels) dans des scénarios extrêmement lumineux, la conception d'ouverture asymétrique des yeux félins (VP félin) et, par extension, le système de vision actuel peuvent ajuster la mise au point entre différents plans (tangentiels et sagittaux), compensant ainsi considérablement l'intensité lumineuse et permettant la rupture du camouflage.
La conception permet également une meilleure mise au point sur des objets à différentes distances, réduisant encore davantage le bruit optique des éléments d'arrière-plan. Les comparaisons entre les systèmes actuels inspirés du VP et les systèmes conventionnels de type CP mettent en évidence l'absence de camouflage de ce dernier, en particulier dans des conditions de forte luminosité. Cela est principalement dû à l'astigmatisme observé entre les plans tangentiel et sagittal, qui brouille la cible et son arrière-plan. En revanche, le système VP pouvait facilement faire la distinction entre la cible et l'objet, quelle que soit l'intensité de la lumière ambiante. De plus, lorsqu'il est « verrouillé » sur une cible, la conception du système de vision brouille l'arrière-plan de la cible, réduisant ainsi la quantité de bruit non informatif et diminuant ainsi la charge de calcul requise pour l'analyse en temps réel.
« Bien que la vision par ordinateur et les algorithmes d’apprentissage profond aient considérablement amélioré la gestion des cibles bruyantes, le système de vision inspiré de l’œil félin offre des avantages intrinsèques provenant du matériel. La vision artificielle inspirée de l’œil félin induit intrinsèquement un flou d’arrière-plan et une rupture de camouflage, ce qui peut réduire considérablement la charge de calcul. »
De même, alors que les systèmes CP monoculaires atteignent des performances élevées en matière de camouflage dans des conditions de faible luminosité (pupilles grandes ouvertes), ils souffrent souvent d'un faible courant photoélectrique dans les scénarios sombres. Les optiques félines (et artificielles actuelles) contournent cette limitation non seulement en dilatant complètement leurs VP, mais aussi en utilisant leur tapetum lucidum (ou, dans le cas artificiel, leurs réflecteurs métalliques) pour réfléchir la lumière ambiante sur la pupille, améliorant encore l'acquisition de cibles en basse lumière. Notamment, les comparaisons entre les optiques CP conventionnelles et les optiques actuelles inspirées des VP ont révélé que le nouveau système est 52 à 58 % plus efficace en photoabsorption que les technologies traditionnelles.
Malgré ces avancées, les chercheurs ont noté une limitation principale de leur système : son champ de vision étroit. Des innovations dans le mouvement des systèmes optiques (peut-être inspirées par les mouvements de la tête des chats) seront nécessaires avant que ces systèmes puissent être intégrés à la robotique autonome.
Conclusions
La présente étude décrit le développement et la validation d'un nouveau système de vision inspiré de l'œil félin. Le système se compose d'une lentille à ouverture variable et d'un réseau de photodiodes en silicium métallique pour obtenir un suivi d'objets et une suppression du camouflage sans précédent au niveau matériel, quelle que soit l'intensité de la lumière ambiante. Bien que ce système de vision souffre d'un faible champ de vision, les progrès dans le domaine du mouvement robotique pourraient permettre son intégration dans la robotique autonome, ouvrant ainsi la voie à une nouvelle génération de systèmes de surveillance et de suivi sans pilote.
