NSLLM fait le lien entre les LLM et les neurosciences
Les grands modèles linguistiques (LLM) sont devenus des outils cruciaux dans la poursuite de l’intelligence artificielle générale (AGI). Cependant, à mesure que la base d’utilisateurs s’élargit et que la fréquence d’utilisation augmente, le déploiement de ces modèles entraîne des coûts de calcul et de mémoire importants, limitant leur potentiel à servir d’infrastructure fondamentale pour la société humaine. De plus, les LLM actuels manquent généralement d’interprétabilité : leurs processus opaques de prise de décision et d’optimisation rendent difficile la garantie de la fiabilité et de l’équité dans des domaines à haut risque tels que la santé et la finance. En revanche, le cerveau humain exécute des tâches complexes avec moins de 20 watts de puissance tout en faisant preuve d’une transparence remarquable dans ses processus cognitifs. Ce contraste frappant souligne l’écart entre les LLM et la cognition humaine et présente un double défi : d’une part, améliorer l’efficacité informatique des LLM est essentiel pour améliorer l’efficacité énergétique et conserver les ressources ; d’autre part, améliorer leur interprétabilité est crucial pour mieux comprendre les interactions et les fonctions des composants dans les systèmes à grande échelle.
Pour surmonter le goulot d'étranglement interdisciplinaire, cette étude propose un cadre unifié qui transforme les LLM conventionnels en NSLLM en effectuant un comptage de pointes entières et une conversion de pointes binaires, tout en incorporant un mécanisme d'attention linéaire basé sur les pointes. Ce cadre relie les neurosciences et les grands modèles de langage, offrant une plate-forme pour l'application d'outils de neurosciences aux LLM. En introduisant la formation sur les nombres entiers avec inférence binaire, les sorties des LLM standards sont converties en représentations de pointes, permettant aux outils de neurosciences d'analyser le traitement de l'information.
LLM sans MatMul co-conçu logiciel-matériel à très faible consommation
Pour valider l'efficacité énergétique de l'approche, l'étude met en œuvre une architecture informatique personnalisée sans MatMul pour un modèle à l'échelle d'un milliard de paramètres sur une plate-forme FPGA. Plus précisément, une stratégie de quantification par couche et des mesures de sensibilité hiérarchiques sont utilisées pour évaluer l'impact de chaque couche sur la perte de quantification, permettant ainsi la configuration d'un modèle optimal de pointes à pas de temps mixtes qui atteint des performances compétitives dans le cadre d'une quantification à bits faibles. De plus, une stratégie de sparsification assistée par quantification est introduite pour remodeler la distribution du potentiel membranaire et déplacer la probabilité de mappage de quantification vers des valeurs entières inférieures, réduisant ainsi considérablement la cadence de déclenchement des pointes et améliorant encore l'efficacité du modèle. Sur le FPGA VCK190, un cœur matériel sans MatMul est conçu pour éliminer complètement les opérations de multiplication matricielle dans le NSLLM, réduisant la consommation d'énergie dynamique à 13,849 W et augmentant le débit à 161,8 jetons/s. Par rapport à un GPU A800, cette approche permet d'obtenir une efficacité énergétique 19,8 fois supérieure, des économies de mémoire 21,3 fois supérieures et un débit d'inférence 2,2 fois supérieur.
Interprétabilité améliorée grâce à l'augmentation des populations neuronales
En transformant le comportement des LLM en représentations dynamiques neuronales, telles que des trains de pointes, grâce au cadre NSLLM, nous pouvons analyser à la fois les propriétés dynamiques de leurs neurones (par exemple, le caractère aléatoire quantifié par l'entropie de Kolmogorov – Sinaï) et leurs caractéristiques de traitement de l'information (par exemple, l'entropie de Shannon et l'information mutuelle). Cela permet une interprétation plus claire des rôles informatiques joués par les NSLLM. Les résultats expérimentaux montrent que le modèle encode les informations plus efficacement lors du traitement de texte sans ambiguïté, ce qui lui permet de faire la distinction entre les entrées ambiguës et sans ambiguïté (par exemple, les couches intermédiaires présentent des informations mutuelles normalisées plus élevées pour les phrases ambiguës ; la couche AS présente des signatures dynamiques distinctes qui reflètent son rôle dans le traitement des informations clairsemées ; et la couche FS a une entropie de Shannon plus élevée, indiquant une plus grande capacité de transmission d'informations. De plus, la corrélation positive entre les informations mutuelles et l'entropie de Shannon suggère que les couches avec une capacité d'information plus élevée préservent mieux les entrées clés. fonctionnalités) . En intégrant la dynamique neuronale aux mesures de la théorie de l'information, ce cadre fournit une interprétabilité d'inspiration biologique pour les mécanismes LLM tout en réduisant considérablement les besoins en données.
La recherche en neurosciences a montré que le cerveau humain parvient à traiter l'information de manière économe en énergie grâce à des calculs clairsemés et pilotés par les événements, améliorant ainsi l'efficacité de la communication et l'interprétabilité du système. S'appuyant sur ce principe, l'équipe a développé un cadre unifié interdisciplinaire qui introduit une alternative neuromorphique aux LLM traditionnels, tout en offrant des performances comparables à celles des modèles traditionnels d'échelle similaire dans le raisonnement de sens commun et une gamme de tâches de grand modèle plus complexes, notamment la compréhension en lecture, la réponse aux questions de connaissance du monde et les mathématiques. Ce cadre repousse non seulement les frontières de l’IA économe en énergie, mais offre également de nouvelles perspectives sur l’interprétabilité des grands modèles de langage et fournit des informations précieuses pour la conception de futures puces neuromorphiques.
