La technologie porte l’une des appellations les plus ‘science-fiction’ du secteur, mais l’IT hyper-dimensionnelle (hyperdimensional computing) vise à rendre la formation de l’IA plus efficace en l’abordant différemment dès le départ. Introduction.
L’IA générative de type ChatGPT connaît un énorme essor, et de nombreuses entreprises et organisations se demandent actuellement si elles peuvent utiliser ces modèles dans leur propre activité. Cependant, ces large language models (LLM) présentent de sérieux inconvénients. ‘Une session de formation pour ChatGPT émet 500 tonnes de monoxyde de carbone, ce qui correspond aux émissions d’un millier de voitures parcourant mille kilomètres. Et même si pareille formation n’est peut-être pas si fréquente, poser 2.000 questions à ChatGPT consomme également autant d’énergie qu’un ménage en une journée’, explique Laura Smets, doctorante à IDLab, le groupe de recherche sur les données de l’imec et de l’université d’Anvers. Elle tient son discours devant le public réuni lors de l’événement Women in Data de Clusity, une communauté de femmes dans l’IT.
Les réseaux neuraux comme ChatGPT, mais aussi des concurrents tels que LLaMA2 (de Meta) ou Gemini (de Google) ont également pris de l’ampleur ces dernières années, avec de plus en plus de paramètres à la clé. ‘Ce sont de vastes modèles qui consomment beaucoup d’énergie et ont besoin de nombreuses données pour être formés avec précision’, affirme Smets. Cela peut-il se faire plus efficacement? Une technologie appelée informatique hyper-dimensionnelle ou vector symbolic architectures adopte une autre approche en utilisant dès le début un système différent: les vecteurs.
Vecteurs
Un vecteur est une série de nombres assez simple. C’est ainsi qu’un vecteur 3D peut contenir trois chiffres pour les coordonnées x, y et z. ‘Ce que nous voulons faire, c’est cartographier (mapper) les données sur des vecteurs hyper-dimensionnels’, ajoute Smets. Les données sont alors transférées vers des vecteurs comportant jusqu’à dix mille éléments vectoriels. A partir de là, le système utilise des opérations vectorielles arithmétiques relativement simples pour comparer les différents vecteurs. ‘Cela ressemble beaucoup à la façon dont nous stockons les informations dans notre cerveau’, explique Smets. ‘De plus, grâce aux simples calculs vectoriels, le système consomme beaucoup moins d’énergie et nécessite moins de données pour fonctionner avec précision.’
La technologie est actuellement encore précoce et très spécifique, et elle nécessite de nombreuses connaissances mathématiques pour être comprise. Elle a déjà été utilisée pour des applications telles que la reconnaissance vocale ou la classification de textes, avec une précision d’environ 97 pour cent. Smets elle-même travaille actuellement sur l’analyse d’images. ‘Bien sûr, nous ne sommes pas encore en mesure de vaincre les vastes et profonds réseaux neuronaux en termes de précision, mais nous sommes comparables à d’autres modèles légers. Ce qu’il y a de bien ici, c’est que nous allons simplement additionner et soustraire des nombres binaires’, poursuit Smets. Un retour aux sources en quelque sorte pour un système qui pourrait un jour surclasser les modèles beaucoup plus grands.
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici