Phison démocratise l’entraînement des grands modèles de langage

Avec un bout de son propre middleware comme ingrédient secret, le fabricant de contrôleurs Phison veut gagner en efficacité dans l’utilisation des GPU. Résultat: ‘L’entraînement d’une IA n’est plus réservé à un happy few.’

Un nombre croissant d’entreprises et institutions cherchent à développer de l’intelligence artificielle au sein de leur propre infrastructure. Surtout en Europe, sous l’effet conjugué de la nécessité de conserver les données sensibles dans les murs de l’entreprise et de la volonté de préserver sa souveraineté. Mais la réalité est différente. Pensez aux coûts prohibitifs des GPU, dont la disponibilité est par ailleurs limitée. Avec aiDAPTIV+, Phison, un fabricant taïwanais de hardware spécialisé dans les contrôleurs, propose une solution pragmatique. En déployant un stockage flash économique comme extension de la coûteuse VRAM, il met l’entraînement de grands modèles de langage à la portée d’un public beaucoup plus large. ‘L’entraînement d’une IA n’est plus réservé à un happy few’, a ainsi déclaré Michael Wu, general manager et président de Phison Technology Inc. (USA), lors d’une visite de l’IT Press Tour en Californie à laquelle Data News a participé.

‘Franchir le mur de l’IA et de la mémoire’

Des innovations qui se cachent dans un petit coin peuvent parfois être totalement disruptives. Et Phison espère en apporter une nouvelle preuve. En l’occurrence, franchir le Mur de l’IA et de la mémoire, comme l’explique Brian Cox (Phison): ‘En termes de paramètres, la complexité et la taille des modèles d’IA augmentent d’un facteur 410 tous les deux ans. La capacité des HBM (High Bandwidth Memory) et autres mémoires GDDR (Graphics Double Data Rate, une mémoire spécifique ultraperformante, NDLR), deux mémoires extrêmement rapides, mais très chères de GPU professionnelles, n’a cependant progressé que d’un facteur deux sur la même période.’

Cette situation contraint souvent les entreprises à recourir à des solutions de secours coûteuses. ‘J’ai parlé à des clients qui ont dû acheter plusieurs cartes GPU non pas parce qu’ils avaient besoin de puissance de calcul supplémentaire, mais uniquement pour la capacité de mémoire que recèlent ces cartes’, poursuit Brian Cox. ‘Une grande partie des GPU reste ainsi sous-exploitée.’

Développée par nécessité

Ce défi deviendra d’autant plus pressant à mesure les applications IA sur site rattraperont puis dépasseront les modèles cloud publics. C’est du moins l’hypothèse de Phison, qui repose sur une analyse de Dimension Market Research, une société d’études de marché.

Mais la vraie raison pour laquelle Phison a développé une solution? Manifestement, nécessité a fait loi, une nouvelle fois. ‘Notre CEO, K.S. Pua voulait faire appel à l’IA pour améliorer nos propres processus de conception et de fabrication, mais les solutions qu’on lui proposait coûtaient plusieurs millions de dollars’, explique Brian Cox. ‘La réponse de notre CEO a été claire: ‘Je n’ai pas l’argent. Trouvez un moyen plus efficace.’ Et c’est ce que nous avons fair’, sourit Brian Cox.

Le SSD en bouée de sauvetage

Cette méthode plus efficace répond donc au nom d’aiDAPTIV+. Le concept est aussi simple qu’efficace: au lieu de charger un modèle d’IA complet dans la VRAM limitée et coûteuse de la GPU, le modèle est placé sur un module de stockage flash NAND beaucoup plus grand et moins cher. L’ingrédient secret est le middleware aiDAPTIVLink, un bout de logiciel qui fait office de régulateur de trafic intelligent. Ce logiciel transfère les ‘tranches’ du modèle nécessaires du SSD vers la GPU au moment précis où elle en a besoin pour le traitement et fait en sorte que le pipeline de la GPU reste constamment alimenté.

Le composant hardware, appelé aiDAPTIVCache, n’est pas un SSD standard. Comme l’entraînement des modèles d’IA est un processus à forte intensité d’écriture, Phison a développé un disque spécialisé capable de supporter jusqu’à 100 ‘écritures complètes par jour’ (Drive Writes Per Day, DWPD). Retenez surtout que ce chiffre est bien supérieur à la norme des disques SSD d’entreprise les plus robustes.

Temps et argent

Phison est cependant réaliste: ‘Il s’agit d’un compromis technologique. Et désolé, nous avons donné la priorité aux coûts’, a reconnu Brian Cox lors de la présentation. L’entraînement d’un modèle prend plus de temps que quand on dispose d’un budget illimité pour une ferme de serveurs équipés des GPU les plus chères. Une illustration du laboratoire de Phison montre que l’entraînement d’un modèle à 70 milliards de paramètres sur une station de travail de quatre GPU sans aiDAPTIV+ échoue purement et simplement par manque de mémoire. Avec l’aiDAPTIV+, cela demande un peu plus de quatre heures. ‘Mais vous pouvez appuyer sur start et aller déjeuner: tout sera prêt à votre retour’, affirme Brian Cox: ‘Pour un grand nombre d’entreprises de taille moyenne, d’universités ou de départements R&D qui ne doivent pas réentraîner certains modèles toutes les heures – mais peut-être chaque jour ou chaque semaine –, c’est compromis plus qu’acceptable. La baisse des coûts promise d’un facteur 8 à 10 est alors déterminante’, conclut-il.