L’IA de la puce au modèle entraîné

Construire des systèmes d’IA performants exige des efforts soutenus, mais aussi une puissance de calcul suffisante. Sambanova se spécialise dans ce domaine et a même développé ses propres puces en tant que start-up. ” Cela apparaît tout simplement comme la meilleure option. ”

Sambanova est issue d’une recherche universitaire menée à Stanford où le CEO Rodrigo Liang a fondé l’entreprise en 2017 en collaboration avec les professeurs en sciences informatiques Kunie Olukotun et Chris Ré. Entre-temps, l’entreprise a récolté pas moins de 1,1 milliard $, soit une valorisation boursière de 5 milliards $ pour un effectif de 500 collaborateurs.

L’entreprise propose à la fois du matériel, du logiciel et des modèles entraînés pour des applications d’IA. Mais il s’agit d’un ensemble qui ne permet pas d’acheter séparément l’un ou l’autre élément. Il faut préciser que l’entreprise a développé ses propres puces spécifiquement pour l’IA. Certes, d’autres grands acteurs comme Tesla ou Facebook le font également, mais c’est plutôt chose rare pour une entreprise qui n’a pas encore 5 ans d’existence.

” L’IA évoluera davantage que l’Internet. L’arrivée de l’Internet a certes changé nos manières de stocker les données et nos réseaux, mais l’IA va se traduire par une rupture générationnelle, avec des téra-octets de données qui doivent être reproduites des milliards de fois pour être exploitables par l’intelligence artificielle “, précise Liang.

Si l’entreprise se veut discrète sur son chiffre d’affaires ou le nombre de ses clients, elle brandit des statistiques d’IDC ou de grands cabinets de consultance notamment pour démontrer qu’investir dans l’IA est vital pour conserver une avance sur la concurrence. ” Car c’est très simple: confier certaines tâches à l’IA permet de dégager du temps pour les collaborateurs qui peuvent alors innover. ”

” Les entreprises cherchent à réaliser des économies, peut-être aussi à limiter leurs effectifs et à travailler plus efficacement. Mais il s’agit là d’un progrès tactique, ajoute Marshall Choy, vice-président Produits. Or le bénéfice majeur est stratégique: être plus rentable ainsi que concevoir de nouveaux services et produits grâce à l’IA. C’est à ce niveau que l’on constate l’adoption la plus large dans une entreprise. ”

Le fait que l’entreprise ait développé elle-même ses propres puces est certes remarquable, mais il s’agissait selon Choy du meilleur choix possible. ” Au départ, nous avons regardé les CPU, les GPU et les FPGA, mais ceux-ci n’avaient tout simplement pas le niveau de programmabilité que nous attendions spécifiquement pour l’IA. Le logiciel que nous développons exige un matériel sur lequel nous pouvons intervenir. Notre puce est reconfigurable, possède 300 Mo de SRAM combinés à 1,5 To de mémoire externe, et est totalement intégrée dans une baie de 48 To de mémoire. ”

Le stack complet

La puce proprement dite est fabriquée chez TSMC et est donc parfaitement adaptée au logiciel sous-jacent. ” Tout doit être cohérent. Nous voulons pouvoir optimiser l’ensemble du ‘stack’, depuis la puce jusqu’au logiciel, à mesure que les modèles grandissent et que la charge de travail évolue “, insiste Pradheep Singh, vice-président Software Products de Sambanova.

L’un des rares clients que peut citer publiquement Sambanova est la banque hongroise OTP qui emploie quelque 40.000 collaborateurs pour 17 millions de clients. La banque a annoncé, en partenariat avec les pouvoirs publics, un investissement substantiel dans les activités d’IA et a choisi pour ce faire de collaborer avec la start-up de Palo Alto. ” En 3 mois, nous avons déployé notre solution, insiste Singh. Mais il ne s’agissait pas uniquement de construire un robot conversationnel plus performant ou une seule application dans un département spécifique. Leur ambition était de faire passer 80% de leurs décisions via l’IA. C’est pour eux une transformation en profondeur. ”

L’un des éléments importants dans ce projet était la barrière de la langue. Car si l’IA fonctionne très bien dans un environnement anglophone, cette même technologie n’est pas forcément aussi efficace et pratique en hongrois. ” Nous utilisons GPT-3 [un modèle linguistique anglais pour la génération automatique de texte, NDLR], mais le hongrois posait un problème, reconnaît Singh. Mais OTP s’est alors adressé aux pouvoirs publics et aux établissements d’enseignement qui ont alors décidé de soutenir le projet, ce qui a permis de disposer de jeux de données pour les entraîner. Cela signifie donc que ce projet n’a pas été conçu uniquement pour la banque, mais aussi pour d’autres secteurs. ”