Et si les LLM étaient accessibles à un plus grand nombre ? Non seulement à ceux qui n’ont pas de superordinateur dans leur cave, mais aussi à ceux qui ne possèdent pas de diplôme d’informaticien en bonne et due forme ? C’est l’idée d’InstructLab, l’un des projets sur lesquels travaille Red Hat (en collaboration avec IBM, notamment).
Comment dois-je me représenter InstructLab pour Red Hat ?
MO DUFFY: InstructLab, c’est un ensemble d’outils open source autour duquel nous avons créé une communauté qui souhaite démocratiser l’IA en permettant à chacun d’apporter des modifications aux modèles, par exemple d’utiliser ses propres données pour les « affiner ». L’idée qui sous-tend cette communauté est qu’il n’est pas nécessaire d’avoir accès à des GPU puissants, puisque c’est nous qui le fournissons. En revanche, les membres peuvent apporter leurs connaissances. Nous avons par exemple des personnes qui ajoutent des anecdotes sur Taylor Swift au modèle, ou sur l’archéologie irlandaise. Les modèles de base avec lesquels nous travaillons sont entraînés sur des données très générales, mais peut-être souhaitez-vous y intégrer des données plus spécialisées ? Nous utilisons alors des fichiers YAML pour permettre aux gens d’ajouter des connaissances à l’entraînement. C’est du simple texte, et c’est donc assez accessible. Vous soumettez vos fichiers à la communauté et nous les passons en revue à intervalles réguliers. Nous traitons ensuite les envois, puis nous construisons une nouvelle version du modèle communautaire.
L’idée est de donner à chacun l’occasion d’apprendre à utiliser cette technologie, car elle a déjà un impact important sur nos vies. Les gens devraient par conséquent avoir la possibilité d’étudier cette technologie et d’y contribuer.
En parallèle, nous proposons un produit qui utilise les mêmes techniques que cette communauté : Red Hat Enterprise Linux AI. Vous avez ainsi des gens qui soumettent des connaissances et des entreprises et organisations qui peuvent utiliser leurs propres données pour entraîner une version privée interne d’un modèle d’IA à plus petite échelle, que vous pouvez par conséquent conserver sur site. Car vous ne voulez sans doute pas que les données internes à votre entreprise soient utilisées par un grand modèle accessible à tous et se retrouvent ainsi sur la place publique. Ces modèles plus petits sont aussi plus performants parce qu’ils sont totalement adaptés à vos données. Et votre organisation n’a pas à s’inquiéter du fait qu’il tourne en dehors de son infrastructure.
Est-ce qu’il fonctionne également en périphérie, par exemple ?
DUFFY: C’est l’objectif, oui. Red Hat est adepte d’une philosophie de cloud hybride ouvert, et nous essayons de l’appliquer également à l’IA. Il est normal de vouloir que son modèle d’IA tourne à proximité de l’endroit où sont stockées les données. Et les données peuvent se trouver en périphérie. Ou sur site, ou dans votre cloud hybride. Et vous voulez être en mesure de déplacer ces modèles chaque fois que c’est nécessaire, si possible sans que cela vous coûte trop cher. Ils ne doivent donc pas être trop lourds, car plus le modèle est lourd, plus il est coûteux d’y travailler. Je pense qu’il est préférable de disposer d’un groupe de petits modèles spécialisés, plutôt que d’un modèle gigantesque dont l’hébergement est coûteux et qui risque de ne pas être efficace pour l’usage que vous souhaitez en faire.
Les grandes entreprises se composent de plusieurs départements qui utilisent des applications différentes. Combien de programmes ne sont pas utilisés par toute l’entreprise ? Dans le même esprit, il sera possible à l’avenir d’avoir différents modèles d’IA. Une foule de modèles et d’applications qui interagissent pour vous aider à gérer votre entreprise. Mais de la même façon qu’il n’existe pas d’application unique qui fait fonctionner toute l’entreprise, il n’y aura pas de modèle unique. C’est trop complexe et trop cher.
On peut constater que de nombreuses entreprises expérimentent désormais différents modèles. Comment votre produit s’inscrit-il dans cette évolution ?
DUFFY: Nous travaillons au-dessus des modèles de base, mais nous n’assurons pas nous-mêmes l’entraînement. Pour ce qui est du modèle de base, nous sommes agnostiques. Beaucoup de nos clients sont déjà en train d’expérimenter des modèles. Il y a aussi des entreprises qui rendent ces modèles open source, ce qui permet à des organisations et des utilisateurs de le manipuler, sous certaines conditions.
C’est d’ailleurs l’idée de l’open source. Le code est là, vous pouvez le télécharger, vous pouvez jouer avec. Vous pourrez ainsi déterminer si c’est un Llama, un Mistral ou un Qwen qui répond le mieux à vos besoins. Car c’est un choix qui vous revient. Nos outils vous permettent d’adopter le modèle de base avec lequel vous souhaitez travailler, puis de le personnaliser à l’aide de ces outils. Nous faisons donc surtout du finetuning. Ainsi, si vous avez déjà choisi un modèle, nous pouvons l’adapter à votre organisation. Prenons l’exemple de Llama. Vous l’utilisez depuis un certain temps et il fonctionne bien pour votre entreprise, mais vous souhaitez également fabriquer un outil qui informe les utilisateurs des politiques internes de votre entreprise. Par exemple qui enverrait une notification à vos collaborateurs s’ils réservent des vols trop chers aux frais de l’entreprise : l’IA signalerait alors que c’est contraire aux directives. Le modèle « prêt à l’emploi » ne connaît pas les directives internes de votre entreprise, mais c’est là qu’InstructLab intervient. Vous pouvez par exemple y entrer vos documents PDF et créer un fichier YAML que nous allons ensuite saisir dans le processus d’InstructLab. Ce processus fait appel à la génération de données synthétiques, parce que nous ne voulons pas que les gens y passent trop de temps. En effet, plus le temps de préparation est long, plus le processus est cher. Nous utilisons cette génération de données synthétiques pour donner plus de poids aux quelques échantillons réalisés par les gens. Et nous allons ensuite traiter ce dataset produit par l’humain et les données synthétiques pour entraîner plus avant le modèle. En fin de compte, vous disposerez d’un modèle – Llama, par exemple – qui connaît les directives de votre entreprise en matière de voyages.
Je pense qu’il est préférable de disposer d’un groupe de petits modèles spécialisés, plutôt que d’un modèle gigantesque dont l’hébergement est coûteux
Qu’est-ce que la génération de données synthétiques ?
DUFFY: Le nom n’est pas terrible, je sais. Nous envisageons de le changer. L’expression « synthetic data generation » provient des articles scientifiques d’où a jailli l’idée. Mais il serait peut-être préférable de l’appeler « document derived data », puisque ces données sont dérivées de documents. Pour le processus, vous introduisez des documents et créez un modèle. Prenons l’exemple d’un projet que nous avons réalisé récemment sur les directives d’une entreprise en matière de télétravail. Vous prenez le document que vous allez saisir et rédigez des questions en tant qu’utilisateur. D’où puis-je partir pour me rendre au travail ? À quelle distance ? Quand puis-je télétravailler ? Combien de jours par semaine puis-je travailler à domicile ?… Sur la base ces questions et des réponses que vous y apportez à partir du document, le processus détermine comment je pose les questions et à quoi doivent ressembler les réponses. Il commence alors à poser d’autres questions sur la base du contenu du document et à formuler des réponses qui sont intégrées à l’entraînement. Nous disons au modèle : « Regarde les questions et les réponses que l’utilisateur humain a saisies et formule d’autres questions et réponses en ce sens sur la base des données contenues dans le document ». Il va donc analyser le document et commencer à générer d’autres questions et réponses.
Est-ce fiable ? Ne risquez-vous pas d’entraîner un modèle à des données hallucinées ?
DUFFY: Le modèle se base exclusivement sur les données qu’un humain a écrites dans un document. Il ne génère que des questions et des réponses. Un tel modèle peut parfois générer de mauvaises questions, mais nous disposons d’un processus de filtrage pour les éliminer. Ce filtrage est qualitatif. C’est surtout un moyen pratique de booster ce qu’on a écrit soi-même. Si on a écrit un texte de trois paragraphes et on demande à un modèle d’IA d’en tirer une conclusion, on obtient souvent de bons résultats. Quelques ajustements pourraient être nécessaires, mais ce qui en ressort est raisonnable.
Mais nous sommes toujours à la recherche d’autres outils, par exemple pour analyser les questions et les réponses générées et leur attribuer un score en fonction de leur pertinence afin d’enrichir le système. Nous ne travaillons sur ce projet que depuis quelques mois, il est donc encore en cours de développement.
Cela ressemble un peu à une démocratisation de l’IA dans le style de ce que le PC a fait pour les ordinateurs dans les années 1990. Subitement, tout le monde peut s’y mettre.
DUFFY: Pour le projet communautaire en amont, c’est totalement le cas. Nous nous intéressons aux profils Mac M-series. Quiconque disposant d’un tel ordinateur pourrait exécuter la totalité du workflow d’InstructLab. Ce ne sera pas aussi précis, mais suffisant pour commencer à jouer, à expérimenter. Nous essayons encore d’abaisser ce seuil. Car c’est le plus gros problème que nous avons rencontré dans ce secteur. Cela freine l’innovation.
Ne réinventons pas la roue pour y apposer notre propre marque
Vous êtes ici pour le sommet de l’Open Source Policy Summit organisé par l’UE. Quelle est l’empreinte de Red Hat en Europe ?
DUFFY: Le plus grand centre d’ingénierie de Red Hat au monde se trouve à Brno, en République tchèque. Nous avons également de nombreux ingénieurs à Waterford, en Irlande, et dans des bureaux satellites plus petits ailleurs en Europe. Un grand nombre de ces ingénieurs travaillent sur plusieurs projets d’IA. En particulier à l’Engineering Center de Waterford. On y trouve beaucoup de talents locaux et nous travaillons avec les autorités irlandaises pour créer davantage d’opportunités dans la tech.
Sur le plan géopolitique, on observe une remontée de tendances protectionnistes, on préfère manifestement ne pas subir trop d’influence d’autres pays. Cela a-t-il un impact sur la communauté open source ?
DUFFY: Du point de vue de quelqu’un qui travaille dans la communauté open source depuis des années, c’est une période intéressante. Car il est un fait que des sentiments protectionnistes sont en train de se manifester dans plusieurs régions du monde. Et si on regarde l’Union européenne et les discussions que l’on a dans plusieurs fédérations sectorielles de différents pays, on observe souvent une demande de souveraineté numérique, de souveraineté en matière d’IA. Et c’est une perspective que je comprends, car vu l’impact qu’aura cette technologie sur notre avenir, elle devra idéalement se fonder sur les systèmes de valeurs qui ont cours dans votre ville, votre pays ou l’Union européenne. Je le comprends parfaitement.
Mais je crois fermement dans la capacité des logiciels open source à créer un ensemble collaboratif de choses utiles auxquelles tout le monde a accès. Je pense que l’open source permet de construire des choses qui aident tout le monde à progresser et à résoudre des problèmes.
Je trouve donc très étroit d’esprit de dire que des logiciels open source doivent absolument être développés par des personnes issues d’un pays particulier, ou que l’on a besoin d’une pile européenne de logiciels libres. C’est réinventer la roue pour se sentir mieux avec la technologie que l’on utilise.
Je pense que c’est du gaspillage. Beaucoup de ces piles logicielles existent depuis longtemps, elles ont été testées et fonctionnent. Je ne pense pas que la fabrication d’une pile régionale distincte relève d’une bonne utilisation des ressources.
Je pense également qu’il serait vraiment tragique que des évolutions géopolitiques et politiques brisent les années de confiance que nous avons bâties par-delà les frontières, les systèmes de croyance, les fuseaux horaires et les langues grâce aux logiciels libres. Mais de manière générale : ne réinventons pas la roue pour y apposer notre propre marque. C’est ce que l’on voit parfois dans la manière dont Linux est déployé. « Laissez-moi prendre ce Linux et y imprimer ma propre marque ». Cela apporte-t-il une valeur ajoutée ? Je ne pense pas.
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici