Beaucoup de gens craignent que l’intelligence artificielle ne les remplace au travail, mais pour les programmeurs, cela n’arrivera pas de sitôt. Microsoft Research rapporte en effet que la technologie s’avère peu efficace dans la mise au point du code.
Bien que le secteur des logiciels ait été parmi les premiers à expérimenter l’intelligence artificielle, par exemple en créant de petites applis à l’aide de GitHub Copilot ou d’un grand modèle de langage, l’IA ne s’avère pas encore efficace dans la tâche la plus chronophage pour de nombreux programmeurs: le débogage. Voilà ce que révèle Microsoft Research.
Avec le Debug-gym, Microsoft a créé un environnement qui permet aux modèles d’IA de tenter d’affiner le code existant. Ils reçoivent dans ce but des outils qui ne faisaient pas partie de la formation des modèles d’IA, et ils doivent ensuite apprendre à travailler avec eux au fil du temps. Les modèles d’IA qui n’ont pas été ‘formés’ dans le Debug-gym, font plutôt pâle figure en matière de débogage, selon Microsoft. Même les modèles d’IA qui ont appris à travailler avec de nombreux outils de débogage dans le Debug Gym, ne sont – et de loin – pas aussi efficaces qu’un programmeur expérimenté.
L’étude est intéressante, car la plupart des entreprises qui utilisent des LLM et d’autres modèles d’IA, sautent généralement l’étape consistant à enseigner également à ce code comment travailler avec les outils de débogage. Les résultats ne seront donc pas bons. Même avec le Debug Gym, le taux de réussite est de 48,4 pour cent. Microsoft elle-même indique que un avenir où l’IA pourra fournir des suggestions en vue d’améliorer le code, qui devront ensuite être approuvées par un programmeur expérimenté. On est donc loin de l’idée, selon laquelle les agents d’IA pourront remplacer complètement les coûteux employés IT de nombreuses entreprises.
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici