ChatGPT souffre-t-il de dépression saisonnière?

En tant qu’utilisateur, vous l’avez peut-être déjà remarqué: ChatGPT semble être devenu moins performant depuis fin novembre. Le chatbot refuse régulièrement d’exécuter des commandes simples ou vous laisse faire l’essentiel du travail. Que se passe-t-il?

ChatGPT a été lancé dans le monde il y a un peu plus d’un an. Le chatbot est devenu extrêmement populaire en un rien de temps. En moins de deux mois, ChatGPT a ainsi atteint cent millions d’utilisateurs, un exploit sans précédent dans le monde technologique. L’outil doit sa popularité aux nombreuses tâches qu’il peut effectuer. Qu’il s’agisse de rédiger un texte, de générer du code ou de remplir un tableur: ChatGPT est devenu un outil indispensable sur le lieu de travail pour de nombreuses personnes.

Mais ces dernières semaines, le chatbot s’est mis à présenter un comportement quelque peu particulier. Les utilisateurs de X, anciennement Twitter, signalent de plus en plus souvent que ChatGPT ne répond pas à leurs questions ou n’y réagit que partiellement. Par exemple, au lieu de générer du code, l’outil explique aux utilisateurs comment l’écrire eux-mêmes. Remplir un fichier CSV (une spécification pour les fichiers tabulaires)? Faites-le donc vous-même.

OpenAI se pose elle-même des questions

Le problème a rapidement atteint de telles proportions qu’OpenAI elle-même s’est vu contrainte d’y répondre. ‘Nous n’avons plus mis à jour le modèle depuis le 11 novembre, et il n’y a certainement aucune intention cachée. Le comportement du modèle peut être imprévisible, et nous cherchons à savoir pourquoi’, indique-t-on au sein de la société à l’origine du chatbot. En d’autres termes, OpenAI elle-même n’a aucune idée de ce qui se passe.

C’est alors aux utilisateurs de découvrir ce qui cloche. Certains ont eu l’idée surprenante que cela soit lié à la période de l’année. Plus précisément, ChatGPT ‘souffrirait’ d’une sorte de dépression saisonnière. La logique derrière cela est que le modèle aurait appris des ensembles de données sur lesquels il a été formé que les gens ralentissent leur activité en décembre, et il pourrait copier ce comportement.

Michiel Vandendriessche, co-fondateur de la startup louvaniste d’IA Raccoons, apporte la nuance suivante: ‘Il y a des gens qui ont étudié la question et qui parlent d’un résultat statistiquement significatif.’ C’est ainsi que si vous saisissez un sujet de devoir à réaliser en mai, vous recevrez des réponses plus complexes qu’en décembre, selon ces chercheurs. ‘Mais OpenAI elle-même n’a trouvé aucun lien’, explique Vandendriessche.

Il considère plutôt improbable que la saison hivernale ait une influence sur le comportement de ChatGPT: ‘Il me semble très étrange que ce soit réellement la raison.’ Une autre explication possible, selon les experts de Raccoons à qui Vandendriessche a parlé, serait que l’énergie est simplement plus chère pendant les mois d’hiver, ce qui pourrait inciter OpenAI à décider consciemment de réduire sa production. D’un autre côté, OpenAI se contredirait en déclarant qu’elle n’en connaît pas elle-même la cause, selon Vandendriessche.

Une autre explication possible est que la charge sur les serveurs soit tout simplement devenue trop importante en raison de l’énorme popularité de ChatGPT. À la mi-novembre, par exemple, OpenAI a dû temporairement cesser d’accepter de nouveaux abonnements. Cela s’est produit peu de temps après le premier OpenAI DevDay, au cours duquel de nouveaux outils ont été annoncés, notamment la possibilité pour l’utilisateur de créer son propre chatbot GPT personnalisé. Mi-décembre, le CEO Sam Altman a publié ce qui suit sur X: ‘Nous avons de nouveau activé les abonnements ChatGPT+! Merci de votre patience pendant que nous recherchions davantage de GPU.’ Cependant, depuis lors, certains utilisateurs se plaignent encore et toujours d’un ChatGPT moins performant.

‘Boîte noire’

Même si on ne sait pas encore exactement ce qui se passe et si ChatGPT ‘souffre’ du blues hivernal, une chose est sûre. La technologie commence de plus en plus à se comporter comme une ‘boîte noire’. Cela signifie que nous en connaissons uniquement les entrées et les sorties, mais que nous n’avons en réalité aucune idée de ce qui se passe à l’intérieur du système.

‘Même un chercheur de haut niveau au sein d’OpenAI ne peut en aucun cas prévoir, même en examinant le code sous-jacent, quel sera le résultat exact’, explique Vandendriessche. Les LLM, alias les grands modèles de langage (des algorithmes capables de générer du contenu sur base de très grands ensembles de données: dans le cas de ChatGPT, la quasi-totalité d’internet) fonctionnent en effet en effectuant des calculs complexes pour arriver à une réponse. ‘Ces calculs dépassent tout simplement l’entendement des gens’, selon le co-fondateur de Raccoons.

‘A mesure que les systèmes deviennent plus complexes, il arrive de plus en plus souvent que nous ne sachions tout simplement pas ce qui s’y passe’, explique Vandendriessche. ‘Cela ne doit toutefois pas nécessairement constituer un problème en soi. Tant que nous pouvons vérifier que les résultats ne sont pas trop excessifs, nous devrions nous demander à quel point il est grave de ne pas toujours comprendre comment une IA parvient à une certaine réponse.’

Respirez profondément

Mais même si nous ne savons pas toujours pourquoi un chatbot donne une certaine réponse, nous pouvons trouver entre-temps des moyens de générer le résultat souhaité. Ici aussi, il semble parfois que ChatGPT adopte des… comportements humains.

Par exemple, un utilisateur sur X a découvert que le chatbot donne des réponses détaillées, lorsqu’on promet simplement de lui accorder une récompense. Plus celle-ci est importante, plus la réponse est longue. D’autres doivent, à les entendre, un peu encourager ChatGPT à aller de l’avant, à l’image d’un entraîneur qui donne un coup de pouce supplémentaire à un athlète. De plus, lorsque vous demandez au chatbot de prendre une profonde respiration avant de donner une réponse, il semble mieux fonctionner. Même tout taper en majuscules semble avoir de l’effet.

Alors la prochaine fois que ChatGPT vous donnera une réponse décevante, restez patient. Peut-être avez-vous juste besoin d’être un peu plus empathique et de demander très gentiment si le chatbot veut bien recommencer. Et si cela ne fonctionne pas, vous pouvez toujours essayer de soudoyer l’outil.