Les modèles d’intelligence artificielle ne cessent de nous étonner, non seulement par ce qu’ils peuvent faire, mais aussi par ce qu’ils ne peuvent pas faire et pourquoi. Un nouveau comportement intéressant est à la fois superficiel et révélateur de ces systèmes : ils choisissent des nombres aléatoires comme s’ils étaient des êtres humains, c’est-à-dire mal.
Mais d’abord, qu’est-ce que cela signifie ? Les humains ne peuvent-ils pas choisir des nombres au hasard ? Et comment peut-on savoir si quelqu’un le fait avec succès ou non ? Il s’agit en fait d’une limitation très ancienne et bien connue que nous, les humains, avons : nous réfléchissons trop et comprenons mal le hasard.
Les Humains et le Hasard
Demandez à une personne de prédire 100 lancers de pièce et comparez cela à 100 lancers réels – vous pouvez presque toujours les distinguer car, contre intuitivement, les vrais lancers semblent moins aléatoires. Il y aura souvent, par exemple, six ou sept pile ou face d’affilée, ce que presque aucun prédicteur humain n’inclut dans ses 100.
C’est la même chose lorsque vous demandez à quelqu’un de choisir un nombre entre 0 et 100. Les gens ne choisissent presque jamais 1 ou 100. Les multiples de 5 sont rares, tout comme les nombres avec des chiffres répétés comme 66 et 99. Ceux-ci ne semblent pas être des choix « aléatoires » pour nous, car ils incarnent une certaine qualité : petit, grand, distinctif. Au lieu de cela, nous choisissons souvent des nombres se terminant par 7, généralement du milieu.
L’IA Imite les Humains
Il existe d’innombrables exemples de ce type de prévisibilité en psychologie. Mais cela ne rend pas moins étrange le fait que les IA fassent la même chose.
Oui, des ingénieurs curieux de Gramener ont réalisé une expérience informelle mais néanmoins fascinante où ils ont simplement demandé à plusieurs chatbots LLM majeurs de choisir un nombre aléatoire entre 0 et 100.
Les résultats n’étaient pas aléatoires.
Les trois modèles testés avaient un nombre « préféré » qui serait toujours leur réponse lorsqu’ils étaient mis sur le mode le plus déterministe, mais qui apparaissait le plus souvent même à des « températures » plus élevées, un réglage que les modèles ont souvent et qui augmente la variabilité de leurs résultats.
- Le GPT-3.5 Turbo d’OpenAI aime vraiment le 47. Auparavant, il aimait le 42 – un nombre rendu célèbre, bien sûr, par Douglas Adams dans Le Guide du voyageur galactique comme la réponse à la vie, l’univers et tout.
- Le Claude 3 Haiku d’Anthropic a opté pour le 42.
- Et Gemini aime le 72.
Plus intéressant encore, les trois modèles ont démontré un biais humain dans les autres nombres qu’ils ont sélectionnés, même à haute température.
Tous avaient tendance à éviter les nombres bas et élevés ; Claude n’est jamais allé au-dessus de 87 ou en dessous de 27, et même ceux-là étaient des valeurs aberrantes. Les chiffres doubles étaient scrupuleusement évités : pas de 33, 55 ou 66, mais 77 est apparu (se termine par 7). Presque pas de nombres ronds – bien que Gemini soit une fois, à la température la plus élevée, devenu sauvage et ait choisi 0.
Pourquoi les IA se Comportent-elles Ainsi ?
Pourquoi en est-il ainsi ? Les IA ne sont pas humaines ! Pourquoi se soucieraient-elles de ce qui « semble » aléatoire ? Ont-elles enfin atteint la conscience et est-ce ainsi qu’elles le montrent ?!
Non. La réponse, comme c’est généralement le cas avec ces choses, est que nous anthropomorphisons un pas trop loin. Ces modèles ne se soucient pas de ce qui est et n’est pas aléatoire. Ils ne savent pas ce qu’est le « hasard » ! Ils répondent à cette question de la même manière qu’à toutes les autres : en examinant leurs données d’entraînement et en répétant ce qui a été écrit le plus souvent après une question qui ressemblait à « choisir un nombre aléatoire ». Plus il apparaît souvent, plus le modèle le répète.
Où dans leurs données d’entraînement verraient-ils 100, si presque personne ne répond jamais ainsi ? Pour autant que le modèle d’IA le sache, 100 n’est pas une réponse acceptable à cette question. Sans capacité de raisonnement réelle et sans compréhension des nombres, il ne peut que répondre comme le perroquet stochastique qu’il est.
Une Leçon sur les Habitudes des LLM
C’est une leçon sur les habitudes des LLM et l’humanité qu’ils peuvent sembler montrer. Dans chaque interaction avec ces systèmes, il faut garder à l’esprit qu’ils ont été entraînés à agir comme les gens le font, même si ce n’était pas l’intention. C’est pourquoi la pseudanthropie est si difficile à éviter ou à prévenir.
J’ai écrit dans le titre que ces modèles « pensent qu’ils sont des gens », mais c’est un peu trompeur. Comme nous avons souvent l’occasion de le souligner, ils ne pensent pas du tout. Mais dans leurs réponses, à tout moment, ils imitent les gens, sans aucun besoin de savoir ou de penser. Que vous lui demandiez une recette de salade de pois chiches, des conseils d’investissement ou un nombre aléatoire, le processus est le même. Les résultats semblent humains parce qu’ils le sont, tirés directement du contenu produit par l’homme et remixés – pour votre commodité, et bien sûr pour les résultats des grandes entreprises d’IA.
