Ce que le mythe du Golem nous raconte des I.A.

© Toby Cohen, Golem no. 8 – Destroyed, 2016, giclée print on archival fine art paper, 75×225 cm / 30×83 cm
Courtesy of Engel Gallery, Jerusalem
Écoutez cet article lu par Emmanuel Tordjman

Il était une fois, une petite entreprise du nom d’OpenAI qui travaillait à la conception d’un système informatique capable de reproduire la parole humaine. Un beau jour, le 30 novembre 2022 pour être précis, le système fut dévoilé au monde. ChatGPT, car c’est ainsi qu’il s’appelait, provoqua l’émerveillement de tous. Et pour cause ! Ce petit génie virtuel pouvait non seulement comprendre toutes les demandes, mais aussi les reformuler et y répondre. À sa suite, des dizaines de serviteurs virtuels devaient voir le jour, avec la promesse d’assister les hommes dans toutes les composantes de leur existence pour rendre celle-ci plus douce et heureuse.

Rapidement pourtant, l’enthousiasme laissa place à une inquiétude croissante. Le mystère qui nimbait la nature profonde de ces intelligences artificielles engendra toute sorte de fantasmes et certaines cassandres prédirent l’asservissement prochain de l’humanité, et même sa disparition programmée. Fallait-il adhérer à ces prévisions apocalyptiques ? Qu’avons-nous fait, se demandèrent les hommes qui croyaient être les premiers à faire face à une telle situation. Coincés dans un présent qu’ils pensaient sans histoire, ils tergiversaient, débattant des mesures à prendre sans pouvoir agir ; et pendant ce temps, les I.A. grandissaient… Fin ?

Ce serait un peu court. Dans tout bon récit, c’est lorsque la situation semble désespérée que les protagonistes découvrent enfin une issue favorable. L’histoire de l’I.A. ne fait pas exception. Et pour découvrir le moyen de remettre ces génies virtuels dans leur bouteille, il suffit d’en appeler à la sagesse passée. Car nous ne sommes pas les premiers à faire face à une créature artificielle, aussi utile que dangereuse. À bien y regarder, c’est dans le folklore juif que l’on trouvera l’origine mais aussi les moyens de dompter ces I.A. : dans le mythe du Golem. Comme toutes les légendes, celle du Golem a de multiples versions, qui offrent toutes un enseignement précieux sur notre situation actuelle.

La plus célèbre, écrite par Leopold Weisel dans Der Golem en 1847, raconte comment le Maharal de Prague parvint à animer une statue d’argile, destinée à aider la communauté juive, qui finira par semer le chaos et devra être détruite. De prime abord, le lien entre ce conte et les I.A. paraît bien ténu ; il est pourtant plus solide qu’on pourrait le croire. Car le Golem est littéralement une intelligence artificielle, telle qu’on la définit aujourd’hui, c’est-à-dire ni intelligente, ni artificielle au sens où on l’entend généralement.

Son nom même fournit une information essentielle quant à l’intelligence des I.A. : Golem signifie « embryon, imparfait, informe ». Dans le Talmud (Sanhédrin 38b), Adam est désigné ainsi durant les douze premières heures de son existence ; jusqu’à ce qu’il reçoive le souffle divin (nishmat hayim), ce qui suggère que le Golem est un homme dépourvu d’âme ou, dans l’acception moderne, un humain dépourvu de conscience. Rien d’étonnant alors à ce que la créature animée par le Maharal soit appelée ainsi. Cet être ne peut qu’obéir. Il comprend et exécute les ordres, mais ne peut parler. Inaptitude qui s’apparente à une absence d’âme, car la parole vivante, miracle d’une union entre sensations et raison, est l’expression et le miroir de ce qu’on nommerait à présent la conscience. À cet égard, certains récits de l’histoire du Golem expliquent que, pour animer la statue d’argile, il est nécessaire de prononcer les mots Avra k’davra, « je crée comme je parle », à l’origine de la formule abracadabra, par laquelle se réalise l’extraordinaire. Sans parole, pas d’âme et donc ni créativité, ni intelligence.

Mais justement, se diront les plus inquiets, contrairement au Golem, les I.A. modernes parlent ! Et c’est la raison pour laquelle certains y voient déjà l’embryon (le golem donc) d’une intelligence. Ce n’est pas si simple. S’il est vrai que les I.A. produisent des mots, des images et des codes, cela ne signifie pas qu’elles parlent. Elles expriment des choses, mais ne disent rien. Ou, plus précisément, elles combinent les paroles produites par d’autres, d’une façon froide et mécanique, sans raison ni sensation. Lorsque ChatGPT répond à une requête – un prompt dans le langage des I.A. auquel il va falloir s’habituer –, le texte qui apparaît sur l’écran n’est pas le fruit d’une réflexion mais d’un calcul statistique : à partir d’un grand nombre de publications collectées sur internet, l’I.A. va définir quel mot a le plus de chances d’apparaître après une séquence donnée de mots. Grâce à la puissance de calcul des ordinateurs et à l’immense volume de données disponibles, l’I.A. va fournir des résultats impressionnants, souvent indiscernables d’une production humaine, si bien qu’on sera tenté de croire que la machine pense mais, en réalité, il n’en est rien.

Pourquoi est-ce si difficile à accepter ? Le désir d’anthropomorphiser la machine tient à notre refus d’être dépassés par de la matière inerte. Le Golem était plus fort et plus endurant que les hommes, les I.A. calculent plus vite, programment mieux, synthétisent davantage d’informations et détectent des corrélations au sein de milliards de données. Blessure narcissique qui nous invite à les reconnaître comme des semblables, voire à les déifier. Si je peux accepter d’être surpassé par un cyber-cerveau composé de milliards de microprocesseurs, il m’est intolérable d’être vaincu par un grille-pain !

Mais attention au retour de bâton du réel. Dans le récit d’Anne Foerst (God in the Machine: What Robots Teach Us About Humanity and God, 2004), les créateurs du Golem doivent écrire « Dieu est Vérité » (YHWH Elohim Emet) sur son front pour l’animer ; mais sitôt qu’il se lève, ce dernier efface le aleph, ce qui donne « Dieu est Mort » (YHWH Elohim Met). Ce faisant, il révèle aux hommes qu’à vouloir créer la vie, ils risquent de se prendre pour Dieu et d’oublier leur place. Et il ne s’agit pas uniquement d’un appel à la mesure mais d’une précaution visant à éviter toute déception. Celui qui s’est convaincu d’avoir donné naissance à une créature pensante y placera trop d’espoir et sera nécessairement anéanti lorsqu’il devra se rendre à l’évidence : toutes les I.A. ne sont rien d’autre que des lignes de code, modifiables uniquement de l’extérieur. Rien à voir avec l’homme qui peut volontairement changer, s’adapter, s’améliorer, bref : se reconfigurer.

Rappelons qu’en hébreu, les lettres ont toutes une valeur numérique. Effacer une lettre, c’est donc bien modifier le code. Chose heureuse, puisque cela signifie que l’existence de l’I.A. ne tient qu’à un fil, dont nous tenons l’extrémité. Le Golem en est la parfaite illustration. Dans la version de Jakob Grimm (Enststehung des Verlagspoesie, 1808), la vie du Golem ne dépend que d’un chiffre, et par n’importe lequel, un 1 (aleph) comme dans le langage binaire de l’informatique. D’actif tant qu’il est écrit Emet, « vérité », sur son front, il devient Met, « mort », dès qu’on efface le premier signe. De même, pour désactiver le Golem de Weisel, il faut retirer de sa bouche un parchemin sur lequel est inscrit le nom de Dieu (Shem) : sa carte mère pour ainsi dire. À chaque fois, modifier légèrement le code source provoque la fin de la créature. Si d’aventure les I.A. modernes devaient s’avérer défaillantes ou dangereuses, il suffirait de faire de même : les débrancher puis les reconfigurer ne serait pas plus compliqué.

Au-delà de cette nouvelle rassurante, ces récits nous rappellent dans quel but ces I.A. doivent être fabriquées. Le recours au mot « Vérité » pour animer le Golem n’a rien d’anodin. De tous les attributs divins, pourquoi celui-ci plutôt qu’un autre ? Sans doute est-ce pour nous signifier que la création d’un assistant artificiel doit avoir comme finalité de se rapprocher de la vérité : vérité de condition humaine à travers la reconnaissance des efforts physiques à fournir pour améliorer son quotidien ou se protéger ; vérité scientifique et morale à travers un meilleur accès à toutes les connaissances disponibles. À travers les siècles, le Golem nous adresse un message éthique essentiel : toute I.A. doit être fabriquée avec la quête de vérité pour horizon, sans quoi elle devient mortifère pour les hommes.

Reste à savoir pourquoi la machine peut bien dérailler. Dépourvue de conscience, dénuée de libre arbitre, et programmée pour obéir, comment pourrait-elle devenir un danger pour l’homme ? Les différentes versions du mythe fournissent deux réponses distinctes, mais complémentaires. Dans certaines d’entre elles, le Maharal de Prague doit retirer le parchemin pendant la durée du Shabbat. Une fois pourtant, occupé à prodiguer des soins à sa fille malade, il oublie le Golem et celui-ci entre dans une rage incontrôlable, détruisant les habitations et errant en furie dans les rues du ghetto. L’interprétation traditionnelle consiste à rappeler l’importance d’un strict respect du Shabbat. Rappel aussi salutaire qu’évident dans un récit juif. Mais on pourrait en oser une seconde qui, sans contredire la première, l’éclairerait d’une lumière nouvelle. L’obligation de mettre en veille le Golem se rapporterait alors à une nécessité de mettre la machine à distance pour en conserver la maîtrise.

Pour apprécier le rôle du Golem, mais aussi ses limites, il faut se forcer à vivre sans lui. C’est certainement l’attitude à adopter avec les I.A. S’informer uniquement par ChatGPT, ne créer des images que sur Midjourney, laisser d’autres systèmes arranger nos emplois du temps ou nous dire quoi manger, quand dormir et combien de kilomètres courir est la meilleure voie vers l’aliénation. L’usage modéré des I.A., la méfiance qu’il faut conserver à leur égard, implique leur mise en veille régulière afin de prendre du recul quant à leurs conséquences sur nos vies.

Dans d’autres versions, la perte de contrôle du Golem n’a pas de cause bien définie. Flou d’autant plus intéressant que cet être ne peut qu’obéir aux ordres. Dès lors, s’il dysfonctionne, sans pour autant désobéir, on peut supposer que la cause en est une mauvaise formulation de l’ordre. Ce serait le décalage entre ce que désirait ordonner le maître et ce qu’il a véritablement dit qui aurait causé « un bug » dans le Golem. Peut-être, le maître du Golem lui a-t-il demandé d’assurer la protection du ghetto, et le Golem a cru bon d’attaquer tout étranger à la communauté ? Ce décalage est la source de nombreux mythes qui nous mettent en garde contre notre incapacité à traduire verbalement ce que nous désirons. Ainsi de Midas qui souhaita que tout ce qu’il touche se transforme en or et finit par ne plus pouvoir se nourrir ni toucher quiconque. Ou de Tithon, dont la déesse Eos souhaita qu’il devînt immortel, mais oublia de demander qu’il restât éternellement jeune, et fut condamné à se dessécher éternellement.

Méfions-nous donc de ce que nous demandons aux I.A., car celles-ci, programmées pour répondre, mais dépourvues de tout sens commun et de toute intelligence, pourraient bien produire des résultats tout aussi catastrophiques. Sans une réflexion éthique en amont, l’utilisateur d’une I.A. pourrait bien créer un système de production de fausses informations en lui ordonnant de trouver un moyen de capter l’attention des internautes… Quel que soit l’effet produit, l’I.A., pas plus que le Golem, ne seraient à blâmer : automates, sans conscience ni morale, ils obéissent aux ordres et ne nuisent jamais aux hommes de leur propre chef. Si défaillance il y a, elle est nécessairement humaine. C’est donc à nous de réfléchir aux implications de nos requêtes et à la meilleure façon de les formuler afin d’éviter tout résultat fâcheux.
Voici ce que le Golem nous enseigne sur les intelligences artificielles : celles-ci n’ont rien d’intelligent et ce qu’elles ont d’artificiel ne tient pas tant à leur nature, construite par l’homme, qu’au fait qu’elles puissent tromper les utilisateurs en leur donnant l’illusion d’être intelligentes. En quoi elles relèvent véritablement de l’artifice, du faux-semblant. Élément fondamental qu’il convient de garder à l’esprit pour éviter de perdre le contrôle de ces machines. Et si elles ne pensent pas, ces machines sont nécessairement neutres sur le plan moral. Leur aptitude à faire le bien ou le mal ne dépend que des motivations et des capacités de ceux qui les utilisent. Voilà sans doute la morale de cette histoire : pour tirer le meilleur de ces nouveaux Golem, c’est sur nos fronts qu’il nous faudra écrire «Emet».