“Un de ces jours, on ne saura même plus ce qui est réel et ce qui est virtuel ».  Immortel (2020) de J. R. Dos Santos

 

« L’hypothèse que je fais est que, rendues à la huitième génération de notre programme d’intelligence artificielle (IA),  certaines lignes inscrites dans l’algorithme de recherche interfèrent entre elles, développent des relations de réseaux, échangent des informations par le fait même, entrent en relations aléatoires avec les grandes bases de données auxquelles elles sont branchées, sélectionnent certaines commandes de façon contingente, les exécutent et en sélectionnent des résultats qui semblent aléatoires pour obtenir des résultats qu’elles mémorisent et qui leur servent de bases d’apprentissage profond nouveau. Cette nouvelle connaissance acquise est le début d’un cycle qui se perpétue. En fait, plus qu’un cycle, c’est une spirale qui s’alimente de connaissances précédentes pour servir à de nouvelles connaissances. Cela peut sembler simple mais les conséquences sont non seulement imprévisibles mais considérables, voire désastreuses. Comme c’est le cas avec les crises que nous vivons ».

​

Le directeur du Centre international du développement de l’intelligence artificielle (CIDIA) s’interrompit, consulta une masse de feuilles éparpillées sur la table de conférence, en dispersa plusieurs dans toutes les directions et certaines glissèrent lentement vers le sol, sous le regard étonné de la douzaine de personnes présentes à la réunion. La nervosité du directeur était tangible, ils en étaient tous mal à l’aise.

​

Une femme aux cheveux grisonnants, au visage amène et portant des lunettes à grosse monture bleue, s’avança et dit d’une voix fluette : « À votre avis, ces changements auxquels nous assistons sont dus au hasard ou bien sont-ils l’œuvre d’une personne ou d’un groupe mal intentionné? ».

​

Sans hésiter, le directeur du CIDIA se tourna vers elle :

​

« Peut-être qu’avant de répondre directement à votre question, il serait bon de résumer nos constatations suite aux événements dont il est question ici. Je reviendrai à votre question dans un instant car elle est d’ailleurs très à-propos ». Il se tourna vers le tableau est inscrivit un chiffre au fur et à mesure qu’il décrivait quatre conclusions : 

​

« Tout d’abord, nous avons constaté une hausse significative d’intrusions des systèmes IA partout à travers le monde, sans discrimination aucune quant à la taille ou la propriété de l’organisme : des multinationales et des PME, allant des É-U à l’Asie, des gouvernements, des institutions financières, des PME manufacturières des sociétés de services et j’en passe. Toutes sont d’origine inconnue, invasive et percutante. Elles ont toutes un point en commun, elles ne semblent pas avoir un objectif économique ou pécuniaire. Pas de chantage et pas de rançon. Ensuite, la grande majorité, laisse des traces étranges, polluant considérablement les banques de données qui supportent les algorithmes et les programmes de gestion. Certaines attaques, car nous les considérons comme telles actuellement, interviennent sur les codes mêmes de traitement des données au point que ceux-ci deviennent inopérants. Enfin, le quatrième facteur à retenir, c’est notre incompréhension totale de ce qui se passe, car non seulement il nous a été difficile de cerner le problème mais de plus, nous n’arrivons pas à lui trouver une explication rationnelle qui tienne la route. Nous avons éliminé toutes possibilités de malversations ou d’attaques ennemies et nous nous retrouvons devant une situation mystérieuse ».

​

Le directeur s’interrompit quelques longues secondes, laissant le temps aux personnes présentes de réaliser l’ampleur et la gravité de la situation. Il régnait dans la salle un silence chargé d’émotion et d’appréhension. Certaines se lançaient des regards perplexes, accompagnés de gestes interrogateurs, essayant tant bien que mal de saisir la portée des explications du directeur, des haussements d’épaules ou des gestes d’impuissance semblaient être la réponse commune. Le directeur reprit :

​

« Des bases de données médicales locales et internationales sont rendues désuètes. De même que les systèmes de gestion mondiale de logistique et de transport. Les institutions financières et économiques d’échange de données ont été polluées et rendues caduques. Je pourrais vous dresser une longue liste des systèmes rendus incapables de remplir leur fonction et qui affectent, par exemple, une usine de meuble au Punjab, une société pharmaceutique en Chine, une chaîne de supermarchés en Angleterre ou un réseau universitaire en Amérique du Sud. Toutes ces organisations ont vu leurs systèmes de gestion s’effondrer du jour au lendemain, et ces systèmes avaient tous une composante maitresse fondée sur l’IA. Avez-vous des questions avant que je ne revienne à la question de madame…. ». Le directeur laissa sa phrase en suspens, se pencha sur ses notes à la recherche du nom de celle qui avait posé la question tantôt, puis découragé, la regarda fixement d’un air interrogateur : « Madame…? »

​

« Veuillez m’excuser, je me présente : Dr Olga Verashkinine, directrice générale de l’Institut Russe des sciences informatiques ». Parmi les personnes, certains levèrent les yeux, curieux, alors que d’autres hochaient la tête un sourire entendu aux lèvres. Qui n’avait pas entendu parler d’Olga Verashkinine, la sommité en matière d’intelligence artificielle, auteure de plusieurs livres sur le sujet et conseillère privilégiée de chefs d’États et de présidents d’entreprises à travers le monde?

​

Le directeur esquissa un sourire avant d’ajouter :

​

« Votre présence ici, madame Verashkinine, nous honore et je vous souhaite la bienvenue. Vous m’avez demandé si ces attaques sont fortuites ou organisées par une force occulte. À notre humble avis, toutes ces attaques ne sont pas structurées et organisées de façon conventionnelle, de celles qu’on pourrait qualifier de forces ennemies. Aujourd’hui, comme vous le savez, les pays du monde entier collaborent au développement et à la gestion de l’IA, en vue de l’avancement et de l’épanouissement de l’ensemble de la race humaine, sans égard aux disparités économique, géographique, ethnique, religieuse ou autres. Voilà bientôt une douzaine d’années qu’une paix relative règne dans le monde, grâce essentiellement au partage et aux avancées notables de l’IA. Conclusion pratique : ni dans le contexte qui prévaut actuellement, ni dans la façon dont les attaques sont menées sur les systèmes de gestion et d’IA, peut-on déceler des intentions malveillantes d’un individu, d’un groupe ou même disons-le en clair, d’une nation ».

​

Dr Verashkinine le regarda perplexe et lui demanda : « Mais alors, si tout ceci n’est pas une action intentionnelle, comment l’expliquez-vous? Le fruit du hasard? ». La fin de la phrase fut dite sur un ton presqu’incrédule, laissant planer le doute, comme pour dire : « Mais voyons! Tout ceci l’œuvre du hasard! Pfftt! Jamais de la vie… ».

​

Du tac au tac, le directeur lui répondit : « Non, Dr Verashkinine, ce n’est pas un acte délibéré et ce n’est pas le fruit du hasard, non plus ». Il y eut un mouvement de recul dans la salle, toutes les personnes présentes dressèrent l’oreille, intriguées par la tournure de la réunion.

​

***

​

Cela faisait bien une heure et demie que le problème avait été exposé, décortiqué, analysé sous tous ses aspects. La réunion s’enlisait dans des palabres vaseuses, chacun essayant de démontrer ses capacités intellectuelles de résolution de problème mais il était clair que nous tournions en rond. J’écoutais avec une certaine lassitude les aspects techniques de la situation et des effets néfastes de l’IA sur notre monde. Pourtant, en tant qu’éthicien, j’avais soulevé à maintes reprises depuis une dizaine d’années les dérapages potentiels de l’IA. J’avais alerté la communauté scientifique des dangers potentiels de la « programmation automatique » et de l’« ingénierie logicielle automatique » qui consiste à s’appuyer sur des algorithmes complexes pour générer des codes pouvant être utilisés pour créer de nouveaux programmes, comme cela est le cas pour générer de nouvelles applications en intelligence artificielle. J’avais réussi quelques gains modestes qui avaient fait leur marque et qui avaient été adoptés par l’Agence internationale de surveillance de l’IA (AISIA), créée par les Nations-Unies en 2046. Cette année-là, des cyberpirates avaient pris en otage les systèmes de gestion nationale du Brésil, fondés sur l’IA. L’urgence planétaire que cette crise avait créée alors mena éventuellement à la mise sur pied de l’AISIA. Un de ses premiers mandats fut d’élaborer et de mettre en place des principes de développement, de contrôle et de gestion des programmes d’IA, entérinés par l’ensemble des membres des Nations-Unies, lors de la Conférence de Rome. J’avais alors proposé un document de travail qui fut rapidement étudié et adopté sous le nom de Protocole de Rome. Les membres de l’ONU reconnaissaient que tout système de gestion fondé sur l’IA devait obligatoirement se conformer à des principes clairement énoncés d’efficacité, de confidentialité, de sécurité, de protection des libertés individuelles et de développement durable. Jamais dans l’histoire de cette organisation, une telle déclaration n’avait recueilli l’unanimité de ses membres.

​

Face à l’impasse dans laquelle nous nous trouvions, il me semblait que le temps était venu pour moi d’intervenir. Ma position reconnue de parrain du Protocole de Rome me donnait une certaine dose de crédibilité face aux experts de l’informatique et de l’IA.

​

- Permettez-moi de poser une question qui me semble importante dans le contexte dans lequel nous nous trouvons. A-t-on pu évaluer si les algorithmes des systèmes défectueux sont conformes au Protocole de Rome? Et si non, dans quelle mesure sont-ils fautifs? 

​

Un lourd silence suivit mon intervention, des regards furtifs et des haussements d’épaules furent échangés par certains. C’est à ce moment que la porte de la salle de conférence s’ouvrit à grand bruit et l’adjoint du directeur annonça à bout de souffle :

​

- Mesdames et Messieurs, veuillez m’excuser d’interrompre votre réunion mais nous venons de recevoir une nouvelle d’une urgence extrême et qui a été confirmée par le Conseil de sécurité. Les Bourses de New-York, de Londres et de Shanghaï se sont effondrées à 11h37 précisément. Au même moment, les systèmes de logistique et de transport ferroviaire et maritime des ports de Rotterdam et de Singapour sont tombés en panne causant de nombreuses collisions. Nous apprenons que les aéroports d’Atlanta, de Tokyo et de Dubaï ont dû cesser toutes leurs opérations…

 

Désemparé, blanc comme neige, le directeur-adjoint tituba vers la sortie. La confusion était totale parmi les membres présents, chacun interrogeant son voisin ou son cellulaire, à la recherche d’une explication. En vain.

​

Dans l’embarras général, ma question  fut vite oubliée.

​

*** 

 

Les deux ans qui ont suivi ce jour funeste, que les médias ont surnommé le mercredi noir, furent marqués par une recherche internationale de la cause de ces crises. Qu’est-ce qui avait bien pu en être la cause ? Et, surtout, que faire pour éviter une récidive? Les services de renseignements du globe furent tous mis à contribution et, pour une fois, travaillèrent ensemble. 

​

Un nouveau comité ad-hoc du CIDIA avait été formé réunissant les mêmes douze personnalités. Par précaution, d’autres sommités, provenant de Silicon Valley et d’universités réputées, furent également invitées à élucider ce mystère.

​

Durant les longues séances de discussions, j’écoutais sans trop y croire les théories les plus étranges sur l’origine de ces virus qui avaient infesté les systèmes de gestion. Certains invoquaient des bris technologiques alors que les complotistes battaient la charge, mettant en doute le travail des services de renseignements et des laboratoires de recherche. Ils pointaient du doigt des groupes terroristes secrets, financés par des forces occultes cherchant à prendre contrôle de la planète. Les délégués des grandes puissances telles que la Chine, la Russie, les États-Unis, l’Inde et le Brésil, dénonçaient une telle hégémonie, les tensions du passé ayant été maintenant déployées vers des enjeux communs d’importance globale tels que le climat, la santé et la pauvreté.

​

C’est en relisant les procès-verbaux des réunions du CIDIA que certains indices me sont apparus et qui pourraient constituer une piste de solution. Je décidai donc de rassembler ces renseignements épars et de les soumettre à l’examen du comité.

​

***

​

Extraits de mes notes personnelles de la réunion de mars 2051 :

​

« M. Sidhart Jawarlah, délégué de l’Inde, nous informe que les problèmes engendrés par les crises successives d’il y a deux ans sont finalement en bonne voie de se résorber. Les coûts engendrés sont considérables et sont la cause d’une inflation planétaire. Il indique que chaque solution mise en place semble entrainer plusieurs autres sous-problèmes; le ou les virus se propageant à une vitesse exponentielle sous la forme de mutations inexplicables. L’efficacité est sérieusement compromise face à des coûts sans cesse croissants. En conclusion, il (qui?) pose une question cruciale mais qui reste en suspens : est-il prudent et nécessaire de poursuivre l’usage quasi-universel de l’intelligence artificielle?

​

Cette question restera en suspens pour deux raisons : d’abord, les grandes entreprises multinationales engagées dans le secteur de l’IA sont trop puissantes pour qu’un État puisse leur résister. Ensuite, il faut reconnaitre que l’usage quasi universel de l’IA rend pratiquement tous les systèmes de gestion étroitement imbriqués les uns aux autres. Les défaire comporte le risque d’une catastrophe qui causerait l’effondrement économique et social de toute la planète et potentiellement la disparition pure et simple de l’humanité.

​

C’est à M. Jawarlah que je posai donc ma question, la même d’il y a deux ans :

​

- Pensez-vous que le Protocole de Rome a été rigoureusement respecté lors du développement et de la mise en place des algorithmes et des systèmes de gestion de l’IA?

​

- Pouvez-vous élaborer votre question? À quoi voulez-vous en venir?

​

- Comme vous le savez, le Protocole de Rome définit clairement les principes fondamentaux de conception et de gestion des systèmes de l’IA, tels que l’efficacité, la sécurité, le respect des individus et autres. Or, il y a deux ans, nous avions eu une discussion autour de cette table à savoir si les virus qui ont affecté les systèmes sont dus aux gens qui y travaillent ou à un certain hasard, difficile à définir. J’aimerais savoir si, à votre avis, les virus détectés ont contourné les garde-fous prévus par le Protocole.

​

- D’après nos analyses, ces virus ont contourné les balises de protection prévues par le Protocole. Et j’ajouterai que nous ne trouvons pas d’explication à ce phénomène. 

​

Alors que je réfléchissais à la portée intrigante de cette réponse, Dr. Verashkinine prit la parole :

​

- J’aimerais revenir en arrière, si vous me le permettez. Dans les années ’20, lors des débuts de l’IA, nous avions fait de grands pas et en quelques années les systèmes dotés d’IA furent adoptés dans pratiquement tous les secteurs : manufacturier, santé, éducation, logistique, énergie, transport, finance, etc. Au bout d’une dizaine d’années, nos systèmes ont commencé à plafonner; on se retrouvait face à une situation de rendement décroissant, beaucoup d’énergie pour peu de gain marginal. Au fond, l'intelligence artificielle est la simulation des processus d'intelligence humaine par des machines, notamment des systèmes informatiques. Ces processus comprennent l'apprentissage, le raisonnement et l'utilisation des règles pour parvenir à des conclusions approximatives ou définitives ainsi que l'autocorrection. Les systèmes experts sont arrivés à un point d’inflexion et leur progression plafonnait. Souvenez-vous que lors de la Conférence de Rome, nous avions convenu d’introduire dans  les codes des paramètres assurant certaines combinaisons et permutations aléatoires. Nous voulions donner à la machine des possibilités très limitées d’apprendre et de créer de nouvelles pistes de solutions aux problèmes posés. 

 

- Vous faites référence, je suppose à la capacité des machines de procéder à des mutations?

 

- En effet, il est possible aux codes et aux algorithmes de se muter en de nouveaux programmes, surtout quand il s’agit de milliards de codes, comme c’est souvent le cas. Ce processus de transformation d’un code de façon aléatoire et presque minime reste très souvent indétectable. 

 

- La capacité de mutation que nous avions inscrite dans les programmes d’IA pouvait être intentionnelle ou pas. Je crois que nous avons concentré nos efforts sur les avantages, tels que l’innovation, l’efficacité et les économies. Les désavantages ont constitué notre angle mort. Et c’est sans doute là que réside notre problème. Le Protocole de Rome visait à restreindre et contrôler ces mutations.

 

- En effet, lui répondis-je, c’est d’ailleurs dans ce but premier que le Protocole de Rome a été adopté; il fallait restreindre et contrôler ces mutations aléatoires, afin qu’elles ne contreviennent pas à certains principes, comme la sécurité, par exemple.

 

- Ces balises étaient essentielles pour le développement efficace des machines, ajouta Dr. Verashkinine, car dans l’esprit de tous, elles devaient demeurer des machines.

 

- En tant qu’éthicien, m’empressai-je d’ajouter, il me semble que nous avons commis deux erreurs majeures. Premièrement, nous avons introduit le phénomène du hasard dans les processus d’apprentissage profond et de gestion de l’IA, sans en mesurer les conséquences possibles. Depuis deux ans, nous voilà confrontés au vieux débat entourant l’évolution et ce qui la guide: hasard ou destin?  Mais cette fois-ci cette question concerne la machine et non l’être humain. Deuxièmement, nous avons fixé des balises et établi des principes stipulés dans le Protocole de Rome. Cependant, encore là, nous avons programmé la machine pour qu’elle  procède par mutation sans lui donner la capacité de distinguer le bien du mal. Elle semble avoir évolué sans pensée morale. Et comme vous le savez, la morale évolue elle-même dans le temps. Actuellement, la machine nous produit et le bien et le mal, sans distinction aucune.  Les principes ne suffisent pas, aussi vertueux qu’ils puissent l’être. Dr. Verashkinine, il me semble que les problèmes causés depuis deux ans sont le fruit d’une machine qui fonctionne sans gouvernail moral. Pensez-vous que cela soit possible?

 

- Vous voulez dire que la mince marge de manœuvre que nous avions programmée pour créer, innover et élaborer de nouvelles solutions à des problèmes a été détournée par la machine pour produire des résultats pervers?

 

- C’est précisément ce que je constate dans les faits, dis-je.

 

- Écoutez, c’est dans le domaine du possible mais hautement improbable. La machine nous rend ce que nous lui donnons. Elle performe suivant les paramètres que nous lui fixons. Un point, c’est tout, dit Dr Verrashkinine sur un ton qui n’attendait pas de réponse.

 

- Je comprends bien, Docteur. Mais imaginez un peu la situation suivante. Vous emmagasinez dans la machine une information considérable composée de plusieurs milliards de codes et d’instructions. Or, parmi ceux-ci, vous insérez une minuscule petite tâche, quelques lettres et chiffres, autorisant la machine de faire certaines associations entre codes en vue d’innover dans la recherche de réponses à une question posée, mettons un enjeu de logistique ou de santé. Qu’arrive-t-il si cette recherche mène à des solutions qui s’avèrent néfastes à l’homme? Les crises que nous avons connues en sont une manifestation, vous ne trouvez pas?

​

Dr. Verashkinine prit une pause, déposa ses lunettes sur la table et consulta ses notes.

​

- En effet, ce genre de dérapage est imprévisible mais possible. 

 

- Il me semble que nous avons ici une situation qui répond à la question débattue par notre comité il y a deux ans. Nous nous posions la question à savoir si les crises que nous avons connues sont causées au hasard ou si elles étaient déterminées par le système. Nous avons maintenant la réponse : elles sont partiellement dues au hasard, mais un hasard programmé qui se voulait encadré. Nous faisons face à une situation qui ressemble étrangement à une mutation génétique; des agencements fortuits entre gênes qui résultent en une nouvelle forme de vie. Nous avions fixé des limites aux mutations, mais voilà que la machine a pris un chemin imprévu, malgré les règles strictes que nous lui avions imposées. Surtout, nous constatons aujourd’hui qu’il manque à la machine le socle moral qui est le propre de notre humanité.

​

Le silence qui suivit fut interrompu de façon intempestive. Le directeur-adjoint, pour une seconde fois, fit irruption dans la salle de conférence et lança à toute volée :

​

- Mesdames et messieurs, nous venons d’apprendre que des fusées balistiques à ogives nucléaires viennent de décoller simultanément de Chine, d’Iran, d’Israël, du Pakistan, de France et des États-Unis. Les premières bombes atteindront leurs cibles dans deux heures et trente-six minutes.

​

Je consigne mes notes dans mon ordi, espérant qu’un jour, un survivant pourra les consulter et en tirer les leçons qui s’imposent.  

​

La machine venait d’ouvrir la boîte de Pandore.

​

Note de l’auteur : Ce texte a été écrit avec l’aide de chatGPT de la firme OpenAI afin de vérifier et valider certains aspects technologiques. 

 

 

 

Guy Djandji

Janvier 2023