Revenir au site

Débat sur les armes autonomes : la liste de tous les arguments pour et contre

Depuis plusieurs années un débat fait rage dans les milieux de l'IA et de l'armement : que penser des armes autonomes ?
Celles-ci constitueraient la 3ème grande révolution de l'art de la guerre, après le développement des armes à feu qui ont permis aux rois de renforcer leur pouvoir sur les seigneurs locaux en détruisant leurs châteaux et par ailleurs de mettre un terme à la menace nomade venue des steppes asiatiques, puis la mise au point de l'arme atomique qui a signé la fin de la seconde guerre mondiale dans le Pacifique comme chacun sait et nous a offert un équilibre de la terreur depuis.
Plusieurs questions se posent cependant sur ces armes d'un nouveau genre :
  • Qu'est-ce qu'une arme autonome ?
  • Faut-il les interdire ? Pourquoi ?
  • Et si oui, est-ce même possible ?
Qu'est-ce qu'une arme autonome ?
Ce mot est devenu un fourre-tout, difficile de s'y retrouver. Les avocats de leur interdiction désignent les systèmes qui sont à la fois :
i. capables de tuer ;
ii. offensifs, c'est-à-dire capables d'attaquer, et non simplement de se défendre ;
iii. autonomes, au sens de capables de se mettre en recherche d'une cible, jusqu'à l'identifier puis la neutraliser, le tout sans intervention humaine, en manifestant donc un certain degré d'autonomie, une certaine intelligence, en recourant à des algos d'IA
Mais on voit bien que la définition est compliquée, Yann Le Cun explique par exemple qu'une mine antipersonnel est bien une arme autonome, mais tout ce qu'il y a de plus stupide, elle tue sans discernement celle ou celui qui marche dessus.
On trouve aussi des missiles et torpilles à tête chercheuse, capables de poursuivre leur cible en autonomie. Certains systèmes de ce genre remontent à la seconde guerre mondiale ! La caractère autonome n'est pas vraiment nouveau et demande à être précisé.
Cela n'est jamais vraiment explicité non plus, mais le concept suppose aussi une forme d'incarnation matérielle, on ne parle pas là juste d'une IA, mais bien d'un matériel, un robot, un équipement avec ses munitions et son énergie, une combinaison de ces éléments, qui bien sûr fonctionne aussi grâce des algos. Une telle arme peut donc prendre la forme d'un drone volant, un drone sous-marin, un tank, un véhicule, un insecte robot, tout est possible, en forme et en taille, utilisant des projectiles, des ondes, des bombes en tout genre.
Un exemple crédible de robot tueur est celui du microdrone capable en autonomie d'identifier sa cible dans une foule, de fondre sur elle et de s'y agripper avant de faire détoner sa charge explosive. Ce concept a été popularisé dans la vidéo "Slaughterbots" conçue par les avocats de l'interdiction des armes autonomes, ci-dessous :

Comme a dit Elon Musk en novembre 2018 :"You could make a swarm of assassin drones for very little money. By just taking the face ID chip that's used in cellphones, and having a small explosive charge and a standard drone, and just have it do a grid sweep of the building until they find the person they're looking for, ram into them and explode. You could do that right now. ... No new technology is needed."

Pour reformuler on pourrait dire que le débat concerne "les machines intelligentes destinées à tuer proactivement sans intervention humaine"

Cette définition reste toutefois contestable et vague, car qu'est-ce que l'intelligence ? La frontière n'est-elle pas ténue entre être capable de se défendre et attaquer ? Quand considère-t-on qu'il y a intervention humaine ? Si j'allume une robot tueur le matin qui part ensuite en autonomie exterminer des cibles toute la journée, est-ce qu'il y a eu une intervention humaine ? Auquel cas on n'aurait pas affaire à une arme autonome ? On aurait pourtant envie de dire que si.
Avançons néanmoins dans notre compréhension du débat avec cette définition approximative en tête.
Faut-il interdire les "les machines intelligentes destinées à tuer proactivement sans intervention humaine" ?
Voici la liste des arguments pour et contre les plus pertinents que j'ai pu trouver en lisant nombre d'articles sur le sujet :

Pour l'interdiction :

  • Sans interdiction, ces armes finiront tôt ou tard par être produites en quantité industrielle. Certaines d'entre elles, telles les microdrones tueurs de la vidéo plus haut, seront bien plus compactes, bien moins chères et bien plus simples à utiliser que des kalachnikovs, si bien qu'elles finiraient nécessairement par arriver d'une façon ou d'une autre, en grande quantité, dans les mains d'entités malfaisantes, qui seront en mesure de lancer des attaques meurtrières et surprises de grande ampleur. C'est à ce titre qu'elles constituent des armes de destruction massive et doivent être interdites.
  • Les armes autonomes, et notamment les microdrones tueurs, parce qu'ils peuvent être déployés en masse par un très petit groupe de personnes, donnent lieu au casse-tête de l'imputabilité, on prendrait le risque d'assister à des massacres de grande ampleur sans qu'on puisse savoir clairement qui est derrière, ce qui peut ensuite aussi servir de prétexte à des représailles contre des ennemis bien pratiques mais innocents (on se souvient de l'invasion de l'Iraq par les Etats-Unis après le 11 Septembre). On imagine déjà les opérations sous faux drapeau en tout genre menées pour déstabiliser une région, un pays, ou provoquer une guerre entre deux grandes puissances par un tiers tapi dans l'ombre. Il faudrait donc absolument éviter de développer des armes capables de destruction massive et dont l'usage serait difficilement imputable. Et même sans aller jusqu'aux tueries de masse, ces armes permettraient comme jamais les assassinats ciblés intraçables. Rappelons que c'est un assassinat qui a déclenché la Première Guerre Mondiale.
    • Objection : le problème de la difficile imputabilité n'est toutefois pas du même ordre que pour la cyberguerre, il faudra tout de même qu'un petit groupe de personnes a minima passent à l'action pour déclencher une attaque, et on voit bien que les services de renseignement arrivent le plus souvent à remonter les filières, même si ils peuvent, c'est vrai, en profiter pour désigner au passage d'autres coupables. Le problème reste donc ici margninal à côté de celui bien plus large de la cyberguerre.
  • En permettant de tuer et détruire de façon ultra sélective et sans avoir à engager de troupes, ces armes pourraient paradoxalement abaisser le seuil à atteindre pour que se déclenche une guerre. Si un pays n'a plus à payer le prix du sang pour aller intervenir sur un théatre d'opération, peut-être qu'il hésitera moins à le faire, ce qui pourrait causer plus de guerres qu'avant. On peut citer ici Yuval Noah Harari : "If the USA had had killer robots in the Vietnam War, the My Lai massacre might have been prevented, but the war itself could have dragged on for many more years, because the American government would have had fewer worries about demoralised soldiers, massive anti-war demonstrations, or a movement of ‘veteran robots against the war’ (some American citizens might still have objected to the war, but without the fear of being drafted themselves, the memory of personally committing atrocities, or the painful loss of a dear relative, the protesters would probably have been both less numerous and less committed)."
    • Objection : le coût en vies humaines serait peut-être moindre pour la puissance qui attaque avec ses armes autonomes, mais si en face les victimes humaines devaient être trop nombreuses, et c'est bien ce que craignent les avocats de l'interdiction, il y a aussi fort à parier que dans un monde globalisé cela se saurait très vite et qu'on aurait les images pour le voir, ce qui ne manquerait pas d'émouvoir la communauté internationale et de faire culpabiliser les opinions publiques, celle du pays agresseur, ou du moins celle des autres pays. On peut donc sans doute relativiser cette motivation. On peut citer ici Yann Le Cun : "Les guerres modernes sont sensibles à l'opinion publique et le caractère meurtrier d'une guerre la rend, au minimum, suspecte. ce sont les opinions publiques intérieures et internationales qui ont poussé les Etats-Unis à se désengager du Vietnam. Militairement ils étaient supérieurs, mais l'accumulation de victime s'est retournée contre eux."
  • Les armes autonomes, car elles seront bourrées d'électronique embarqué et ultra connectées, seront vulnérables au piratage informatique. Si une puissance hostile pouvait prendre le contrôle de telles armes et les retourner contre leurs propriétaires intitiaux ou autres cibles, les conséquences pourraient être dramatiques.
    • Objection : ce problème concerne en fait plus largement tous les engins téléguidés avec beaucoup d'électronique, pas seulement les armes autonomes, et comme il n'est pas question d'interdire ces armes et équipements militaires téléguidés, ajouter à cela les armes autonomes ne change pas grand chose à cette menace bien réelle. Certains disent d'ailleurs que les voitures autonomes constitueront demain la menace majeure à la sécurité avant les armes autonomes: vu qu'elles seront très nombreuses et évolueront à proximité de civils dans les villes, un piratage généralisé qui les transformeraient en voitures béliers serait des plus dévastateurs.
  • Interdire ces armes ne réglera pas tous les problèmes, mais il vaut mieux une interdiction imparfaitement respectée que pas d'interdiction du tout. L'encadrement de la prolifération nucléaire, l'interdiction des armes bactériologiques et chimiques, des mines antipersonnel et des lasers aveuglants sont des exemples révélateurs: ce n'est pas parfait, mais on se porte sans doute bien mieux avec que sans ces interdictions. Comme dit Yoshua Bengio, un des pères fondateurs du Deep Learning : "I think we need to make it immoral to have killer robots. We need to change the culture, and that includes changing laws and treaties. That can go a long way. Of course, you’ll never completely prevent it, and people say, “Some rogue country will develop these things.” My answer is that one, we want to make them feel guilty for doing it"
    • Objection : le cas du nucléaire est à part compte tenu de la difficulté de le développer couplée à son caractère destructeur absolu, c'est ce qui a amené à un certain équilibre du fait du risque de Destruction Mutuelle Assurée. Pour les autres interdictions, elles tiendraient car le ratio [(efficacité)/(stigmate associé à leur usage)] est jugé trop faible par les militaires : elles ne sont pas assez efficaces, moins efficaces qu'anticipées au départ en tout cas, pour justifier leur usage au vu de l'horreur qu'elles inspirent. Mais les armes autonomes constituent un tout autre enjeu : on voudrait demander aux nations d'y renoncer alors qu'on mesure encore mal leur potentielle efficacité et qu'on la soupçonne immense, c'est trop leur demander. Surtout quand le coût de production, une fois la conception terminée, est jugé modeste. Dans le même esprit, les tentatives d'interdiction des sous-marins et des missiles lancés par avion ont échoué lamentablement au XXème siècle par exemple ! Il paraît impensable que des nations puissent renoncer à développer de telles armes si toutes ne devaient pas s'associer à l'entreprise. Et à ce titre, les discussions à l'ONU sont bloquées pour l'instant, entre autres par les Etats-Unis et la Russie. C'est sans doute pour ces raisons que le Royaume-Uni semble avoir changé de position entre septembre 2017 (UK bans fully autonomous weapons after Elon Musk letter) et novembre 2018 (Britain funds research into drones that decide who they kill, says report). Enfin, quand bien même tout le monde se mettrait d'accord pour interdire les armes autonomes, faudrait-il pour autant croire la Chine sur parole, entre autres ? Xi Jinping avait promis à Barack Obama en 2015 de ne jamais militariser les petits îlots de la Mer de Chine, promesse trahie ensuite comme on sait. Qui peut croire que la Chine laisserait des inspecteurs aller fouiller des installations sur son territoire ? La technologie est jugée très prometteuse, et pas si chère à industrialiser, avec beaucoup des briques nécessaires à la conception disponibles dans le domaine public, on imagine mal que personne ne trichera jamais ! Pourquoi prendre le risque d'être le dindon de la farce en respectant un accord que d'autres pourraient violer facilement ?

Contre l'interdiction

  • Il y a de fortes raisons de penser que les armes autonomes rendront les conflits moins sanglants.
    • Des armes plus obéissantes et compétentes : en effet, les armes autonomes sont en fait plus fiables que les humains car elles ne font que ce qu'on leur dit (pour encore longtemps , en laissant de côté les bugs) et le font mieux. Les humains, victimes de leurs émotions voire de leur perversité et sadisme, n'obéissent pas toujours, et quand ils font ce qu'on leur demande, ils ne sont pas aussi compétents que certaines machines qu'on peut doter d'aptitudes surhumaines: plus endurantes et rapides, visant mieux, etc. Les armes autonomes permettront de cibler chirurgicalement comme jamais les ennemis à abattre et les infrastructures à détruire, en laissant le reste indemne. Citons ici à nouveau Y. N. Harari : "On 16 March 1968 a company of American soldiers went berserk in the South Vietnamese village of My Lai, and massacred about 400 civilians. This war crime resulted from the local initiative of men who had been involved in jungle guerrilla warfare for several months. It did not serve any strategic purpose, and contravened both the legal code and the military policy of the USA. It was the fault of human emotions. If the USA had deployed killer robots in Vietnam, the massacre of My Lai would never have occurred."
    • Moindre violence car moindre besoin de se préserver : une bonne partie de la violence des conflits vient du besoin pour les soldats de se protéger, de prendre le moins de risques pour leur vie. Cela amène les troupes engagées sur le front, dans le doute, à faire usage de leurs armes pour neutraliser l'adversaire, dans la logique "on tire d'abord et on voit ce qu'il se passe". Les armes autonomes pourront être programmées pour être plus attentives, plus réactives que proactives dans l'usage du feu, car les perdre sera plus acceptable que de sacrifier des vies humaines. Rodney Brooks, ancien directeur du MIT Computer Science and Artificial Intelligence Laboratory et fondateur de iRobot explique : "It always seemed to me that a robot could afford to shoot second. A 19-year-old kid just out of high school in a foreign country in the dark of night with guns going off around them can’t afford to shoot second."
  • Une interdiction est vaine, car des agents malfaisants pourront toujours assembler des outils et matériels existants autorisés et/ou déjà disponibles sur le marché noir, pour créer eux-mêmes de armes autonomes tueuses. Par exemple en associant un drone civil, une charge explosive/une arme à feu, et un logiciel de reconnaisance facial.
    • Objection : oui c'est possible, mais contourner l'interdiction de la production industrielle d'armes autonomes tueuses en recourant au bricolage ne permettra pas de produire ces armes en quantité suffisante, on éviterait donc ainsi qu'elles deviennent des armes de destruction massive. Comme dit Stuart Russel, un expert en intelligence artificiel (co-auteur du manuel sur l'IA de référence dans les universités et un des instigateurs de l'appel à l'interdiction : "It could be that under a treaty, there would be a verification mechanism that would require the cooperation of drone manufacturers and the people who make chips for self-driving cars and so on, so that anyone ordering large quantities would be noticed—in the same way that anyone ordering large quantities of precursor chemicals for chemical weapons is not going to get away with it because the corporation is required, by the chemical weapons treaty, to know its customer and to report any unusual attempts that are made to purchase large quantities of certain dangerous products. I think it will be possible to have a fairly effective regime that could prevent very large diversions of civilian technology to create autonomous weapons. (...) In small numbers, though, autonomous weapons don’t have a huge advantage over a piloted weapon. If you’re going to launch an attack with ten or twenty weapons, you might as well pilot them because you can probably find ten or twenty people to do that."
  • Une interdiction n'est pas utile, car des moyens de défense apparaîtront en réponse aux armes autonomes. Pour les drones par exemple, les chercheurs s'affairent à perfectionner comment brouiller les signaux qu'ils reçoivent afin de les désorienter, comment griller leur électronique à distance avec des ondes, comment en prendre le contrôle en les piratant, comment les capturer ou les stopper avec des filets par exemple, comment les détruire avec des lasers ou des projectiles. Bref, les idées ne manquent pas, "la nécessité est la mère de l'invention" comme on dit.
    • Objection : le problème des microdrones tueurs est bien plus coriace qu'il n'y paraît. La conclusion d'un exercice mené en 2017 par le Pentagone pour mesurer différents moyens de défense, et qui couronne 15 ans de recherche sur le sujet, est inquiétante : "résultats résolument mitigés", "le casse-tête de contre-terrorisme le plus épineux", "la plupart des technologies testées sont encore immatures". Il est tout à fait possible que ces microdrones continuent de garder une longueur d'avance sur les moyens défensifs, sachant que le besoin sera de se protéger partout, tout le temps. Il suffira d'une faille pour permettre un massacre. Il faut aussi voir que le tout n'est pas de trouver un moyen de neutraliser ces microdrones, mais de le faire d'une façon plus économique que ce qu'il en coûte de les produire, sinon c'est la défaite assurée à l'usure : neutraliser un drone à 1000$ avec un missile à 1 million de $ n'a pas de sens !
  • Une interdiction est vaine, elle n'est pas possible car les termes sont trop vagues et seront trop aisément contournés, il sera impossible de la mettre en application. Elle pourra tenir en temps de paix, c'est-à-dire quand elle n'est pas nécessaire, mais volerait en éclat dès le début des hostilités. Par exemple :
    • Si on n'interdit que les armes autonomes offensives : Yoshua Bengio pense que "there’s nothing to stop us from building defensive technology. There’s a big difference between defensive weapons that will kill off drones, and offensive weapons that are targeting humans. Both can use AI." Les armes autonomes défensives seraient autorisées, admettons, mais la diférence est-elle vraiment marquée ? Le hardware, l'équipement matériel dans les deux cas pourrait être le même, et la seule différence se faire au niveau software, quelques lignes de code pour schématiser. Une arme autonome défensive pourra ainsi être reprogrammée très facilement et rapidement pour partir à l'attaque. Idem pour les drones autonomes à seule fin affichée de reconnaissance et ne disposant pas d'armement embarqué : vu qu'ils ne sont pas pilotés par des humains, et peuvent coûter très peu cher à l'unité, ils peuvent aussi être reprogrammés pour se transformer en kamikazes et se jeter sur une cible. Ainsi début 2017, l'armée de l'air américaine annonçait avoir testé avec succès le déploiement d'une centaine de microdrones depuis un avion de chasse en vol. "Ces drones ne sont pas préprogrammés individuellement, ils forment un organisme collectif piloté par un cerveau artificiel partagé leur permettant d'adapter leur vol les uns aux autres comme un banc de poisson". Ces drones sont soi-disant développés à des fins de reconnaissance, mais on voit mal alors le besoin de les faire voler en formation serrée, l'usage offensif potentiel est à peine voilé.
    • Si on interdit les armes autonomes ne ciblant que les ennemis en uniforme ou que d'autres robots : idem, les armes peuvent être reprogrammées sans problème pour cibler les civils
    • Si on n'interdit que les armes complètement autonomes ne nécessitant aucune intervention humaine : on pourra très bien développer des armes semi-autonomes (cela existe déjà) qui supposent toujours qu'un humain valide une décision de tuer ou de frapper, "histoire de" comme on dit, mais elles pourront aussi être reprogrammées aisément pour faire sans, comment l'empêcher ?

Au vu de ce qui précède, il semble que l'essor des armes autonomes tueuses est inéluctable. Qu'en pensez-vous ? Voyez-vous d'autres arguments pour ou contre ? Dites-le moi sur twitter.

Enfin, précisons que tandis qu'on se focalise sur cette menace, on en perd de vue une autre bien plus imminente : la cyberguerre dopée à l'IA. Le département de la sécurité intérieure des Etats-Unis a reconnu cet été qu'une cyberattaque en provenance de Russie aurait pu conduire à la prise de contrôle d'une partie de son réseau électrique (They got to the point where they could have thrown switches” to disrupt the flow of electricity to the grid, Jonathan Homer, DHS’s chief of industrial-control-system analysis, told The WSJ). On craint que ces tentatives puissent être amplifiées en fréquence et intensité grâce à l'IA. Un cyber ouragan nous menace, explique un ancien resonsable de la stratégie d'Airbus. L'Institut Montaigne vient d'ailleurs de publier le rapport Cybermenace : avis de tempête. On ne parle pas non plus des dégâts sur nos sociétés permis par l'amplification via l'IA des moyens de désinformation grâce aux fausses images, vidéos et audios générés à l'envi, et autres appels en masse par des robots à la voix délicieusement humaine...

Pour être prévenu(e) une fois par mois de mes prochains articles sur l'IA, le progrès technique et leur impact sur nos sociétés, vous pouvez vous inscrire ici ou laisser votre adresse dans le champ tout en bas

Vous pouvez aussi me suivre sur Twitter en cliquant ici, je m'efforce d'y partager des infos qui se suffisent à elle-même, chaque tweet pourra vous faire découvrir une info intéressante avec rarement le besoin d'aller ouvrir des liens, sans blabla inutile, juste des "interesting facts", souvent chiffrés, et dont prendre connaissance à même twitter !