(conversation extraite d'échanges Whatsapp)
Un article intitulé "The impossibility of intelligence explosion" est très partagé ces jours-ci sur Twitter.
Si l'article est séduisant, son titre ne fait en réalité que rappeler une évidence, et sa conclusion est invalide.
Je m'explique.
Pour résumer son long article, l'auteur nous dit que l'intelligence d'un cerveau pris à part n'a pas de sens en soi, l'intelligence se conçoit plus largement en prenant en compte le cerveau bien sûr mais aussi le corps (qui permet la perception et l'action), les autres êtres vivants, la culture, etc. Il en veut pour exemple qu'un individu né avec le cerveau d'Einstein qui aurait grandi avec des loups ne manifesterait pas une très grande intelligence. En somme faire croître drastiquement l'intelligence d'une entité artificielle supposerait de faire croître parallèlement tout le reste, or on sent bien que ce serait impossible, certaines limites finiraient par se faire sentir, il prend un autre bon exemple : "you cannot increase the throughput of a factory line siply by speeding up the conveyor belt". Il explique que la science notamment, belle incarnation de l'intelligence collective humaine, progresse linéairement malgré une augmentation exponentielle des investissements. Il dit donc que même si on finit par mettre à jour une IA de niveau humain ou supérieure, celle-ci, du fait des contraintes de l'environnement, serait dans l'incapacité ensuite de doubler son "intelligence" de façon régulière.
- (1) Une explosion d'intelligence est donc impossible
- (2) La progression de l'IA se fera de façon linéaire, nul besoin de s'en inquiéter, elle ne pose pas de risque existentiel : "Civilization will develop AI, and just march on" "Recursive intelligence expansion is already happening — at the level of our civilization. It will keep happening in the age of AI, and it progresses at a roughly linear pace." "the first superhuman AI will just be another step on a visibly linear ladder of progress, that we started climbing long ago." En début d'article il établit le point de vue qui n'est pas le sien et qu'il veut ensuite infirmer "The basic premise is that, in the near future, a first “seed AI” will be created, with general problem-solving abilities slightly surpassing that of humans. This seed AI would start designing better AIs, initiating a recursive self-improvement loop that would immediately leave human intelligence in the dust, overtaking it by orders of magnitude in a short time. Superintelligence would thus imply near-omnipotence, and would pose an existential threat to humanity."
Avec (1) il enfonce en fait une porte ouverte. Pris dans un sens large, càd, pour coller à l'esprit de l'auteur, en tant que capacité pour une IA à doubler son intelligence à intervalle de temps régulier et indéfiniment, l'assertion est évidente. Il aurait pu plus simplement le démontrer en une phrase, en expliquant qu'au bout d'un certain nombre de doublements, il n'y a plus assez d'atomes dans l'univers observable pour procéder aux manipulations et stockage de bits.
(2) est invalide, car l'IA n'a pas besoin de connaître une "explosion d'intelligence" pour présenter un risque existentiel à l'Homme. Ni même d'avoir à "doubler" son intelligence disons que 10 fois pour y arriver. Il suffit qu'une IA devienne suffisamment plus intelligente que nous, quitte à ce que cela se fasse de façon linéaire, et que ses objectif ne soient pas alignés avec les nôtres, pour qu'elle présente un tel risque pour l'humanité. Même si une explosion exponentielle d'intelligence est impossible, une IA supérieure à l'Homme est un grand risque dont s'inquiéter et auquel réfléchir sans tarder.
Je vais revenir sur ses propos les plus "polémiques" pour étayer ma position.
Il dit :
[Intelligence is not a superpower; exceptional intelligence does not, on its own, confer you with proportionally exceptional power over your circumstances. However, it is a well-documented fact that intelligence — as measured by IQ, which is debatable — correlates with social attainment for slices of the spectrum that are close to the mean. A person with an IQ of 130 is statistically far more likely to succeed in navigating the problem of life than a person with an IQ of 70 — although this is never guaranteed at the individual level — but the correlation breaks down after a certain point. There is no evidence that a person with an IQ of 200 is in any way more likely to achieve a greater impact in their field than a person with an IQ of 130. A smart human raised in the jungle is but a hairless ape. Similarly, an AI with a superhuman brain, dropped into a human body in our modern world, would likely not develop greater capabilities than a smart contemporary human. If it could, then exceptionally high-IQ humans would already be displaying proportionally exceptional levels of personal attainment; they would achieve exceptional levels of control over their environment, and solve major outstanding problems— which they don’t in practice.]
== Je dis : le QI est un moyen arbitraire de mesurer l'intelligence. L'intelligence dans sa définition la plus souple, avec laquelle l'auteur semble d'accord du reste, est la capacité à contrôler et impacter son environnement. Le QI en est un indicateur très insuffisant. Pour simplifier, au niveau individuel, pour contrôler son environnement dans un monde déjà dominé par l'Homme il faut à la fois un grand QI MAIS aussi un grand QE (quotient émotionnel), les deux ensemble constituent un bien meilleur indicateur. Par QE on peut dire la capacité à emporter l'adhésion, voire manipuler, les humains. Cela se confond un peu avec le charisme. Quelqu'un avec de très hauts QI et QE, et un peu de chance et de travail, pourra aller très loin :
- gagner les élections présidentielles en France en étant inconnu 2 ans avant,
- sauver une entreprise de la mort et en faire la première capitalisation mondiale en redéfinissant le smartphone au passage,
- envoyer l'Homme sur Mars,
- ou encore faire passer son pays de pays pauvre à pays avancé et multiplier son PIB par 85 en une génération (je parle de Lee Kuan Yew, le fondateur du Singapour moderne ).
D'ailleurs LKY lui-même avait vite compris que choisir pour ministre les plus diplômés, ceux au plus fort QI, ne produisait pas les résultats escomptés. Il a ensuite puisé dans les méthodes de gestion des talents chez SHELL pour modeler la fonction publique singapourienne, un fort QI restant une condition nécessaire pour les plus hautes fonctions, mais pas suffisante, il faut aussi un haut QE.
__
Il dit [What would happen if we were to put a freshly-created human brain in the body of an octopus, and let in live at the bottom of the ocean? Would it even learn to use its eight-legged body? Would it survive past a few days? We cannot perform this experiment, but we do know that cognitive development in humans and animals is driven by hardcoded, innate dynamics. Human babies are born with an advanced set of reflex behaviors and innate learning templates that drive their early sensorimotor development, and that are fundamentally intertwined with the structure of the human sensorimotor space. A human baby brain properly grafted in an octopus body would most likely fail to adequately take control of its unique sensorimotor space, and would quickly die off. Not so smart now, Mr. Superior Brain.]
==Je dis : certaines expériences ont montré qu'en connectant un bras robot au cerveau d'un singe (je parle bien d'un bras en plus de ses 2 bras biologiques, pas à la place d'un bras manquant), le singe finissait par apprivoiser ce nouveau membre et l'utiliser de façon coordonnée avec les autres bras pour effectuer des tâches. Notre propre corps est limité par les contraintes de l'évolution, notre cerveau peut gérer bien plus que ce dont la nature nous a doté. Si ce n'était pas le cas, certains ne pourraient pas faire virevolter un drone ds les 3 dimensions par ex...
___
Il dit [Arguably, the usefulness of software has been improving at a measurably linear pace. Our computers are only incrementally more useful to us than they were in 2012, or 2002, or 1992. ]
== il faudrait définir "l'utilité", mais il est clair que les progrès du hardware puis du software qui l'exploite nous permettent de faire toujours plus, avec dans certains domaines des progrès exponentiels, même s'ils ne sont pas durables, par exemple justement des IA qui reconnaissent des formes dans les vidéos, pourront nous reproduire à l'écran en temps réel, trouver des molécules intéressantes parmi toutes les molécules possibles (et c'est compliqué, The number of possible organic compounds with “drug-like” properties dwarfs the number of stars in the universe by over 30 orders of magnitude.), faire toujours plus sens des images toujours pus riches qu'on va recevoir de nos télescopes, etc.
______
Il dit [Medical science has been making linear progress on essentially all of its metrics, for decades.]
== hum, citons notamment : The first human genome took $2.7 billion and almost 15 years to complete, was finished in 2003. Now genome sequencing and analysis cost around $1,400 and takes 1 day.
En fait, ce que l'auteur ne prend pas en considération, c'est qu'un humain aujourd'hui, même avec un super QI et tant qu'on y est, un super QE, reste limité : il ne peut pas se démultiplier comme une IA pourra le faire pour parler à plusieurs personnes séparément en même temps. Et même avec un super QI, un homme ne peut pas générer un film original de qualité en une seconde, ce qui sera très vraisemblablement à la portée d'une IA avant la fin du siècle. C'est un exemple parmi plein d'autres.
Une IA plus intelligente que tous les Hommes, ou un groupe de gens qui contrôleraient une IA plus intelligente que l'Homme dans bcp de domaines, représentent un danger existentiel pour l'espèce humaine.
Le plus urgent des défi, bien avant le changement climatique, est le sujet des armes autonomes. Une course folle est engagée, Russie et Chine y vont à fond.
Pour finir, pour se donner une idée de ce qu'une IA plus intelligente peut faire au sens de plus capable que l'Homme sur toutes les problématiques humaines (pour coller à la nécessité pointée par l'auteur de restreindre l'intelligence à un domaine, ici celui des Hommes), sans même supposer une véritable explosion, je vous invite à lire cet article qui n'est autre que le premier chapitre du livre de Max Tegmark, scientifique au MIT, c'est le meilleur livre sur l'IA depuis Superintelligence de Nick Bostrom.
Je me permets de repartager les liens vers mes propres messages que j'avais sauvegardés dans des articles de blog :
Faut-il craindre l'Intelligence Artificielle ? En deux parties 1 et 2
Et lien vers toutes mes publications sur ce blog