La superintelligence n’est pas l’omniscience – les impacts de l’IA

Jeffrey Heninger et Aysja Johnson, 7 avril 2023

Le pouvoir de l’intelligence

On suppose souvent implicitement que le pouvoir d’une superintelligence sera pratiquement illimité. Il semble qu’il puisse y avoir une «salle de tête ample» au-dessus des humains, c’est-à-dire qu’une superintelligence sera en mesure de nous surpasser largement dans pratiquement tous les domaines.

Par «superintelligence», je veux dire quelque chose qui a une capacité cognitive arbitrairement élevée, ou une quantité arbitrairement importante de calcul, de mémoire, de bande passante, etc., mais qui est liée par les lois physiques de notre univers. Il existe d’autres notions de «superintelligence» qui sont plus faibles que cela. Les limites des capacités de cette superintelligence s’appliqueraient également à tout ce qui est moins intelligent.

Il y a quelques raisons de croire cette hypothèse. D’une part, il semble un peu suspect de supposer que les humains ont près de l’intelligence maximale possible. Deuxièmement, les systèmes d’IA nous surpassent déjà dans certaines tâches, alors pourquoi ne pas soupçonner qu’ils pourront nous surpasser dans presque tous? Enfin, il existe une notion plus fondamentale sur la prévisibilité du monde, décrite le plus célèbre par Laplace en 1814:

Donné pour un instant une intelligence qui pourrait comprendre toutes les forces par lesquelles la nature est animée et la situation respective des êtres qui le composent – une intelligence suffisamment vaste pour soumettre ces données à l’analyse – elle embrasserait dans la même formule les mouvements des plus grands corps de l’univers et ceux de l’atome le plus léger; Pour cela, rien ne serait incertain et l’avenir, comme le passé, serait présent dans ses yeux.

Nous sommes très loin d’être complètement compréhensifs et de pouvoir manipuler, tout ce qui nous intéresse. Mais si le monde est aussi prévisible que Laplace le suggère, alors nous devons nous attendre à ce qu’un agent suffisamment intelligent soit en mesure de profiter de cette régularité et de l’utiliser pour exceller dans n’importe quel domaine.

Cette enquête remet en question cette hypothèse. Est-il réellement le cas qu’une superintelligence a une intelligence pratiquement illimitée, ou y a-t-il des «plafonds» sur de quoi les renseignements sont-ils capables? Pour préfigurer un peu, il y a des plafonds dans certains domaines qui nous soucions, par exemple, dans les prédictions sur le comportement du cerveau humain. Même la capacité cognitive illimitée n’implique pas une compétence illimitée lors de l’interaction avec le monde. Pour cette enquête, je me concentre sur les compétences cognitives, en particulier la prévision de l’avenir. Cela ressemble à un domaine où une superintelligence aurait un avantage inhabituellement important (par rapport aux compétences par exemple nécessitant une dextérité), donc les restrictions sur ses compétences ici sont plus surprenantes.

Il y a deux façons pour qu’il n’y ait qu’une petite quantité de marge au-dessus de l’intelligence humaine. La première est que la tâche est si facile que les humains peuvent le faire presque parfaitement, comme jouer au tic-tac-toe. La seconde est que la tâche est si difficile qu’il y a un «plafond bas»: même une superintelligence est incapable d’être très bonne dans ce domaine. Cette enquête se concentre sur la seconde.

Il y a sans aucun doute de nombreuses tâches où il y a encore une ampleur de hauteur au-dessus des humains. Mais il y a aussi quelques tâches pour lesquelles nous pouvons prouver qu’il y a un plafond bas. Ces tâches fournissent certaines limites à ce qui est possible, même avec une intelligence arbitrairement élevée.

Théorie du chaos

Le principal outil utilisé dans cette enquête est la théorie du chaos. Les systèmes chaotiques sont des choses pour lesquelles l’incertitude se développe de façon exponentielle dans le temps. La plupart des informations mesurées initialement sont perdues après un délai fini, donc des prédictions fiables sur son comportement futur sont impossibles.

Un exemple classique de chaos est le temps. Le temps est assez prévisible pendant quelques jours. De grandes simulations de l’atmosphère se sont toujours améliorées pour ces prédictions de courte durée.

Après environ 10 jours, ces simulations deviennent inutiles. Les prédictions des simulations sont pires que de deviner ce que le temps pourrait utiliser des données climatiques historiques à partir de cet endroit.

La théorie du chaos fournit une réponse à Laplace. Même s’il était possible de prédire exactement l’avenir étant donné les conditions initiales exactes et les équations de mouvement, le chaos rend impossible de prédire approximativement l’avenir en utilisant des conditions initiales approximatives et des équations de mouvement. Des prédictions fiables ne peuvent être faites que pendant une courte période, mais pas une fois que l’incertitude est devenue suffisamment grande.

Il y a toujours une petite incertitude. Normalement, nous ne nous soucions pas: les approximations sont assez bonnes. Mais quand il y a du chaos, les petites incertitudes sont importantes. Il existe de nombreuses façons dont de petites incertitudes peuvent survenir: chaque dispositif de mesure a une précision finie. Chaque théorie ne doit faire confiance que dans les régimes où il a été testé. Chaque algorithme pour évaluer la solution a une erreur numérique. Il y a des forces externes que vous ne considérez pas que le système n’est pas entièrement isolé. À des échelles suffisamment petites, le bruit thermique et les effets quantiques fournissent leurs propres incertitudes. Une partie de cette incertitude pourrait être réduite, ce qui permet de faire des prédictions fiables pour un peu plus longtemps. D’autres sources de cette incertitude ne peuvent pas être réduites. Une fois que ces incertitudes microscopiques ont atteint une échelle macroscopique, le mouvement du chaos est intrinsèquement imprévisible.

L’élimination complètement de l’incertitude nécessiterait de faire des mesures avec une précision parfaite, ce qui ne semble pas possible dans notre univers. Nous pouvons prouver que les sources fondamentales d’incertitude rendent impossible de connaître les choses importantes sur l’avenir, même avec une intelligence arbitrairement élevée. L’incertitude à l’échelle atomique, qui est garantie pour exister par le principe de l’incertitude de Heisenberg, peut rendre le mouvement macroscopique imprévisible dans un temps étonnamment court. La superintelligence n’est pas l’omniscience.

La théorie du chaos nous permet ainsi de montrer rigoureusement qu’il y a des plafonds sur certaines capacités particulières. Si nous pouvons prouver qu’un système est chaotique, nous pouvons conclure que le système offre des rendements décroissants à l’intelligence. La plupart des prédictions de l’avenir d’un système chaotique sont impossibles à faire de manière fiable. Sans la capacité de faire de meilleures prédictions et de planifier sur la base de ces prédictions, l’intelligence devient beaucoup moins utile.

Cela ne signifie pas que l’intelligence devient inutile, ou qu’il n’y a rien dans le chaos qui peut être prédit de manière fiable.

Pour les systèmes chaotiques relativement simples, même lorsque ce qui en particulier se produira est imprévisible, il est possible de prédire de manière fiable les statistiques du mouvement. Nous avons appris des moyens sophistiqués de prédire les statistiques du mouvement chaotique, et une superintelligence pourrait être meilleure que nous. Il est également relativement facile à échantillonner à partir de cette distribution pour imiter le comportement qui est qualitativement similaire au mouvement du système chaotique d’origine.

Mais le chaos peut également être plus compliqué que cela. Le chaos pourrait être non stationnaire, ce qui signifie que la distribution statistique et la description qualitative du mouvement elles-mêmes changent de manière imprévisible dans le temps. Le chaos peut être multisable, ce qui signifie qu’il peut faire des choses statistiquement et qualitativement différentes en fonction de la façon dont elle commence. Dans ces cas, il est également impossible de prédire de manière fiable les statistiques du mouvement ou d’imiter un exemple typique d’une distribution qui change elle-même de manière chaotique. Même dans ces cas, il y a parfois encore des modèles dans le chaos qui permettent de faire quelques prédictions, comme les spectres d’énergie des liquides. Ces modèles sont difficiles à trouver, et il est possible qu’une superintelligence puisse trouver des modèles que nous avons manqués. Mais il n’est pas possible pour la superingence de récupérer la grande quantité d’informations rendues imprévisibles par le chaos.

Cette enquête

Ce billet de blog est l’introduction d’une enquête qui explore ces points plus en détail. Je vais décrire ce qu’est le chaos, comment l’humanité a appris à faire face au chaos et où le chaos apparaît dans les choses qui nous intéressent – y compris dans le cerveau humain lui-même. Les liens vers les autres pages, les articles de blog et le rapport qui constituent cette enquête peuvent être trouvés ci-dessous.

La plupart des systèmes dont nous nous soucions sont considérablement plus désordonnés que les exemples simples que nous utilisons pour expliquer le chaos. Il est plus difficile de prouver les affirmations sur l’imprévisibilité inhérente de ces systèmes, bien qu’il soit toujours possible de faire des arguments sur la façon dont le chaos les affecte.

Par exemple, je vais montrer que les neurones individuels, les petits réseaux de neurones et in vivo Les neurones dans les organes sensés peuvent se comporter de manière chaotique. Chacun d’eux peut également se comporter de manière non chaotique dans d’autres circonstances. Mais nous sommes plus intéressés par le cerveau humain dans son ensemble. Le cerveau est-il principalement chaotique ou principalement non chaotique? Le chaos dans le cerveau amplifie-t-il l’incertitude de l’échelle atomique au macroscopique, ou la chaîne d’amplification de l’incertitude est-elle brisée à une méso-échelle non chaotique? Comment le chaos dans le cerveau a-t-il un impact réellement sur le comportement humain? Y a-t-il des choses que les cerveaux font pour quel chaos est essentiel?

Ce sont des questions difficiles à répondre, et elles sont, au moins en partie, actuellement non résolues. Ils valent la peine d’être étudiés néanmoins. Par exemple, il me semble probable que le chaos dans le cerveau rende certains aspects importants du comportement humain intrinsèquement imprévisibles et plausibles que l’amplification chaotique de l’incertitude au niveau atomique est essentielle pour certaines des choses que les humains sont capables de faire.

Cela a des implications sur la façon dont les humains pourraient interagir avec une superintelligence et à quel point il pourrait être difficile de construire l’intelligence générale artificielle.

Si certains aspects du comportement humain sont intrinsèquement imprévisibles, cela pourrait rendre plus difficile pour une superintelligence de nous manipuler. La manipulation est plus facile s’il est possible de prédire comment un humain réagira à tout ce que vous montrez ou leur dites. Si même une superintelligence ne peut pas prédire comment un humain réagira dans certaines circonstances, il est plus difficile pour la superintelligence de pirater l’humain et de gagner un contrôle précis et à long terme sur eux.

Jusqu’à présent, j’ai envisagé la possibilité qu’une superintelligence existe et me demande quelles limitations il y a des capacités. Mais la théorie du chaos pourrait également changer nos estimations de la difficulté de faire de l’intelligence générale artificielle (AGI) qui mène à la superintelligence. Le chaos dans le cerveau rend l’émulation entière du cerveau sur un ordinateur classique follement plus difficile – ou peut-être même impossible.

Lors de la fabrication d’un modèle de cerveau, vous voulez le grain de grossesse à une échelle, peut-être à l’échelle des neurones individuels. Le modèle à grains grossiers d’un neurone devrait être beaucoup plus simple qu’un vrai neurone, impliquant seulement quelques variables, tout en étant assez bon pour capturer le comportement pertinent pour le mouvement à plus grande échelle. Si un neurone se comporte de manière chaotique elle-même, surtout si elle n’est pas stationnaire ou multi-tistable, aucun modèle à grains grossiers assez bon ne existe. Le neurone doit être résolu à une échelle plus fine, peut-être à l’échelle des protéines. Si une protéine elle-même amplifie des incertitudes plus petites, vous devrez le résoudre à une échelle plus fine, ce qui pourrait nécessiter un calcul mécanique quantique du comportement atomique.

L’émulation du cerveau entier fournit une limite supérieure sur la difficulté de l’AGI. Si cette limite supérieure finit par être plus éloignée que prévu, cela suggère qu’il devrait y avoir plus de masse de probabilité associée à l’AGI extrêmement difficile.

Links

J’explorerai ces arguments, et d’autres, dans le reste de cette enquête. Actuellement, cette enquête se compose d’un rapport, de deux pages wiki et de trois articles de blog.

Rapport:

• Chaos et imprévisibilité intrinsèque. Lecture de fond pour l’enquête. Une explication de ce qu’est le chaos, d’autres façons dont quelque chose peut être intrinsèquement imprévisible, différentes variétés de chaos, et comment l’humanité a appris à faire face au chaos.

Pages wiki:

• Chaos chez l’homme. Certaines des choses les plus intéressantes à essayer de prédire sont d’autres humains. Je discute si les humains sont chaotiques, de l’échelle d’un seul neurone à la société dans son ensemble.

Articles de blog:

• La superintelligence n’est pas l’omniscience. Ce message.

Autres ressources

Si vous voulez en savoir plus sur la théorie du chaos en général, en dehors de cette enquête, voici quelques sources que j’approuve:

• Manuel de premier cycle:
  S. Strogatz. Dynamique non linéaire et chaos: avec des applications à la physique, à la biologie, à la chimie et à l’ingénierie. (CRC Press, 2000).

• Manuel de niveau supérieur:
  P. Cvitanović, R. Artuso, R. Mainieri, G. Tanner et G. Vattay, Chaos: classique et quantique. Chaosbook.org. (Niels Bohr Institute, Copenhague 2020).

• Wikipedia A un bon article d’introduction sur le chaos. Scholarpedia A également plusieurs bons articles, bien que personne ne commence à commencer.

Notes