Quelques notes préliminaires sur la promesse d’une explosion de sagesse – IA impacte

Par Chris Leong

Il s’agissait d’une entrée lauréate du prix dans le concours d’essais sur l’automatisation de la sagesse et de la philosophie.

• Les principaux laboratoires AI visent à déclencher une explosion d’intelligence, mais peut-être que c’est une grave erreur? Peut-être devraient-ils viser à déclencher une «explosion de sagesse à la place» ?:
  • Définir cela comme «à peu près la même chose qu’une explosion d’intelligence, mais avec la sagesse à la place» est plutôt vague, mais je pense honnêtement que c’est assez bon pour le moment. Je pense que c’est bien pour le travail exploratoire à un stade précoce de se concentrer sur l’ouverture d’une nouvelle partie de l’espace conversationnel plutôt que d’essayer de tout épingler parfaitement.
  • En ce qui concerne ma définition de la sagesse, je vais explorer cela plus en détail dans la six partie («quels types de sagesse sont précieux?) De ma prochaine séquence moins erronée, mais pour l’instant, je dirai simplement que je prends une vaste définition de ce qu’est la sagesse et que la réalisation d’une« explosion de sagesse »nous obligerait probablement à former un système qui est assez fort sur un certain nombre de sous-types différents. À titre d’exemple, cependant, si une coalition de groupes axée sur la sécurité de l’IA pouvait élaborer sagement, coordonner sagement et poursuivre sagement les méthodes de persuasion non manipulative, je me sentirais considérablement mieux dans les chances de l’humanité de survivre.
  • En tout cas, je ne veux pas trop centrer ma propre compréhension de la sagesse. Au lieu de cela, je vous encourage à considérer les types de sagesse qui, selon vous, pourraient être les plus précieux pour réaliser un avenir positif pour l’humanité et si les arguments ci-dessous suivent étant donné la façon dont vous concevez la sagesse, plutôt que la façon dont je conçois la sagesse.
  • Dans une explosion d’intelligence, l’auto-amélioration récursive se produit dans un seul système d’IA. Cependant, en termes de définition d’une explosion de sagesse, je veux avoir une vue plus étendue. En particulier, au lieu d’exiger qu’il se produise dans une seule IA, je veux permettre la possibilité qu’elle puisse se produire au sein d’un système cybernétique composé à la fois d’humains et d’IA, soit au sein d’une seule organisation, soit dans un groupe d’organisations collaboratrices. En fait, je pense que c’est la meilleure voie de chemin pour poursuivre une explosion de sagesse.
  • Je trouve que la version impliquant un groupe d’organisations collaboratrices est particulièrement convaincante à la fois parce qu’elle permettrait de mettre en commun des ressources pour développer la technologie de la sagesse, mais aussi parce qu’elle permettrait de poursuivre un processus charnière plutôt qu’une action centrale.
• À des fins de simplicité, je parlerai des acteurs «responsables et sages» par rapport aux acteurs «irresponsables et imprudents», même si la responsabilité et la sagesse ne s’alignent pas toujours.
• Je développerai cet argument plus en détail dans mon prochain article moins mauvais «Intelligence / capacités artificielles comme une erreur potentiellement mortelle. La sagesse artificielle comme antidote », mais un aperçu de l’argument que je prévois de faire est ci-dessous
• Tout d’abord, je dirai que la poursuite d’une explosion de renseignement entraîne très probablement une catastrophe:
  • Les capacités prolifèrent inévitablement: les facteurs clés incluent une solide communauté open source, de grandes incitations à la carrière pour les chercheurs à publier et à des défis pour prévenir l’espionnage
  • L’équilibre de défense des attaques favorise fortement l’attaque: les attaquants n’ont qu’à avoir de la chance une fois, les défenseurs doivent avoir de la chance à chaque fois
  • La prolifération des capacités conduit très probablement à une course aux armements de l’IA: la diffusion des capacités nivelle le terrain de jeu qui oblige les acteurs à courir pour maintenir leur avance
  • Intelligence / capacité La technologie profite différentiellement aux acteurs irresponsables et imprudents: la course imprudente à l’avance augmente votre accès aux ressources, tandis que les acteurs responsables et sages ont besoin de temps pour comprendre comment agir judicieusement
  • La société a du mal à s’adapter: les processus gouvernementaux ne sont pas conçus pour pouvoir gérer une technologie qui se déplace aussi vite que l’IA. Les acteurs imprudents et imprudents utiliseront leur influence politique pour pousser la société à adopter des politiques imprudentes.
• En revanche, je vais affirmer que la poursuite d’une explosion de sagesse est probablement beaucoup plus sûre:
  • La poursuite de la technologie de la sagesse produit probablement moins d’externalités de capacité
    • Une explosion de sagesse peut être réalisable avec les IA construites au-dessus de modèles de base relativement faibles: pensez aux personnes les plus sages que vous connaissez, ils n’ont pas tous des quantités massives de «puissance de feu» cognitive »
  • Les acteurs malveillants et imprudents et imprudents sont moins susceptibles de poursuivre ces technologies:
    • Ils sont moins susceptibles de valoriser la sagesse, en particulier compte tenu du compromis avec des capacités brillantes et brillantes brillantes.
  • Les acteurs imprudents et imprudents sont désavantagés dans la poursuite d’une explosion de sagesse:
    • Il y a probablement une barre minimale de sagesse nécessaire pour déclencher une telle explosion. Comme on dit, les ordures, les ordures.
    • Même s’ils ont pu déclencher une telle explosion, cela les prendrait probablement plus de temps et / ou nécessiterait un niveau de capacité plus élevé. N’oubliez pas que je propose de produire un système cybernétique, afin que les opérateurs humains jouent ici un rôle clé.
  • Les acteurs imprudents et imprudents sont moins susceptibles de savoir quoi faire avec toute technologie de sagesse qu’ils développent ou acquièrent:
    • Cela est moins vrai à des niveaux de capacité plus élevés où le système peut les aider à déterminer ce qu’ils devraient demander, mais ils pourraient simplement l’ignorer.
  • Même si les acteurs imprudents et imprudents poursuivent réellement et parviennent ensuite à acquérir la technologie de la sagesse, cela peut ne pas être nuisible:
    • L’acquisition d’une telle technologie peut leur faire réaliser leur folie.
    • Ils peuvent alors supprimer leur modèle, le remettre à quelqu’un de plus responsable ou commencer à travailler pour devenir un acteur plus responsable lui-même
  • Les acteurs responsables peuvent utiliser la technologie de la sagesse pour les aider à tenter de persuader de manière non manipulé des acteurs irresponsables pour être plus responsables:
    • Mon intuition est que cela est beaucoup plus difficile pour la technologie de l’intelligence / capacité qui sera probablement surhumain à la persuasion, mais qui n’est pas un ajustement naturel pour la persuasion non manipulative
• Je pense aussi que cela peut être viable. Je vais développer ces arguments plus pleinement dans le septième article de ma prochaine séquence moins mauvaise «est une« explosion de sagesse »un concept cohérent?», Mais mes pensées de haut niveau sont les suivantes:
  • Avant de commencer: de quel niveau de sagesse aurions-nous besoin pour en éloigner pour compter comme ayant atteint une «explosion de sagesse»? Nous n’aurons peut-être pas besoin de régler le niveau à un niveau trop élevé (dans la mesure où les systèmes super humains vont). Sauver le monde peut nécessiter une sagesse surhumaine, mais je ne pense pas que ce devrait être ce surhumain.
  • La sagesse semble être le genre de chose où avoir un plus grand degré de sagesse facilite l’acquisition encore plus. En particulier, vous êtes plus susceptible de pouvoir discerner qui fournit des conseils judicieux ou imprudents. Vous êtes également plus susceptible de pouvoir discerner quelles hypothèses nécessitent un interrogatoire.
  • Dans la mesure où nous achetons l’argument pour une explosion d’intelligence viable, on pourrait naïvement supposer que cela augmente également les chances qu’une explosion de sagesse soit viable:
    • On pourrait repousser cela en notant que l’intelligence est beaucoup plus facile à entraîner que la sagesse car, pour l’intelligence, nous pouvons former notre système sur des problèmes avec des solutions connues ou avec un simulateur. C’est vrai, mais cela ne signifie pas que nous ne pouvons pas utiliser ce genre de choses pour former la sagesse. Au lieu de cela, cela signifie simplement que nous devons être plus prudents en termes de notre façon de nous procéder.
  • Bien qu’un certain niveau de sagesse serait probablement nécessaire pour déclencher une explosion de sagesse, le niveau pourrait ne pas être si élevé:
    • Il s’agit moins d’être sage et plus de ne pas être si idéologique que vous ne pouvez pas sortir d’un attracteur
  • Comme mentionné précédemment, nos modèles de base pourraient ne pas avoir besoin d’être particulièrement grands (selon les normes folles des modèles Frontier). Il y a une chance qu’une explosion de sagesse puisse être déclenchée à un niveau de capacité inférieur à une explosion d’intelligence si la sagesse ne concerne pas vraiment la puissance de feu cognitive:
    • Si cela est vrai, alors nous pourrons peut-être déclencher une explosion de sagesse plus tôt qu’une explosion d’intelligence
    • Cela peut également répondre à certaines préoccupations concernant l’alignement intérieur si nous pensons que les modèles plus petits ont tendance à être plus contrôlables.
  • Certaines personnes pourraient penser que la sagesse est trop floue pour faire des progrès. Je vais en discuter dans «un aperçu des approches« évidentes »pour former une IA sage et je vais en discuter davantage dans le troisième post de ma prochaine séquence moins mauvaise« contre l’impuissance apprise avec la formation de l’IA sage ».
• «Explosion de la sagesse» comme stimuli créatifs:
  • Même si le concept d’une explosion de sagesse se révèle être incohérent ou déclencher une explosion de sagesse s’avère impossible, je pense toujours qu’enquêter et débattre de ces sujets serait une utilisation précieuse du temps. Je ne peux pas expliquer entièrement cela, mais certaines questions ressemblent à des questions évidentes ou naturelles à poser. Remarquer ces questions et suivre la ligne d’enquête jusqu’à ce que vous atteigniez une conclusion naturelle est l’un des meilleurs moyens de développer votre capacité à penser clairement à des questions confuses.
  • La valeur de l’obtention d’un nouveau cadre n’est pas seulement dans l’application potentielle du cadre lui-même, mais dans la façon dont il peut révéler des hypothèses dans votre vision du monde dont vous ne connaissez peut-être même pas.

Notes