Les deux personnes façonnant l’avenir de la recherche d’Openai

« Il y a beaucoup de conséquences de l’IA », a-t-il déclaré. «Mais celle à laquelle je pense le plus est la recherche automatisée. Lorsque nous regardons l’histoire humaine, une grande partie est une question de progrès technologique, que les humains créent de nouvelles technologies. Le point où les ordinateurs peuvent développer eux-mêmes de nouvelles technologies semblent être un point d’inflexion très important, euh.

«Nous voyons déjà ces modèles aider les scientifiques. Mais lorsqu’ils sont capables de travailler sur des horizons plus longs – lorsqu’ils sont capables d’établir des programmes de recherche pour eux-mêmes – le monde se sentira significativement différent.»

Pour Chen, cette capacité pour les modèles à travailler elle-même est la clé. « Je veux dire, je pense que tout le monde a ses propres définitions d’AGI », a-t-il déclaré. « Mais ce concept de temps autonome – juste le temps que le modèle peut passer des progrès productifs sur un problème difficile sans frapper une impasse – c’est l’une des grandes choses que nous recherchons. »

C’est une vision audacieuse – et bien au-delà des capacités des modèles d’aujourd’hui. Mais j’ai néanmoins été frappé par la façon dont Chen et Pachocki ont fait un son presque banal. Comparez cela avec la façon dont Sutskever a répondu lorsque Je lui ai parlé il y a 18 mois. « Ça va être monumental, bouleversant », m’a-t-il dit. «Il y aura un avant et un après.» Face à l’immensité de ce qu’il construisait, SUTSKEVER a changé l’objectif de sa carrière de la conception de modèles de meilleurs et meilleurs modèles pour comprendre comment contrôler une technologie qui, selon lui, serait bientôt plus intelligente que lui-même.

Il y a deux ans, Sutskever a mis en place ce qu’il a appelé une équipe de superalignement qu’il co-dirigerait avec un autre chercheur d’Openai en matière de sécurité, Jan Leike. L’affirmation était que cette équipe canaliserait un cinquième complet des ressources d’Openai pour déterminer comment contrôler une superintelligence hypothétique. Aujourd’hui, la plupart des habitants de l’équipe de superalignement, dont Sutskever et Leike, ont quitté l’entreprise et l’équipe n’existe plus.

Lorsque Leike a quitté, il a dit que c’était parce que l’équipe n’avait pas reçu le soutien qu’il a estimé qu’elle méritait. Il a posté ceci sur x: « Construire des machines plus intelligentes que humaines est une entreprise intrinsèquement dangereuse. Openai assume une énorme responsabilité au nom de toute l’humanité. Mais au cours des dernières années, la culture de la sécurité et les processus ont pris le siège arrière des produits brillants. » D’autres chercheurs sortants ont partagé des déclarations similaires.

J’ai demandé à Chen et Pachocki ce qu’ils faisaient de telles préoccupations. « Beaucoup de ces choses sont des décisions très personnelles », a déclaré Chen. «Vous savez, un chercheur peut en quelque sorte, vous savez…»

Il a recommencé. « Ils pourraient croire que le domaine va évoluer d’une certaine manière et que leurs recherches vont se dérouler et va porter des fruits. Et, vous savez, peut-être que l’entreprise ne remodelerait pas comme vous le souhaitez. C’est un domaine très dynamique. »