Openai craint que son IA soit sur le point de commencer à cracher de nouvelles armes à bio

Openai se vante que ses modèles à venir sont si avancés, ils peuvent être capables de créer de nouvelles armes bio-armées.

Dans un Arte de blog récentla société a déclaré que même si elle construit des modèles de plus en plus avancés qui auront « des cas d’utilisation positifs comme la recherche biomédicale et la biodéfense », il se sent le devoir de promener la corde entre « permettant un progrès scientifique tout en maintenant la barrière à des informations nocives ».

Cette « information nocive » comprend, apparemment, la capacité « d’aider les acteurs hautement qualifiés à créer des armes bio-armes ».

« L’accès physique aux laboratoires et aux matériaux sensibles reste une barrière », indique le post – mais « ces barrières ne sont pas absolues ».

Dans un déclaration AxiosLe chef de la sécurité d’Openai Johannes Heidecke a précisé que bien que la société ne pense pas nécessairement que ses AIS à venir pourront fabriquer des artiques bio-armes par eux-mêmes, ils seront suffisamment avancés pour aider les amateurs à le faire.

« Nous ne sommes pas encore dans le monde où il y a comme un roman, une création complètement inconnue de biothreats qui n’existaient pas auparavant », a déclaré Heidecke. « Nous sommes plus inquiets de reproduire les choses que les experts connaissent déjà très bien. »

Le tsar de la sécurité Openai a également admis que même si les modèles de l’entreprise ne sont pas encore tout à fait là, il s’attend à ce que « certains des successeurs de notre O3 (modèle de raisonnement) atteignent ce niveau ».

« Notre approche est axée sur la prévention », indique le billet de blog. « Nous ne pensons pas qu’il est acceptable d’attendre et de voir si un événement de menace de biographie se produit avant de décider d’un niveau suffisant de garanties. »

Comme Axios Remarques, il est à craindre que les mêmes modèles qui aident aux percées biomédicales puissent également être exploitées par de mauvais acteurs. Pour «empêcher les dommages de se matérialiser», comme l’a dit Heidecke, ces modèles à venir doivent être programmés à «près de la perfection» pour reconnaître et alerter les moniteurs humains à tous les dangers.

« Ce n’est pas quelque chose où 99% ou même une performance sur 100 000 est suffisante », a-t-il déclaré.

Au lieu de partir de ces capacités dangereuses au col, cependant, Openai semble doubler la construction de ces modèles avancés, bien qu’avec de nombreuses garanties.

C’est un effort assez noble, mais il est facile de voir comment cela pourrait se tromper.

Placé entre les mains d’un, disons, un agence insurgée Comme les immigrations et les douanes des États-Unis, il serait assez facile d’utiliser de tels modèles pour préjudice. Si Openai est sérieux au sujet de la soi-disant « biodéfense » Contracter avec le gouvernement américainil n’est pas difficile d’imaginer un Couverture de variole de nouvelle génération scénario.

Plus sur Openai: Les théoriciens du complot créent des IA spéciales pour être d’accord avec leurs illusions bizarres