L’IA peut être un outil puissant pour les scientifiques. Mais cela peut également alimenter la faute de la recherche

Nadia Piet & Images d’archives de Ai + Aixdesign / / Effondrement du modèle / / Licencié par CC-BY 4.0

Par Jon Whittle, Csiro et Stefan Harrer, Csiro

En février de cette année, Google annoncé Il lançait «un nouveau système d’IA pour les scientifiques». Il a déclaré que ce système était un outil collaboratif conçu pour aider les scientifiques «à créer de nouvelles hypothèses et plans de recherche».

Il est trop tôt pour dire à quel point cet outil particulier sera utile aux scientifiques. Mais ce qui est clair, c’est que l’intelligence artificielle (IA) plus généralement transforme déjà la science.

L’année dernière, par exemple, les informaticiens ont remporté le prix Nobel de chimie pour le développement d’un modèle d’IA pour prédire la forme de chaque protéine connue de l’humanité. Président du comité Nobel, Heiner Linke, décrit le système AI En tant que réalisation d’un «rêve de 50 ans» qui a résolu un problème notoirement difficile échapper aux scientifiques depuis les années 1970.

Mais alors que l’IA permet aux scientifiques de faire des percées technologiques qui sont autrement dans des décennies ou hors de portée, il y a aussi un côté plus sombre à l’utilisation de l’IA en science: l’inconduite scientifique est en augmentation.

L’IA facilite la fabrication de la recherche

Les documents académiques peuvent être rétractés si leurs données ou leurs résultats ne sont plus valides. Cela peut se produire en raison de la fabrication des données, du plagiat ou de l’erreur humaine.

Les rétractions de papier augmentent de façon exponentiellepassant 10 000 en 2023. Ces papiers rétractés ont été cités plus de 35 000 fois.

Une étude ont trouvé que 8% des scientifiques néerlandais ont admis une grave fraude à la recherche, le double du taux précédemment signalé. Les rétractions de papier biomédical ont quadruplé au cours des 20 dernières annéesla majorité due à une faute.

L’IA a le potentiel d’aggraver ce problème.

Par exemple, la disponibilité et la capacité croissante des programmes d’IA génératives tels que ChatGpt facilitent la fabrication de la recherche.

Cela a été clairement démontré par deux chercheurs qui ont utilisé l’IA pour Générer 288 faux papiers de financement académique complet Prédire les rendements en stock.

Bien qu’il s’agisse d’une expérience pour montrer ce qui est possible, il n’est pas difficile d’imaginer comment la technologie pourrait être utilisé Pour générer des données fictives d’essais cliniques, modifiez les données expérimentales de modification des gènes pour cacher les résultats négatifs ou à d’autres fins malveillantes.

Fausses références et données fabriquées

Il y a déjà Beaucoup de cas signalés des articles générés par l’AI-passant par les pairs-évaluation et atteignant la publication – pour être rétracté plus tard sur le terrain d’une utilisation non divulguée de l’IA, certaines incluant de graves défauts tels que de fausses références et des données fabriquées délibérément.

Certains chercheurs utilisent également l’IA pour revoir le travail de leurs pairs. L’examen par les pairs des articles scientifiques est l’un des principes fondamentaux de l’intégrité scientifique. Mais cela prend également du temps incroyable, certains scientifiques consacrant des centaines d’heures par an de travail non rémunéré. UN Étude dirigée par Stanford ont constaté que jusqu’à 17% des revues par les pairs pour les meilleures conférences d’IA étaient écrites au moins en partie par l’IA.

Dans le cas extrême, l’IA peut finir par écrire des articles de recherche, qui sont ensuite examinés par une autre IA.

Ce risque aggrave la tendance déjà problématique augmentation exponentielle Dans l’édition scientifique, tandis que la quantité moyenne de matériel véritablement nouveau et intéressant dans chaque article a diminué.

L’IA peut également conduire à une fabrication involontaire de résultats scientifiques.

Un problème bien connu des systèmes d’IA génératifs est lorsqu’ils constituent une réponse plutôt que de dire qu’ils ne savent pas. Ceci est connu comme «hallucination».

Nous ne savons pas dans quelle mesure les hallucinations de l’IA se retrouvent comme des erreurs dans les articles scientifiques. Mais un étude récente Sur la programmation informatique, a révélé que 52% des réponses générées par l’AI aux questions de codage contenaient des erreurs, et la surveillance humaine n’a pas réussi à les corriger 39% du temps.

Maximiser les avantages, minimiser les risques

Malgré ces développements inquiétants, nous ne devrions pas nous laisser emporter et décourager ni même châtier l’utilisation de l’IA par les scientifiques.

L’IA offre des avantages importants à la science. Les chercheurs ont utilisé des modèles d’IA spécialisés pour résoudre des problèmes scientifiques depuis de nombreuses années. Et des modèles d’IA génératifs tels que Chatgpt offrent la promesse d’assistants scientifiques d’IA à usage général qui peuvent effectuer une gamme de tâches, travaillant en collaboration avec le scientifique.

Ces modèles d’IA peuvent être Assistants de laboratoire puissants. Par exemple, les chercheurs de CSIRO développent déjà des robots de laboratoire d’IA avec lesquels les scientifiques peuvent parler et instruisent comme un assistant humain d’automatiser les tâches répétitives.

Une nouvelle technologie perturbatrice aura toujours des avantages et des inconvénients. Le défi de la communauté scientifique est de mettre en place des politiques et des garde-corps appropriés pour nous assurer de maximiser les avantages et de minimiser les risques.

Le potentiel de l’IA pour changer le monde de la science et aider la science à faire du monde un meilleur endroit est déjà prouvé. Nous avons maintenant le choix.

Embrasons-nous l’IA en plaidant et en développant un code de conduite de l’IA qui applique une utilisation éthique et responsable de l’IA en science? Ou prenons-nous un siège arrière et laissons un nombre relativement petit d’acteurs voyous discréditer nos domaines et nous faire manquer l’occasion?

Jon WhittleDirecteur, data61, Csiro et Stefan HarrerDirecteur, AI pour la science, Csiro

Cet article est republié à partir de La conversation sous une licence créative Commons. Lire le article original.