Visualiser la recherche à l’ère de l’IA

Une photographie originale prise par Felice Frankel (à gauche) et une image générée par l’AI du même contenu. Crédit: Felice Frankel. L’image à droite a été générée avec Dall-E

Par Melanie M Kaufman

Depuis plus de 30 ans, le photographe scientifique Felice Frankel a aidé les professeurs, les chercheurs et les étudiants du MIT à communiquez visuellement leur travail. Tout au long de cette période, elle a vu le développement de divers outils pour soutenir la création d’images convaincantes: certains utiles et certains contraires à l’effort de produire une représentation fiable et complète de la recherche. Dans un Article d’opinion récent Publié dans Nature Magazine, Frankel discute de l’utilisation naissante de l’intelligence artificielle générative (Genai) dans les images et les défis et implications qu’il a pour communiquer la recherche. Sur une note plus personnelle, elle se demande s’il y aura toujours une place pour un photographe scientifique dans la communauté de la recherche.

Q: Vous avez mentionné que dès qu’une photo est prise, l’image peut être considérée comme «manipulée». Il existe des moyens de manipuler vos propres images pour créer un visuel qui communique plus avec succès le message souhaité. Où est la ligne entre la manipulation acceptable et inacceptable?

UN: Dans le sens le plus large, les décisions prises sur la façon de cadrer et de structurer le contenu d’une image, ainsi que les outils utilisés pour créer l’image, sont déjà une manipulation de la réalité. Nous devons nous rappeler que l’image n’est qu’une représentation de la chose, et non de la chose elle-même. Des décisions doivent être prises lors de la création de l’image. Le problème critique n’est pas de manipuler les données, et dans le cas de la plupart des images, les données sont la structure. Par exemple, pour une image que j’ai faite il y a quelque temps, j’ai supprimé numériquement la boîte de Pétri dans laquelle une colonie de levure grandissait, pour attirer l’attention sur la morphologie étonnante de la colonie. Les données de l’image sont la morphologie de la colonie. Je n’ai pas manipulé ces données. Cependant, j’indique toujours dans le texte si j’ai fait quelque chose à une image. Je discute de l’idée de l’amélioration de l’image dans mon manuel, « Les éléments visuels, photographie ».

Une image d’une colonie de levure en croissance où la boîte de Pétri a été supprimée numériquement. Ce type de manipulation pourrait être acceptable car les données réelles n’ont pas été manipulées, dit Frankel. Crédit d’image: Felice Frankel

Q: Que peuvent faire les chercheurs pour s’assurer que leurs recherches sont communiquées correctement et éthiquement?

UN: Avec l’avènement de l’IA, je vois trois problèmes principaux concernant la représentation visuelle: la différence entre l’illustration et la documentation, l’éthique autour de la manipulation numérique et un besoin continu pour les chercheurs pour être formés à la communication visuelle. Depuis des années, j’essaie de développer un programme d’alphabétisation visuelle pour les classes actuelles et à venir de chercheurs en sciences et en ingénierie. Le MIT a une exigence de communication qui répond principalement à l’écriture, mais qu’en est-il du visuel, qui n’est plus tangentiel à une soumission de journal? Je parierai que la plupart des lecteurs d’articles scientifiques vont directement aux chiffres, après avoir lu le résumé.

Nous devons obliger les élèves à apprendre à regarder de manière critique un graphique ou une image publié et décider s’il y a quelque chose de bizarre qui se passe. Nous devons discuter de l’éthique du «coup de pouce» une image pour ressembler à une certaine manière prédéterminée. Je décris dans l’article un incident lorsqu’un élève a modifié une de mes images (sans me demander) de correspondre à ce que l’élève voulait communiquer visuellement. Je ne l’ai pas permis, bien sûr, et j’ai été déçu que l’éthique d’une telle modification n’ait pas été prise en compte. Nous devons développer, à tout le moins, des conversations sur le campus et, mieux encore, créer une exigence d’alphabétisation visuelle avec l’exigence d’écriture.

Q: L’IA générative ne disparaît pas. Que voyez-vous comme l’avenir de la communication des sciences visuellement?

UN: Pour l’article de la nature, j’ai décidé qu’une façon puissante de remettre en question l’utilisation de l’IA dans la génération d’images était par l’exemple. J’ai utilisé l’un des modèles de diffusion pour créer une image en utilisant l’invite suivante:

« Créez une photo de nano-cristaux de Moungi Bawendi dans des flacons sur un fond noir, fluoressant à différentes longueurs d’onde, selon leur taille, lorsqu’ils sont excités avec la lumière UV. »

Les résultats de mon expérimentation de l’IA étaient souvent des images de type dessin animé qui pouvaient à peine passer comme réalité – sans parler de la documentation – mais il y aura un moment où ils le seront. Dans les conversations avec des collègues dans les communautés de recherche et de science informatique, tous conviennent que nous devrions avoir des normes claires sur ce qui est et n’est pas autorisé. Et surtout, un visuel Genai ne devrait jamais être autorisé comme documentation.

Mais les visuels générés par l’AI seront, en fait, utiles à des fins d’illustration. Si un visuel généré par l’IA doit être soumis à une revue (ou, d’ailleurs, être montré dans une présentation), je crois que le chercheur doit:

• Étiquetez clairement si une image a été créée par un modèle d’IA;
• indiquer quel modèle a été utilisé;
• Inclure l’invite utilisée; et
• Incluez l’image, s’il y en a un, qui a été utilisé pour aider l’invite.