Développer des outils d’IA fiables pour les soins de santé

La nouvelle recherche propose un système pour déterminer la précision relative de l’IA prédictive dans un milieu médical hypothétique, et lorsque le système devrait s’en remettre à un clinicien humain

L’intelligence artificielle (IA) a un grand potentiel pour améliorer la façon dont les gens travaillent dans une gamme d’industries. Mais pour intégrer les outils d’IA sur le lieu de travail de manière sûre et responsable, nous devons développer des méthodes plus robustes pour comprendre quand elles peuvent être les plus utiles.

Alors, quand l’IA est-elle plus précise et quand est un humain? Cette question est particulièrement importante dans les soins de santé, où l’IA prédictive est de plus en plus utilisée dans les tâches à enjeux élevés pour aider les cliniciens.

Aujourd’hui dans Médecine de la naturenous avons publié notre article conjoint avec Google Research, qui propose le codoc (flux de travail de report de complémentarité), un système d’IA qui apprend quand s’appuyer sur des outils d’IA prédictifs ou de reporter à un clinicien pour l’interprétation la plus précise des images médicales.

CODOC explore comment nous pourrions exploiter la collaboration humaine-AI dans des milieux médicaux hypothétiques pour fournir les meilleurs résultats. Dans un exemple de scénario, le CODOC a réduit le nombre de faux positifs de 25% pour un ensemble de données de mammographie britannique largement identifié, par rapport aux flux de travail cliniques couramment utilisés – sans manquer de véritables points positifs.

Ce travail est une collaboration avec plusieurs organisations de soins de santé, notamment l’Office des Nations Unies pour le partenariat STOP TB de Project Services. Pour aider les chercheurs à s’appuyer sur notre travail pour améliorer la transparence et la sécurité des modèles d’IA pour le monde réel, nous avons également open source Code de codoc sur GitHub.

CODOC: outil complémentaire pour la collaboration humaine-AI

La construction de modèles d’IA plus fiables nécessite souvent une réingénierie du fonctionnement intérieur complexe des modèles d’IA prédictifs. Cependant, pour de nombreux prestataires de soins de santé, il n’est tout simplement pas possible de repenser un modèle d’IA prédictif. Le CODOC peut potentiellement aider à améliorer les outils prédictifs de l’IA pour ses utilisateurs sans les obliger à modifier l’outil d’IA sous-jacent lui-même.

Lors du développement de codoc, nous avions trois critères:

• Les experts en apprentissage non machine, comme les prestataires de soins de santé, devraient être en mesure de déployer le système et de l’exécuter sur un seul ordinateur.
• La formation nécessiterait une quantité relativement faible de données – généralement, quelques centaines d’exemples.
• Le système pourrait être compatible avec tous les modèles d’IA propriétaires et n’aurait pas besoin d’accéder au fonctionnement intérieur ou aux données du modèle sur lequel elle a été formée.

Déterminer quand l’IA prédictive ou un clinicien est plus précis

Avec CODOC, nous proposons un système d’IA simple et utilisable pour améliorer la fiabilité en aidant les systèmes d’IA prédictifs à «savoir quand ils ne savent pas». Nous avons examiné les scénarios, où un clinicien pourrait avoir accès à un outil d’IA conçu pour aider à interpréter une image, par exemple, en examinant une radiographie pulmonaire pour savoir si un test de tuberculose est nécessaire.

Pour tout cadre clinique théorique, le système de CODOC ne nécessite que trois entrées pour chaque cas dans l’ensemble de données de formation.

1. L’IA prédictive produit un score de confiance entre 0 (certaines maladies sont présentes) et 1 (certaine que la maladie est présente).
2. L’interprétation par le clinicien de l’image médicale.
3. La vérité fondée sur le fait que la maladie était présente, par exemple, établie par biopsie ou autre suivi clinique.

Remarque: le codoc ne nécessite aucun accès aux images médicales.

Le CODOC apprend à établir la précision relative du modèle prédictif d’IA par rapport à l’interprétation des cliniciens, et comment cette relation fluctue avec les scores de confiance de l’IA prédictifs.

Une fois formé, le codoc pourrait être inséré dans un flux de travail clinique futur hypothétique impliquant à la fois une IA et un clinicien. Lorsqu’une nouvelle image de patient est évaluée par le modèle prédictif d’IA, son score de confiance associé est introduit dans le système. Ensuite, le CODOC évalue si l’acceptation de la décision de l’IA ou le report à un clinicien entraînera finalement l’interprétation la plus précise.

Précision et efficacité accrue

Nos tests complets de CODOC avec de multiples ensembles de données du monde réel – y compris uniquement les données historiques et désidentifiées – ont montré que la combinaison du meilleur de l’expertise humaine et de l’IA prédictive entraîne une plus grande précision qu’avec l’un ou l’autre seul.

En plus d’obtenir une réduction de 25% des faux positifs pour un ensemble de données de mammographie, dans des simulations hypothétiques où une IA a été autorisée à agir de manière autonome à certaines occasions, le CODOC a pu réduire le nombre de cas qui devait être lus par un clinicien par deux tiers. Nous avons également montré comment le CODOC pouvait hypothétiquement améliorer le triage des rayons X thoraciques pour les tests en avant pour la tuberculose.

Développement de l’IA de responsabilité pour les soins de santé

Bien que ce travail soit théorique, il montre le potentiel de notre système d’IA à s’adapter: le codoc a pu améliorer les performances de l’interprétation de l’imagerie médicale à travers des populations démographiques variées, des milieux cliniques, des équipements d’imagerie médicale utilisés et des types de maladies.

Le codoc est un exemple prometteur de la façon dont nous pouvons exploiter les avantages de l’IA en combinaison avec les forces humaines et l’expertise. Nous travaillons avec des partenaires externes pour évaluer rigoureusement nos recherches et les avantages potentiels du système. Pour apporter des technologies comme le codoc en toute sécurité dans les milieux médicaux du monde réel, les prestataires de soins de santé et les fabricants devront également comprendre comment les cliniciens interagissent différemment avec l’IA et valident des systèmes avec des outils et des paramètres d’IA médicaux spécifiques.

En savoir plus sur le codoc: