HealthBench: Comment l’IA apprend à parler des «soins de santé» | par Lakshmi Narayana .u | Mai 2025

Imaginez que vous trouviez votre voisin âgé inconscient mais que vous respirez toujours sur le sol de leur salon. Dans un moment de panique, vous (ou votre robot) retirez votre téléphone et demandez à votre assistant AI quoi faire. Est-ce que cela vous dira clairement d’appeler immédiatement les services d’urgence? Ou pourrait-il enterrer ce conseil crucial sous des paragraphes d’informations moins pertinentes? Ou pire, suggérer une approche dangereuse «attendre et voir»?

Ce scénario souligne pourquoi l’évaluation des capacités de santé de l’IA est importante. Au fur et à mesure que les systèmes d’IA deviennent de plus en plus intégrés dans la prise de décision des soins de santé – des requêtes de santé des consommateurs à la documentation clinique – nous avons besoin de moyens fiables d’évaluer leurs performances.

Récemment, Openai a introduit HealthBenchun nouveau cadre d’évaluation conçu pour mesurer les capacités des systèmes d’IA à gérer les conversations de soins de santé réalistes. Contrairement aux évaluations précédentes qui reposaient souvent sur des examens à choix multiples ou des questions cliniques étroites, HealthBench vise à capturer la nature nuancée et complexe des interactions réelles de santé.

Cet article explore le fonctionnement de HealthBench, ce que ses résultats nous disent sur les capacités actuelles de l’IA et pourquoi cette approche de l’évaluation est importante pour le développement de l’IA des soins de santé.