Les nouvelles technologies fascinent autant qu’elles inquiètent, et l’intelligence artificielle (IA) ne fait pas exception. Récemment, un outil de transcription basé sur l’IA, utilisé dans les hôpitaux, a montré des comportements préoccupants. Il invente des médicaments inexistants et a fait preuve de racisme. Ces découvertes suscitent des débats passionnés et soulèvent des questions cruciales sur l’éthique et la fiabilité de l’IA dans le secteur médical.
Un outil d’IA controversé au cœur des hôpitaux
Whisper, une IA développée par OpenAI, a été intégrée dans Nabla, un outil utilisé par plus de 30 000 professionnels de santé à travers le monde. Malgré les avertissements d’OpenAI, qui déconseille son usage dans des contextes à haut risque, Whisper est largement utilisé dans le domaine médical.
Les experts ont constaté que l’outil présente des inexactitudes fréquentes lors de la transcription des entretiens médicaux. Cela pose des risques significatifs, notamment en matière de diagnostics erronés et de traitements inappropriés.
🎷Excited to present our paper, “Careless Whisper: Speech-to-text Hallucination Harms” at @FAccTConference! 🎷We assess Whisper (OpenAI’s speech recognition tool) for transcribed hallucinations that don’t appear in audio input. Paper link: https://t.co/u3JLoZjZ5N, thread 👇 pic.twitter.com/lnUj9molln
— Allison Koenecke (@allisonkoe) June 3, 2024
Des erreurs aux conséquences lourdes
Les erreurs de Whisper ne se limitent pas à des transcriptions inexactes. L’outil a été surpris en train d’inventer des médicaments qui n’existent pas. Ces inventions pourraient mener à des prescriptions dangereuses si elles ne sont pas correctement vérifiées par des professionnels.
En outre, Whisper a montré des biais racistes en déformant les propos de certains patients, ce qui pourrait affecter la qualité des soins prodigués. Ces biais soulèvent des questions éthiques cruciales concernant l’utilisation de l’IA dans des contextes si sensibles.
Les hallucinations de l’IA : un phénomène inquiétant
Les experts ont également remarqué que Whisper a tendance à générer des phrases qui n’ont jamais été prononcées, un phénomène qualifié d’hallucinations. Ces fabrications peuvent varier à chaque exécution de l’outil, rendant le système particulièrement imprévisible.
Ces hallucinations incluent parfois des descriptions d’actes violents ou sexuels sans fondement, ajoutant à l’inquiétude générale quant à l’utilisation de cette technologie dans un cadre médical.
| 🔍 Erreurs médicales | Invention de médicaments fictifs par l’IA. |
| 🏥 Biais racistes | Transcriptions biaisées affectant la qualité des soins. |
| 🤖 Hallucinations | Création de phrases non prononcées par l’IA. |
Un avenir incertain pour l’IA dans le secteur médical
Malgré les problèmes identifiés, les responsables de Nabla continuent d’utiliser Whisper. Ils reconnaissent les limites de l’IA, mais persistent à l’intégrer dans les hôpitaux, espérant des améliorations futures.
La controverse autour de Whisper soulève des interrogations sur la place de l’IA dans les soins de santé. Les bénéfices potentiels compensent-ils les risques encourus ? Et quelles mesures doivent être prises pour garantir la sécurité des patients ?
La question reste ouverte : l’IA peut-elle un jour être suffisamment fiable pour transformer positivement le système de santé, ou ses défauts intrinsèques la condamnent-ils à l’échec ?
Est-ce que Whisper a déjà causé des incidents graves dans des hôpitaux ?
Quel est le plan pour corriger ces biais racistes dans l’IA ? 🤔
Je suis impressionné par les capacités de l’IA, mais les risques sont vraiment effrayants !
Pourquoi continue-t-on à utiliser une technologie aussi imparfaite ?
Ça me rappelle un épisode de Black Mirror… 😅
Peut-on vraiment faire confiance à une IA pour la santé des gens ?
Y’a-t-il des alternatives à Whisper qui soient plus fiables ?
Les médecins doivent-ils être formés à détecter les erreurs de l’IA ?