Qui doit blâmer quand une machine bloque votre chirurgie?

La médecine est un art imprécis et une erreur médicale, que ce soit par négligence ou par erreur, est extrêmement courante. Certains experts estiment qu’il s’agit de la troisième cause de décès aux États-Unis. Au Royaume-Uni, un patient sur six reçoit un diagnostic erroné du Service national de santé.

L’une des grandes promesses de l’intelligence artificielle est de réduire considérablement le nombre d’erreurs commises dans le monde des soins de santé. Pour certaines conditions, la technologie se rapproche déjà des taux de réussite des meilleurs spécialistes et, dans certains cas, les fait correspondre et même les dépasse. Les chercheurs du John Radcliffe Hospital d’Oxford, par exemple, affirment avoir mis au point un système d’IA capable de surpasser les cardiologues en identifiant le risque de crise cardiaque en examinant les scanners thoraciques. Les résultats de l’étude doivent encore être publiés, mais si l’IA est effectivement un succès, la technologie sera offerte gratuitement aux hôpitaux du NHS dans tout le Royaume-Uni. Et cela est juste l’un des derniers dans une chaîne de cancer AIs lecture image médicale, y compris celui qui peut diagnostiquer la peau réussie, une autre qui permet d’identifier une affection oculaire responsable d’environ 10% de la vision perte de l’enfance mondiale, et un troisième qui peut reconnaître certains types de cancer du poumon.

C’est génial, mais même si une IA est incroyable, elle échouera parfois. Lorsque l’erreur est provoquée par une machine ou un algorithme plutôt que par un humain, à qui la faute?

Ce n’est pas une discussion abstraite. Définir la responsabilité éthique et juridique dans le monde des soins médicaux est essentiel pour renforcer la confiance des patients dans la profession et ses normes. Il est également essentiel de déterminer comment indemniser les personnes victimes d’erreurs médicales et d’assurer des soins de qualité. «La responsabilité est censée décourager les gens de faire des choses qu’ils ne devraient pas faire», explique Michael Froomkin, professeur de droit à l’Université de Miami.

«Nous ne pouvons pas avoir le mantra de la Silicon Valley dans le domaine des soins de santé.

«Nous ne pouvons pas avoir le mantra de la Silicon Valley dans le domaine des soins de santé», ajoute Matthew Fenech, ancien médecin du NHS et chercheur sur les politiques d’IA au think tank Future Advocacy. «Nous devons faire passer les patients et la sécurité avant tout.» Actuellement, les IA utilisées en médecine sont qualifiées d’aides à la décision, ce qui signifie qu’elles visent (au moins sur le plan juridique) à compléter l’avis d’un spécialiste. «Dans une certaine mesure, il s’agit d’une tactique d’immunisation, mais en réalité, elle dit que nous nous attendons à ce que les médecins remettent en cause les décisions», explique Charlotte Tschider, membre du droit de la santé et de la propriété intellectuelle à l’Université DePaul. «Ces périphériques ne sont pas positionnés en ce moment en tant que supplantant les connaissances.»

À son tour, cela signifie que le fournisseur de soins de santé qui utilise l’IA (généralement un médecin) reste responsable de tout ce qui pourrait aller de travers dans tous les cas sauf un nombre limité de cas. «Ce n’est pas parce que des choses terribles se produisent que le médecin a commis une erreur», dit Froomkin. “Ils pourraient avoir, mais cela ne le prouve pas.”

Zack Rosebrugh pour Quartz

Le premier scénario est celui où le médecin (ou l’IA, dans ce cas) a agi comme n’importe quel autre médecin raisonnable s’il se trouvait dans la même position. C’est ce que l’on appelle la «norme de diligence» et «ce à quoi tout médecin raisonnable serait censé faire», explique Froomkin. «Si un médecin ne suit pas cela, on devrait s’attendre à ce qu’il justifie et explique sa décision.» Par exemple, un algorithme peut évaluer un patient, diagnostiquer une infection bactérienne, vérifier les dossiers du patient et prescrire un antibiotique de routine. Si ce patient s’avère être allergique à cet antibiotique, mais que cette allergie était inconnue du patient et ne figurait pas dans ses dossiers, l’IA devrait être irréprochable – il ne pouvait pas plus connaître l’allergie qu’un médecin compétent. aurait.

Une autre catégorie de scénarios concerne le cas où le défaut est manifestement imputable au développeur du produit. C’est comme cela que les constructeurs automobiles sont responsables des ceintures de sécurité ou des airbags défectueux, ou que les producteurs d’un stimulateur cardiaque sont responsables d’un dysfonctionnement (en supposant que celui-ci ait été correctement implanté). Considérons une IA qui détecte des niveaux de pression artérielle erronés chaque fois que l’algorithme est exécuté un jour de fin de semaine.

«Vous n’allez pas seulement ouvrir un patient sans réfléchir.»

Mais tant qu’il y aura un médecin ou un autre professionnel de la santé pour exercer son jugement, il est peu probable que nous nous trouvions dans cette situation, dit Froomkin. L’attente légale est qu’un médecin évaluera les résultats et les recommandations de l’IA en même temps que d’autres preuves, telles que les tests de diagnostic traditionnels, les antécédents médicaux et peut-être l’avis consultatif d’autres médecins. «Nous nous attendons à un certain degré de diligence raisonnable», dit Tschider. «Après tout, c’est un outil. Dites que vous êtes un chirurgien et que vous regardez votre scalpel pour constater que tout est plié et que tout est foutu. Vous n’allez pas seulement ouvrir un patient sans réfléchir. Vous avez la responsabilité là aussi.

Et s’il est trouvé négligent, c’est le médecin qui sera puni et potentiellement interdit ou suspendu de la pratique. “Si [une IA] est utilisée comme aide à la décision, alors le médecin est responsable à 100%”, explique M. Froomkin.

Cela deviendra difficile, admet M. Froomkin, quand, ou si, une IA devient la norme. «La solution sûre pour le médecin est de suivre la norme», dit-il. «Évidemment, si on dit de couper la tête du patient, vous ne le feriez pas, mais cela met les médecins dans une position difficile. À l’avenir, nous pourrions envisager de modifier la loi sur la responsabilité afin de protéger les médecins qui annulent les machines. »

Déterminer les niveaux de responsabilité légale pour les IA dans leur ensemble est un domaine relativement nouveau et qui doit encore être sérieusement testé devant les tribunaux. De plus, dans le contexte des soins de santé, le statut actuel des IA en tant qu ’« aides à la décision »rend difficile pour quiconque de tester leur responsabilité médicale dans le système judiciaire. «En ce moment, tout semble incertain et dans l’air», explique Nicholson Price, professeur adjoint de droit à l’Université du Michigan. Les premiers défis sérieux liés à la responsabilité juridique de l’intelligence artificielle sont les plus susceptibles d’être imposés aux véhicules autonomes, d’autant plus qu’ils deviennent plus courants sur les routes.

Zack Rosebrugh pour Quartz

Un effet secondaire du fonctionnement des algorithmes d’apprentissage automatique est que beaucoup fonctionnent comme des boîtes noires. «Il y a une opacité inhérente à ce qui peut et ne peut pas être connu avec ces systèmes», déclare Price. En d’autres termes, il est impossible de savoir précisément pourquoi une IA a pris la décision dont elle dispose – tout ce que nous pouvons savoir, c’est sa conclusion et que sa conclusion repose sur les informations qu’elle contient. Ajoutez à cela le fait que de nombreux algorithmes (et les données utilisées pour les former) sont propriétaires et qu’il devient impossible pour un professionnel de la santé d’évaluer la fiabilité de l’aide au diagnostic qu’ils utilisent.

Cette opacité soulève un certain nombre de questions. Par exemple, comment pouvons-nous déterminer à quel moment l’erreur d’une IA passe d’une erreur médicale malheureuse (mais inévitable) à une erreur inacceptable, voire négligente? Et les médecins ou les établissements de santé qui utilisent l’IA peuvent-ils être tenus pour responsables de ce qui pourrait mal se passer quand ils ne connaissent même pas le fonctionnement interne de l’outil?

“Pourquoi voudrions-nous cela en tant que société? La personnalité n’est qu’une fiction juridique.

Une solution consisterait à tenir le système d’IA lui-même pour responsable dans tous les cas, en le considérant comme une sorte de personne morale. Ce serait difficile et “un peu bizarre”, dit Price. Pour commencer, comment punir ou réprimander une machine? Ils n’ont pas de compte en banque ou de chèques de paie, donc les sanctions pécuniaires ne signifient rien. Ils n’ont pas non plus de corps à incarcérer. «Peut-être que quelqu’un a expliqué pourquoi [la personnalité juridique des IA médicaux] est utile, mais s’ils en ont, alors je n’en ai certainement pas entendu parler», dit Froomkin. «Qu’est-ce qu’il y a pour nous? Je ne vois pas le point. C’est un bouclier de responsabilité. Pourquoi voudrions-nous cela en tant que société? La personnalité n’est qu’une fiction juridique.

Cela dit, leurs fabricants ont certainement des comptes bancaires et des chèques de paie. «Ce n’est pas comme si Watson avait un tas d’argent», dit Price. Mais, «IBM fait beaucoup».

Tenir la responsabilité de l’entreprise derrière une IA serait essentiellement ce qui se passe aujourd’hui lorsque les fabricants d’équipements médicaux produisent des produits défectueux ou ne mettent pas suffisamment en garde les utilisateurs contre les risques. Par exemple, en octobre 2017, des centaines de patients au Royaume-Uni ont intenté une action contre le fabricant des prothèses de hanche prétendument «défectueuses» dans l’une des plus importantes actions du groupe «produit-responsabilité» de l’histoire du pays. Bien que le tribunal ait statué contre les patients en mai 2018, estimant qu’ils «n’avaient pas subi de réaction indésirable aux débris métalliques», de tels cas contre les fabricants sont relativement courants. Johnson & amp; Johnson, par exemple, est actuellement au centre de nombreuses batailles juridiques dans le monde entier concernant ses implants de maille vaginale. L’incapacité présumée de la société à mener des essais cliniques adéquats couplés à un marketing agressif qui aurait minimisé les complications résultant de la procédure a laissé de nombreuses femmes affaiblies et souffrant de douleurs sévères, nécessitant souvent de nombreuses interventions chirurgicales pour tenter de retirer la maille.

Aller de l’avant avec un fabricant d’IA en cas d’erreur médicale pourrait être judicieux compte tenu de l’état actuel de l’apprentissage automatique. À l’avenir, cependant, il serait peut-être possible de faire en sorte que l’IA soit elle-même responsable.

Zack Rosebrugh pour Quartz

Price spécule que dans de nombreuses années, il sera peut-être possible d’accorder une licence à une IA pour une pratique médicale – ce qui signifie qu’elle pourrait également être «radiée» après avoir fait trop d’erreurs, comme le font les vrais médecins. «C’est un peu comme les voitures sans conducteur», dit-il. «Vous pouvez imaginer un scénario dans lequel un véhicule autonome doit s’inscrire auprès du [Département des véhicules à moteur], et s’il fait trop d’erreurs, sa licence est supprimée. De même, vous pouvez imaginer une configuration similaire où nous traitons un algorithme comme nous le ferions, par exemple, un oncologue.

Quelles que soient les réglementations mises en œuvre, il est essentiel qu’elles assurent à la fois la confiance continue dans l’établissement médical et facilitent également le développement et la mise en place rapides de systèmes d’IA sûrs et efficaces. Une utilisation plus répandue de l’IA en médecine pourrait signifier que vous êtes moins susceptible de vous retrouver avec des ciseaux, des éponges ou des scalpels après la chirurgie, mais nous devons toujours savoir qui est responsable des rares cas qui surviennent. reculer.

Cette histoire fait partie d’une série d’articles sur l’impact de l’intelligence artificielle sur les soins de santé et la médecine. Cliquez ici pour vous inscrire afin d’être alerté lorsque de nouvelles histoires sont publiées.