El controvertido fabricante de aplicaciones de salud Babylon Health criticó al médico que primero expresó su preocupación por la seguridad de su chatbot de IA.

El chatbot de Babylon Health está disponible en la aplicación GP at Hand de la compañía, una solución de atención médica digital promovida por el secretario de salud Matt Hancock que también se integró en Samsung Health desde el año pasado.

El chatbot tiene como objetivo reducir la carga sobre los médicos de cabecera y los departamentos de A&E mediante la automatización del proceso de clasificación para determinar si alguien puede tratarse a sí mismo en casa, debe reservar una cita médica en línea o en persona, o ir directamente a un hospital.

Un usuario de Twitter bajo el seudónimo del Dr. Murphy nos contactó por primera vez en 2018 alegando que el chatbot de Babylon Health estaba dando consejos inseguros. El Dr. Murphy se presentó recientemente como el Dr. David Watkins y se hizo público con sus hallazgos en el evento "Desarrollos recientes en IA y salud digital 2020" de la Royal Society of Medicine, además de aparecer en un informe de BBC Newsnight.

En los últimos años, el Dr. Watkins ha proporcionado muchos ejemplos de chatbot dando consejos peligrosos. En un ejemplo, se sugirió a un paciente obeso fumador empedernido de 48 años que se presentaba con dolores en el pecho que reservara una consulta "en las próximas horas". Cualquier persona con sentido común le habría dicho que marcara un número de emergencia de inmediato.

Este problema en particular se ha rectificado desde entonces, pero el Dr. Watkins ha destacado muchos otros ejemplos a lo largo de los años que muestran, muy claramente, que hay problemas de seguridad graves.

En un comunicado de prensa (PDF) el lunes, Babylon Health llama al Dr. Watkins un "troll" que ha "atacado a miembros de nuestro personal, socios, clientes, reguladores y periodistas y ha tuiteado contenido difamatorio sobre nosotros".

Según el comunicado, el Dr. Watkins realizó 2.400 pruebas del chatbot en un intento por desacreditar el servicio al tiempo que obtuvo "menos de 100 resultados de pruebas que consideró preocupantes".

Babylon Health afirma que en solo 20 casos el Dr. Watkins encontró errores genuinos, mientras que otros fueron "tergiversaciones" o "errores", según el propio "panel de médicos de alto nivel" de Babylon que permanecen sin nombre.

En declaraciones a TechCrunch, el Dr. Watkins calificó las afirmaciones de Babylon como "completamente absurdas" y preguntó de dónde sacó la empresa sus cifras ya que "ciertamente no hay 2.400 evaluaciones de triaje completadas".

El Dr. Watkins estima que ha realizado entre 800 y 900 triajes completos, algunos de los cuales fueron pruebas repetidas para ver si Babylon Health había solucionado los problemas que destacó anteriormente.

El médico reconoce que el chatbot de Babylon Health ha mejorado y tiene problemas en torno a la tasa de aproximadamente uno de cada tres casos. En 2018, cuando el Dr. Watkins se contactó con nosotros y con otros medios, dice que esta tasa fue "uno en uno".

Si bien es una cuenta frente a la otra, la evidencia muestra que el chatbot de Babylon Health ha emitido consejos peligrosos en varias ocasiones. El Dr. Watkins ha dedicado muchas horas a destacar estos problemas a Babylon Health para mejorar la seguridad del paciente.

En lugar de dar la bienvenida a sus esfuerzos y trabajar con el Dr. Watkins para mejorar su servicio, parece que Babylon Health ha decidido ir a la ofensiva y "tratar de desacreditar a alguien que plantea problemas de seguridad del paciente".

En su comunicado de prensa, Babylon acusa a Watkins de publicar "más de 6,000" ataques engañosos pero sin dar detalles de dónde. El Dr. Watkins utiliza principalmente Twitter para publicar sus hallazgos. Su cuenta, al momento de escribir, ha twitteado un total de 3.925 veces y no solo sobre el servicio de Babylon.

Esta no es la primera vez que se cuestionan las cifras de Babylon Health. En junio de 2018, Babylon Health celebró un evento en el que se jactó de que sus GPs aprendices de AI vencieron en el examen MRCGP utilizado para probar su capacidad para diagnosticar problemas médicos. La calificación promedio para aprobar es del 72 por ciento. "¿Cómo le fue a Babylon Health?" dijo el Dr. Mobasher Butt en el evento, un director de Babylon Health. "Obtuvo el 82 por ciento".

Dada la cantidad de sugerencias peligrosas para dolencias triviales que el chatbot ha dado, especialmente en ese momento, es difícil imaginar la afirmación de que vence a los médicos en formación como correctos. Curiosamente, el video del evento se ha eliminado desde la cuenta de YouTube de Babylon Health y la compañía eliminó todos los enlaces a la cobertura de la parte de "Babylon en las noticias" de su sitio web.

Cuando se le preguntó por qué eliminó el contenido, Babylon Health dijo en un comunicado: “Como una compañía de tecnología de salud dinámica y de ritmo rápido, Babylon actualiza constantemente el sitio web con nueva información sobre nuestros productos y servicios. Como tal, el contenido antiguo a menudo se elimina para dar paso a lo nuevo ".

Las soluciones de IA como las que ofrece Babylon Health ayudarán a reducir la demanda de servicios de salud y garantizarán que las personas tengan acceso a la información y la atención adecuadas cuando y donde lo necesiten. Sin embargo, la seguridad del paciente debe ser lo primero.

Los errores son menos perdonables en el cuidado de la salud debido al riesgo de consecuencias potencialmente fatales o que cambian la vida. El espíritu habitual de "moverse rápido y romper cosas" en tecnología no se puede aplicar aquí.

Existe una aceptación general de que rara vez una nueva tecnología estará sin sus problemas, pero la gente quiere ver que se están haciendo los mejores esfuerzos para limitar y abordar esos problemas. En lugar de dar la bienvenida a aquellos que señalan problemas con su servicio antes de que conduzca a un incidente grave, parece que Babylon Health preferiría culpar a todos los demás por sus fallas.

¿Interesado en escuchar a los líderes de la industria discutir temas como este? Asista a la 5G Expo, IoT Tech Expo, Blockchain Expo, AI & Big Data Expo y Cyber ​​Security & Cloud Expo World Series con eventos próximos en Silicon Valley, Londres y Amsterdam.





Dejar respuesta

Please enter your comment!
Please enter your name here