Una compañía de salud mental usa ChatGPT para responder a sus usuarios en un experimento, lo que genera críticas por los dilemas éticos que plantea

A medida que se amplían los casos de uso de ChatGPT, una empresa está utilizando la IA para experimentar con la atención de salud mental digital, arrojando luz sobre las zonas grises éticas en torno al uso de la tecnología. 

Rob Morris, cofundador de Koko, un servicio de salud mental gratuito y sin ánimo de lucro que se asocia con comunidades en línea para encontrar y tratar a personas en situación de riesgo, ha publicado en Twitter que su empresa ha utilizado chatbots con la IA GPT-3 para ayudar a responder a 4.000 usuarios.

Morris explica en el hilo que la empresa ha probado un "enfoque de copiloto con humanos supervisando a la IA según sea necesario" en los mensajes enviados a través de la ayuda entre iguales Koko, una plataforma que describe en un vídeo adjunto como "un lugar donde puedes obtener ayuda de nuestra red o ayudar a otra persona."

"Hacemos que sea muy fácil ayudar a otras personas y con GPT-3 estamos haciendo que sea aún más fácil ser más eficiente y eficaz como proveedores de ayuda", afirma Morris en el vídeo.

ChatGPT es una variante de GPT-3, que crea texto similar al humano basándose en indicaciones, ambos creados por la empresa OpenAI.

Los usuarios de Koko no fueron informados inicialmente de que las respuestas habían sido desarrolladas por un robot, y "una vez que la gente se enteró de que los mensajes habían sido cocreados por una máquina, no funcionó", se lamenta Morris. 

Google alerta del "riesgo de reputación" de ChatGPT y otros chatbots basados en inteligencia artificial

"La empatía simulada resulta extraña, vacía. Las máquinas no han vivido la experiencia humana, así que cuando dicen 'eso suena difícil' o 'lo entiendo', suena poco auténtico", explica Morris en el hilo. "Una respuesta de chatbot que se genera en 3 segundos, no importa lo elegante que sea, se siente barata de alguna manera".

Sin embargo, el sábado, Morris tuiteó "algunas aclaraciones importantes".

"No estábamos emparejando a gente para charlar con GPT-3 sin su conocimiento. (Con perspectiva, debí haber redactado mi primer tuit para explicar mejor esto)", señalaba el tuit.

"Esta función era opcional. Todo el mundo conocía la función cuando estuvo activa durante unos días".

Morris ha asegurado que Koko "ha retirado esta función de nuestra plataforma rápidamente". Además, ha señalado que los mensajes basados en inteligencia artificial "obtuvieron una calificación significativamente superior a los escritos por humanos por su cuenta", y que los tiempos de respuesta se redujeron en un 50% gracias a la tecnología. 

Preocupaciones éticas y jurídicas 

El experimento ha provocado protestas en Twitter, con algunos profesionales de la salud pública y la tecnología denunciando a la empresa por violar la ley de consentimiento informado, una política federal de EEUU que obliga a los seres humanos a dar su consentimiento antes de participar en una investigación. 

"Esto es poco ético", tuiteaba el sábado el escritor y estratega de medios, Eric Seufert. 

"Vaya, yo no admitiría esto públicamente", ironizaba el viernes en Twitter Christian Hesketh, que se describe a sí mismo como científico clínico. "Los participantes deberían haber dado su consentimiento informado y esto debería haber pasado por un IRB [consejo de revisión institucional]".

En una declaración a Business Insider, Morris asegura que la empresa "no emparejaba a la gente para chatear con GPT-3" y afirma que la opción de utilizar la tecnología se eliminó tras darse cuenta de que "parecía una experiencia poco auténtica". 

"Más bien, estábamos ofreciendo a nuestros compañeros de apoyo la oportunidad de utilizar GPT-3 para ayudarles a componer mejores respuestas", explica. "Recibían sugerencias que les ayudaban a redactar respuestas de apoyo con mayor rapidez".

Morris señala a Business Insider que el estudio de Koko está "exento" de la ley de consentimiento informado, y cita investigaciones anteriores publicadas por la empresa, que también estaban exentas. 

"Cada individuo tiene que dar su consentimiento para utilizar el servicio", afirma Morris. "Si esto fuera un estudio universitario (que no lo es, era solo una característica del producto explorado), esto caería en una categoría 'exenta' de la investigación".

Y añade que "esto no supuso ningún riesgo adicional para los usuarios, ningún engaño, y no recopilamos ninguna información personal identificable, ni información personal de salud (ni correo electrónico, ni número de teléfono, ni ip, ni nombre de usuario, etc.)".

ChatGPT y la zona gris de la salud mental

Aun así, el experimento está suscitando dudas sobre la ética y las zonas grises que rodean el uso de chatbots de IA en la atención sanitaria en general, después de haber provocado ya malestar en el mundo académico.

Arthur Caplan, profesor de bioética en la Facultad de Medicina Grossman de la Universidad de Nueva York, ha señalado en un correo electrónico enviado a Business Insider que utilizar la tecnología de IA sin informar a los usuarios es "muy poco ético." 

"La intervención de ChatGPT no es un tratamiento estándar", explica Caplan a Business Insider. "Ningún grupo psiquiátrico o psicológico ha verificado su eficacia ni expuesto sus riesgos potenciales".

Además, añade que las personas con enfermedades mentales "requieren una sensibilidad especial en cualquier experimento", incluida "una revisión minuciosa por parte de un comité de ética de la investigación o una junta de revisión institucional antes, durante y después de la intervención".

Caplan señala que el uso de la tecnología GPT-3 de esta forma podría repercutir en su futuro en el sector sanitario en general. 

"ChatGPT puede tener futuro, al igual que muchos programas de IA, como la cirugía robótica", explica. "Pero lo que ha ocurrido aquí solo puede retrasar y complicar ese futuro". 

Morris señala a Business Insider que su intención era "enfatizar la importancia de lo humano en la discusión humano-AI. Espero que eso no se pierda aquí".