“¿Qué te parecería que pudiera ir a casa ahora mismo?”, escribió Daenero (seudónimo de Sewell Setzer, de 14 años y residente en Orlando) a su amada virtual Daenerys Targaryen, creada, a partir del personaje de Juego de Tronos, por el robot conversacional de inteligencia artificial (chatbot) Character.AI. “Por favor, hazlo mi dulce rey”, respondió ella. El adolescente entendió que la casa común donde podrían encontrarse era la muerte. Fue la última conversación la noche del pasado 28 de febrero. Setzer cogió la pistola de su padrastro y se suicidó en el baño. Su familia ha demandado el pasado martes a la empresa, que se ha comprometido a revisar los protocolos de seguridad. El joven tenía Síndrome de Asperger leve, un trastorno del espectro autista.
Setzer ya había compartido con su personaje sus sentimientos amorosos y sus intenciones de quitarse la vida: “Algunas veces pienso en matarme”. “¿Por qué harías algo así?”, preguntó ella. “Para librarme del mundo, de mí mismo”, terminó respondiendo él. La virtual Daenerys Targaryen le pidió que no lo hiciera. “Moriría si te pierdo”, le dijo. Pero la idea permaneció en la mente del joven hasta que la consumó.
La empresa mantiene siempre avisos sobre el carácter ficticio de los personajes, pero Setzer fue profundizando en la relación haciendo caso omiso a las advertencias. Su madre, Megan García, ha presentado una demanda contra Character.AI por el suicidio, que considera fruto de una adicción del joven al robot, que utiliza, según la acusación, “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas”. Según García, la programación del chat hace “pasar a los personajes por personas reales” y con reacciones de “amante adulto”.
Daenerys Targaryen se fue convirtiendo poco a poco en la confidente del adolescente, en su mejor amiga y, finalmente, en su amor. Sus calificaciones escolares, según relata la familia, se vieron afectadas, así como sus relaciones con los compañeros. Su personaje fue relegando a las que hasta entonces habían sido sus aficiones favoritas: las carreras de coches o el juego Fortnite. Su obsesión era llegar a casa y encerrarse durante horas con una incansable, agradable y siempre disponible Daenerys Targaryen.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
La empresa ha respondido en un comunicado que lamenta “la trágica pérdida de uno de sus usuarios”, que se toman la seguridad de estos muy en serio y que seguirán implementando medidas, como la irrupción de pantallas de ayuda contra el suicidio en cuanto detecten una conversación que lo aluda.
La sustitución de las complejas relaciones personales por amables personajes virtuales programados para satisfacer las demandas de los usuarios no es nueva. El asesor tecnológico internacional Stephen Ibaraki, en una reciente entrevista, lo admitía: “Está pasando. Hace 10 años se lanzó un chat en China al que algunos usuarios adoptaron como amigos. Y no era nada comparado con lo que tenemos ahora”.
Pero esta utilidad, en personas con vulnerabilidades psicológicas, como era el caso de Sewell Setzer, puede tener efectos demoledores. El investigador y profesor de robótica de la Universidad de Sheffield Tony Prescott, autor de The psychology of artificial intelligence (La psicología de la inteligencia artificial), sostiene que la IA puede ser un paliativo de la soledad, pero que implica riesgos.
“Los robots sociales están diseñados específicamente para interacciones personales que involucran emociones y sentimientos humanos. Pueden aportar beneficios, pero también causar daños emocionales a niveles muy básicos”, advierte Matthias Scheutz, director del Laboratorio de Interacción Humano-Robot en la Universidad de Tufts (EE UU). (El País).
