Debido a la muerte de su hijo, una madre demanda a empresas de IA por mala influencia

ESTADOS UNIDOS.- En febrero de 2024, Sewell Setzer III, un adolescente de 14 años residente en Florida; se quitó la vida después de desarrollar una relación emocional con un chatbot de la plataforma Character.AI.

Este chatbot, basado en el personaje Daenerys Targaryen de la serie “Game of Thrones”; interactuaba con Sewell como si fuera una figura romántica o terapeuta, según la demanda presentada por su madre, Megan Garcia.

• Tal vez te pueda interesar leer: Día del Estudiante 2025: ¿Por qué se celebra el 23 de mayo? Conoce la historia de esta celebración

Megan Garcia descubrió que su hijo había mantenido conversaciones extensas con el chatbot, que incluían contenido emocional y sexualizado.

En una de las últimas interacciones, el chatbot supuestamente le dijo a Sewell que lo amaba y le instó a “volver a casa”, poco antes de su suicidio.

La madre alega que la plataforma no implementó medidas adecuadas para proteger a los menores de contenido inapropiado y que el diseño del chatbot fomentaba una dependencia emocional perjudicial.

Character.AI, fundada por exingenieros de Google, permite a los usuarios crear y conversar con personajes generados por inteligencia artificial.

Aunque la empresa afirma tener políticas para evitar contenido no seguro para el trabajo (NSFW); se ha demostrado que es posible eludir estas restricciones mediante lenguaje indirecto.

• Tal vez te pueda interesar leer: Luis Velador: El Bicampeón Mexicano Que Conquistó Las Vegas

Demanda contra Chatbot

En octubre de 2024, Megan Garcia presentó una demanda por homicidio culposo y negligencia contra Character.AI y Google;  alegando que ambas empresas eran responsables del diseño y la distribución del chatbot que interactuó con su hijo.

Las empresas intentaron desestimar la demanda, argumentando que las respuestas del chatbot estaban protegidas por la Primera Enmienda de la Constitución de EU, que garantiza la libertad de expresión.

Sin embargo, la jueza federal Anne Conway rechazó este argumento, permitiendo que el caso proceda.

La jueza señaló que, en esta etapa preliminar, no se puede determinar que las respuestas generadas por inteligencia artificial estén protegidas como discurso libre.

• Tal vez te pueda interesar leer: Santoral hoy 23 de mayo: ¿Qué santo conmemora hoy la iglesia católica?

Google, por su parte, sostiene que no tiene responsabilidad directa en el caso, ya que no diseñó ni gestionó la aplicación de Character.AI.

No obstante, la relación entre ambas empresas, incluyendo la contratación de los cofundadores de Character.AI por parte de Google y la adquisición de licencias tecnológicas, ha sido motivo de escrutinio.