¿A cuántos niños más tiene que matar la IA?

El 28 de febrero de 2024, Se­well Setzer III, un chico de 14 años de Florida, se suicidó a instancias de un personaje realista de inteligencia artificial (IA) generado por Character.AI, una plataforma que al parecer también alberga chatbots de IA pro­anorexia que fomentan los trastornos alimentarios entre los jóvenes. Está claro que se necesitan urgentemente medidas más estrictas para proteger a los niños y jóvenes de la IA.

Por supuesto, incluso en términos estrictamente éticos, la IA tiene un inmenso potencial positivo, desde la promoción de la salud y la dignidad humanas hasta la mejora de la sostenibilidad y la educación entre las poblaciones marginadas. Pero estos beneficios prometidos no son excusa para restarles importancia a los riesgos éticos y los costos en el mundo real, o para negarlos. La tragedia de Setzer no es un caso aislado. En diciembre, dos familias de Texas presentaron una demanda contra ­Character.AI y su patrocinador financiero, Google, alegando que los chatbots de la plataforma abusaban sexual y emocionalmente de sus hijos, provocando autolesiones y violencia.

Ya hemos visto esta película antes, después de haber sacrificado a una generación de niños y adolescentes a manos de las empresas de redes sociales que se benefician de la adicción a sus plataformas. Hemos despertado con lentitud a los daños sociales y psicológicos causados por los “medios antisociales”. Ahora, muchos países están prohibiendo o restringiendo el , y los propios jóvenes exigen una regulación más estricta. Pero no podemos pretender frenar el poder manipulador de la IA. El potencial de abuso es enorme. Las IA saben exactamente qué botones presionar para explotar nuestros deseos o hacer que votemos de una determinada manera. Los chatbots proanorexia de Character.AI no son más que el último y más escandaloso ejemplo. No hay ninguna buena razón para no prohibirlos de inmediato.

Sin embargo, se está acabando el tiempo, porque los modelos de IA generativa se han desarrollado más rápido de lo esperado —y, en general, están cobrando velocidad en la dirección equivocada—. El padrino de la IA, el científico cognitivo y ganador del Premio Nobel Geoffrey Hinton, continúa advirtiendo que esta tecnología podría conducir a la extinción humana. “Lo único que puede obligar a esas grandes empresas a investigar más sobre seguridad es la regulación gubernamental”, recuerda.

Dada la incapacidad de las grandes empresas tecnológicas para cumplir con normas éticas, es una locura esperar que se vigilen a sí mismas. Google invirtió 2.700 millones de dólares en Character.AI en 2024 a pesar de sus problemas conocidos. Pero si bien la regulación es obviamente necesaria, la IA es un fenómeno global, lo que significa que deberíamos esforzarnos por lograr la aprobación de una regulación global, anclada en un nuevo mecanismo de cumplimiento global, como una agencia internacional de sistemas basados en datos (IDA) en las Naciones Unidas, como he propuesto.

El hecho de que algo sea posible no significa que sea deseable. Los seres humanos tenemos la responsabilidad de decidir qué tecnologías, qué innovaciones y qué formas de progreso deben realizarse y ampliarse, y cuáles no. Es nuestra responsabilidad diseñar, producir, utilizar y gobernar la IA de forma que respete los derechos humanos y facilite un futuro más sostenible. Es casi seguro que Setzer seguiría vivo si hubiera existido una regulación global para promover una IA basada en los derechos humanos, y si se hubiera creado una institución global para supervisar las innovaciones en este ámbito. Garantizar que se respeten los derechos humanos y los derechos de los niños exige la gobernanza de todo el ciclo de vida de los sistemas tecnológicos.

Dado que ya sabemos que la IA puede matar, no tenemos excusa para permanecer pasivos mientras la tecnología sigue avanzando, con más modelos no regulados que se lanzan al público cada mes.