Advierten riesgos globales de los agentes de inteligencia artificial en el Foro de Davos
Yoshua Bengio, pionero en inteligencia artificial, señaló durante el Foro Económico Mundial los peligros de sistemas autónomos, proponiendo alternativas supervisadas para prevenir posibles escenarios catastróficos
En una entrevista con Business Insider, Bengio enfatizó que “todos los escenarios catastróficos con AGI o superinteligencia suceden si tenemos agentes”. Según explicó, los agentes son sistemas que actúan de forma autónoma, con objetivos propios, lo que los convierte en una amenaza potencial si sus decisiones no están alineadas con los valores y los intereses humanos.
Los riesgos de los agentes de IA
En su intervención, Bengio se refirió específicamente a los agentes de IA con capacidades cognitivas similares a las humanas, conocidas como inteligencia general artificial (AGI).
Según explicó, estos agentes podrían representar un grave peligro si no se diseñan ni controlan adecuadamente. Entre los escenarios más alarmantes que mencionó se encuentran los sistemas de armas autónomos, que podrían tomar decisiones letales sin intervención humana.
Y también, la manipulación masiva de información, donde agentes de IA podrían ser utilizados para difundir desinformación y propaganda, socavando valores fundamentales como la democracia.
“El problema es que las personas seguirán construyendo agentes sin importar qué, especialmente porque las empresas y los países competidores temen que otros logren alcanzar primero la AGI autónoma”, afirmó Bengio en Business Insider.
Además destacó que los riesgos de los agentes autónomos radican en el posible conflicto entre sus objetivos y los valores humanos. “Debemos reconocer los riesgos, entender científicamente de dónde vienen y realizar la inversión tecnológica necesaria para garantizar la seguridad antes de que sea demasiado tarde y construyamos cosas que puedan destruirnos”, agregó.
El debate ético sobre la IA
La advertencia de Bengio forma parte de un debate ético más amplio sobre el desarrollo de la inteligencia artificial. Expertos y filósofos han planteado preocupaciones como la posibilidad de que las máquinas desarrollen conciencia propia, el grado de autonomía que deberían tener y la cuestión de quién debe ser responsable de sus acciones.
Durante un panel en el Foro Económico Mundial, Bengio instó a considerar estos dilemas y señaló que la colaboración internacional es clave para establecer estándares éticos y de seguridad.
Según él, la regulación debería impedir que las empresas desarrollen modelos autónomos sin probar primero su seguridad. “Es posible avanzar en nuestra ciencia sobre una IA segura y capaz, pero necesitamos reconocer los riesgos y realizar las inversiones necesarias”, afirmó.
Bengio también ha apoyado iniciativas concretas, como la legislación de seguridad de la IA SB 1047 en California, que busca requerir evaluaciones de riesgos para modelos cuyo costo de entrenamiento supere los 100 millones de dólares.
De paso, abogó por medidas como el registro de productos de IA, la formación ética para los desarrolladores y la supervisión gubernamental para rastrear posibles usos peligrosos o ilegales de esta tecnología.
La alternativa: sistemas de IA no basados en agentes
Como una solución a los riesgos de los agentes de IA, Bengio propone centrarse en sistemas de IA no basados en agentes. Estos sistemas no tienen objetivos propios ni capacidad de actuar de forma autónoma, y su uso está limitado a tareas específicas, lo que permite un mayor control y transparencia.
“Toda la IA para la ciencia y la medicina, todas las cosas que les importan a las personas, no son autónomas”, explicó en Business Insider. “Podemos continuar construyendo sistemas más poderosos que no sean autónomos”.
Entre los ejemplos de estos sistemas se encuentran herramientas para el análisis de datos, capaces de identificar patrones y extraer información valiosa, y sistemas que generan obras de arte como música, pinturas o poemas. Estas aplicaciones específicas, según Bengio, no requieren autonomía y, por lo tanto, son más fáciles de supervisar.
El informático canadiense también destacó los beneficios de los sistemas no autónomos en el ámbito científico, como el avance en descubrimientos biológicos. Citó el trabajo de DeepMind en el plegamiento de proteínas como una prueba de cómo la inteligencia artificial puede ser transformadora sin la necesidad de otorgarle agencia. “Es una apuesta, lo reconozco, pero creo que es una apuesta que vale la pena”, dijo.
Finalmente, Bengio plantea la posibilidad de desarrollar sistemas de monitoreo más sofisticados que permitan controlar a los agentes de IA. Sin embargo, advierte que esta estrategia requerirá una inversión significativa en investigación y desarrollo.
Una visión para el futuro de la IA
Yoshua Bengio propone una visión inspirada en la utopía de Star Trek, donde la tecnología sea utilizada para el beneficio de la humanidad: un mundo con democracia, atención médica, educación y alimentos para todos, y sin guerras.
Para alcanzar esta visión, es fundamental garantizar que el desarrollo de la inteligencia artificial esté guiado por principios de responsabilidad, transparencia y seguridad.
La advertencia de Bengio sobre los agentes de IA no es solo un llamado a la reflexión, sino una propuesta concreta para construir un futuro en el que la IA pueda mejorar nuestras vidas sin convertirse en una amenaza existencial.
Su compromiso con la Declaración de Montreal para el Desarrollo Responsable de la inteligencia artificial y su liderazgo en el informe científico internacional sobre la seguridad de la IA avanzada reflejan su intención de garantizar que esta tecnología beneficie a toda la humanidad.
¿Quién es Yoshua Bengio?
Bengio es un reconocido científico de la computación canadiense, profesor en la Universidad de Montreal y director científico del Instituto de IA MILA. Nacido en París en 1964, en el seno de una familia judía que emigró de Marruecos, Bengio se trasladó a Canadá con su familia durante su infancia.
Desde joven, mostró interés por la programación, inspirado por autores de ciencia ficción como Ray Bradbury e Isaac Asimov. Curiosamente, su interés por la computación se despertó en su adolescencia gracias al acceso a hardware primitivo que él y su hermano Samy, también un influyente científico de la computación que trabaja con redes neuronales en Apple, podían permitirse con sus ganancias repartiendo periódicos.
Bengio obtuvo su licenciatura en ingeniería eléctrica, una maestría en ciencias de la computación y un doctorado en ciencias de la computación en la Universidad McGill . Es importante destacar que completó su doctorado en 1991, después de obtener su maestría en 1988.
Tras su doctorado, realizó estancias postdoctorales en el MIT y en los laboratorios Bell de AT&T. Su formación académica incluyó un fuerte componente en matemáticas y física, lo que le proporcionó las bases esenciales para su trabajo posterior en aprendizaje automático.
El trabajo pionero de Bengio en redes neuronales artificiales y aprendizaje profundo le ha valido el reconocimiento internacional, incluyendo el Premio Turing en 2018, considerado el “Nobel de la informática”.
Bengio es el científico de la computación más citado a nivel mundial, tanto por el número total de citas como por su índice h —una métrica en el ámbito de autor que mide tanto la productividad como el impacto de las citas de las publicaciones—, que en 2024 alcanzó 227, ubicándolo en el primer puesto en Canadá y octavo en Norteamérica.
Este alto índice h lo sitúa entre el 3 % de los mejores científicos en su campo a nivel mundial. En 2024, la revista TIME lo incluyó en su lista anual de las 100 personas más influyentes del mundo.
Bengio también ha desempeñado un papel importante en el desarrollo institucional del aprendizaje automático en Canadá. Fue uno de los fundadores de Mila, el Instituto de Algoritmos de Aprendizaje de Montreal (ahora el Instituto de Inteligencia Artificial de Quebec), que reúne a investigadores de cuatro instituciones locales.
Además, en 2016 cofundó Element AI, una incubadora de inteligencia artificial con sede en Montreal que convierte la investigación en IA en aplicaciones empresariales del mundo real.
Actualmente, Bengio se desempeña como asesor científico y técnico de Recursion Pharmaceuticals y como asesor científico de Valence Discovery. Un dato curioso para los aficionados a las matemáticas: Bengio tiene un número de Erdős de 3, lo que indica una corta distancia de colaboración con el famoso matemático Paul Erdős. Bengio también ha contribuido con un capítulo al libro Architects of Intelligence: The Truth About AI from the People Building it.
Es interesante destacar la influencia de la crianza de Bengio en su enfoque científico. Sus padres, que rechazaron sus tradicionales crianzas judías marroquíes para abrazar la libertad personal y la solidaridad social de la contracultura de la década de 1960, le inculcaron la confianza en seguir su “intuición científica”.
Su padre, Carlo Bengio, era farmacéutico y dramaturgo, y dirigía una compañía de teatro sefardí en Montreal. Su madre, Célia Moreno, fue actriz en la década de 1970 en la escena teatral marroquí y cofundó una compañía de teatro multimedia en Montreal.
Las contribuciones de Bengio a la IA
Yoshua Bengio ha realizado numerosas contribuciones significativas al campo de la inteligencia artificial. Su trabajo se centra en comprender los principios de la inteligencia a través del aprendizaje y en favorecer el desarrollo de la IA para el beneficio de todos.
- Aprendizaje profundo: es uno de los pioneros en el desarrollo del aprendizaje profundo, un conjunto de técnicas que permiten a las máquinas aprender de grandes cantidades de datos. El aprendizaje profundo se basa en redes neuronales artificiales, sistemas inspirados en el cerebro humano que están formados por capas de unidades de procesamiento interconectadas. Estas redes pueden aprender a reconocer patrones complejos en los datos, lo que las hace útiles para una amplia gama de aplicaciones, como el reconocimiento de imágenes, el procesamiento del lenguaje natural y la robótica.
- Traducción automática neuronal: ha contribuido significativamente al avance de la traducción automática neuronal, que utiliza redes neuronales para traducir idiomas de forma más precisa y fluida. En este campo, su grupo de investigación ha logrado importantes mejoras al combinar incrustaciones de palabras neuronales con mecanismos de atención. Las incrustaciones de palabras representan palabras como vectores numéricos, lo que permite a las máquinas comprender mejor el significado del lenguaje. Los mecanismos de atención, por otro lado, permiten a las redes neuronales enfocarse en las partes más relevantes de la información de entrada.
- Redes generativas antagónicas (GANs): junto con Ian Goodfellow, uno de sus estudiantes de doctorado, Bengio desarrolló el concepto de GANs, un tipo de red neuronal que puede generar imágenes y otros datos realistas. Las GANs se basan en la competencia entre dos redes neuronales: una red generadora que intenta crear datos falsos y una red discriminadora que intenta distinguir los datos falsos de los reales. Esta competencia impulsa a ambas redes a mejorar, lo que da como resultado la generación de datos cada vez más realistas.
- Modelos de lenguaje neuronal: ha realizado importantes avances en el desarrollo de modelos de lenguaje neuronal, que permiten a las máquinas comprender y generar lenguaje natural . Uno de sus principales logros en este campo fue la introducción del modelo de lenguaje probabilístico neuronal en 2000, que sentó las bases para los modernos sistemas de traducción automática y comprensión del lenguaje natural.
- Redes de flujo generativas: ha investigado las redes de flujo generativas, un tipo de modelo generativo que puede aprender distribuciones de probabilidad complejas. Estas redes se basan en la idea de transformar una distribución de probabilidad simple en una distribución más compleja mediante una serie de transformaciones invertibles.
- Modelado de series temporales estocásticas: Bengio ha trabajado en el desarrollo de técnicas para modelar series temporales estocásticas e irregularmente muestreadas utilizando ecuaciones diferenciales estocásticas neuronales (Neural SDEs). Este trabajo tiene aplicaciones en diversos campos, especialmente en medicina, donde se utiliza para analizar datos médicos como electrocardiogramas o registros de actividad cerebral
