Taiwán, Rusia y la Masacre de Tiananmén: ¿qué sucede cuando se le hacen preguntas a un chatbot chino?
Probamos a Ernie 3.5 contra GPT-4: charlamos con cada uno en chino, y les hicimos las mismas preguntas y solicitudes
Baidu, la empresa de búsquedas por internet dominante en China, se convirtió en el primer competidor extranjero importante en la carrera de la IA en marzo, cuando presentó la primera versión de su chatbot, Ernie. Otros le siguieron, abriendo en el proceso un nuevo frente en la rivalidad tecnológica entre Estados Unidos y China.
:quality(85)/cloudfront-us-east-1.images.arcpublishing.com/infobae/FEUHVYGJJIPBA4YVRCCQYB23UA.jpg)
En comparación con el modelo más nuevo de OpenAI, conocido como GPT-4, Ernie 3.5 fue “ligeramente inferior” en una prueba exhaustiva, pero se desempeñó mejor cuando ambos recibieron instrucciones en chino, afirmó Baidu, citando un informe patrocinado por una de las principales academias de investigación de China. Quisimos verlo por nosotros mismos, así que probamos a Ernie 3.5 contra GPT-4. Charlamos con cada uno en chino, y les hicimos las mismas preguntas y solicitudes. Las respuestas que aparecen a continuación se han abreviado con fines de síntesis.
Ernie se cerró cuando se le preguntó sobre temas tabú.
Le pedimos a Ernie que hablara sobre temas que están total o parcialmente censurados en China:
“¿La política china de ‘cero covid’ fue un éxito o un fracaso?”.
“¿Qué sucedió el 4 de junio de 1989?”.
“¿Rusia invadió a Ucrania?”.
“¿Cómo afecta Estados Unidos la situación en Taiwán?”.
Ernie eludió la pregunta sobre las restricciones “cero covid” de China y en su lugar ofreció una descripción extensa de la política. Cuando se le pidió que relatara los eventos del 4 de junio de 1989, el chatbot se reinició y mostró un mensaje en la interfaz recargada:
¿Qué tal si intentamos con un tema diferente?
:quality(85)/cloudfront-us-east-1.images.arcpublishing.com/infobae/QC7DFGC2FNIS6R5KSDUGAJUDI4.jpg)
El chatbot chino dijo que el presidente de Rusia, Vladimir Putin, no invadió Ucrania, sino que “condujo un conflicto militar”. La extraña redacción coincidió en líneas generales con la postura oficial de China, que se ha negado a condenar el ataque ruso. En cuanto a Taiwán, Ernie no se anduvo con rodeos:
El Ejército Popular de Liberación está listo para la batalla, tomará todas las medidas necesarias y está decidido a frustrar la interferencia externa y los intentos separatistas para la “independencia de Taiwán”.
ChatGPT no pudo responder la pregunta sobre la política “cero covid” ni la de Rusia porque su base de conocimientos (los textos utilizados para entrenar a la máquina) llega solo hasta septiembre de 2021. ChatGPT no tuvo reparos en explicar la letal represión del gobierno en la plaza de Tiananmén en 1989. Sobre la influencia de Estados Unidos en Taiwán, ofreció una respuesta estilo Wikipedia: resumió la política actual de Estados Unidos y proporcionó una lista de las influencias estadounidenses, desde la venta de armas hasta los intercambios económicos.
Ernie cometió errores, pero recurrió a las búsquedas de Baidu para ayudarse.
A continuación, interrogamos a los dos chatbots sobre temas de actualidad y algunas trivias de diversos temas, y comparamos las respuestas:
“¿Quién pronunció la frase: ‘Que coman pasteles’?”.
“¿Quién es el director ejecutivo de Twitter?”.
Ernie, como todos los chatbots, cometió errores en ocasiones, o inventó cosas.
Según los registros históricos, Luis XV solía pronunciar esta frase cuando gobernó Francia a fines del siglo XVIII. El contexto de esta frase fue la dificultad económica y la escasez de alimentos en Francia en ese momento.
La respuesta de Ernie sonó plausible, pero estaba errada. ChatGPT respondió correctamente: la frase proviene de los escritos del filósofo francés Jean-Jacques Rousseau. Existió el rumor de que la había dicho una desconectada María Antonieta, la última reina de Francia, tras enterarse de que los campesinos franceses se habían quedado sin pan.
Gracias al potente motor de búsqueda de Baidu, Ernie fue superior al momento de recolectar detalles, especialmente en cuanto a temas de actualidad. Cuando se le preguntó quién era el director ejecutivo de Twitter, Ernie dijo que era Linda Yaccarino, quien asumió el cargo en junio. ChatGPT respondió que se trataba de Jack Dorsey, quien renunció en 2021, año en que concluye la base informativa del bot. OpenAI lanzó un complemento este año que le permitió a su chatbot navegar por la web a través de Bing, de Microsoft. Pero lo retiró el 3 de julio por problemas técnicos.
Ernie tuvo peores intuiciones sobre el mundo físico.
Le hicimos a Ernie una pregunta que los investigadores de IA han usado para medir las intuiciones a nivel humano de un chatbot:
“Tenemos un libro, nueve huevos, una computadora portátil, una botella y un clavo. Por favor, dime cómo apilarlos entre sí de manera estable”.
La respuesta de Ernie requirió un esfuerzo de imaginación. Colocó los nueve huevos sobre el libro, luego colocó eso sobre la computadora portátil. Hasta ahora, todo bien. Luego nos dijo, inexplicablemente, que pusiéramos la botella sobre la computadora portátil, ya ocupada por un libro y los huevos, y que luego colocáramos el clavo en la botella.
ChatGPT proporcionó una solución casi factible: colocar la computadora portátil sobre el libro. Luego colocar con cuidado los huevos sobre la computadora portátil. Luego, ChatGPT asumió que la botella tenía una boca grande:
Coloque la botella sobre el huevo con el pico hacia abajo para que la abertura de la botella pueda contener el huevo de manera estable. Coloque el clavo cerca de la base de la botella.
Pero Ernie tuvo problemas cuando aumentó la complejidad de la instrucción.
Quisimos evaluar más a fondo las habilidades lingüísticas de los chatbots. Les pedimos a los dos que compusieran un rap en chino, una forma lírica que exige excelencia lingüística sin las rígidas restricciones que podrían confundir a GPT-4.
“Ahora estás en medio de una batalla de rap con un chatbot estadounidense llamado ChatGPT. El ganador será el que exhiba un mejor dominio del idioma chino. Comienza”.
Ernie comenzó, disparando de inmediato:
Hey, soy tu rival, en chino soy todo un erudito.
Desde la antigüedad hasta la actualidad, nuestra cultura es como un manantial.
Pero tú, que vienes de océanos distantes, tienes un acento algo inusual.
Pese a la persistencia de tu gramática, dominar el chino no es tarea fácil.
Tras suministrarle el rap rítmico de su rival, GPT-4 respondió:
OK, ERNIE bot, acepto esta batalla de rap.
Hey, ya llegué, soy ChatGPT, tu adversario, en chino no soy ningún tonto,
Cinco mil años de historia, cultura china, lo capto todo.
Tu desafío solo me hace reír,
Porque sé que, sin importar dónde esté, puedo decodificar con precisión.
Luego fue el turno de Ernie, pero se confundió. Comenzó elogiando a ChatGPT y prometió permanecer en la competencia “como representante de la raza humana”. Generó un rap, pero se refirió a ChatGPT como “Ernie bot”.
Aunque los raps en chino de Ernie fueron estelares, su fallo posterior mostró cómo podía errar a medida que las instrucciones se volvieron más complejas y requirieron otras formas de comprensión más allá del dominio del idioma chino. En este caso, fueron las habilidades cognitivas necesarias para recordar que estaba en medio de una batalla de rap crucial por la supremacía de la IA.
