El algoritmo de TikTok sigue empujando al suicidio a niños vulnerables
La popular aplicación puede generar ansiedad y desesperación entre los adolescentes. La compañía dice que está haciendo mejoras, pero ahora se enfrenta a una avalancha de demandas tras múltiples muertes.
Más de un año después de que Nasca se suicidara a los 16 años, su cuenta sigue activa. Desplázate por su feed “For You” (Para tí) y verás un flujo interminable de clips sobre el amor no correspondido, la desesperanza, el dolor y lo que muchos mensajes glorifican como el último escape: el suicidio.
“Aleja el dolor. La muerte es un regalo”, dice un video subido a la cuenta en febrero, días antes del primer aniversario de la muerte de Nasca. En otro, una voz masculina dice: “Voy a ponerme una escopeta en la boca y volarme los sesos por la nuca”, y una voz femenina responde: “Muy bueno”.
En los días anteriores a la muerte de Nasca, el canal tenía un aspecto muy parecido. El 13 de febrero de 2022, apareció un video de un tren que se aproximaba con la leyenda “fui a dar un paseo rápido para despejarme”. Cinco días después, Nasca se detuvo en las vías del Long Island Rail Road que atraviesan la aldea de Bayport, Nueva York, a unos 800 metros de su casa. Apoyó su bicicleta contra una valla y se subió a la vía, en una curva ciega sobre la que sus padres le habían advertido desde que tenía edad suficiente para andar. Envió un mensaje a un amigo: “Lo siento. No puedo más”. Un tren dobló la curva y él desapareció.
Es imposible saber por qué Nasca puso fin a su vida. A menudo hay múltiples factores que conducen al suicidio, y no dejó ninguna nota. Pero dos semanas después de su muerte, su madre, Michelle, empezó a buscar en sus redes sociales, desesperada por encontrar respuestas. Cuando abrió la aplicación TikTok en su iPad, encontró una biblioteca de más de 3.000 vídeos que su hijo había marcado, gustado, guardado o etiquetado como favoritos. Pudo ver los términos que había buscado: Batman, baloncesto, halterofilia, discursos motivacionales. Y pudo ver lo que el algoritmo le había traído: muchos vídeos sobre la depresión, la desesperanza y la muerte.
Desde que TikTok irrumpió en la cultura popular en 2018, la gente ha estado tratando de entender la plataforma de video de formato corto y su impacto en los niños. Propiedad de la empresa china de Internet ByteDance Ltd., la aplicación alcanzó los mil millones de descargas más rápido que cualquier otro producto anterior de las redes sociales. Su éxito se debe a su adherencia. El algoritmo subyacente a su motor de recomendación ofrece un carrusel de fascinantes contenidos creados por los usuarios para mantenerlos pegados a sus pantallas. TikTok se ha hecho tan popular -lo usan 150 millones de estadounidenses, según la empresa- que sus rivales de Silicon Valley intentan imitarlo. Y los políticos temen que el gobierno chino pueda utilizarlo como herramienta de desinformación. En marzo, la administración Biden amenazó con prohibir la aplicación -algo que también amenazó con hacer la administración Trump- si ByteDance no vendía su participación.
Mientras prosigue el debate político, investigadores y psicólogos infantiles observan con creciente alarma. Las encuestas realizadas entre adolescentes han revelado una correlación entre las redes sociales y la depresión, las autolesiones y el suicidio. Los datos de los Centros para el Control y la Prevención de Enfermedades muestran que casi uno de cada cuatro adolescentes afirmó haber pensado seriamente en suicidarse en 2021, casi el doble que una década antes. La Asociación Americana de Psicología y otras autoridades culpan en parte a las redes sociales.
En una comparecencia ante el Congreso en marzo, un representante sacó a colación la muerte de Nasca, mostrando al director ejecutivo de TikTok, Shou Chew, algunos de los videos que la aplicación había enviado al chico y preguntándole si Chew dejaría que sus propios hijos vieran esos contenidos. Ese mismo mes, los padres de Nasca presentaron una demanda por homicidio culposo ante un tribunal del estado de Nueva York contra TikTok, ByteDance y el ferrocarril.
TikTok dice que no puede hacer comentarios sobre litigios pendientes, pero una portavoz, Jamie Favazza, dice que la compañía está comprometida con la seguridad y el bienestar de sus usuarios, especialmente los adolescentes. “Nuestros corazones se rompen por cualquier familia que experimenta una pérdida trágica”, dice. “Nos esforzamos por ofrecer una experiencia positiva y enriquecedora y continuaremos con nuestra importante inversión para salvaguardar nuestra plataforma”.
El algoritmo de recomendación original de TikTok fue diseñado por un equipo de ingenieros en China, trabajando para ByteDance. Pero aunque la aplicación se creó en China, se utiliza en casi todo el mundo excepto en China. Ni siquiera puede descargarse en su país de origen. TikTok afirma que el mantenimiento de su algoritmo corre a cargo de ingenieros de todo el mundo, con equipos en Norteamérica, Europa y Asia. Pero más de una docena de antiguos empleados del equipo de confianza y seguridad de la empresa entrevistados por Bloomberg Businessweek afirman que los ejecutivos e ingenieros de Pekín siguen teniendo las llaves.
Confianza y seguridad diseña funciones y políticas para mantener a salvo a los usuarios de TikTok. El equipo, con sede en EE.UU., Irlanda y Singapur, modera los miles de millones de vídeos que se suben cada día a la plataforma y es responsable de cuestiones de seguridad como los contenidos que sexualizan a menores y los retos virales que animan a los niños a participar en desafíos peligrosos. Los miembros del equipo eliminan las publicaciones que infringen las normas y crean herramientas para ayudar a los usuarios a filtrar el material nocivo. Pero los ex empleados, que hablaron bajo condición de anonimato porque firmaron acuerdos de confidencialidad, dicen que tenían poca influencia sobre el algoritmo que dirige el feed de For You y que sus peticiones de información sobre su funcionamiento fueron a menudo ignoradas. Insisten en que se les tendió una trampa: se les pidió que mejoraran la seguridad de una aplicación cuyos fundamentos no podían comprender.
TikTok dijo en 2021 que estaba probando formas de evitar que su algoritmo enviara múltiples vídeos sobre temas como dietas extremas o tristeza. Al año siguiente, la compañía mencionó en una entrada de blog que “hemos mejorado la experiencia de visualización para que los espectadores ahora vean menos videos sobre estos temas a la vez”, señalando que estaba “todavía iterando sobre esto.” Después de que Businessweek hiciera averiguaciones y antes de que Chew fuera interrogado por el Congreso. El 16 de marzo, la empresa informó en un comunicado de prensa de que había realizado 15 actualizaciones del sistema en el último año, incluida la eliminación de temas repetitivos dentro de un conjunto de vídeos recomendados.
Las grabaciones de pantalla de la cuenta de Nasca de abril muestran que, al menos en algunos casos, estos esfuerzos se han quedado cortos. “No entiendo por qué le siguen enviando estas cosas”, dice Michelle. Cada vez que abre la cuenta, encuentra un flujo constante de videos sobre depresión, rupturas, muerte y suicidio.
Aún recuerda exactamente lo que decía el primer video que vio tras acceder a la cuenta de su hijo: “Estoy atrapada en una vida en la que no pedí estar”. Estuvo más de una hora viendo el feed de Chase en “For You” y no entendía por qué no había videos alegres o divertidos, que era de lo que ella pensaba que iba TikTok. Le preguntó a uno de los dos hermanos mayores de Chase por qué había oscurecido tanto su cuenta.
“Chase no hizo eso, mamá”, respondió su hijo. “Eso viene del algoritmo”.
En un mundo de información infinita, los algoritmos son reglas escritas en software que ayudan a clasificar lo que puede ser significativo para un usuario y lo que no. El algoritmo de TikTok está entrenado para rastrear cada swipe, like, comentario, rewatch y follow y utilizar esa información para seleccionar contenidos que mantengan a la gente interesada. Una mayor participación, a su vez, aumenta los ingresos por publicidad. La empresa ha perfeccionado tanto su sistema de recomendaciones que a veces los usuarios especulan con que la aplicación les lee la mente.
Otras redes sociales emplean motores de recomendación similares. El de TikTok se distingue por su alcance, según Guillaume Chaslot, científico de datos francés que trabajó en el algoritmo de YouTube y ahora asesora al gobierno de su país en sus esfuerzos por regular las plataformas en línea. Su experiencia en este campo le sugiere que el algoritmo de TikTok controla una mayor proporción de los contenidos que llegan al feed de un usuario que la mayoría de las demás plataformas de medios sociales. Y “cuando el contenido depresivo es bueno para la participación, el algoritmo lo promueve activamente”, afirma.
Las preocupaciones sobre el motor de recomendación de TikTok se han planteado internamente desde al menos 2020. Fue entonces cuando Charles Bahr, un ex gerente de ventas de publicidad en la oficina de TikTok en Alemania, dice que advirtió a sus superiores que el algoritmo estaba enviando a los usuarios de la Generación Z flujos interminables de videos deprimentes y que glorificaban el suicidio. Bahr pasó un año y medio en la empresa, a la que se incorporó en julio de 2020, con 18 años. Había fundado dos startups tecnológicas cuando era adolescente y asesoraba a políticos y empresas sobre cómo dominar TikTok cuando fue contratado.
Cuando empezó a usar la aplicación, dice, su feed “For You” era divertido y ameno. Le encantaba el producto y estaba orgulloso de llevar su camiseta de TikTok. Sin embargo, cuando empezó a publicar videos en los que se identificaba como empleado, muchos de sus seguidores empezaron a enviarle videos inquietantes que infringían las normas de TikTok, instándole a que los eliminara. Uno de los primeros videos aterradores que recuerda que le enviaron era el de un hombre disparándose en la cabeza. A medida que Bahr veía vídeos de este tipo, y a veces los pasaba al equipo de confianza y seguridad para que le ayudaran, su feed empezó a deformarse. “Cada vez aparecían más contenidos sobre depresión, suicidio y autolesiones”, dice. Algunos días lo hizo llorar.
El contenido de Bahr dificultaba la venta de anuncios. Organizaba regularmente talleres con posibles clientes, y muchos le pedían ver cómo funcionaba la aplicación. No podía mostrarles su propia página “Para ti”, dice, porque temía que se asustaran. “Cada vez que participaba en un taller, cambiaba de mi cuenta triste y oscura a una segunda cuenta de demostración que tenía un feed bastante normal”, dice. “Tardé mucho en darme cuenta de que quizá no sólo yo tengo un feed tan extremo”.
Cuando Bahr fue invitado a hablar en una reunión anual del equipo de comunicación europeo de TikTok en noviembre de 2020, lo vio como una oportunidad para plantear la cuestión. En una presentación de PowerPoint revisada por Businessweek, dijo al grupo que TikTok debería tener como misión escuchar a sus usuarios, especialmente a aquellos que luchan con problemas de salud mental. “Aunque inspiramos a los jóvenes para que sean lo más creativos posible en TikTok, hay una comunidad interminable de jóvenes que no saben adónde ir”, decía una de sus diapositivas. A continuación mostró tres mensajes de usuarios jóvenes que luchaban contra la depresión. Bahr dice que recomendó a la aplicación que no censurara esos contenidos, sino que potenciara clips más positivos para los usuarios más jóvenes.
Siete meses más tarde, el Wall Street Journal publicó una investigación en la que había supervisado más de 100 cuentas automatizadas para averiguar cómo funciona el algoritmo de TikTok. En 36 minutos, informó el periódico, un bot programado para ver videos sobre la depresión recibió un flujo de contenido que contenía un 93% de temas tristes. TikTok dijo entonces que los bots del Journal no eran representativos del comportamiento humano.
El experimento del Journal llevó a Bahr a realizar uno por su cuenta. Abrió una nueva cuenta en TikTok y se grabó a sí mismo mientras leía contenido triste para ver cuánto tardaba su feed en volverse negativo. Tardó 17 minutos.
Bahr dice que planteó sus preocupaciones en un sistema de mensajería interna con el equipo de estrategia de algoritmos en Europa, pero no obtuvo respuesta. Unos meses más tarde fue despedido por presunto fraude en su cuenta de gastos y uso indebido de las herramientas de la empresa. Bahr, que mantiene su inocencia, demandó a la empresa por despido improcedente. TikTok no siguió adelante con sus reclamaciones contra Bahr y llegó a un acuerdo extrajudicial. La empresa no respondió a las solicitudes de comentarios sobre la presentación de Bahr en 2020 y dijo que no podía responder a sus críticas generales o a las preocupaciones que planteó internamente, que dijo que “no puede validar.”
La pandemia intensificó el debate sobre el impacto del diseño algorítmico en los niños, ya que los padres se preocupaban por el aislamiento y la ansiedad provocados por los cierres escolares y el aumento del uso de las redes sociales. En diciembre de 2021, el Cirujano General de EE.UU., Vivek Murthy, publicó un aviso de seguridad sobre una inminente crisis de salud mental juvenil, afirmando que las crecientes tasas de desesperanza y pensamientos suicidas entre los adolescentes podrían estar relacionadas tanto con el encierro de Covid-19 como con las redes sociales. Demasiados jóvenes, dijo, estaban siendo informados en estas plataformas de que no eran “lo suficientemente guapos, populares, inteligentes o ricos”. Hizo un llamamiento a las empresas de redes sociales para que diseñen sus algoritmos de forma que refuercen la salud mental de los jóvenes, en lugar de debilitarla.
Los psicólogos dicen que es más difícil para los adolescentes resistir las propiedades adictivas de los algoritmos, porque sus cortezas prefrontales, responsables de la toma de decisiones, el juicio y el control de los impulsos, no están completamente desarrolladas. Dos tercios de los adolescentes estadounidenses utilizan TikTok todos los días, según una encuesta del Pew Research Center de 2022, y el 16% afirma estar en la plataforma casi constantemente. Una mayoría significativa de los encuestados dijo que tenía una experiencia positiva en las redes sociales en general y que les daba un sentido de pertenencia. Sin embargo, casi la mitad afirma sentirse abrumado por el drama que encuentran en ellas, y más de una cuarta parte afirma que las redes sociales les hacen sentirse peor con sus vidas.
Las redes sociales son un sector ferozmente competitivo, que depende de un público joven e inconstante. Las empresas confían en los algoritmos para mantener sus plataformas frescas a los ojos de los usuarios adolescentes, y protegen ferozmente esta propiedad intelectual. La falta de transparencia ha limitado la investigación académica y ha dado lugar a afirmaciones contradictorias. Por un lado, las plataformas ofrecen oportunidades cruciales para la conexión entre adolescentes. Por otro, los animan a compararse con los demás, a volverse adictos a la tecnología y a descubrir contenidos que ensalzan comportamientos nocivos.
Antiguos miembros del equipo de confianza y seguridad de TikTok dicen que temían que su plataforma tuviera un impacto negativo en los adolescentes y no entendían por qué la empresa no contrataba psicólogos infantiles para trabajar en el diseño de algoritmos. Muchos leyeron los documentos filtrados en 2021 por Frances Haugen, entonces científica de datos en Facebook, que mostraban que la empresa era consciente de que sus productos perjudicaban a los niños. Los exempleados de TikTok dicen que creían que los daños de su aplicación podían ser peores que los de Facebook, pero no tenían poder para abordar el problema, ni siquiera para estudiarlo.
Aunque prácticamente todas las empresas tecnológicas guardan secretos sobre sus datos, estos informadores, que también han trabajado para Google, Meta Platforms y Twitter, consideran que TikTok es Fort Knox en comparación. El secretismo era especialmente pronunciado cuando se trataba del algoritmo. Antiguos miembros de confianza y seguridad dicen que nunca tuvieron acceso a información sobre cómo funcionaba, cómo se ponderaba y cómo podía cambiarse, y que los jefes de equipo no podían obtener respuestas de los ingenieros que lo diseñaron. Más de una docena de personas, algunas de las cuales todavía trabajaban en TikTok el año pasado, afirman que se les pusieron trabas cuando intentaron acceder a información básica sobre el algoritmo. Un responsable de seguridad en Europa dice que pidió al jefe de ingeniería de Pekín que organizara una reunión con el equipo de confianza y seguridad para que pudieran hacer preguntas y entender mejor el motor de recomendación. El responsable afirma que se hizo caso omiso de su petición.
Varios trabajadores de confianza y seguridad afirman que algunos documentos estaban redactados en mandarín y que las traducciones a menudo no incluían apéndices ni enlaces a los conjuntos de datos originales, lo que dificultaba la contextualización y el análisis eficaz de la información. Cinco antiguos miembros del equipo afirman que renunciaron porque el secretismo les impedía hacer su trabajo.
TikTok afirma que se toma en serio las preocupaciones expresadas por los empleados, que los miembros del equipo de confianza y seguridad trabajan directamente con ingeniería y que cualquiera que dejara la empresa antes de 2021 no estaría familiarizado con los cambios realizados desde entonces. También afirma que todos los documentos importantes sobre los cambios de algoritmo y los comentarios más importantes que acompañan a su código están escritos en inglés, pero que algunas notas del código pueden contener otros idiomas utilizados por sus ingenieros en Asia y otros lugares.
Todas las plataformas de redes sociales han sido criticadas por ofrecer contenidos adictivos a los adolescentes, por dañar su salud mental y por recopilar subrepticiamente datos sobre ellos. Pero cuando una empresa de propiedad china hace estas cosas, los legisladores estadounidenses tienden a pintarlas de forma especialmente siniestra. El temor a que el gobierno chino pueda exigir a TikTok que entregue los datos de sus usuarios o que el motor de recomendaciones de la aplicación favorezca los intereses chinos ha llevado a la UE, Estados Unidos, Canadá y otros países a prohibir la aplicación en los dispositivos gubernamentales. Algunos campus universitarios estadounidenses la han bloqueado en sus redes Wi-Fi y, en abril, la legislatura de Montana fue la primera en aprobar un proyecto de ley que bloquea la aplicación en todos los dispositivos personales.
