TikTok implementó mejoras de seguridad en su algoritmo a principios de 2022 para reducir bucles de contenido dañino, pero mantuvo deliberadamente la versión antigua para el 10% de sus usuarios estadounidenses —unos 15 millones de personas— como grupo de control en un test A/B. Uno de esos usuarios era Chase Nasca, un adolescente de 16 años que acabó quitándose la vida tras recibir miles de vídeos sobre suicidio, autolesiones y depresión, según revela un documento confidencial de la compañía obtenido por Bloomberg.
El test comparaba la nueva versión del algoritmo, diseñada para detectar patrones repetitivos y diversificar el feed, frente a la versión anterior sin estas protecciones. La cuenta de Chase Nasca fue seleccionada aleatoriamente para el grupo de control, lo que significaba que las nuevas medidas de seguridad no estaban activas en su perfil.
Miles de vídeos sobre suicidio en dos semanas
Según el análisis interno de TikTok, en las dos semanas previas a su muerte la plataforma recomendó a Chase 7.563 vídeos. De ellos, al menos el 73% trataba sobre sufrimiento emocional, soledad o depresión. Casi el 10% de ese contenido incumplía directamente las normas de la plataforma sobre autolesiones y suicidio. En las horas previas a su muerte, el adolescente marcó como favoritos varios vídeos sobre suicidio.
El documento confidencial, que se conoció en el marco de una demanda judicial, afirma textualmente que «las estrategias de TikTok para prevenir las burbujas de filtros no tuvieron efecto en este usuario por diseño». Esa frase —«por diseño»— implica que fue una decisión intencionada mantenerlo sin protecciones, lo que refuerza las acusaciones de quienes denuncian que las plataformas diseñan deliberadamente sus productos para generar adicción en jóvenes.
La investigación interna y la respuesta al Congreso
TikTok realizó el análisis exhaustivo del caso de Chase Nasca después de que Bloomberg Businessweek contactara con la compañía en marzo de 2023 para informar de un artículo sobre el suicidio del adolescente. El informe concluye que, aunque Chase buscaba contenido sobre deportes y comedia, también había buscado canciones sobre sentirse solo, lo que activó el algoritmo y atrapó su cuenta «en una burbuja de filtros donde se le recomendaba repetidamente contenido relacionado con el suicidio, la autolesión y temas depresivos».
Ese mismo mes de marzo de 2023 se produjo la comparecencia del CEO de TikTok ante el Congreso de Estados Unidos. Una de las preguntas escritas planteaba si la compañía conocía casos de suicidio tras visualizar vídeos que incitaban al suicidio. La respuesta oficial fue: «TikTok no cree que el uso de la plataforma haya provocado que los usuarios se suiciden». En ese momento, la empresa ya disponía del informe interno sobre Chase Nasca.
Postura actual de TikTok
Consultada por el medio original, TikTok declaró: «Lamentamos profundamente cualquier pérdida trágica que haya afectado a una familia. La seguridad y el bienestar de nuestros usuarios, especialmente de los adolescentes, sigue siendo nuestra prioridad. Para ayudar a proteger a nuestra comunidad, continuamos reforzando nuestras inversiones en seguridad a través de sistemas de detección robustos y equipos especializados, que actúan de forma proactiva para retirar los contenidos que infringen nuestras Normas de la Comunidad».
TikTok ya ha sido juzgada en Estados Unidos por prácticas relacionadas con la adicción en menores y está bajo la lupa de la Unión Europea por el mismo tema. El caso de Chase Nasca pone de relieve los riesgos de priorizar tests de producto sobre la protección inmediata de usuarios vulnerables.
