Cómo los algoritmos alimentan los discursos de odio y condicionan nuestro vínculo con el entorno

Los discursos de odio se han vuelto cada vez más visibles en plataformas digitales gracias a la forma en que los algoritmos dirigen el contenido hacia los usuarios. Pero ¿quiénes deben hacerse responsables?

El discurso de odio y su relación con los algoritmos es un problema urgente y complejo en la sociedad actual. La capacidad de los algoritmos de redes sociales para amplificar mensajes y dirigir la atención de millones de usuarios ha transformado la manera en que interactuamos con la información. Sin embargo, al priorizar contenido basado en la interacción, los algoritmos pueden intensificar la exposición a ideas polarizadas, lo que fomenta un entorno propenso a la difusión de discursos de odio. Esto no solo afecta la cohesión social, sino también el bienestar de las personas expuestas a estos contenidos, especialmente los jóvenes, quienes son más susceptibles a la influencia y manipulación en línea.

La ONU define el discurso de odio como “cualquier tipo de comunicación, ya sea oral, escrita o en comportamiento, que ataca o utiliza un lenguaje peyorativo o discriminatorio en referencia a una persona o grupo en función de lo que son, basándose en su religión, etnia, nacionalidad, raza, color, ascendencia, género u otras formas de identidad”. El INADI incluye además el pensamiento político en esta lista. En este texto abordaremos dos características relevantes en esta época: el uso del odio como contenido atractivo y su capacidad para materializarse en diversas formas, incluidas imágenes, memes, gestos y símbolos, difundidos masivamente en internet.

Un algoritmo es un conjunto de instrucciones ordenadas para resolver una tarea. En redes sociales, los algoritmos ordenan el contenido de acuerdo con reglas de programación orientadas a captar la atención del usuario, optimizando la interacción y, en consecuencia, las ganancias por publicidad. Los algoritmos recopilan datos sobre el comportamiento de los usuarios —publicaciones con las que interactúan, tiempo de visualización, perfiles seguidos, entre otros–, para predecir qué tipo de contenido prolongará la actividad en la plataforma. Con esta información, crean un perfil por usuario, segmentando la población y generando burbujas de contenido que mantienen a los usuarios enganchados.

Los discursos de odio se replican no solo a través de opiniones explícitas, sino también por medio de memes, caricaturas y videos de plataformas como TikTok o Instagram. Las redes sociales, que priorizan la interacción, permiten que estos discursos se propaguen fácilmente, incentivando la reproducción de contenido de odio disfrazado de humor o sátira. De esta forma, el contenido entretenido funciona como un vehículo para extender el alcance de ciertos discursos más allá de la comunidad que lo genera. La interacción inicial con este tipo de contenido profundiza la exposición del usuario a ideas cada vez más radicales y, en algunos casos, a teorías conspirativas basadas en noticias falsas.

La proliferación de discursos de odio en redes plantea serias preguntas éticas sobre la responsabilidad de las plataformas y los algoritmos que los facilitan. Los algoritmos no son intrínsecamente buenos ni malos; su impacto depende de cómo y para qué se diseñan. Sin embargo, priorizar la interacción por encima del bienestar de los usuarios tiene consecuencias. Es urgente que las empresas tecnológicas consideren su responsabilidad ética y los posibles efectos negativos de sus algoritmos, así como el riesgo de perpetuar o incluso amplificar el odio en línea.

La radicalización de los discursos no es nueva, pero su alcance y rapidez sí lo son. Ejemplos como Anonymous y Gamergate reflejan cómo las subculturas de Internet han sido terreno fértil para estos fenómenos. Anonymous surgió en 2008, cuando se opuso a la Cienciología en una guerra mediática; luego, en 2011, apoyó el movimiento Occupy Wall Street, hackeando y filtrando información de entes gubernamentales en protesta contra la inequidad económica. Gamergate, iniciado en 2014, atacó a mujeres en la industria de los videojuegos y terminó en una espiral de acoso y amenazas cuando la discusión se trasladó a foros menos moderados como 8chan. Ambos casos revelan las dificultades para regular contenidos mientras se protege la libertad de expresión.

Uno de los factores que contribuyen a este problema es la falta de formación en ciencias sociales de los equipos de desarrollo de algoritmos y plataformas. Los ingenieros y programadores suelen centrarse en la eficiencia técnica y en optimizar el engagement sin comprender completamente las consecuencias sociales y psicológicas de sus decisiones. Esta falta de perspectiva interdisciplinaria dificulta la anticipación y prevención de problemas relacionados con la salud mental y la seguridad de los usuarios. En mi experiencia como estudiante de Ingeniería en Sistemas, la formación no hace hincapié en el rol social que cumplen nuestros desarrollos. Modificar la currícula podría ser una solución a largo plazo; en el corto, incluir expertos en la implementación de ética y ciencias sociales en los equipos de desarrollo podría ayudar a crear algoritmos que, además de ser efectivos, respeten los valores humanos y minimicen daños.

Al ser difícil elegir específicamente que se considera ético y valioso, también una arista muy importante es la legislación sobre este tipo de aplicaciones. Se debe debatir la responsabilidad de las redes sociales en los contenidos que se difunden velando por la libertad de expresión y también la seguridad de los usuarios. Nos tocaría a nosotros como ciudadanos elegir a dirigentes que tomen esta problemática como un punto a tratar en sus programas e intentar informarnos sobre qué empresas tecnológicas efectivamente están haciendo algo para controlar y mitigar los problemas generados por la desinformación.

En conclusión, la relación entre los algoritmos y los discursos de odio evidencia la necesidad de una regulación más estricta y de enfoques éticos en el diseño de plataformas digitales. No se trata solo de proteger la libertad de expresión, sino de encontrar un equilibrio entre esta y el respeto por la dignidad y seguridad de los usuarios. La inclusión de ciencias sociales en la tecnología es clave para afrontar estos desafíos de manera integral, promoviendo una sociedad más inclusiva y consciente de los efectos de la tecnología en el comportamiento y en la convivencia social.