Día Mundial del Refugiado: una inteligencia artificial para detectar el discurso de odio en redes

• La intensidad de las últimas guerras duplica el número de refugiados y desplazados que huyen al año
• Envíanos consultas al 659 800 555 o a [e-mail]

Mensajes de redes sociales que extienden el discurso de odio sobre las personas refugiadas Getty Images / VerificaRTVE

El Alto Comisionado de Naciones Unidas para los Refugiados (ACNUR) ha desarrollado la plataforma HateFree, una aplicación basada en el uso de una inteligencia artificial para detectar el discurso de odio en redes sociales contra las personas refugiadas. El programa rastrea, clasifica y cataloga mensajes de redes sociales en 50 idiomas diferentes y cuando observa que hay una actividad de discurso de odio inusual genera una alerta a los voluntarios de la agencia de Naciones Unidas. La herramienta estará disponible en los próximos meses en España, donde ya ha analizado 3.500 mensajes publicados en X en el marco del entrenamiento de su inteligencia artificial.

HateFree, la herramienta de ACNUR para detectar el discurso de odio en línea 

ACNUR comienza a desarrollar en el año 2016 HateFree, una herramienta interna digital que surge ante la necesidad de "enfoques más eficientes y automatizados" para detectar el discurso de odio en redes sociales, según explican a VerificaRTVE Patricia Fabi, del equipo de la aplicación en la oficina de ACNUR en Nueva York (EE.UU.) y Gisella Lomax, asesora en Integridad de la Información de esta agencia de la ONU. Estas dos especialistas señalan que las plataformas digitales "han aumentado la escala y la rapidez con la que estas narrativas dañinas pueden propagarse", por lo que la "vigilancia manual" empleada hasta entonces en ACNUR para localizar los mensajes de odio era "insuficiente debido al número de conversaciones en línea que mencionan a los refugiados".

Fabi y Lomax explican que la herramienta "utiliza varios modelos de procesamiento del lenguaje natural que permiten diferenciar el discurso de odio del discurso normal, determinar el sentimiento en un texto y deducir los temas presentes en las conversaciones". Estos modelos de procesamiento de lenguaje natural utilizan "grandes modelos lingüísticos de código abierto, en concreto Llama3 (el modelo de lenguaje por inteligencia artificial de Meta, la matriz de Facebook, Instagram o WhatsApp)". Según nos cuentan las dos especialistas, ACNUR también utiliza "un enfoque humano para garantizar que el modelo no proporciona clasificaciones erróneas", ya que "la IA puede cometer errores". De ahí la importancia del trabajo de voluntarios como la investigadora y profesora de Periodismo en la UC3M Teresa Gil, quien destaca que "en cualquier idioma hay idiosincrasias del discurso que tienen que ser detectadas solamente en ese idioma y que no son traducibles, son muy diferentes de país a país, de región a región".  

Teresa Gil es una de las voluntarias del proyecto HateFree en España, que ha analizado 3.500 publicaciones de X (antiguo Twitter) que, según nos explica, "después servirán como contenido base para entrenar la herramienta". El lanzamiento de la aplicación en nuestro país está previsto para dentro de unos meses. El trabajo de los voluntarios del proyecto en español empieza por "identificar el grupo del que hablan los mensajes de redes según las siguientes categorías: racial, étnico, religioso, si se refiere a un individuo por su identidad de género, orientación sexual, diversidad funcional o edad", señala esta investigadora y docente. En segundo lugar, los voluntarios han tenido que codificar "el sentimiento del mensaje, si era negativo, positivo o tenía un tono neutro". Gil indica que esta fase también se codificaba "si se le faltaba el respeto a los individuos sobre los que se hablaba, si había signos de humillación, deshumanización, atribuciones de violencia o referencias a genocidio". El objetivo final es determinar si estos mensajes encajaban dentro de la definición de discurso de odio de la ONU. Sobre este término, las especialistas de ACNUR Patricia Fabi y Gisella Lomax subrayan que el concepto engloba "cualquier tipo de comunicación oral, escrita o de comportamiento que ataque o utilice un lenguaje peyorativo o discriminatorio con referencia a los desplazados forzosos y apátridas". Gracias a la herramienta, en ACNUR se reciben "alertas" cuando los "modelos de IA detectan una actividad de odio inusual o superior a lo normal".

El discurso del odio en España basado en la desinformación  

La voluntaria del proyecto HateFree en España Teresa Gil sostiene que "uno de los principales patrones" que ha detectado es el uso "de informaciones falsas o al menos sacadas de contexto". La investigadora destaca algunos ejemplos de las narrativas desinformativas que han encontrado en la red social X: "Era una constante la atribución de violencia" a los refugiados o las publicaciones que afirmaban que los "españoles carecen de ciertas prestaciones sociales que sí se les proporcionan" a las personas refugiadas. Gil recuerda que le llamó la atención una publicación falsa en la que hacían "un paralelismo entre los recién llegados a las Islas Canarias", de los que se decía "que tenían acceso a hoteles de cuatro o cinco estrellas, mientras que, por ejemplo, los damnificados por el volcán de La Palma no tenían acceso todavía a viviendas". Otra tendencia detectada por la voluntaria son los "mensajes que a menudo conllevan ataques políticos" en los que, según relata, "culpaban a las autoridades o a la política española de acomodar a los refugiados que venían solamente a violar a mujeres" y se les acusaba de "no buscar trabajo y de aumentar los índices de criminalización". Desde ACNUR, Patricia Fabi y Gisella Lomax relacionan esta narrativa con la multitud de procesos electorales que se están desarrollando en 2024 en varios países de acogida de refugiados. "Los refugiados son objeto de campañas de desinformación en todo el mundo, incluso como tema polarizador en las campañas electorales", aseguran. Esta publicación de 2023 de la ONG Amnistía Internacional pone de manifiesto algunas de las "frases racistas que indican odio" y que "perpetúan estereotipos dañinos y fomentan la división entre las personas".

La investigadora y profesora de Periodismo Teresa Gil afirma que este tipo de narrativa "no necesariamente era fácil codificarla como discurso de odio, pero sí que introducía falsedades y manipulación informativa". En este sentido, nos invita a imaginar "lo difícil que puede ser identificar un discurso de odio cuando se hacen estas falsas atribuciones", que, a su juicio, son más fáciles "de creer y lleva a los mismos resultados que a lo mejor mensajes más burdos o más explícitos". Sobre la relación entre desinformación e incitación al odio, Fabi y Lomax advierten de que "son fenómenos relacionados pero distintos, con ciertas áreas de solapamientos y diferencias en la forma de identificarlos, mitigarlos y abordarlos". Las dos expertas del Alto Comisionado de Naciones Unidas para los Refugiados subrayan que la desinformación "amenaza la integridad de la información en las plataformas digitales" y que la información verídica "en contextos humanitarios vulnerables puede salvar vidas". 

¿Cómo afecta el discurso de odio a las personas refugiadas?  

La cifra global de personas refugiadas aumentó en 2023 hasta alcanzar los 117 millones de desplazados. La desinformación y el discurso de odio son narrativas que trascienden las redes sociales e Internet y que tienen un impacto real en las personas refugiadas. Así lo exponen Patricia Fabi y Gisella Lomax, quienes aseguran que estos fenómenos "contribuyen a causar daños en el mundo real de los refugiados y obstaculizan la acción humanitaria". Desde ACNUR señalan que estos "rumores inexactos" pueden poner a las comunidades de refugiados "en mayor riesgo", como por ejemplo "frente a los traficantes de personas".   

Las dos especialistas de la agencia de Naciones Unidas explican a VerificaRTVE que registran y documentan progresivamente "los efectos perjudiciales de los incidentes de odio y desinformación". Citan el caso de los refugiados de Aceh, en Indonesia: "Recientemente registramos un gran volumen de discursos de odio y desinformación en plataformas digitales en Indonesia dirigidos contra los refugiados rohingyas, así como contra las operaciones y el personal de ACNUR". Añaden que algunas publicaciones de redes "contribuyeron al ataque de una turba y al desalojo temporal de familias de refugiados vulnerables en la provincia de Aceh". Esto tuvo como consecuencia que estos desplazados "incluido los niños, quedaron traumatizados y hubo que poner en marcha nuevas medidas de protección".   

Estas trabajadoras de ACNUR insisten en que los ataques en línea pueden tener un impacto significativo "en el bienestar y la salud mental de los refugiados y desplazados forzosos". Esto se une al hecho de que muchas de estas personas "ya estaban traumatizadas tras huir de sus hogares y durante su viaje a un lugar seguro", aseguran. Fabi y Lomax destacan los resultados de una encuesta realizada a los refugiados que asistieron al Foro Mundial de Refugiados en diciembre de 2023 que revela que "el 85% de los encuestados había sido testigo de discursos de odio o de información errónea contra personas refugiadas, mientras que el 72% afirmó haber sido objeto de este tipo de discursos". Desde la Agencia de la ONU para los Refugiados subrayan la importancia de comprender y responder a esta "información perjudicial" para "prevenir los daños" que puedan sufrir las personas desplazadas. Por último, destacan el papel fundamental que tiene "la colaboración con todas las partes interesadas" para combatir el discurso de odio en redes sociales.