Imprime este artículo en PDF

Detección del discurso de odio en medios informativos online y redes sociales gracias al uso de la inteligencia artificial

1. Introducción: el discurso de odio online

Hoy en día, la era digital brinda la posibilidad de una comunicación anónima y rápida que permite a las personas expresar libremente sus opiniones, incluso si son perjudiciales o dañinas para los demás.

Las plataformas digitales y las redes sociales han proporcionado un megáfono virtual para el discurso de odio, permitiendo que la proliferación de contenidos (desinformativos o no) se propaguen rápidamente y lleguen a una audiencia global, amplificando su impacto y, en muchas ocasiones, poniendo en entredicho la tolerancia, civismo y respeto a determinados colectivos.

Por otro lado, el anonimato propio de las interacciones en Internet genera en los usuarios una sensación de impunidad que disminuye las barreras morales que normalmente inhibirían a las personas de transmitir ciertos discursos o ideas en el mundo real.

Finalmente, las plataformas en línea también contribuyen a lograr un efecto de eco, donde los usuarios se rodean de personas y contenido que respaldan sus propias opiniones y creencias. Esto crea un entorno propicio para la radicalización y la polarización, ya que las personas pueden quedar atrapadas en un ciclo de retroalimentación que refuerza y valida sus actitudes de odio. Como resultado, el discurso de odio se perpetúa y se intensifica, lo que lleva a una división social cada vez mayor.

Por todos estos motivos, la detección automática mediante inteligencia artificial (IA) del discurso de odio o Hate Speech (HS, de sus siglas en inglés), juega un papel transcendental.

2. Principales dificultades

A pesar de los numerosos avances en el campo del Procesamiento de Lenguaje Natural (PLN), el discurso del odio sigue siendo un reto desafiante. Los últimos estudios informan de que tanto las personas como los modelos de Inteligencia Artificial tienen dificultades para detectar el discurso de odio online debido a diferentes motivos:

1. No existe una definición única para el discurso de odio

En primer lugar, nos encontramos ante el problema de que no existe una definición única para el discurso de odio, lo que complica en gran medida la labor de crear datasets etiquetados y algoritmos que detecten el odio automáticamente y con precisión en un texto. En los últimos años, se han introducido varias definiciones ad-hoc por parte del sector legal, académico y por las mismas redes sociales. Sin embargo, la elaboración de una definición precisa del discurso del odio es una tarea difícil dada su naturaleza subjetiva (Papcunová et al., 2021). Al final, un texto escrito en internet podrá ser considerado discurso de odio en función de varios elementos que van más allá de las simples palabras que lo componen, como pueden ser las características del propio emisor, su intención, el contexto en el que se realiza, la cultura del país, etc.

2. Hate Speech vs Lenguaje Ofensivo

Otra dificultad a tener en cuenta es que el mensaje de odio a veces se confunde con el término “lenguaje ofensivo”. Por este motivo, es importante remarcar la diferencia entre ambos conceptos. Un texto es ofensivo si contiene alguna forma de lenguaje no aceptable. En esta categoría pueden incluirse los insultos, las amenazas o las expresiones malsonantes (Plaza-del-Arco et al., 2021).

3. Complejidad intrínseca al propio lenguaje

Por último, no podemos olvidar la complejidad intrínseca al propio lenguaje y sus peculiaridades: la ironía, el humor, el doble sentido, el odio implícito, metáforas… Incluso podemos encontrar textos absolutamente inocuos que utilizan términos malsonantes y comúnmente utilizados en lenguaje ofensivo, siendo este un caso muy común de falso positivo en muchos clasificadores de texto (especialmente los basados en lexicón).

3. Tecnología IA para la detección del discurso de odio, una herramienta clave

La detección automática del discurso del odio mediante algoritmos de inteligencia artificial (IA) éticos y fiables está destinada a convertirse en una tarea crucial para proteger los derechos fundamentales de las personas en los próximos años.

Mediante algoritmos de IA es posible analizar grandes volúmenes de contenido en línea e identificar patrones y características asociados con el discurso de odio. Al entrenar estos algoritmos con datos etiquetados de manera adecuada, es posible mejorar su capacidad para reconocer y clasificar automáticamente este tipo de contenido.

El procedimiento que se suele seguir para realizar el análisis de un texto, ya sea con el objetivo de detectar odio o para cualquier otro, consta de tres pasos:

1. Preprocesado de texto: El objetivo de esta primera fase es preparar el texto para el análisis haciendo uso de diferentes técnicas PLN. Como es natural, el texto que nos llega en bruto puede presentar un formato que diste mucho de lo que podríamos considerar el formato correcto, compuesto por palabras incompletas, mal escritas o en otros idiomas, conteniendo espacios innecesarios, etc. Además, en nuestro texto origen existirán, casi con total seguridad, infinidad de palabras innecesarias que no nos aporten ningún valor. Así pues, en primer lugar y antes de extraer características del texto y construir modelos a partir de esta información, debemos dedicar tiempo a las tareas de preprocesado. Para ello, algunas de las técnicas más habituales son: Tokenización, Normalización, POS (part-of-speech), Lematización y NER (Named Entity Recognition).
2. Extracción de características: El rendimiento de un sistema de aprendizaje de IA depende completamente de la correcta representación del problema. El objetivo aquí es extraer características del texto a analizar para obtener representaciones que sean manejables para su posterior procesamiento. Las técnicas más simples de extracción de características, (también conocidas como técnicas superficiales), son la bolsa de palabras (BoW, de sus siglas en inglés) y la técnica TF-IDF (del inglés Term frequency – Inverse document frequency). Estas técnicas se basan en extraer propiedades observables y estadísticas de los datos sin una comprensión profunda del significado subyacente del texto como, por ejemplo, contar la frecuencia de aparición de las palabras en un documento o en una colección de documentos. Estas técnicas superficiales se enfrentan a limitaciones importantes en la detección de discurso de odio en línea, especialmente cuando los textos analizados no contienen palabras ofensivas, transmitiendo odio encubierto (Dinakar et al., 2011; Mathur et al., 2018). Lo mismo ocurre en caso contrario, cuando el texto contiene palabras ofensivas, insultos o cualquier expresión soez, pero que carece de odio debido al contexto en el que se está utilizando. El lado positivo del uso de estas técnicas es que las decisiones de clasificación de los modelos entrenados a partir de características a nivel superficial son modelos fácilmente interpretables y, por tanto, satisfacen el principio de explicabilidad dentro del marco de las directrices europeas para una IA fiable (Hleg, 2019), permitiendo que los usuarios puedan comprender el proceso de toma de decisiones y poder confiar en resultados de estos algoritmos automáticos. Una técnica más compleja para extraer características de los textos son los Word Embeddings. Con esta técnica representamos los textos mediante vectores multidimensionales, capaces de capturar incluso relaciones semánticas entre palabras. En este caso, cada palabra se representa en forma de un vector n-dimensional basado en la situación en la que aparece junto con otras palabras. Esto nos permite generar vectores de palabras de forma que palabras similares tengan vectores (embeddings) similares. Por ejemplo, si tenemos las palabras «perro», «gato» y «tomate», cabría esperar que las palabras perro y gato estuvieran representadas por vectores más cercanos entre sí en el espacio vectorial donde se definen estos vectores en relación con el vector que representa la palabra tomate, que quedaría más alejado.
3. Clasificación mediante modelos IA: Una vez que tenemos la representación de los textos mediante la extracción de características, podemos entrenar nuestros modelos de inteligencia artificial (ya sea desde cero o apoyarnos en modelos pre-entrenados) que nos permitan clasificar textos nuevos con mayor o menor precisión. Las técnicas que pueden utilizarse para crear modelos de clasificación automática de un texto son muy variadas. Sin embargo, es posible agruparlas en tres tipos principales de técnicas:
   1. • Aprendizaje automático clásico (Machine Learning clásico): Entre las diversas técnicas convencionales de aprendizaje automático utilizadas en la tarea de la detección del discurso del odio en Internet, destacan las máquinas de vectores soporte (SVM), la regresión logística y los Random Forest.
      • Aprendizaje profundo (Deep Learning): Dentro de las técnicas de DL más utilizadas en la clasificación de textos, destacan las redes neuronales convolucionales (CNN) y las redes neuronales recurrentes (RNN).
        1. Las CNN son un tipo de red neuronal que procesa capas de forma jerárquica, lo que les permite diferenciar distintas características en las entradas recibidas. Aunque se diseñaron inicialmente para la visión por computador, han sido eficaces también para tareas de PLN y de detección de odio.
        2. Las redes neuronales recurrentes (RNN) son una clase de redes especializadas en analizar datos de series temporales. La principal característica de este tipo de redes radica en su capacidad de modelar relaciones temporales entre elementos de la secuencia a través de un estado interno de la red o hidden state, que podemos considerar como una especie de memoria sobre lo que la red ha visto hasta ese momento. Las LSTM (Long Short Term Memory) son un tipo especial de redes recurrentes, que surgieron como una arquitectura encaminada a solucionar los problemas de memoria a largo plazo de las RNN tradicionales. En LSTM se establecen unos criterios para almacenar la información obtenida hasta el momento, de modo que el modelo aprende qué partes de la representación se deben olvidar para incluir únicamente las más importantes. Esto las permite gestionar dependencias temporales más largas.
      • Aprendizaje por transferencia: El Aprendizaje por transferencia o Transfer Learning (TL) permite desarrollar rápidamente modelos eficaces y resolver problemas complejos de PLN o de visión por computador sin necesidad de tener que entrenar nuestro propio modelo de cero o de disponer de una inmensa cantidad de datos. Esto se consigue utilizando como punto de partida modelos pre-entrenados. En los últimos años, la arquitectura Transformer ha superado las prestaciones de los modelos anteriores basados en Deep Learning. Los modelos Transformer tienen como principal innovación las denominadas capas de atención. La mejora de rendimiento ofrecida por la arquitectura Transformer ha permitido el rápido desarrollo de modelos sobre conjuntos de datos tan grandes que anteriormente no era viable procesar, dando lugar al modelo BERT (Bidirectional Encoder Representations from Transformers) y a los GPT (Generative Pre-trained Transformer), estos últimos utilizados principalmente para generar textos que simulan la redacción humana.

4. Conclusión

En este artículo se ha tratado la problemática del discurso de odio online y la importancia de su detección mediante de algoritmos de IA, poniendo en relieve las principales dificultades que existen actualmente para llevar a cabo esta tarea. La naturaleza evolutiva del discurso de odio y la interpretación subjetiva del lenguaje humano dificultan enormemente la detección precisa en todos los casos. Asimismo, se han presentado diferentes técnicas PLN para el análisis de texto, que incluyen el preprocesamiento, la extracción de características y la clasificación mediante modelos de IA.

Consideramos importante remarcar que, aunque la detección automática del discurso de odio a través de algoritmos IA puede ser una herramienta muy poderosa, es importante reconocer que no es una solución completa. Es necesario fomentar la educación, el diálogo y la promoción de valores de respeto y tolerancia en línea. La combinación de esfuerzos humanos y tecnológicos nos permitirá avanzar hacia un entorno en línea más seguro y libre de odio, donde los derechos fundamentales de todos sean protegidos para construir una sociedad digital más respetuosa.

El autor de este artículo es Carlos Simón Gallego.