(Created page with " <span style="color:#0645AD; font-weight: bold">Download the PDF version</span> = RESUMEN = El discurso de odio contra públicos...")
 
m (Scipediacontent moved page Draft Content 702176673 to Arcila-Calderon et al 2022a)
 
(No difference)

Latest revision as of 15:27, 19 January 2023

Download the PDF version

RESUMEN

El discurso de odio contra públicos vulnerables es reconocido como un grave problema para la integración y el respeto a la diversidad social dentro de la Unión Europea. El aumento de este tipo de discurso se ha visto reforzado con la expansión de las redes sociales, donde se ha demostrado que actúan como mecanismo de propagación de delitos contra colectivos como los migrantes y refugiados, uno de los principales afectados. Por ello se aborda el desarrollo del primer estudio europeo de la aceptación social de migrantes y refugiados mediante el estudio de la presencia de discurso de odio. La investigación se basa en la perspectiva de la teoría del contacto intergrupal y el contacto intergrupal mediado. La metodología incluye el análisis longitudinal (2015-2020) a gran escala del discurso de odio en línea en Twitter (N=847.978) y el contraste con indicadores oficiales existentes. Los resultados apuntan a que el contacto intergrupal personal está correlacionado positivamente con el apoyo de la población hacia migrantes y refugiados, pero el contacto intergrupal mediado no está correlacionado con la disminución del discurso de odio. Encontramos evidencia que muestra que en aquellas regiones en las que el apoyo al colectivo era mayor existía un menor nivel de discurso de odio en Twitter. Esto supone un avance en el estudio del discurso de odio por territorios y puede ayudar en el planteamiento de estrategias de actuación.

Palabras clave

Inmigración, refugiados, actitud, discurso del odio, big data, Twitter

Keywords

Inmigration, refugees, attitude, hate speech, big data, Twitter

ABSTRACT

Hate speech against vulnerable groups is acknowledged as a serious problem for integration and respect for the social diversity existing within the territory of the European Union. The growth of this type of discourse has been supported by the expansion of social media, which have been proven to act as a mechanism for the propagation of crimes against targets such as migrants and refugees, one of the main affected groups. That is why we have conducted the first European study of the social acceptance of migrants and refugees by studying the presence of hate speech. The research is based on the perspective of the theories of intergroup contact and mediated intergroup contact. The methodology includes large-scale longitudinal analysis (2015-2020) of online hate speech on Twitter (N=847,978) and its contrast with existing official indicators. The results suggest that personal intergroup contact is positively corretaled with the support of the local population towards migrants and refugees but mediated intergroup contact is not correlated with hate speech on Twitter. We found evidence that those regions where the support for foreigners was higher, there was a lower level of hate speech on Twitter. This is an advance in the study of hate speech by territories and can help in the formulation of action strategies.

Palabras clave

Inmigración, refugiados, actitud, discurso del odio, big data, Twitter

Keywords

Inmigration, refugees, attitude, hate speech, big data, Twitter

Introducción y estado de la cuestión

El discurso de odio ha arraigado en nuestra sociedad de manera alarmante y ha encontrado en las redes sociales una plataforma ideal de propagación. Los mensajes potencialmente ofensivos y peligrosos contra públicos estigmatizados han aumentado con la crisis sanitaria y económica de la COVID-19, que «no solo se ha cobrado vidas humanas, sino que reforzó los problemas existentes y ha golpeado con más fuerza a las minorías que de otro modo ya eran vulnerables» (Bayer & Bárd, 2020: 16-17). No existe hasta el momento una única definición para el discurso de odio, debido a la controversia que generan, por un lado, los aspectos legales y éticos a considerar y, por otro, la subjetividad del «odio» como un sentimiento de interpretación libre con límites difuminados (Cabo-Isasi & García-Juanatey, 2017). La Organización de las Naciones Unidas (ONU) (2019) define el discurso de odio como cualquier tipo de «comunicación en el habla, la escritura o el comportamiento, que ataque o utilice un lenguaje peyorativo o discriminatorio con referencia a una persona o grupo [...] en función de su religión, etnia, nacionalidad, raza, color, ascendencia, género u otro factor de identidad».

La definición de migrante engloba a todas aquellas personas que se trasladan de un lugar a otro, ya sea dentro del propio país o cruzando fronteras internacionales por diversos motivos. Los países tienen diferentes procesos para determinar si la migración es legal o no. Por lo general, las personas que han solicitado permiso para residir en otra nación a través de los procedimientos establecidos y son aceptadas se consideran «migrantes legales». Por otra parte, existen los inmigrantes indocumentados, también conocidos como «inmigrantes ilegales», que cruzan a otro país sin el conocimiento o la aceptación de su transferencia por parte del país anfitrión. Hay muchas razones por las que las personas toman esta peligrosa decisión, como el anhelo de una vida mejor para ellos o sus hijos, el temor por sus vidas, huir de la pobreza extrema en su país o reunirse con familiares que ya se han reasentado en el país. En cambio, se define la situación de «refugiado/a» como alguien que, debido a un temor fundado de ser perseguido por motivos de raza, religión, nacionalidad, pertenencia a un determinado grupo social u opinión política, se encuentra fuera del país de su nacionalidad y no puede, o no está dispuesto por temor, a acogerse a la protección de ese país; o quien, sin tener una nacionalidad y estar fuera del país de su antigua residencia habitual como resultado de tales eventos, no puede o, debido a tal temor, no está dispuesto a regresar a él (Alto Comisionado de las Naciones Unidas para los Refugiados ACNUR, 1951). En la práctica, los discursos de odio basados en xenofobia o racismo son dirigidos de forma similar hacia migrantes o refugiados.

Las preocupaciones de los ciudadanos europeos sitúan a la inmigración en tercer lugar, por detrás de la situación económica personal y las finanzas gubernamentales. Los colectivos de migrantes y refugiados son uno de los principales afectados por el discurso de odio en la actualidad. El estudio del discurso de odio hacia este tipo de públicos vulnerables es relevante en tanto que algunos autores como Müller y Schwarz (2020) apuntan a que hay una correlación directa entre el aumento del discurso de odio y los delitos de odio registrados en un determinado territorio. De este modo, la detección del discurso de odio y su capacidad predictiva abre nuevas líneas de investigación sobre los efectos que produce en los ciudadanos. Una mejor comprensión de las dinámicas migratorias y sus causas es importante para desarrollar medidas para un movimiento migratorio seguro, ordenado y regular y así se plasmó en el Pacto Mundial para la Migración (ONU, 2018). En el estudio de los factores que afectan al desplazamiento de personas dentro del territorio de la Unión Europea, supone un desafío poder predecir la aceptación social de los migrantes y refugiados en los diferentes contextos, por lo que debemos acudir a todas las fuentes posibles. Podemos encontrar algunos esfuerzos previos en esta línea, como el trabajo realizado por Arcila-Calderón et al. (2021b) en el que, basándose en datos de la encuesta de opinión del Eurobarómetro y mediante métodos computacionales, estima una probabilidad de aceptación de migrantes y refugiados dentro del territorio europeo. Este aspecto innovador se justifica en proyectos internacionales como HumMingBird1 en el que se pretende predecir la integración social de los migrantes y refugiados en todas las ciudades de Europa y una de las limitaciones es la escasa información a nivel regional de las encuestas europeas acerca del apoyo social de los ciudadanos hacia estos grupos. Es por ello que se aborda aquí el primer estudio articulado a gran escala en toda la Unión Europea que detecta de manera simultánea y longitudinal (durante 6 años) el discurso de odio en la red social Twitter y cómo influye en la percepción y aceptación de los ciudadanos hacia los inmigrantes y refugiados.

El discurso de odio resulta clave en el ambiente social, especialmente por la crispación que provoca, y porque se encuentra muy presente en los medios generados por el usuario. Incorporar este factor en el estudio de las posibilidades de aceptación de migrantes y refugiados, aun siendo complejo de abordar, es innovador y puede aportar una nueva visión dentro de estas líneas de trabajo. Por otro lado, puesto que las redes sociales son un canal prioritario en el que se mueve en la actualidad el discurso de odio, es conveniente valorar el potencial que ofrecen para la obtención de datos que permitan enriquecer los indicadores oficiales existentes.

Las redes sociales reflejan el devenir de la opinión pública en determinados contextos y en concreto Twitter, con 500 millones de mensajes breves al día, consigue un fuerte impacto en una gran parte de la población (Sayce, 2020). Durante la crisis migratoria de 2015 se recopilaron hasta 7,5 millones de tuits con los hashtags #refugees y #refugeecrisis (Siapera et al., 2018), y se observa que aumentó el sentimiento negativo generalizado contra los extranjeros y la hostilidad que llama a excluir a los migrantes de los mercados laborales y de las prestaciones de protección social (Inter-Parliamentary Union, 2015), alimentando también el estudio de las estrategias seguidas en redes sociales por los movimientos antiinmigración o grupos xenófobos (Ekman, 2019).

Entre el elevado tono del debate social, los decisores y líderes políticos europeos se proponen trabajar para que la migración se lleve a cabo de forma justa, en beneficio mutuo y respetando los derechos humanos, pero también creando entornos amigables y de cohesión social que acepten la diversidad europea. Basándose en ello, los objetivos de la Agenda 2030 para el Desarrollo Sostenible (ONU, 2015) plantean trabajar conjuntamente para la inclusión social de los migrantes (Canelón & Almansa, 2018).

El origen de las opiniones, actitudes y comportamientos xenófobos y de odio hacia personas inmigrantes se puede explicar parcialmente desde la Teoría del Contacto Intergrupal (TCI) propuesta por Allport (1954) en su libro «The Nature of Prejudice», ya que se trata de un «un marco ampliamente utilizado en el estudio de las relaciones y los prejuicios intergrupales» (Broad et al., 2014: 49). En una sociedad en la que los medios de comunicación en línea tienen tanto peso, también abordamos una segunda vertiente de esta teoría, desde la perspectiva del Contacto Intergrupal Mediado, especialmente a través de medios generados por el usuario, como las redes sociales. Esta investigación toma como base, por tanto, la Teoría del Contacto Intergrupal y del Contacto Intergrupal Mediado, por un lado, para revisar la relación de los individuos con los migrantes y, por otro lado, para analizar esa misma relación a través de las redes sociales con la incorporación del discurso de odio como condicionante. La premisa básica que plantea esta teoría es que el contacto entre individuos que pertenecen a diferentes grupos puede fomentar el desarrollo de actitudes fuera de su grupo más positivas (Abrams & Hogg, 2017), relacionando el efecto del contacto con la reducción de prejuicios. De este modo, el contacto de personas no migrantes con personas que sí lo son favorece una actitud y aceptación positivas hacia estas últimas. Se describen cuatro condiciones fundamentales que se deben cumplir para que la Teoría del Contacto Intergrupal tenga efecto: posición de igualdad, cooperación intergrupal, metas comunes y apoyo de las autoridades, tanto sociales como institucionales.

En primer lugar, la posición de igualdad supone que los implicados en el contacto no deberían tener una relación jerárquica desigual, por ejemplo, un estatus de empleado/desempleado, ya que, si hay un estatus inferior a otro, se relacionaría con actitudes negativas (Pettigrew, 1998). En segundo lugar, la cooperación supone que las personas trabajen o se desarrollen en un ambiente no competitivo compartiendo objetivos, lo que se relaciona directamente con la tercera condición, las metas comunes, que implican cierta dependencia para alcanzar los objetivos y por tanto la colaboración se hace necesaria. Por último, no puede existir ninguna autoridad institucional o social que impida o sancione de alguna manera el contacto.

Relacionando las anteriores condiciones con el problema que abordamos en este trabajo, sobre la aceptación de la población migrante y refugiada, podemos preguntarnos como inicio si en lugares con un gran porcentaje de población inmigrante los ciudadanos tendrán más posibilidades de tener un contacto directo con personas migrantes o refugiadas y, en consecuencia, desarrollarán una aceptación más positiva que otros sujetos con ausencia de ese contacto (Abrams et al., 2018). En base a ello, planteamos una primera hipótesis a contrastar:

  • H1: La proporción de población inmigrante en las regiones europeas está relacionada con el apoyo ciudadano hacia ese colectivo, de tal manera que, a mayor proporción de inmigrantes, mayor será el apoyo hacia ellos.

Enfocándonos en el contacto intergrupal mediado, el auge de las redes sociales ha supuesto nuevas posibilidades de investigación sobre el comportamiento social en línea y su reflejo en la realidad, puesto que el acceso a los contactos con otras personas es ilimitado y asequible. La interacción en línea entre grupos, ya sea positiva o negativa, puede derivar en actitudes o pensamientos que se manifiesten fuera de las redes sociales. Se incorpora el discurso de odio como un elemento que condiciona el contacto mediado intergrupal, de manera que, si el contacto es negativo a través de los medios por el efecto del discurso de odio, la actitud y aceptación serán negativas. Estudios previos trataron de explicar si la interacción en redes sociales entre personas con diferentes orígenes, experiencias u opiniones representa una relación real con estos grupos en su vida (Gallacher et al., 2021). De este modo, se comprobó que los grupos antagónicos trasladaban su comportamiento en línea a la vida real y, además, derivaba de un contacto intergrupal negativo, lo que también genera una preocupación creciente por la polarización, porque cabe esperar que los individuos se identifiquen a sí mismos como miembros pertenecientes a una tribu social y desarrollen así actitudes hostiles hacia otros grupos (Zhang et al., 2019). De estas preocupaciones surge el término cámara de eco, que trata de explicar cómo en las redes sociales los usuarios buscan o evitan información según su ideología previa y cómo esas decisiones afectan en gran medida a su comportamiento (Cinelli et al., 2021). Plataformas como Twitter, con más de 400 millones de usuarios activos (We are social/Hootsuite, 2021), pueden haber llevado a los ciudadanos a radicalizar aún más sus creencias y rechazar, de esta forma, a personas ajenas a su círculo cultural, social y económico. Por tanto, se presume que «es cada vez más importante entender el contacto intergrupal como una estrategia sencilla pero potencialmente poderosa para reducir los prejuicios entre grupos» (Zhang et al., 2019: 1). Algunos ejemplos de mensajes con discurso de odio en Twitter son: «Mientras impiden la movilidad a los españoles, más de 700 inmigrantes ilegales han asaltado nuestras fronteras en los últimos días. Continúa el efecto llamada del Gobierno y la consecuente avalancha migratoria que condena el futuro de nuestros barrios. ¡Paremos la invasión!» (Vox, 2021), «Aquí está el hermoso regalo de Navidad de quienes nos odian. ¡Autor de esta repugnante masacre, un palestino poseedor de un documento de viaje para refugiados emitido por Bélgica! Para ciertos infractores, ni zonas rojas, ni prohibiciones de viaje...» (Salvini, 2020).

De esta forma, si se aplica a la era actual en la que las nuevas tecnologías potencian la comunicación en redes sociales, «cualquier estrategia que busque comprender y combatir el discurso del odio debe incluir un enfoque de comunicación» (Arcila-Calderón et al., 2021). Por todo ello, a pesar de que exista un alto porcentaje de personas migrantes y refugiadas en una región y que el contacto directo resulte positivo, podemos analizar la relación existente con el nivel de odio presente en línea en ese territorio geográfico, con lo que enunciamos una segunda hipótesis de trabajo:

  • H2: La proporción de población inmigrante en las regiones europeas está relacionada con el nivel de odio en Twitter, de manera que, a mayor proporción de inmigrantes, menor nivel de odio detectado.

Lo anterior sugiere la necesidad de investigar la relación entre las redes sociales y su papel de representación de la realidad social. En el estudio realizado por Bollen et al. (2011) se halló una relación significativa entre el estado de ánimo de los mensajes en Twitter (tensión, depresión, ira, vigor, fatiga y confusión) y los eventos diarios, recopilados de medios de comunicación y otras fuentes, otorgándole un carácter predictivo. Para abordarlo es necesario usar los macrodatos disponibles, que ofrecen una información capaz de complementar a otras fuentes existentes como el propio Eurobarómetro (Eurobarómetro, s.f), la European Social Survey (ESS-ERIC Consortium, 2021), Gallup's Migrant Acceptance Index (Esipova et al., 2020) y otras de carácter nacional, y aportar valor a las predicciones sobre la aceptación de migrantes y refugiados en sus territorios de acogida. Estas fuentes e indicadores presentan algunas limitaciones, como puede ser el sesgo de deseabilidad social, por el que los encuestados tienden a dar las respuestas que consideran que otras personas quieren escuchar, de modo que es muy difícil detectar declaraciones abiertamente con discurso de odio, xenófobas o racistas (Arcila-Calderón et al., 2020). Otra limitación importante es la escasa información sobre la localización de las opiniones, porque se representan a escala nacional o regional. En este punto los datos de Twitter pueden aportar geolocalización, lo que permitiría cruces entre variables. En base a ello, se espera que Twitter pueda ayudar a modelar una representación de la sociedad a través de los mensajes publicados, analizando el discurso de odio como factor predictivo de la aceptación de migrantes y refugiados en Europa y suponiendo un valor agregado a los índices existentes, de manera que enunciamos una última hipótesis de trabajo:

  • H3: El nivel de discurso de odio presente en Twitter hacia migrantes y refugiados en las regiones europeas está relacionado con el nivel de apoyo ciudadano a estos colectivos, de tal manera que a menor presencia de discurso de odio mayor será la aceptación hacia migrantes y refugiados.

Material y métodos

Muestra y procedimiento

Para la realización de esta investigación se han utilizado fuentes primarias (base de datos de tuits y su nivel de odio en toda Europa entre 2015 y 2020) y fuentes secundarias (información aportada por otros estudios y bases de datos existentes). Se ha generado una base de datos de tuits, recopilados empleando la Application Programming Interface (API) de Twitter (v2 full-archive search endpoint, usando el «Academic Research product track»), que permite acceder al histórico de publicaciones desde su lanzamiento en 2006 (los datos descargados de cada tuit se pueden consultar en: https://doi.org/10.6084/m9.figshare.16708942.v3). Para la descarga de los tuits se definió primero un filtro de búsqueda por palabras clave y zonas geográficas utilizando el lenguaje de programación Python y las bibliotecas NLTK, Tensorflow, Keras y Numpy. Se establecieron palabras genéricas directamente relacionadas con el tema, en todas sus variantes de género y número, pero sin considerar adjetivos, como, por ejemplo: migrante, migrantes, inmigrante, inmigrantes, refugiado, refugiados, refugiada, refugiadas, solicitante de asilo, solicitantes de asilo (las palabras clave se pueden consultar como material complementario en https://doi.org/10.6084/m9.figshare.16708945.v3). Después, se seleccionaron exclusivamente aquellos mensajes que disponían de coordenadas de geolocalización (etiqueta «coordinates» en el «Twitter object»), de manera que cada tuit proporcionaba la ubicación exacta mediante una matriz de longitud y latitud geográficas y mensajes que no fueran retweets ni respuestas. A continuación, para categorizar los mensajes descargados entre los 27 estados miembros de la Unión Europea (a los que se suman de manera agregada Suiza, Reino Unido y Noruega), se empleó la Nomenclatura de las Unidades Territoriales Estadísticas (NUTS), que sigue una jerarquía descendiente en principales regiones socioeconómicas (NUTS 1), regiones básicas para la aplicación de políticas regionales (NUTS 2) y pequeñas regiones para diagnósticos específicos (NUTS 3), utilizando el geocodificador Nominatim2 y su asociación a los códigos a través del Nuts Finder3. En este trabajo nos centramos en el nivel NUTS 2, equivalente a regiones con capacidad de aplicación de políticas relacionadas con la migración. Este trabajo se ha apoyado en la infraestructura del Centro de Supercomputación de Castilla y León (Scayle).

Finalmente, el procedimiento seguido para la detección de odio en los tuits utiliza de base una herramienta (http://pharm-interface.usal.es) creada y validada por Vrysis et al. (2021). Para esta investigación la herramienta ha sido nuevamente entrenada con detección supervisada (aprendizaje automático con redes neuronales) a partir de un corpus de 90.977 mensajes cortos, de los cuales 15.761 eran en griego (4.359 con odio hacia inmigrantes), 46.012 en español (11.117 con odio hacia inmigrantes) y 29.204 en italiano (5.848 con odio hacia inmigrantes). Este corpus corresponde a dos fuentes: una de importación de mensajes ya clasificados en otras bases de datos (n=57.328, correspondientes a 5.362 mensajes genéricos en griego, 23.787 mensajes genéricos y 9.727 mensajes con odio hacia inmigrantes en español, y 18.452 mensajes genéricos en italiano) y otra de mensajes manualmente codificados por analistas locales entrenados (en España, Grecia e Italia), utilizando al menos dos codificadores y con un total acuerdo entre ellos (el grado de acuerdo en las pruebas fue de 94%), descartando los que no alcanzaron un 100% de acuerdo intercodificadores (n=33.649, correspondientes a 6.040 sobre inmigración sin odio y 4.359 con odio hacia inmigrantes en griego, 11.108 sobre inmigración sin odio y 1.390 con odio hacia inmigrantes en español, y 4.904 sobre inmigración sin odio y 5.848 con odio hacia inmigrantes en italiano). El corpus se dividió entre 80% entrenamiento y 20% prueba. En los modelos se utilizaron «embeddings» para la representación del lenguaje y Redes Neuronales Recurrentes (RNN) para la clasificación supervisada de texto. Específicamente, los «embeddings» se crearon con las 1.000 palabras más repetidas con 8 dimensiones (primera capa de entrada), dos capas ocultas tipo Gated Recurrent Unit (GRU) con 64 neuronas cada una, y una capa densa de salida con una neurona y activación «softmax» (el modelo se compila con el optimizado «Adam» y con la perdida «Sparse Categorical Crossentropy»).

La evaluación de los modelos de detección arrojó buenos resultados: en griego, odio (exactitud=0,78, precisión=0,79, exhaustividad=0,75, valor-f=0,77), no odio (exactitud=0,78, precisión=0,76, exhaustividad=0,80, valor-f=0,78); en español, odio (exactitud=0,87, precisión=0,87, exhaustividad=0,86, valor-f=0,87), no odio (exactitud=0,87, precisión=0,86, exhaustividad=0,87, valor-f=0,87); y en italiano, odio (exactitud=0,90, precisión=0,93, exhaustividad=0,87, valor-f=0,90), no odio (exactitud=0,90, precisión=0,88, exhaustividad=0,94, valor-f=0,91). Adicionalmente, se desarrolló una fase de validación externa –con 10.285 nuevos tuits recogidos en un periodo posterior, entre noviembre y diciembre de 2020, clasificados por el modelo y por uno de los codificadores humanos entrenados–. Esta validación arrojó métricas de evaluación de calidad aceptable para la clase odio: exactitud=0,85; AUC-ROC=0,88, valor-f=0,74; Loss=0,46. Los resultados específicos de las pruebas de modelos previos con diferentes algoritmos, parámetros y corpus de entrenamiento, así como de los procesos de validación se reportan al completo en Arcila-Calderón et al. (2022a).

Para este estudio se ha conseguido descargar y almacenar una base de datos con una muestra total de 847.978 mensajes de Twitter de los últimos seis años (193.676 en 2015, 182.634 en 2016, 121.465 en 2017, 140.293 en 2018, 112.552 en 2019 y 97.358 en 2020) de 30 países de Europa con mensajes referidos a migrantes o refugiados y que incluyen datos de geolocalización (en material complementario se puede consultar la cantidad de tuits por año y por país: https://doi.org/10.6084/m9.figshare.17186108.v1). Los mensajes se han pasado por el detector para obtener los resultados que se presentarán a continuación. Para salvar el inconveniente que puede suponer la diversidad de lenguas y dialectos hablados en todo el territorio de la Unión Europea, las aplicaciones (API) de Google Translate4 y Python texblob5 posibilitan la traducción del idioma, aunque este no haya sido declarado. Gracias a ellas se han traducido automáticamente todos los mensajes a español, ya que es el idioma en el que se hizo la validación externa.

Por otra parte, para poder relacionar estos datos de Twitter con otros ya existentes y estudiar los escenarios de aceptación para migrantes y refugiados, se han empleado diversas fuentes secundarias. En primer lugar, el denominado CensusHub, perteneciente al Sistema Estadístico Europeo (SEE), que proporciona datos detallados sobre el tamaño, las características de la población y las viviendas de Europa, actualizados al inicio de cada década, por lo que en esta investigación corresponde el censo de 2011 (European Commission, 2016). En segundo lugar, se utilizan los resultados del estudio realizado por Arcila et al. (2021b), que estima la probabilidad de aceptación de refugiados en Europa a nivel de regiones (NUTS 2) basándose en datos del Eurobarómetro (2015-2017) y aplicando métodos computacionales que combinan aprendizaje automático y poblaciones sintéticas.

El estudio crea «probabilidades de aceptación» hacia inmigrantes en cada NUTS 2 extrapolando los datos demográficos de cada región y comparándolos con los modelos producidos por las encuestas nacionales (usando los algoritmos: regresión logística, árboles de decisión, random forest, máquinas de vectores soporte k-vecino más cercano), por lo que creaba poblaciones artificiales o sintéticas de 10.000 habitantes en cada una de las 271 regiones en Europa para calcular la probabilidad de cada individuo y luego la media de todos los individuos en la región.

Medidas y análisis

Las variables utilizadas para el análisis son las siguientes:

  • Nivel de discurso de odio online hacia inmigrantes y refugiados en Twitter: el promedio del nivel de odio de los tuits publicados por regiones europeas, medido a partir del detector de odio, basado en el desarrollado por Vrysis et al. (2021), entrenado de nuevo para este estudio, con valores graduales que oscilan entre 0 y 1, siendo 0 la ausencia de odio y 1 la presencia de odio. Estos datos se han obtenido aplicando el detector al archivo de mensajes de Twitter creado para esta investigación y filtrado por contenido, fecha y geolocalización.
  • Nivel de apoyo hacia migrantes y refugiados: indicador basado en el promedio de la opinión pública en relación con el apoyo de medidas a favor de la integración de las personas refugiadas, creado a partir de la encuesta del Eurobarómetro en distintas oleadas (segundo semestre de 2015, primer semestre de 2016, segundo semestre de 2016, primer semestre de 2017 y segundo semestre de 2017). Los valores son continuos de grado y se encuentran entre 0 (menor apoyo) y 1 (mayor apoyo). Este dato se obtiene de las simulaciones realizadas en el estudio de Arcila-Calderón et al. (2022b) basadas en la encuesta europea de opinión pública Eurobarómetro (2020).
  • Proporción de población extranjera: medida obtenida del número de personas extranjeras de cada región europea (NUTS 2) en relación con el total de la población. Los valores son continuos de grado entre 0 y 1, siendo 0 la ausencia de personas extranjeras y 1 la totalidad de la población extranjera. Cifras extraídas de la base de datos del Census Hub.

Para analizar los datos e indicadores y contrastar las hipótesis planteadas se utilizan análisis visuales6, descriptivos y correlacionales. En cuanto a los análisis de tipo visual, se han elaborado mapas comparativos por año a través del programa Tableau, diseñado para el tratamiento, análisis y visualización de datos. Otros mapas que se emplean son los ya creados previamente acerca del nivel de apoyo a los colectivos analizados (Arcila-Calderón et al., 2022b) y la proporción de inmigrantes y nativos por cada región. Los mapas representan los datos descriptivos de cada una de las medidas (media) con la utilización de los programas estadísticos Excel y SPSS. Esta última herramienta también es empleada para la realización de pruebas de correlación estadística con el fin de analizar si existe o no una relación significativa entre dos variables.

Análisis y resultados

Los resultados de analizar con el detector de odio la base de datos de 847.978 mensajes por año en los países de la Unión Europea se presentan en la Tabla 1.


https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/8bc3b888-8db4-4ef6-97db-904077395ead/image/28faf74e-1096-42ed-8a28-43c6f473c423-u02-01.png


Se puede observar que algunos países destacan por picos elevados, como Chipre, Grecia, Italia o Lituania. En algunos casos se aprecia una variación importante en función del año, ya sea de descenso, como el caso de Lituania de 0,88 en 2018 a 0,53 en 2020, o de ascenso, como Chipre de 0,32 en 2017 a 0,53 en 2020. En material complementario se puede ver la media por año tanto por regiones (NUTS 2 https://doi.org/10.6084/m9.figshare.16708969.v1) como por ciudades (NUTS 3 https://doi.org/10.6084/m9.figshare.16708954.v1).

Atendiendo a la primera hipótesis (H1), en la que se plantea que la proporción de población inmigrante en las regiones europeas (NUTS 2) está relacionada con el apoyo ciudadano hacia ese colectivo, se presenta de manera visual en un mapa (Figura 1) la proporción de inmigrantes por región, observándose que en el área mediterránea es superior a otras zonas interiores de Europa. Por otro lado, se refleja también en un mapa visual la media de apoyo hacia migrantes y refugiados en cada uno de los periodos seleccionados, con datos extraídos del Eurobarómetro (Figura 2), indicando en este caso que es positivo salvo en algunas regiones que rebajan su media, como Italia y la Europa del Este.


https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/8bc3b888-8db4-4ef6-97db-904077395ead/image/24f443f4-e8d1-49ce-950b-5a3a0ddbbbbb-u02-02.png


La variable de proporción de población inmigrante a nivel de regiones europeas (NUTS 2) se relaciona de manera estadísticamente significativa en la prueba de correlación con la variable de apoyo a la inmigración en el segundo semestre de 2015 (r=.254, p<.001), en 2016, primer semestre (r=.298, p<.001) y segundo semestre (r=.308, p<.001), y en 2017, primer semestre (r=.300, p<.001) y segundo semestre (r=.292, p<.001) (Tabla 2). La correlación, siguiendo a Sampieri et al. (2014), es positiva débil, ya que se encuentra entre los valores .10 y .50, por lo que se acepta la hipótesis planteada (H1) que postula que, a mayor proporción de personas inmigrantes en una región, mayor es el apoyo hacia este colectivo.


https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/8bc3b888-8db4-4ef6-97db-904077395ead/image/67c80a16-3d5a-4c27-a91d-639211a4dc7a-u02-03.png


Para contrastar la segunda hipótesis (H2) en la que se plantea que una mayor proporción de población inmigrante en cada región europea (NUTS 2) está relacionada con el nivel de odio presente en Twitter, se visualizan primero los mapas con la representación de las medias de ambas variables (Figura 1 y Figura 3) por regiones y años. En cuanto al nivel de odio (Figura 3) se aprecia que en las zonas de color más intenso es elevado y en el año 2020 destacan en concreto Italia y Grecia.

A continuación, en la Tabla 2 se muestra el análisis de correlación entre la proporción de población inmigrante y el nivel promedio de discurso de odio encontrado en Twitter por año analizado y a nivel de regiones europeas (NUTS 2).

Se observa que la relación con la proporción de inmigrantes por cada región de Europa es estadísticamente tendencial en 2015 (r=.089, p<.10) y en 2018 (r=.089, p<.10) y no significativa en los años 2016 (r=.070, p>.10), 2017 (r=.045, p>.10) y 2019 (r=.074, p>.10). Sin embargo, sí es significativa en el año 2020 (r=.147, p<.05). La tendencia es positiva, por lo que no se respalda la hipótesis formulada (H2) que postulaba que, a mayor proporción de inmigrantes en una región, menor es el nivel de discurso de odio encontrado en Twitter hacia migrantes y refugiados, ya que el único resultado significativo y los dos tendenciales apuntan a la relación opuesta.


https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/8bc3b888-8db4-4ef6-97db-904077395ead/image/d8178a76-09f4-4ed8-b46c-916cccf8c750-u02-04.png


Con el objetivo de contrastar la hipótesis H3, en la que se planteaba que el nivel de discurso de odio presente en Twitter hacia migrantes y refugiados en las regiones europeas (NUTS 2) está relacionado con el apoyo ciudadano a estos colectivos, se puede ver el mapa visual de esta última variable en la Figura 2 y se añade un nuevo mapa con el nivel promedio de discurso de odio en los mismos períodos de tiempo (Figura 4), que resulta muy similar al anual de la Figura 3, con mayor nivel en países como Italia y Grecia.

En la Tabla 2 la correlación entre el nivel de apoyo hacia la inmigración (semestral) y el nivel de discurso de odio encontrado en Twitter en esos periodos revela que el segundo semestre de 2015 (r=-.104, p<.05), el primer semestre de 2016 (r=-.266, p<.001), el segundo semestre de 2016 (r=-.234, p<.001) y el segundo semestre de 2017 (r=-.245, p<.001) resultaron estadísticamente significativos con tendencia negativa, lo que significa, por tanto, que se acepta la hipótesis de que en aquellas regiones en las que se encontró un menor nivel de discurso de odio en Twitter se contó con un mayor apoyo hacia las personas inmigrantes.


https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/8bc3b888-8db4-4ef6-97db-904077395ead/image/a2fd1496-0566-4b46-8e36-d42aa39bd386-u02-05.png


El único periodo que resultó no significativo fue el primer semestre de 2017 (r=-.096, p>.05).


https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/8bc3b888-8db4-4ef6-97db-904077395ead/image/5f8e6c35-e7a0-4d17-8a40-624b1b325628-u02-06.png


Conclusiones y discusión

Esta investigación ha realizado una ardua labor de documentación, recogida de grandes datos, clasificación y aplicación de métodos computacionales avanzados para complementar el marco común de trabajos que estudian las dinámicas de migración en Europa. Partiendo de datos generados a gran escala, así como de indicadores existentes, se buscaba estudiar los escenarios de aceptación hacia las personas inmigrantes y refugiadas, considerando la teoría del contacto intergrupal para tratar de explicar la hostilidad hacia estos grupos sociales, y empleando por primera vez el discurso de odio como un factor predictivo en dicha aceptación. Un aporte valioso de este trabajo es demostrar la capacidad de obtener datos geográficamente localizados de redes sociales que permiten nuevos cruces desde perspectivas innovadoras y superan algunas de las limitaciones de los indicadores oficiales existentes de tipo encuestas, como pueden ser el alto coste, el tiempo, el volumen de datos o la escasez de detalle por territorios geográficos.

En primer lugar, se prueban los principios tradicionales de la teoría del «Contacto Intergrupal» de Allport (1954), analizando si las regiones con una mayor proporción de inmigrantes favorecen un contacto interpersonal positivo, de manera que siguiendo esta teoría el contacto entre dos grupos diferentes puede promover la tolerancia y la aceptación ciudadana. Este enunciado, propuesto en la hipótesis H1, se confirma con los resultados obtenidos, por lo que podemos afirmar que en aquellas regiones europeas en las que se registra una mayor proporción de inmigrantes existe un mayor apoyo ciudadano hacia el colectivo. Dando continuidad a lo anterior, pero desde la perspectiva de la teoría del «Contacto Intergrupal Mediado», donde el discurso de odio es una representación que media entre el efecto del contacto y la actitud de las personas, se ha analizado si las regiones con una mayor proporción de inmigrantes presentan un menor nivel de discurso de odio en Twitter, enunciado en la hipótesis H2. En este caso, se obtuvo solo un resultado significativo, pero en la dirección contraria a la premisa planteada, es decir, que cuanto mayor es la proporción de inmigrantes, mayor es el nivel de discurso de odio encontrado en Twitter. Esto se puede explicar, tal como se avanzaba en la teoría, con la deseabilidad social que muestran los usuarios sometidos a encuestas y experimentos, y que aportan respuestas que difieren de sus actitudes, valores o comportamientos reales con el fin de dar una imagen más deseable o socialmente aceptada (Larson, 2019). Es por esto último que las redes sociales y comunidades virtuales pueden aportar el carácter anónimo para que los usuarios expresen sus ideas y opiniones reales, cambiando así su comportamiento en Internet con respecto al de la vida real (Joinson, 1999).

Para finalizar, se ha revisado la relación entre el nivel de discurso de odio hacia migrantes y refugiados en Twitter y el nivel de apoyo a la inmigración extraído del Eurobarómetro y enunciado en la hipótesis H3. El resultado obtenido es significativo, lo que permite confirmar H3, pues aquellas regiones en las que el apoyo era mayor registraban un menor nivel de discurso de odio en Twitter. Este es un escenario innovador de conocimiento de la aceptación de migrantes y refugiados en las regiones europeas mediante la presencia de discurso de odio geolocalizado. Por primera vez se pueden realizar nuevos estudios basados en índices existentes o resultados previos, pero complementados por la geolocalización y por el pulso de la conversación social anonimizada en medios generados por los propios usuarios. Con todo ello se ha cumplido con el objetivo planteado de conocer la aceptación social de migrantes y refugiados en las regiones europeas, mediante el análisis a gran escala del discurso de odio en línea en Twitter y el contraste con indicadores oficiales existentes. Este hallazgo supone un gran paso en el estudio del origen del discurso de odio en relación con los territorios concretos y puede ayudar en el planteamiento de soluciones y medidas para la expansión de comportamientos discriminatorios, racistas y xenófobos. Las redes sociales han demostrado ser un verdadero reto para las ciencias sociales ya que, a través de las publicaciones expuestas en estas plataformas, se busca comprender mejor la interacción humana y mejorar así las condiciones existentes (Felt, 2016). Líneas futuras de trabajo también pueden profundizar en la influencia de otros medios de comunicación de masas en la aceptación de migrantes y refugiados para comparar con estos indicadores.

En cuanto a las limitaciones del trabajo, en primer lugar, hay que apuntar que Twitter no se considera representativo de toda la sociedad y de su realidad, pero nos puede aportar una orientación muy relevante debido a la libre expresión de opiniones de su diversidad de usuarios. El difícil manejo de los macrodatos asociado a la geolocalización implica una reducción de la muestra que se obtiene en pos de una mayor calidad de estos. Al mismo tiempo, la actualización de los datos es crucial para determinar con exactitud y precisión los resultados, puesto que el censo utilizado se actualiza cada década. Relacionado con el ámbito temporal, suponen una limitación los distintos periodos de cada una de las medidas, pues en estudios posteriores sería deseable contar con mayor uniformidad, como es el caso del índice de apoyo a inmigrantes en las encuestas del Eurobarómetro (2020).

Otra limitación a considerar es la traducción automática (en lugar de la creación de modelos ex profeso para cada lengua), ya que en una nueva validación externa con 500 tuits traducidos (excluyendo mensajes en español, griego o italiano), seleccionados aleatoriamente de la muestra y comparados con las predicciones del modelo, encontramos que si bien de forma general se detectan con cierta exactitud las clases (exactitud=0,72), la predicción de odio es muy débil (precisión=0,18, exhaustiividad=0,28, valor-f=0,22) comparada con la de no odio (precisión=0,87, exhaustiividad=0,79, valor-f=0,83) en este tipo de mensajes traducidos automáticamente. Por otro lado, cabe mencionar que los resultados pudieron estar intervenidos por campañas de bots en la red o por posibles eventos fuera de línea que influyen en la conversación en línea, como el ejemplo del caso «Aquarius» (Arcila-Calderón et al., 2021).

La aproximación al discurso de odio es genérica, puesto que se analiza mediante filtros temáticos, pero no se estudian en detalle las diversas tipologías de odio en red. Además, las palabras clave son concretas y podría realizarse un estudio más en profundidad considerando la idiosincrasia lingüística de cada país y que en cada territorio europeo existen marcos normativos y regulatorios de la expresión en redes sociales que también condicionan la existencia de un mayor o menor grado de discurso de odio. En términos generales, este estudio permite la formulación de otras incógnitas y líneas de investigación que permitan, por un lado, continuar indagando en el uso de las nuevas tecnologías y plataformas online como agregados a las metodologías tradicionales existentes y, por otro lado, a partir de la elaboración de modelos más complejos, plantear posibles herramientas y medios para combatir los problemas sociales detectados.

Contribución de Autores

Idea, C.A-C.; Revisión de literatura (estado del arte), C.Q-M, D.B-H, J.J.A; Metodología, C.A-C, P.S-H ; Análisis de datos, C.Q-M., C.A-C, P.S-H, D.B-H, J.J.A.; Resultados, C.Q-M., P.S-H, J.J.A, D.B-H; Discusión y conclusiones, C.A-C, P.S-H; Redacción (borrador original), C.A-C, P.S-H, C.Q-M.; Revisiones finales, C.A-C, P.S-H, C.Q-M, J.J.A, D.B-H; Diseño del Proyecto y patrocinio, C.A-C, P.S-H, J.J.A, D.B-H. (1)

Notes

  1. Todos los mapas se pueden consultar en https://doi.org/10.6084/m9.figshare.16708960.v2
  2. Código de Python textblob empleado para la traducción. Más información en https://textblob.readthedocs.io/en/dev/
  3. APIs de Google Translate. Disponible en https://buildmedia.readthedocs.org/media/pdf/textblob/latest/textblob.pdf
  4. NutsFinder. Clasificación de códigos NUTS. Ver la app en http://www.pypi.org/project/nuts-finder/
  5. Geocodificar coordenadas. Información adicional en https://nominatim.org/
  6. Proyecto europeo HumMingbird. Información adicional en https://hummingbird-h2020.eu/

References

  1. Esipova, N, Ray, J & Pugliese, A. 2020.grows less accepting of migrants&author=&publication_year= World grows less accepting of migrants.Gallup
  2. Organización de las Naciones Unidas (Ed.) 2019.migration policies. Data booklet&author=&publication_year= International migration policies. Data booklet.Statistical Papers - United Nationshttps://doi.org/10.18356/0a2bc93d-en
  3. Broad, G M, Gonzalez, C & Ball-Rokeach, S J. 2014.relations in South Los Angeles. Combining communication infrastructure and contact hypothesis approaches&author=Broad&publication_year= Intergroup relations in South Los Angeles. Combining communication infrastructure and contact hypothesis approaches. International Journal of Intercultural Relations 38(1):47–59.
  4. Vrysis, L, Vryzas, N, Kotsakis, R, Saridou, T, Matsiola, M, Veglis, A, Arcila-Calderón, C & Dimoulas, C. 2021.Web interface for analyzing hate speech&author=Vrysis&publication_year= A Web interface for analyzing hate speech. Future Internet 13(3):80.
  5. We are social/Hootsuite (Ed.) 2021.2021 October Global Statshot Report&author=&publication_year= Digital 2021 October Global Statshot Report.Digital 2021 Global Digital Overview
  6. Sampieri, R H, Collado, C F, Lucio, P B, Valencia, S M & Torres, C P M. 2014.de la investigación&author=&publication_year= Metodología de la investigación.McGraw-Hill Education
  7. Gallacher, J D, Heerdink, M W & Hewstone, M. 2021.engagement between opposing political protest groups via social media is linked to physical violence of offline encounters&author=Gallacher&publication_year= Online engagement between opposing political protest groups via social media is linked to physical violence of offline encounters. Social Media + Society 7(1).
  8. Pettigrew, T F. 1998.contact theory&author=Pettigrew&publication_year= Intergroup contact theory. Annual Review of Psychology 49(1):65–85.
  9. Eurobarómetro (Ed.) 2020.opinion in the European Union&author=&publication_year= Public opinion in the European Union.https://doi.org/10.2775/460239
  10. Joinson, A. 1999.desirability, anonymity, and internet-based questionnaires&author=Joinson&publication_year= Social desirability, anonymity, and internet-based questionnaires. Behavior Research Methods, Instruments, & Computers 31(3):433–438.
  11. Bayer, J & Bárd, P. 2020.speech and hate crime in the EU and the evaluation ofonline content regulation approaches&author=&publication_year= Hate speech and hate crime in the EU and the evaluation ofonline content regulation approaches.Policy Department for Citizens’ Rights and Constitutional Affairs
  12. , Vox [@Vox_es]. 2021.impiden la movilidad a los españoles, más de 700 inmigrantes ilegales han asaltado nuestras fronteras en los últimos días&author=&publication_year= Mientras impiden la movilidad a los españoles, más de 700 inmigrantes ilegales han asaltado nuestras fronteras en los últimos días.[Tweet]. Twitter
  13. Bollen, J, Mao, H & Pepe, A. 2011.Modeling public mood and emotion: Twitter sentiment and socio-economic phenomena. Proceedings of the International AAAI Conference on Web and Social Media 5:450–453.
  14. Cinelli, M, Morales, G D F, Galeazzi, A, Quattrociocchi, W & Starnini, M. 2021.echo chamber effect on social media&author=Cinelli&publication_year= The echo chamber effect on social media. Proceedings of the National Academy of Sciences 118(9):1–8.
  15. Cabo-Isasi, A & García-Juanatey, A. 2017.speech in social media : A state-of-the-art-review&author=&publication_year= Hate speech in social media : A state-of-the-art-review.
  16. Arcila-Calderón, C, Amores, J J, Sánchez-Holgado, P & Blanco-Herrero, D. 2022a.text classification to detect online hate towards migrants and refugees. Developing and evaluating a classifier of racist and xenophobic hate speech using shallow and deep learning&author=Arcila-Calderón&publication_year= Using text classification to detect online hate towards migrants and refugees. Developing and evaluating a classifier of racist and xenophobic hate speech using shallow and deep learning. [Submitted for publication]
  17. Larson, R B. 2019.social desirability bias&author=Larson&publication_year= Controlling social desirability bias. International Journal of Market Research 61(5):534–547.
  18. Arcila-Calderón, C, Amores, J J & Stanek, M. 2022b.machine learning and synthetic populations to predict support for refugees and asylum seekers in European regions&author=Arcila-Calderón&publication_year= Using machine learning and synthetic populations to predict support for refugees and asylum seekers in European regions. In: Korkmaz, S. & Bircan, B., eds. science for migration and mobility&author=Korkmaz&publication_year= Data science for migration and mobility.Oxford University Press
  19. Felt, M. 2016.media and the social sciences: How researchers employ Big Data analytics&author=Felt&publication_year= Social media and the social sciences: How researchers employ Big Data analytics. Big Data & Society 3(1).
  20. European Commission (Ed.) 2016.Census Hub: Easy and flexible access to European census data&author=&publication_year= The Census Hub: Easy and flexible access to European census data.Publications office of the European Union
  21. Zhang, J S, Tan, C & Lv, Q. 2019.contact in the wild: Characterizing language differences between intergroup and single-group members in NBA-related discussion forums&author=Zhang&publication_year= Intergroup contact in the wild: Characterizing language differences between intergroup and single-group members in NBA-related discussion forums. In: Lampinen, A., Gergle, D. & Shamma, D.A., eds. of the ACM on Human-Computer Interaction&author=Lampinen&publication_year= Proceedings of the ACM on Human-Computer Interaction. (pp. 1-35) https://doi.org/10.1145/3359295
  22. Organización de las Naciones Unidas (Ed.) 2018.compact for safe, orderly and regular migration&author=&publication_year= Global compact for safe, orderly and regular migration.ONU
  23. Canelón, A R & Almansa, A. 2018.Migración: Retos y oportunidades desde la perspectiva de los Objetivos de Desarrollo Sostenible (ODS)Retos 8:109–120.
  24. Ekman, M. 2019.and racist discourse in social media&author=Ekman&publication_year= Anti-immigration and racist discourse in social media. European Journal of Communication 34(6):606–618.
  25. ESS-ERIC Consortium (Ed.) 2021.Social Survey (ESS)&author=&publication_year= European Social Survey (ESS).
  26. Abrams, D & Hogg, M A. 2017.years of group processes and intergroup relations research: A review of past progress and future prospects&author=Abrams&publication_year= Twenty years of group processes and intergroup relations research: A review of past progress and future prospects. Group Processes & Intergroup Relations 20:561–569.
  27. Salvini, M. [@matteosalvinimi] 2020.Il bel regalo di Natale di chi ci odia. Autore di questo scempio schifoso un palestinese&author=&publication_year= Ecco Il bel regalo di Natale di chi ci odia. Autore di questo scempio schifoso un palestinese.[Tweet]. Twitter
  28. Arcila-Calderón, C, Blanco-Herrero, D, Frías-Vázquez, M & Seoane-Pérez, F. 2021.welcome? Online hate speech and sentiments in Twitter in Spain during the reception of the boat Aquarius&author=Arcila-Calderón&publication_year= Refugees welcome? Online hate speech and sentiments in Twitter in Spain during the reception of the boat Aquarius. Sustainability 13(5).
  29. Siapera, E, Boudourides, M, Lenis, S & Suiter, J. 2018.and network publics on Twitter: Networked framing, affect, and capture&author=Siapera&publication_year= Refugees and network publics on Twitter: Networked framing, affect, and capture. Social Media + Society 4(1).
  30. Allport, G W. 1954.nature of prejudice&author=&publication_year= The nature of prejudice.Addison-Wesley
  31. Arcila-Calderón, C, Blanco-Herrero, D & Valdez-Apolo, M B. 2020.y discurso de odio en Twitter: Análisis de contenido de los tuits sobre migrantes y refugiados en español&author=Arcila-Calderón&publication_year= Rechazo y discurso de odio en Twitter: Análisis de contenido de los tuits sobre migrantes y refugiados en español. Revista Española de Investigaciones Sociológicas 172:21–40.
  32. Inter-Parliamentary Union (Ed.) 2015.human rights and governance&author=&publication_year= Migration, human rights and governance.The International Labour Organization/The United Nations
  33. Abrams, J R, Mcgaughey, K J & Haghighat, H. 2018.toward Muslims: a test of the parasocial contact hypothesis and contact theory&author=Abrams&publication_year= Attitudes toward Muslims: a test of the parasocial contact hypothesis and contact theory. Journal of Intercultural Communication Research 47(4):276–292.
  34. Sayce, D. 2020.number of tweets per day in 2020&author=&publication_year= The number of tweets per day in 2020.
  35. Alto Comisionado de las Naciones Unidas para los Refugiados (Ed.) 1951.sobre el Estatuto de los Refugiados&author=&publication_year= Convención sobre el Estatuto de los Refugiados.
  36. Eurobarómetro (Ed.)periódicos de opinión del Parlamento Europeo&author=&publication_year= Sondeos periódicos de opinión del Parlamento Europeo.
  37. Müller, K & Schwarz, C. 2020.the flames of hate: Social media and hate crime&author=Müller&publication_year= Fanning the flames of hate: Social media and hate crime. Journal of the European Economic Association 19(4):2131–2167.
  38. Organización de las Naciones Unidas (Ed.) 2015.2030 - Objetivo 10. Reducción de las desigualdades&author=&publication_year= Agenda 2030 - Objetivo 10. Reducción de las desigualdades.ONU
Back to Top
GET EPUB

Document information

Published on 31/03/22
Accepted on 31/03/22
Submitted on 31/03/22

Volume 30, Issue 1, 2022
DOI: 10.3916/C71-2022-02
Licence: CC BY-NC-SA license

Document Score

0

Views 0
Recommendations 0

Share this document

Keywords

claim authorship

Are you one of the authors of this document?

I am an author