Interdisciplinarity of scientific production on hate speech and social media: A bibliometric analysis

Download the PDF version

RESUMEN

Las repercusiones que tiene el discurso del odio, tanto a nivel personal como social, se han intensificado con las redes sociales. Esto lo ha convertido en centro de interés de numerosas revistas científicas, lo que incrementa la visibilización de esta problemática global. El objetivo de esta investigación es analizar las métricas básicas descriptivas de la producción científica sobre el discurso del odio y redes sociales, así como explorar la interdisciplinariedad de estos enfoques. Se ha llevado a cabo un estudio bibliométrico a partir de trabajos indexados en la base de datos Scopus relacionados con el binomio «discurso de odio» y «redes sociales», en un período temporal de 20 años (2001 a 2020). Las métricas utilizadas demuestran que, a partir del año 2017, esta temática comienza a despertar mayor interés entre los investigadores, constituyéndose un indicador suficiente para considerar el tema como de interés por parte de la comunidad científica. La investigación conjunta entre ambos conceptos eleva sus niveles de calidad desde un punto de vista estrictamente métrico. Las áreas «Computer Science» y «Social Sciences» son las dos que definen claramente la producción científica sobre este tema. La inversión de porcentajes en cuanto a áreas de procedencia de los trabajos y citas en estas dos áreas evidencian esta interdisciplinariedad. Los indicadores obtenidos muestran la relevancia y trascendencia de un problema social ante el que se deben implementar medidas proactivas.

Palabras clave

Discurso del odio, análisis bibliométrico, redes sociales, interdisciplinariedad, producción científica, visibilización

Keywords

Hate speech, bibliometric analysis, social media, interdisciplinarity, scientific production, visibility

ABSTRACT

The impact of hate speech, both on a personal and social level, has increased due to social media. This has made it the focus of interest of numerous scientific journals, which increases the visibility of this global problem. The aim of this research is to analyse the basic descriptive metrics of the scientific production on hate speech and social media, as well as to explore the interdisciplinarity of these approaches. A bibliometric study has been carried out on the basis of the works indexed in the Scopus database related to the binomial ‘hate speech’ and ‘social media’ over a period of 20 years (2001 to 2020). The metrics used show that it is from 2017 onwards when this topic begins to arouse greater interest among researchers and that they constitute a sufficient indicator to consider the topic as one of interest to the scientific community. The joint research between both concepts raises its quality levels from a strictly metric point of view. ‘Computer Science’ and ‘Social Sciences’ are the two areas that clearly define the scientific production on this subject. The inversion of percentages in terms of the areas of origin of the works and citations in these two areas, is evidence of this interdisciplinarity. The indicators obtained show the relevance and transcendence of a social problem in the face of which proactive measures must be implemented.

Palabras clave

Discurso del odio, análisis bibliométrico, redes sociales, interdisciplinariedad, producción científica, visibilización

Keywords

Hate speech, bibliometric analysis, social media, interdisciplinarity, scientific production, visibility

Introducción

La libertad de expresión constituye la piedra angular del sistema de derechos y libertades que identifica a las sociedades democráticas. Esta se ejerce en numerosos y diferentes contextos, como el arte, la literatura, la religión o la política, entre otros. Sin embargo, como señalan Ballesteros-Aguayo y Langa-Nuño (2018), también es una moneda de dos caras que, por un lado, posibilita desarrollar la libertad ideológica, educativa o religiosa y, por otro, se utiliza con la intención de infligir daño o menoscabar la dignidad de la persona.

Es entonces, cuando surge el discurso del odio (hate speech), entendido por el Consejo de Europa (1997) como aquellas formas de expresión que propagan, incitan, promueven o justifican el odio racional, la xenofobia, el antisemitismo y todas otras formas de odio sustentadas en la intolerancia, entre las que destacan el agresivo nacionalismo, el etnocentrismo, la discriminación y hostilidad contra las minorías inmigrantes.

Según Parekh (2006), el «hate speech» presenta tres elementos definitorios: 1) un mensaje objetivamente ofensivo o degradante; 2) dirigirse a un colectivo social específicamente identificado; y 3) riesgo de exclusión de dicho colectivo. En la misma línea, Waldron (2012) expresaba que el discurso del odio se manifiesta como: 1) acusación a los miembros de un colectivo concreto de cometer hechos ilícitos de manera generalizada; 2) equiparación de dicho colectivo con otro elemento que permita su deshumanización; 3) caracterización denigrante y ofensiva del colectivo; y 4) prohibición específica de acuerdo a rasgos definitorios representativos del colectivo.

Para Gagliardone et al. (2015), el concepto también incluye expresiones que favorecen de forma directa la comisión de actos discriminatorios o violencia por motivos de odio e, incluso, se ha generalizado su uso en los medios de comunicación para referirse a amenazas hacia individuos concretos de manera más o menos ofensiva. En torno a estos dos conceptos –libertad de expresión y discurso del odio– las sociedades occidentales definen posicionamientos diferentes, especialmente en los Estados Unidos (proclive a la no limitación de la libertad de expresión) y los Estados Europeos que, si bien manifiestan concepciones diferentes en cuanto a la libertad de expresión y sus límites, a juicio de Gascón (2019: 64), consideran que «el discurso del odio es inadmisible en una sociedad democrática que protege los derechos humanos y lucha contra la discriminación».

Este hecho ha promovido que desde la Unión Europea se establezcan medidas legislativas con la intención de regular este tipo de mensajes, dada la dificultad para distinguirlos de otras manifestaciones. Entre ellas destacan el Convenio Europeo para la Protección de los Derechos Humanos y las Libertades Públicas (Ministerio de Asuntos Exteriores, 1999), la Recomendación del Comité de Ministros del Consejo de Europa (1997) nº R 20 y la Recomendación General nº 15 sobre Líneas de Actuación para combatir el discurso de odio (Ministerio de Asuntos Exteriores y de Cooperación, 2016). Asimismo, se han definido una serie de parámetros, incluidos en el denominado Test de Estrasburgo, que permiten la delimitación del discurso del odio (materia sobre la que versa el mensaje, emisor del mensaje, intención del emisor, colectivo destinatario del discurso, ámbito geográfico de difusión del mensaje y el canal empleado para la difusión del mensaje).

El odio es una pulsión o emoción que ha acompañado a la humanidad a lo largo del tiempo. Su peligro radica, según Garton (2017), en que puede ser construida, alentada, inculcada, propagada y, en última instancia, ejercida. A nuestro juicio, en la sociedad posmoderna actual existe un contexto proclive a la difusión de este tipo de emociones y, por tanto, de su correspondiente discurso. Se ha gestado, pues, un entorno mediado por la tecnología y la digitalización en el que existen miles, millones, de prosumidores de emociones y sentimientos dispuestos a visualizarlos, crearlos y compartirlos a través de redes sociales.

En este sentido, en 2016 la Unión Europea firmó un Código de Conducta para luchar contra la incitación al odio en Internet con las empresas tecnológicas responsables de redes sociales como Facebook, Microsoft, Twitter y YouTube, ampliándose en 2018 a Instagram, Google+, Snapchat y Dailymotion. El objetivo de este Código es que estos intermediarios y plataformas de comunicación online actúen inmediatamente sobre la incitación al odio en la Red y asuman una serie de compromisos públicos en relación a: 1) establecer procedimientos claros y eficaces que prohibiesen este tipo de discursos; 2) generar un procedimiento de retirada de los mismos en menos de 24 horas; 3) educar y concienciar a los usuarios; 4) facilitar información sobre los procedimientos de presentación de notificaciones en la comunicación con las autoridades; 5) aumentar la colaboración entre sí, con otros intermediarios para conseguir mejores prácticas, así como con la sociedad civil; y 6) elaborar y promover discursos alternativos. En definitiva, este Código busca evitar la propagación de discursos de odio (Comisión Europea, 2020).

A pesar de la firma de este Convenio, es necesario destacar una serie de cuestiones. Primera, las redes sociales no están sujetas a la ética profesional que ha regulado a los tradicionales medios de comunicación social. Segunda, estas redes son intermediarias en la comunicación digital, por lo que pueden decidir qué se publica o qué no con sus propias políticas de publicación. Tercero, juegan un papel a dos bandas, pues como manifiestan Ben y Matamoros (2016), por un lado, prohíben oficialmente las manifestaciones explícitas de odio y, por otro, ofrecen su infraestructura para la proliferación de asociaciones y colectivos que pueden ser incitadores de odio.

Al amparo de la preocupación de la Unión Europea por la presencia del discurso del odio en las redes sociales y el establecimiento de mecanismos para regularla han surgido diferentes proyectos europeos. Entre otros, podrían citarse el «Preventing, redressing, inhibiting hate speech in new media» (BRaVE, 2019), documentos como los informes Raxen (Info Raxen, n.d.) que advierten sobre el crecimiento del discurso del odio en Internet y las redes sociales e investigaciones sobre Facebook como red que favorece la discriminación entre sus usuarios (Gillespie, 2010) y la proliferación de sentimientos negativos en los comentarios de esta red social (Jaramillo et al., 2015) o Twitter y la expresión instantánea de emociones y estados de ánimo (Burnap & Williams, 2015), así como el tratamiento de la inmigración en esta red (Merino-Arribas & López-Meri, 2018). Igualmente, se ha visibilizado un interés creciente de esta temática en el ámbito académico. Así, Wright et al. (2021: 22) expresan que «es un tema científico y social central y de gran relevancia», que incluso ha generado su propio concepto, el ciberodio.

Para Chakraborti et al. (2014), el ciberodio es cualquier acto digital de violencia, hostilidad e intimidación hacia las personas motivado por su identidad o diferencia. En este sentido, Wachs y Wright (2019) especifican que esta expresión de odio contra «los otros» se produce mediante textos, discursos, vídeos o imágenes ofensivos. A nuestro juicio, la relevancia que manifestaban Wright et al. (2021) por esta temática podría estar motivada por varios factores. En primer lugar, por el propio interés demostrado por la comunidad científica en torno a las redes sociales, ya que, inmediatamente después del surgimiento de estas, se publican estudios al respecto. Como se observa en la Tabla 1, no transcurren ni dos años entre la aparición de una determinada red social y una publicación correspondiente a la misma.

En segundo lugar, el número de usuarios de las redes. Los datos ofrecidos por Galeano (2021) muestran que más de la mitad de la población mundial utiliza redes sociales (53,6%), es decir, 4.200 millones de personas, con un incremento interanual del 13,2% respecto al año anterior, fruto probablemente de la pandemia. En la Tabla 1 se recoge el número de usuarios de las redes sociales más utilizadas. A ello hay que sumar también el aumento del tiempo medio de uso de las redes sociales (2 horas y 25 minutos). Por tanto, las redes sociales aglutinan a millones de usuarios prosumidores a tiempo real que de manera espontánea, instantánea e impulsiva pueden responder, amparados en el anonimato, a mensajes, imágenes y/o vídeos impregnados de odio.

En tercer lugar, las características de las propias redes sociales que, no solo constituyen un nuevo canal de difusión (Losada-Díaz et al., 2021), sino que crean nuevos escenarios y formas de desarrollo, entre ellas el «Flaming» (opiniones fuertes, «inflamadas», que usan un lenguaje ofensivo) y el «Trolling» (troleo) (Khosravinik & Esposito, 2018). El troleo incluye un listado de acciones como insultos en los juegos, bromas de mal gusto y peligrosas, amenazas, violación y asesinato en las que se emplean comentarios absurdos e incendiarios, cuyo objetivo es provocar una reacción igual de agresiva y disfrutar con el conflicto que se genera (Hardaker, 2013). A ello hay que sumar la proliferación de «haters», personas que se dedican a atacar y agredir verbalmente de manera obsesiva.

Finalmente, las repercusiones que puede tener el discurso del odio, entre ellas el daño directo emocional o psicológico a la persona y/o colectivo, así como consecuencias indirectas como la perpetuación de estereotipos discriminatorios, deshumanización de colectivos, marginación, reducción de la empatía, efecto silenciador en las víctimas e, incluso según Marabel (2021), la proliferación de delitos de odio, riesgo del orden público y la modelación de sociedades totalitarias. El discurso del odio, pues, se ha convertido en centro de interés de múltiples instituciones y las revistas científicas no son ajenas a ello. Como afirman Martínez-Nicolás y Saperas (2011), estas se configuran como el principal canal de difusión de la producción científica.

Estas revistas actúan como agentes creadores de tendencias a través de los monográficos que proponen, de los artículos que seleccionan para ver la luz y de las reseñas que incorporan en sus publicaciones, entre otros aspectos. Si las revistas científicas además se encuentran bien posicionadas en los rankings de calidad (Journal Citation Reports, Scimago Journal Rank), su influencia es mucho mayor. Por tanto, el liderazgo que ejercen entre la comunidad científica posibilitaría incrementar la visibilización de esta problemática global y contribuir a la responsabilidad social a la que también están llamadas.

En este contexto, diferentes autores (Carneiro-Barrera et al., 2019; Cabrera, 2020) propugnan la exploración de las publicaciones que se han realizado en torno a un tema concreto a lo largo de un tiempo determinado. Así, se puede conocer quiénes han hecho contribuciones al tema, qué estructuras colaborativas han configurado o en qué contexto se han producido. Es necesario, pues, recurrir a los estudios bibliométricos, considerados como una rama de la cienciometría (Marín-Aranguren & Trejos-Mateu, 2019). Estos estudios cuentan con un gran prestigio por las aportaciones que realizan a la cuantificación de los procesos de comunicación escrita (Mingers & Leydesdorff, 2015) mediante la aplicación de métodos estadísticos y matemáticos (Rehn & Kronman, 2008), que permiten describir propiedades internas y externas de un conjunto de conocimientos científicos (Estabrooks et al., 2004).

Asimismo, los grandes proveedores de bases de datos de información científica (Clarivate Analytics y Scopus) incluyen entre sus herramientas de análisis (InCite y Scival, respectivamente) indicadores bibliométricos avalados por la comunidad científica como métricas útiles para describir, entre otras cuestiones, las características de la producción científica. En este escenario, y como concepto muy estudiado a lo largo de los últimos años, se encuentra la interdisciplinariedad de la ciencia, que permite realizar análisis de distintos objetos como grandes campos científicos (Chen et al., 2014; Khosrowjerdi & Bayat, 2013; Porter & Rafols, 2009), colaboración académica (Repiso-Caballero et al., 2016), revistas (Leydesdorff & Rafols, 2011), comparación de perspectivas (Ávila-Robinson et al., 2021) y finalidades (Rinia et al., 2002), cuyo objetivo es buscar soluciones a problemas sociales complejos, como es el discurso del odio. La respuesta a este fenómeno no puede abordarse desde un único ámbito científico, ni desde una propuesta metodológica exclusiva, requiere de un estudio poliédrico que aporte evidencias concretas de esta realidad social.

De este modo, Tontodimamma et al. (2021) analizaron los tópicos de interés sobre el discurso del odio entre 1992 y 2018, destacando la influencia ejercida por las redes sociales, y Mishra (2021) centró su estudio descriptivo en el tipo de publicaciones, áreas de investigación, países, afiliación y palabras clave sobre el discurso del odio entre 1962 y 2021, pero sin vincularlo a las redes sociales. Por ello, el presente trabajo complementa y actualiza estudios previos, muestra las métricas básicas descriptivas de la producción científica sobre el «discurso del odio» y las redes sociales y explora la interdisciplinariedad de los enfoques, basándose en el estudio de la clasificación de la producción por áreas temáticas, de forma similar a la metodología por categorías científicas (Montero-Díaz et al., 2018) y el análisis de palabras clave (Leydesdorff & Nerghes, 2017; Vargas-Quesada et al., 2017), tanto de la producción, como de los trabajos citantes.

Material y métodos

Si bien el estudio que se presenta no se corresponde con una revisión sistemática al uso, pues se trata de una investigación cienciométrica, caracterizada por el análisis de la literatura científica, es conveniente garantizar un proceso metodológico riguroso y que facilite la comprensión por parte del lector alejado de este tipo de trabajos. Por ello, se ha adaptado la metodología propuesta por PRISMA (2020) para este artículo (Figura 1).

Las dos fuentes que se han utilizado tradicionalmente para la elaboración de estudios bibliométricos han sido Web of Science (WoS, de Clarivate Analytics) y Scopus (Elsevier). Si bien ambas bases de datos pueden cubrir las necesidades de información para el presente estudio, se ha elegido Scopus por la mayor cobertura a nivel de revistas analizadas y el volumen total de citación ( Singh et al., 2021; Martín-Martín et al., 2021). En ella se ha realizado una búsqueda simple sobre el término «hate speech» para recuperar el total de documentos analizados. Con relación a la tipología documental se han considerado todos los tipos codificados en la base de datos en atención a las posibles disciplinas involucradas en el estudio del tema «discurso del odio» y los distintos patrones de publicación y citación de los investigadores según sus áreas de investigación.

A nivel formal, la definición ciertamente clara del concepto «hate speech» ha propiciado que la recuperación de documentos a través de este sea totalmente satisfactoria. De la misma forma, la identificación clara de cada una de las plataformas o redes sociales y los conceptos relacionados directamente con «redes sociales» (social network, social media) han permitido establecer las ecuaciones de búsqueda que se indican en la Figura 1 (estrategia de búsqueda).

La selección de plataformas o redes sociales consideradas para el estudio está basada en los datos de usuarios ofrecidos por Galeano (2021) y la elección final ha dependido de la existencia o no de algún trabajo indexado específicamente en la base de datos en el periodo de análisis considerado. Los datos exportados desde Scopus fueron la información de citación, información bibliográfica, resumen, palabras clave y otra información. Por último, para la categorización de los trabajos recuperados fue necesario realizar la descarga de la lista de revistas incluidas en la base de datos Scopus, que fue igualmente integrada en el sistema ad-hoc diseñado.

Resultados

La ejecución de la consulta B1, la más inclusiva, localizó todos los trabajos que incluyeran el término «hate speech» en alguno de los campos de búsqueda establecidos. Se recuperaron 1.713 trabajos, independientemente de la aparición o no de los términos relacionados con «redes sociales». La consulta B2, específica para la observación objeto del estudio, recuperó un total de 639 trabajos. Debido a los procedimientos de conexión entre la base de datos Scopus y la herramienta analítica Scival, existe un error propio de la sincronización de estas herramientas que afectó al cómputo total siendo la producción final recuperada para la consulta B1 de 1.705 trabajos y para B2 de 638 trabajos, que será la muestra final objeto de estudio. Este mismo problema se traslada al conjunto de trabajos producto de la diferencia booleana de B1-B2 (B1 not B2).

La Figura 2 muestra la evolución de la producción a lo largo del tiempo. La primera publicación en la que aparecen conjuntamente los conceptos «hate speech» y alguno de los relacionados con «redes sociales» es en el año 2010, en concreto con el término «social network». No es hasta el año 2011 cuando aparece esta asociación con la plataforma «Facebook». Como se observa en la Figura 2 la investigación donde se integran los conceptos «hate speech» y «redes sociales» se produce en el año 2019, si bien es en el año 2017 cuando cambia la tendencia y la investigación sobre el tema estudiado despierta mayor interés entre los investigadores.

En cuanto a la tipología documental de la información analizada (conjunto B2), el 50,23% de los trabajos pertenecen al tipo «Conference paper», el 39,28% al tipo «Article» y en porcentajes inferiores «Book Chapter» con un 3,43%, «Conference review» 3,13% y el resto, «Review», «Book» y «Note» en porcentajes de 2,5%, 0,78% y 0,47%, respectivamente.

En la Tabla 2 se muestran las métricas relativas a la producción del periodo 2010-2020, rango en el que ya existen trabajos publicados en el conjunto de datos B2 y es posible establecer una comparación de cada uno de los indicadores. La columna B1-B2 incluye las métricas de los trabajos no incluidos en B2 que están en B1, es decir, los trabajos donde aparece el término «hate speech» pero no aparece ninguno de los términos establecidos para recuperar los trabajos relacionados con «redes sociales». Como puede observarse, las métricas relativas, tanto cuantitativas (volumen de trabajos), como las cualitativas (relacionadas con la citación) del conjunto de datos B2, tienen valores superiores tanto respecto al conjunto B1, como en la diferencia. En este sentido, la aportación de la investigación conjunta sobre el discurso del odio y las redes sociales muestra un incremento de los niveles de calidad de la misma desde un punto de vista estrictamente métrico.

Por otro lado, cabe destacar los valores sobre los porcentajes de trabajos citados, de colaboración internacional y el impacto normalizado FWCI. El 67,1% de los trabajos de investigación relacionados con el discurso del odio y las redes sociales son citados por terceros investigadores al menos una vez. Este dato viene corroborado por el indicador de colaboración internacional del mismo conjunto de datos, B2. El FWCI, como indicador que relaciona la citación con el volumen de trabajos teniendo en cuenta las conductas de publicación y citación de las distintas áreas, constituye un parámetro que describe la situación de la investigación respecto al mundo. El valor de referencia para este indicador es 1, con relación al área «Computer Science» es 1,05 y para el área «Social Science» es 1,23. Si comparamos estos valores de referencia con los obtenidos en este estudio, se puede decir que la producción científica relacionada con el discurso del odio y las redes sociales conjuntamente es citada un 173% más que la media del mundo, valor muy por encima del 74% relativo a los trabajos que incluyen el término «hate speech» sin relación alguna con los términos de búsqueda relacionados con las redes sociales.

En cuanto al porcentaje de trabajos publicados en revistas de primer cuartil, si bien es cierto que experimenta una subida más moderada el conjunto de datos B2, si se considera el indicador relativo al primer decil, se puede afirmar que dichos trabajos siguen constituyendo ciencia de excelencia. Este mismo aspecto está reforzado por el valor, 15%, del indicador de trabajos situados en el top 10% (primer decil) de trabajos más citados del mundo, frente al 8,9% del conjunto de datos B1.

Mediante distintas operaciones con la base de datos definida «ad hoc», con la información del conjunto B2 se realizó la categorización de los trabajos en base a la información de esta cruzada con la lista de revistas Scopus. El resultado fue un emparejamiento del 65%, siendo demasiado bajo considerando el volumen total de trabajos recuperados. Este aspecto también hay que analizarlo desde el punto de vista de la tipología documental mayoritaria (conference paper), la cual produce cierta falta de solidez por la propia naturaleza de la información en las bases de datos de este tipo. Este hecho motiva utilizar el sistema de clasificación por áreas para el análisis de los enfoques interdisciplinarios de la investigación sobre el discurso del odio.

La Figura 3 muestra los porcentajes de adscripción de la producción científica analizada a las áreas temáticas de Scopus tanto de los trabajos B2, trabajos «fuente» en este caso, como del conjunto de los trabajos citantes.

Gráficamente se puede observar cómo las dos primeras áreas de clasificación, Computer Science y Social Sciences, definen claramente la producción científica analizada, aunque existen trabajos en prácticamente todas las áreas. Es necesario también observar cómo en estas dos áreas, principalmente los porcentajes de área del trabajo y de cita están invertidos, evidenciando la necesaria interdisciplinariedad del abordaje del discurso del odio.

Si la clasificación anterior ofrecía una aproximación macro (áreas científicas) a los posibles enfoques utilizados a la hora del estudio del concepto discurso del odio y redes sociales, un análisis desde el punto de vista de metodologías como el análisis de co-ocurrencia de palabras clave (Leydesdorff & Nerghes, 2017; Wang et al., 2012) muestra en un nivel micro (palabras clave) las relaciones existentes entre los trabajos.

En la Figura 4 se presenta un grafo realizado a partir de las palabras clave de los trabajos B1. La generación se ha realizado bajo los parámetros por defecto del software utilizado, VOSViewer, teniendo en cuenta un mínimo de ocurrencia de términos de 5. En él se pueden apreciar claramente dos zonas bien definidas, A y B, con 6 y 1 clúster cada una. La zona A, que incluye solamente el clúster rojo representa los enfoques de la investigación sobre el discurso del odio y redes sociales desde el punto de vista de las ciencias sociales.

La zona B representa los trabajos con enfoques desde las ciencias de la computación, incluyendo en este caso, aspectos de metodologías informáticas, aprendizaje automático, minería de texto, detección de lenguaje ofensivo, algorítmica, etc. El posicionamiento del nodo central «hate speech» vertebra la red debido a la metodología de la búsqueda que se ha utilizado. No obstante, hay que tener en cuenta las relaciones, aunque débiles, de ciertos nodos periféricos que establecen conexiones entre ambos enfoques de la investigación realizada.

Discusión y conclusiones

Los resultados ofrecidos muestran el incremento exponencial del interés científico sobre el binomio discurso del odio y redes sociales, concurriendo con el interés y la relevancia social que este fenómeno ha adquirido recientemente en la sociedad. Desde un punto de vista estrictamente métrico, las apreciaciones iniciales muestran el mejor escenario definido por los indicadores para la investigación sobre el discurso del odio, cuando esta se vincula a las redes sociales (conjunto de datos B2) en los últimos años. El gran incremento de la producción sobre investigación relacionada con el discurso del odio y las redes sociales es suficiente indicador para considerar el tema como de interés por la comunidad científica. Este hecho está motivado, además, por el desarrollo imparable de las tecnologías de la información y la comunicación.

Los indicadores cienciométricos muestran cierto desequilibrio entre los conjuntos de datos analizados. Este desequilibrio está claramente provocado por el aumento de los valores en los indicadores relacionados con las investigaciones realizadas a nivel mundial sobre el discurso del odio y las redes sociales como conceptos enlazados. La contextualización temática permite ver de la misma forma el estado de interés de la comunidad investigadora por ello, incluso en los trabajos que constituyen la ciencia de excelencia, es decir, la altamente citada (Bornmann, 2014).

En el sistema actual de ciencia las colaboraciones entre investigadores se hacen imprescindibles, pues, por un lado, está comprobado que la colaboración científica favorece la visibilidad en términos de citación (Guerrero-Bote et al., 2013) y, por otro, por la necesaria interdisciplinariedad de la ciencia, especialmente en un tema de tanta trascendencia como es el discurso del odio. Independientemente de consideraciones teóricas y de los estudios que la literatura aporta para medir la interdisciplinariedad de la ciencia (Ávila-Robinson et al., 2021), es un hecho que, como se ha mostrado en esta investigación, existe una aproximación al tema de análisis desde prácticamente todas las áreas temáticas establecidas por Scopus. La clasificación de las revistas en torno a grandes áreas de conocimiento permite el análisis de la producción científica para realizar análisis de grandes dominios, tal y como se ha realizado aquí. La división en unidades inferiores de dichas áreas (categorías) también proporciona uno de los pilares tradicionalmente utilizados para el análisis de estos dominios científicos (Bornmann et al., 2011). A efectos del presente estudio y dada su intención de realizar una aproximación a la representación interdisciplinar de la investigación sobre el discurso del odio, no se considera necesario incluir el análisis de métricas de grafo. Sin embargo, convendría seguir profundizando en la relación entre la interdisciplinariedad y el aumento del impacto científico. Por otro lado, la clara definición de 7 clúster bien definidos y el agrupamiento en dos zonas bien configuradas muestra de forma visual los dos grandes enfoques de la investigación sobre el discurso del odio. Aunque los trabajos del área de «Computer Science» son superiores a los de «Social Sciences», la inversión de porcentajes en cuanto a las áreas de procedencia de los trabajos y de las citas en estas dos grandes áreas predominantes evidencian la necesidad de recurrir a otros ámbitos de conocimiento para entender un problema social de la envergadura del discurso del odio.

En este sentido, un análisis crítico como el realizado por Viseu (2015) podría ser necesario para una reconfiguración del concepto de equipo de investigación en el campo de las ciencias sociales a través de la integración de expertos en ciencias de la computación, juristas y psicólogos, entre otros, pues el discurso del odio en el ciberespacio representa la punta del iceberg de un problema estructural más amplio, siendo su normalización un caldo de cultivo favorable para que se produzcan incidentes de conflicto intergrupal, polarización en los grupos sociales, deshumanización de ciertos colectivos y procesos de radicalización violenta de personas y grupos. Desde un punto de vista aplicado, los indicadores obtenidos podrían considerarse un proxy de la relevancia y trascendencia de un problema social ante el que se deben implementar medidas proactivas. Por todo ello, es necesario seguir avanzando en la adopción de medidas integrales y preventivas ante el afrontamiento de un reto en el que convergen, como en pocos, la tecnología, la comunicación y la educación. Como nuevas posibles líneas de investigación que complementasen este estudio, podría ser interesante realizar un análisis de contenido del discurso de odio de las fuentes analizadas, así como la posibilidad de llevar a cabo una comparativa entre las bases de datos WOS/Scopus. (1)

References

1. Carneiro-Barrera, A, Ruiz-Herrera, N & Díaz-Román, A. 2019.Tesis doctorales en Psicología tras la adaptación al Espacio Europeo de Educación Superior. Revista de Investigación en Educación 17(1):32–43.
2. Leydesdorff, L & Rafols, I. 2011.of the interdisciplinarity of journals: Diversity, centrality, and citations&author=Leydesdorff&publication_year= Indicators of the interdisciplinarity of journals: Diversity, centrality, and citations. Journal of Informetrics 5(1):87–100.
3. Guerrero-Bote, V P, Olmeda-Gómez, C & De-Moya-Anegón, F. 2013.the benefits of international scientific collaboration&author=Guerrero-Bote&publication_year= Quantifying the benefits of international scientific collaboration. Journal of the American Society for Information Science and Technology 64(2):392–404.
4. Khosrowjerdi, M & Bayat, M K. 2013.Mapping the Interdisciplinarity in Scientometric Studies. Iranian Journal of Information Processing and Management 28(2):393–409.
5. Greene, K. 2007.Whats is he doing?MIT Technology Review 110(6):44–51.
6. Gross, R, Acquisti, A & Heinz-Iii, H J. 2005.revelation and privacy in online social networks&author=Gross&publication_year= Information revelation and privacy in online social networks. In: Proceedings of the 2005 ACM Workshop on Privacy in the Electronic Society &author=&publication_year= WPES'05: Proceedings of the 2005 ACM Workshop on Privacy in the Electronic Society . (pp. 71-80) https://doi.org/10.1145/1102199.1102214
7. Ávila-Robinson, A, Mejia, C & Sengoku, S. 2021.bibliometric measures consistent with scientists’ perceptions? The case of interdisciplinarity in research&author=Ávila-Robinson&publication_year= Are bibliometric measures consistent with scientists’ perceptions? The case of interdisciplinarity in research. Scientometrics 126(9):7477–7502.
8. Gascón, A. 2019.La lucha contra el discurso del odio en línea en la Unión Europea y los intermediarios de Internet. In: Combalía, Z., Diago, M.P. & González-Varas, A., eds. de expresión y discurso de odio por motivos religiosos&author=Combalía&publication_year= Libertad de expresión y discurso de odio por motivos religiosos. (pp. 64-86) Ediciones del Licregdi
9. Losada-Díaz, J C, Zamora-Medina, R & Martínez-Martínez, H. 2021.discurso del odio en Instagram durante las Elecciones Generales 2019 en España&author=Losada-Díaz&publication_year= El discurso del odio en Instagram durante las Elecciones Generales 2019 en España. Revista Mediterránea de Comunicación 12(2):195–208.
10. Repiso-Caballero, R, Torres-Salinas, D & López-Cozar, E Delgado. 2016.de la relación entre disciplinas a través del uso de tesis doctorales&author=Repiso-Caballero&publication_year= Análisis de la relación entre disciplinas a través del uso de tesis doctorales. Revista Latina de Comunicación Social 71:874–890.
11. Estabrooks, C A, Winther, C & Derksen, L. 2004.the field: A bibliometric analysis of the research utilization literature in nursing&author=Estabrooks&publication_year= Mapping the field: A bibliometric analysis of the research utilization literature in nursing. Nursing Research 53(5):293–303.
12. BRaVE (Ed.) 2019.redressing and inhibiting hate speech in new media&author=&publication_year= Preventing redressing and inhibiting hate speech in new media.
13. Australian Computer Society (Ed.) 2005.in research and practice in information technology&author=&publication_year= Conferences in research and practice in information technology.Seventh Australasian Computing Education Conference
14. Chakraborti, N, Garland, J & Hardy, S J. 2014.Leicester hate crime project: Findings and conclusions&author=&publication_year= The Leicester hate crime project: Findings and conclusions.University of Leicester
15. Wright, M F, Wachs, S & Gámez-Guadix, M. 2021.coping with cyberhate: Roles of parental mediation and family support. [Jóvenes ante el ciberodio: El rol de la mediación parental y el apoyo familiar&author=Wright&publication_year= Youths’ coping with cyberhate: Roles of parental mediation and family support. [Jóvenes ante el ciberodio: El rol de la mediación parental y el apoyo familiar]]Comunicar 67:21–33.
16. Marín-Aranguren, E M & Trejos-Mateu, F D. 2019.civil en red y gobernanza de la Agenda 2030&author=Marín-Aranguren&publication_year= Sociedad civil en red y gobernanza de la Agenda 2030. Forum 15:91–117.
17. Comisión Europea (Ed.) 2020.código de conducta de la UE para la lucha contra la incitación ilegal al odio en Internet (comunicado de prensa IP/20/1134)&author=&publication_year= El código de conducta de la UE para la lucha contra la incitación ilegal al odio en Internet (comunicado de prensa IP/20/1134).
18. Parekh, B. 2006.speech. Is there a case of banning?&author=Parekh&publication_year= Hate speech. Is there a case of banning?Public Policy Research 12(4):213–223.
19. Gillespie, T. 2010.politics of platforms&author=Gillespie&publication_year= The politics of platforms. New Media & Society 12(3):347–364.
20. Burnap, P & Williams, M L. 2015.hate speech on Twitter: An application of machine classification and statistical modeling for policy and decision making&author=Burnap&publication_year= Cyber hate speech on Twitter: An application of machine classification and statistical modeling for policy and decision making. Policy & Internet 7(2):223–242.
21. Mingers, J & Leydesdorff, L. 2015.review of theory and practice in scientometrics&author=Mingers&publication_year= A review of theory and practice in scientometrics. European Journal of Operational Research 246(1):1–19.
22. Tontodimamma, A, Nissi, E, Sarra, A & Fontanella, L. 2021.years of research into hate speech: Topics of interest and their evolution&author=Tontodimamma&publication_year= Thirty years of research into hate speech: Topics of interest and their evolution. Scientometrics 126(1):157–179.
23. Marabel, J J. 2021.de odio y redes sociales: El derecho frente al reto de las nuevas tecnologías&author=Marabel&publication_year= Delitos de odio y redes sociales: El derecho frente al reto de las nuevas tecnologías. Revista de Derecho UNED 27:137–172.
24. Rinia, E J, Leeuwen, T N Van & Van-Raan, A F J. 2002.measures of interdisciplinary research in physics&author=Rinia&publication_year= Impact measures of interdisciplinary research in physics. Budapest Scientometrics 53(2):241–248.
25. Rehn, C & Kronman, U. 2008.handbook for Karolinska Institutet&author=&publication_year= Bibliometric handbook for Karolinska Institutet.Karolinska Institutet
26. Bornmann, L. 2014.are excellent (highly cited) papers defined in bibliometrics? A quantitative analysis of the literature&author=Bornmann&publication_year= How are excellent (highly cited) papers defined in bibliometrics? A quantitative analysis of the literature. Research Evaluation 23(2):166–173.
27. Wang, Z Y, Li, G, Li, C Y & Li, A. 2012.on the semantic-based co-word analysis&author=Wang&publication_year= Research on the semantic-based co-word analysis. Scientometrics 90(3):855–875.
28. Cabrera, J F. 2020.científica sobre integración de TIC a la Educación Física. Estudio bibliométrico en el periodo 1995-2017&author=Cabrera&publication_year= Producción científica sobre integración de TIC a la Educación Física. Estudio bibliométrico en el periodo 1995-2017. Retos 37:748–754.
29. Leydesdorff, L & Nerghes, A. 2017.maps and topic modeling: A Comparison using small and medium-sized corpora (N< 1,000)&author=Leydesdorff&publication_year= Co-word maps and topic modeling: A Comparison using small and medium-sized corpora (N< 1,000)Journal of the Association for Information Science and Technology 68(4):1024–1035.
30. Khosravinik, M & Esposito, E. 2018.hate, digital discourse and critique: Exploring digitally-mediated discursive practices of gender-based hostility&author=Khosravinik&publication_year= Online hate, digital discourse and critique: Exploring digitally-mediated discursive practices of gender-based hostility. Lodz Paper in Pragmatics 14(1):45–68.
31. Ben, A & Matamoros, A. 2016.speech and covert discrimination on social media : Monitoring the Facebook pages of extreme-right political parties in Spain&author=Ben&publication_year= Hate speech and covert discrimination on social media : Monitoring the Facebook pages of extreme-right political parties in Spain. International Journal of Communication 10:1167–1193.
32. Martín-Martín, A, Thelwall, M, Orduna-Malea, E & Delgado-López, E. 2021.Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: A multidisciplinary comparison of coverage via citations&author=Martín-Martín&publication_year= Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: A multidisciplinary comparison of coverage via citations. Scientometrics 126:871–906.
33. Singh, V K, Singh, P, Karmakar, M, Leta, J & Mayer, P. 2021.journal coverage of Web of Science, Scopus and Dimensions: A comparative analysis&author=Singh&publication_year= The journal coverage of Web of Science, Scopus and Dimensions: A comparative analysis. Scientometric 126:5113–5142.
34. Bornmann, L, Leydesdorff, L, Walch-Solimena, C & Ettl, C. 2011.excellence in the geography of science: An approach based on Scopus data&author=Bornmann&publication_year= Mapping excellence in the geography of science: An approach based on Scopus data. Journal of Informetrics 5(4):537–546.
35. PRISMA (Ed.) 2020.PRISMA&author=&publication_year= Declaración PRISMA.
36. Wachs, S & Wright, M F. 2019.moderation of online disinhibition and sex on the relationship between online hate victimization and perpetration&author=Wachs&publication_year= The moderation of online disinhibition and sex on the relationship between online hate victimization and perpetration. Cyberpsychology, Behavior, and Social Networking 22(5):300–306.
37. Green, H. 2007.All trivia, all the time&author=Green&publication_year= Twitter. All trivia, all the time. Business Week 4028:40.
38. Gagliardone, I, Gal, D, Alves, T & Martínez, G. 2015.online hate speech. Programme in comparative media law and policy&author=&publication_year= Countering online hate speech. Programme in comparative media law and policy.University of Oxford
39. Woolley, S. 2006a.Raw and random. Forbes 177(5).
40. Mishra, R. 2021.Are we doing enough? A Bibliometric analysis of hate speech research in the selected database of Scopus. Library Philosophy and Practice 5140.
41. Barnes, R I, Earl, G F, Papazoglou, M, Burchett, L & Terzuoli, A J. 2010.Instagram: A novel sounding technique for enhanced HF propagation advice&author=Barnes&publication_year= The Instagram: A novel sounding technique for enhanced HF propagation advice. In: National Radar Conference &author=&publication_year= IEEE National Radar Conference . (pp. 1446-1449) https://doi.org/10.1109/RADAR.2010.5494387
42. Consejo de Europa (Ed.) 1997.del Comité de Ministros del nº R (97) 20&author=&publication_year= Recomendación del Comité de Ministros del nº R (97) 20.
43. Nikou, S, Bouwman, H & De-Reuver, M. 2012b.converged rich communication services: A conjoint analysis&author=Nikou&publication_year= Mobile converged rich communication services: A conjoint analysis. Proceedings of the Annual Hawaii International Conference on System Sciences1353–1362.
44. Info Raxen (Ed.) n.d..de noticias de movimiento contra la intolerancia&author=&publication_year= Servicio de noticias de movimiento contra la intolerancia.
45. Garton, T. 2017.de palabra. Diez principios para un mundo interconectado&author=&publication_year= Libertad de palabra. Diez principios para un mundo interconectado.Tusquets
46. Gutiérrez-Salcedo, M, Martínez, M A, Moral-Munoz, J A, Herrera-Viedma, E & Cobo, M J. 2018.bibliometric procedures for analyzing and evaluating research fields&author=Gutiérrez-Salcedo&publication_year= Some bibliometric procedures for analyzing and evaluating research fields. Appl Intell 48:1275–1287.
47. Kim, J H. 2011.study on the graphic user interface for emotional communications in the mobile messenger -focused on 'Kakao Talk' and ‘WhatsApp' by case analysis&author=Kim&publication_year= A study on the graphic user interface for emotional communications in the mobile messenger -focused on 'Kakao Talk' and ‘WhatsApp' by case analysis. Korea Open Access Journal 18:142–155.
48. Merino-Arribas, A & López-Meri, A. 2018.La lucha contra el inmigracionalismo y el discurso del odio en el metamedio social Twitter. In: González-Esteban, J.L. & García-Avilés, J.A., eds. Radiografía de la innovación en el periodismo&author=González-Esteban&publication_year= Mediamorfosis. Radiografía de la innovación en el periodismo. (pp. 211-224)
49. Liu, W, Liu, W, Li, M, Chen, P, Yang, L, Xiao, Ch & Ye, Y. 2018.task-level parallel and low power h.264 decoding in multi-core systems&author=Liu&publication_year= Fine-grained task-level parallel and low power h.264 decoding in multi-core systems. 24th IEEE International Conference on Parallel and Distributed Systems (ICPADS) .
50. Martínez-Nicolás, M & Saperas, E. 1998.de los artículos publicados en revistas científicas&author=Martínez-Nicolás&publication_year= Análisis de los artículos publicados en revistas científicas. Revista Latina de Comunicación Social 66:101–129.
51. Kvalnes, O. 2010.reasoning at work: Rethinking ethics in organizations&author=&publication_year= Moral reasoning at work: Rethinking ethics in organizations.Palgrave
52. Porter, A L & Rafols, I. 2009.science becoming more interdisciplinary? Measuring and mapping six research fields over time&author=Porter&publication_year= Is science becoming more interdisciplinary? Measuring and mapping six research fields over time. Scientometrics 81(3):719–745.
53. Mcfedries, P. 2007.Speaking: All A-Twitter&author=Mcfedries&publication_year= Technical Speaking: All A-Twitter. IEEE Spectrum 44(10).
54. Waldron, J. 2012.harm in hate speech&author=&publication_year= The harm in hate speech.Harvard University
55. Ministerio de Asuntos Exteriores (Ed.) 1999.de 5 de abril de 1999, de la Secretaría General Técnica, por la que se hacen públicos los textos refundidos del Convenio para la protección de los derechos y de las libertades fundamentales. 6 de mayo de 1999, BOE nº 108&author=&publication_year= Resolución de 5 de abril de 1999, de la Secretaría General Técnica, por la que se hacen públicos los textos refundidos del Convenio para la protección de los derechos y de las libertades fundamentales. 6 de mayo de 1999, BOE nº 108.
56. Vargas-Quesada, B, Chinchilla-Rodríguez, Z & Rodríguez, N. 2017.and Visualization of the Intellectual Structure in Graphene Research&author=Vargas-Quesada&publication_year= Identification and Visualization of the Intellectual Structure in Graphene Research. Frontiers in Research Metrics and Analytics 0.
57. Jaramillo, S, Cardona, S A & Fernández, A. 2015.Minería de datos sobre streams de redes sociales, una herramienta al servicio de la Bibliotecología. Información, Cultura y Sociedad 33:63–74.
58. Montero-Díaz, J, Cobo, M, Gutiérrez-Salcedo, M, Segado-Boj, F & Herrera-Viedma, E. 1980.science mapping analysis of ‘Communication’ WoS subject category (1980-2013). [Mapeo científico de la Categoría «Comunicación» en WoS (1980-2013)&author=Montero-Díaz&publication_year= A science mapping analysis of ‘Communication’ WoS subject category (1980-2013). [Mapeo científico de la Categoría «Comunicación» en WoS (1980-2013)]]Comunicar 55:81–91.
59. Guerrero-Bote, V P & Moya-Anegón, F. 2012.further step forward in measuring journals’ scientific prestige: The SJR2 indicator&author=Guerrero-Bote&publication_year= A further step forward in measuring journals’ scientific prestige: The SJR2 indicator. Journal of Informetrics 6(4):674–688.
60. Hardaker, C. 2013, August 3.is turning so many young men into trolls?&author=&publication_year= What is turning so many young men into trolls?.The Guardian
61. Woolley, S. 2006b.The YouTube revolution. Forbes 178(8):100.
62. Abanmy, N O, Al-Quait, N A, Alami, A H, Al-Juhani, M H & Al-Aqeel, S. 2012.utilization of Arabic online drug information among adults in Saudi Arabia&author=Abanmy&publication_year= The utilization of Arabic online drug information among adults in Saudi Arabia. Saudi Pharmaceutical Journal 20(4):317–321.
63. Ballesteros-Aguayo, L & Langa-Nuño, C. 2018.populistas en Europa: La actualización del discurso totalitario en los medios de comunicación actuales y su repercusión en la opinión pública&author=&publication_year= Movimientos populistas en Europa: La actualización del discurso totalitario en los medios de comunicación actuales y su repercusión en la opinión pública.Egregius
64. Galeano, S. 2021, January 28.son las redes sociales con más usuarios del mundo&author=&publication_year= Cuales son las redes sociales con más usuarios del mundo.Marketing Ecommerce
65. Lashinsky, A. 2005.Facebook stares down success. Fortune 152(11).
66. Shafer, L. 2016.ToK on the Clock, but the party don't stop, no: The parodic military dance video on YouTube&author=Shafer&publication_year= TiK ToK on the Clock, but the party don't stop, no: The parodic military dance video on YouTube. In: Cunningham, D.A. & Nelson, J.C., eds. companion to the war film &author=Cunningham&publication_year= A companion to the war film . (pp. 320-337) https://doi.org/10.1002/9781118337653.ch19
67. Viseu, A. 2015.of social science into research is crucial&author=Viseu&publication_year= Integration of social science into research is crucial. Nature 525(7569):291.
68. Snowball Metrics (Ed.) n.d..research metrics – by the sector for the sector&author=&publication_year= Standardized research metrics – by the sector for the sector.
69. Nikou, S, Bouwman, H & De-Reuver, M. 2012a.potential of converged mobile telecommunication services: A conjoint analysis&author=Nikou&publication_year= The potential of converged mobile telecommunication services: A conjoint analysis. Info 14(5):21–35.
70. Ministerio de Asuntos Exteriores y de Cooperación (Ed.) 2016.General nº 15 sobre Líneas de Actuación en relación con la lucha contra las expersiones de incitación al odio&author=&publication_year= Recomendación General nº 15 sobre Líneas de Actuación en relación con la lucha contra las expersiones de incitación al odio.
71. Chen, S, Arsenault, C, Gingras, Y & Larivière, V. 2014.the interdisciplinary evolution of a discipline: the case of Biochemistry and Molecular Biology&author=Chen&publication_year= Exploring the interdisciplinary evolution of a discipline: the case of Biochemistry and Molecular Biology. Scientometrics 102(2):1307–1323.