Citizen participation in Twitter: Anti-vaccine controversies in times of COVID-19

Download the PDF version

RESUMEN

Twitter se ha transformado en una de las principales plataformas de participación ciudadana hoy en día. Sin embargo, aun cuando estudios similares previos se han centrado en la opinión sobre las vacunas en general o sobre otras vacunas específicas, hasta la fecha no se han investigado las opiniones hacia las vacunas contra la COVID-19 en Twitter. El objetivo de esta investigación es, mediante el uso de herramientas de análisis de redes sociales y de herramientas de procesamiento del lenguaje, examinar el grado en el que las opiniones e interacciones presentes en Twitter son favorables o no hacia las principales vacunas de la COVID-19. Además, se estudia la relevancia de cada una de las principales vacunas, así como su nivel de controversia (polemicidad). Igualmente, el presente estudio investiga por primera vez la conversación no solo desde el punto de vista del contenido, sino también de los participantes que la integran, analizando en detalle las cuentas verificadas y empleando herramientas para la detección de bots. En términos globales, los resultados muestran una moderada favorabilidad hacia las vacunas de la COVID-19, siendo las más aceptadas las de Oxford-AstraZeneca, Pfizer y Moderna, y la de Sputnik V en el caso concreto de las cuentas verificadas. Por otro lado, la vacuna que más atención acapara es la rusa Sputnik V, que es además la más polémica por detrás de las de origen chino. Por último, los usuarios verificados se muestran como agentes relevantes de la conversación por su mayor capacidad de difusión y alcance, mientras que la presencia de bots es prácticamente inexistente.

Palabras clave

Análisis de redes, análisis cuantitativo, desinformación, comunidades virtuales, redes sociales, pensamiento crítico

Keywords

Network analysis, quantitative analysis, misinformation, virtual communities, social media, critical thinking

ABSTRACT

Twitter has transformed into one of the main platforms for citizen engagement today. However, even though previous studies have focused on opinions about vaccines in general or about specific vaccines, opinions towards COVID-19 vaccines on Twitter have not been researched to date. The objective of this research is, by using social network analysis and language processing tools, to examine the degree to which the opinions and interactions present on Twitter are favorable or unfavorable towards the main COVID-19 vaccines. In addition, the relevance of each of the vaccines is studied, as well as their level of controversy. Likewise, the present study investigates, for the first time, the conversation from different perspectives including the content and also the participants, by analyzing in detail the verified accounts and using tools for the detection of bots. In global terms, the results from verified accounts show a moderate favorability towards the COVID-19 vaccines, the most accepted being those of Oxford-AstraZeneca, Pfizer, Moderna, and Sputnik V. On the other hand, the vaccine that attracts the most attention is the Russian Sputnik V, which is also the most controversial, behind those developed in China. Finally, verified users are shown to be relevant agents in the conversation due to their greater capacity for dissemination and reach, while the presence of bots is practically non-existent.

Palabras clave

Análisis de redes, análisis cuantitativo, desinformación, comunidades virtuales, redes sociales, pensamiento crítico

Keywords

Network analysis, quantitative analysis, misinformation, virtual communities, social media, critical thinking

Introducción y estado de la cuestión

El 11 de marzo de 2020 la Organización Mundial de la Salud (OMS) atribuyó a la COVID-19 la categoría de pandemia global a tenor de los alarmantes niveles de propagación de la enfermedad (Organización Mundial de la Salud, 2020a). Desde entonces, las consecuencias económicas, sociales y sanitarias de la COVID-19 han sido, y siguen siendo, profundas (Organización de Naciones Unidas, 2020; Yelin et al., 2020).

En un contexto en el que las principales estrategias de contención empleadas en la mayoría de los países (distancia social, confinamientos, restricciones en el turismo y otros servicios...) han resultado extremadamente costosas desde el punto de vista económico y se han mostrado insuficientes para detener el avance del virus, la principal esperanza para acabar con la pandemia radica en el desarrollo de fármacos específicos y, especialmente, de las vacunas (Organización Mundial de la Salud, 2020b). Sin embargo, a pesar de su demostrada eficacia a la hora de salvar vidas y en contener y erradicar enfermedades (Andre et al., 2008), las vacunas a menudo han permanecido rodeadas de controversia (Dubé et al., 2015) e incluso, en muchos casos, han sufrido una oposición directa (Hornsey et al., 2018).

Los motivos de esta desconfianza derivan, entre otros, de un contexto cultural posmoderno que cuestiona la legitimidad de la ciencia, de la industria farmacéutica y de la autoridad médica (Bertin et al., 2020), y de un conjunto de controversias sobre posibles efectos secundarios negativos asociados a las vacunas (e.g., Spier, 2001). A pesar de que diferentes estudios no han encontrado evidencia alguna que soporte dichas suposiciones (Flaherty, 2011; François et al., 2005) la duda y la sospecha se han extendido a lo largo de todo el planeta (Poland & Spier, 2010). Todo esto ha llevado a la OMS a incluir la desconfianza hacia las vacunas en la lista de las diez principales amenazas contra la salud global (Friedrich, 2019).

A este respecto, la vacuna de la COVID-19 no es una excepción, siendo uno de los principales motivos de desconfianza entre aquellos que se manifiestan en contra de recibir la vacuna el miedo a los posibles efectos secundarios, muy por delante de otras posibles causas, entre las que se encuentra también la velocidad con la que se han realizado los ensayos clínicos (Dror et al., 2020; World Economic Forum, 2021).

Una gran parte de este diálogo acerca de la pandemia y la conveniencia o no de las vacunas se ha trasladado de los medios convencionales a las redes sociales (Schmidt et al., 2018; Cuesta-Cambra et al., 2019) aunque no siempre con garantías de fiabilidad ante las fake news (López-Rico et al., 2020). El debate es especialmente intenso en Twitter (Himelboim et al., 2020; Meyer et al., 2019; Puri et al., 2020), que se ha convertido en una de las principales herramientas para canalizar la participación ciudadana (Auger, 2013). De entre todas las plataformas de comunicación social, Twitter es única en su capacidad de compartir y difundir ideas de una manera rápida y sin barreras debido a sus peculiares características. Por ejemplo, salvo que se elija lo contrario intencionadamente, todos los tuits son visibles de manera inmediata para todo el mundo por defecto. Además, cuenta con mecanismos como los hashtags que facilitan el diálogo sobre temas específicos sin necesidad de crear grupos delimitados. Igualmente, su función de retuit permite difundir información de manera fácil e inmediata. Por último, a diferencia de otras redes como Facebook, Twitter no requiere relaciones recíprocas entre usuarios, favoreciendo la aparición de nodos centrales de difusión de la información (Colleoni et al., 2014).

Así, a nivel mundial Twitter se ha convertido en la plataforma que recoge las opiniones y el intercambio de información de los ciudadanos respecto a asuntos políticos (Manfredi-Sánchez et al., 2021), medioambientales (Vu et al., 2020) y sociales como la inmigración (Gintova, 2019) o la igualdad de género (Puente et al., 2021). Igualmente, los ciudadanos han comenzado a utilizar Twitter como un foro desde el que reclamar derechos civiles (Yang et al., 2017), como plataforma de denuncia sobre la violación de dichos derechos (Xiong et al., 2019) o desde la que llevar a cabo campañas de activismo (Bosch, 2017).

En el ámbito de la salud, la literatura previa ha analizado el debate surgido en Twitter tanto sobre diferentes vacunas concretas como sobre las vacunas en general (Bello-Orgaz et al., 2017, Broniatowski et al., 2018; Himelboim et al., 2020; Milani et al., 2020; Tomeny et al., 2017). Sin embargo, por su carácter reciente, hasta ahora no ha habido oportunidad de analizar el diálogo ciudadano respecto a las vacunas de la COVID-19. Estudiar y monitorizar las opiniones e informaciones compartidas en Twitter alrededor de un tema socialmente relevante como las vacunas frente a este coronavirus es importante, en primer lugar, porque puede ayudar a la comunidad científico-médica a identificar preocupaciones, interpretaciones y concepciones erróneas, y a diseñar mensajes específicos que sirvan para aclararlas o desmentirlas. En segundo lugar, porque dichas opiniones podrían ser representativas del clima de opinión social en su conjunto (Graells-Garrido et al., 2019) permitiendo, por tanto, realizar predicciones sobre la conducta posterior de los ciudadanos (Burnap et al., 2016). Y en tercer lugar, el estudio de dichas opiniones y contenidos es relevante porque, más allá de su representatividad, puede ser un factor clave a la hora de moldear o influir en las actitudes de los participantes de la conversación pudiendo ser, en este ámbito especialmente sensible, una herramienta de información o desinformación que propague teorías y opiniones no científicas que tengan consecuencias sanitarias, económicas y sociales reales para la población en su conjunto (Kouzy et al., 2020) puesto que cada vez es mayor el número de personas que acuden a Internet buscando información sobre la conveniencia o no de vacunarse (Jolley & Douglas, 2014).

Por otro lado, hasta la fecha, la mayoría de la investigación previa en plataformas como Twitter no diferencia entre distintos públicos a la hora de analizar los debates y las opiniones. Sin embargo, dado que esta red permite registrar la identidad y datos específicos de sus usuarios (como su dedicación profesional, por ejemplo) mediante las cuentas verificadas (i.e., aquellas cuentas identificadas por Twitter con una insignia azul con la finalidad de confirmar su autenticidad), podría ser relevante estudiar hasta qué punto las opiniones sobre un tema científico médico como es esta vacuna varían en función de dichas características. Esta aproximación resulta novedosa ya que, salvo alguna excepción (Sued-Palmeiro & Cebral-Loureda, 2020), prácticamente la totalidad de la investigación en Twitter se ha centrado principalmente en estudiar el contenido de los mensajes, pero poca atención se ha prestado a los individuos que los generan o los difunden. En concreto, identificar la presencia y el comportamiento de distintos sectores sociales podría resultar de gran utilidad a los profesionales e instituciones sanitarias ya que permitiría no solo detectar corrientes de opinión o necesidades concretas sino también diseñar o difundir intervenciones específicas para ciertos sectores (Tomeny et al., 2017).

Al mismo tiempo, examinar más de cerca el comportamiento de aquellos usuarios que poseen una cuenta verificada acarrea otra ventaja adicional, ya que los usuarios de dichas cuentas poseen unas cualidades o requisitos diferenciales. En concreto, solo pueden ser verificadas aquellas cuentas que son calificadas por Twitter como de «interés público», es decir, la cuenta debe pertenecer a un emisor socialmente relevante y estar activa (Twitter, 2021). Estas cuentas, por tanto, poseen un especial interés ya que, por su propia definición, tienen la capacidad de ejercer una mayor influencia en la conversación dentro y fuera de la plataforma.

Además, su uso permite no solo identificar información personal que facilita la categorización social de los individuos que participan en el diálogo, sino que permite también evitar la presencia de agentes maliciosos como los bots, trolls, etc., que distorsionan y adulteran la conversación (Subrahmanian et al., 2016). Así, investigaciones previas ya han puesto de manifiesto la existencia de bots en los debates sobre las vacunas en los que desempeñan el rol de diseminadores de mensajes antivacuna (Broniatowski et al., 2018). Por ello, también resulta de interés esclarecer cuál es su presencia y su función en la conversación que tiene lugar actualmente en Twitter sobre la vacuna de la COVID-19.

En definitiva, el presente estudio está guiado por las siguientes preguntas de investigación:

• ¿Cuáles son las vacunas más relevantes? ¿Cuál genera más participación y diálogo?
• ¿Cuál es el sentimiento o favorabilidad hacia las principales vacunas de la COVID-19?
• ¿Cuál es la actividad específica que desarrollan las cuentas verificadas? ¿Existen diferencias en cuanto a la favorabilidad de las diferentes vacunas en función de las diferentes categorías profesionales de estos usuarios?
• ¿Cuál es la presencia de bots en la conversación? ¿Qué actividad desarrollan?

Material y métodos

Con la finalidad de estudiar la conversación en Twitter, se utilizó la metodología de Análisis de Redes Sociales (ARS) (Brand & Gómez, 2006). En una primera fase, se procedió a descargar los tuits relacionados con el objeto de estudio mediante el programa Node Xl pro (Hansen et al., 2010). Este es un programa de obtención de datos de redes sociales y procesamiento a través de la metodología de Análisis de Redes Sociales (ARS). Para la obtención de los datos se descargaron todos los tuits publicados y sus respectivas interacciones (respuestas, menciones, retuits y menciones en retuit) que citaban alguna de las vacunas que se encontraban en la fase 3 de su investigación: Moderna, Pfizer, las tres vacunas de origen chino (Cansino, Sinovac y Sinopharm), Sputnik V y Oxford-AstraZeneca.

De cara a seleccionar los días de mayor interés respecto a las conversaciones sobre vacunas, la escucha se realizó los cuatro días en los que se anunciaron los datos de eficacia de las cuatro vacunas que habían hecho públicos sus resultados hasta el 30 de noviembre de 2020 (Pfizer, 9 de noviembre; Sputnik V, 11 de noviembre; Moderna, 16 de noviembre; Oxford-AstraZeneca, 23 de noviembre) (AJMC, 2020; Callaway, 2020). En cada una de esas cuatro fechas se descargaron los tuits que aludían, además de a las cuatro vacunas mencionadas, a las otras tres que estaban en fase 3 (las chinas CanSino, Simovac y Sinopharm). La escucha programada descargó un total de 49.776 interacciones realizadas por 25.692 usuarios de Twitter, de las cuales 2.970 eran tuits originales. En ocasiones los tuits hacián referencia a más de una vacuna, por lo que cuando se hicieron los recuentos del número de tuits que mencionaban cada vacuna, estos mensajes que mencionaban a varias de ellas computaron de manera repetida, una vez para cada una de las vacunas que mencionaban. Por otro lado, la herramienta de obtención de datos no hace recuento de los favoritos como interacción, por lo que estos favoritos se contabilizaron posteriormente para cada una de las vacunas.

Variables de estudio

Relevancia: de cara a identificar la relevancia de cada una de las vacunas se contabilizó el número de usuarios, así como el número de tuits que mencionaban a cada una de estas vacunas. A su vez se generaron diferentes índices que representan diversos parámetros de relevancia:

• Índice de actividad total: proporción en la que los usuarios de la conversación de cada vacuna participaban en la misma (nº de interacciones/ nº de usuarios). Este índice permite determinar qué vacunas de las investigadas presentaban mayor actividad en la red.
• Índice de actividad original: proporción de usuarios de la conversación de cada vacuna que participaban en la misma emitiendo un tuit original (nº de tuits/ nº usuarios). De esta forma se puede averiguar en qué caso existía mayor iniciativa por parte de los usuarios para comenzar una discusión a través de tuits originales.
• Índice de reacción: grado en el que los tuits sobre una determinada vacuna eran capaces de provocar interacciones por parte de los receptores (nº interacciones/ nº tuits en los que se menciona dicha vacuna).

Favorabilidad: para establecer el grado en el que los usuarios se mostraban favorables a las vacunas de la COVID-19 en general, así como a cada una de ellas en particular se creó un «índice de favorabilidad». Este índice se presenta como la suma de aquellas reacciones que indican aceptación o acuerdo con el contenido de un tuit (retuits y favoritos) multiplicado por el sentimiento o polaridad (ya sea positivo o negativo) de dicho tuit. Los valores más altos en este índice reflejarán mayor apoyo a cada una de las vacunas, mientras que los valores más bajos implicarán mayor rechazo.

Para calcular el índice de sentimiento o polaridad de cada tuit se utilizó la herramienta Sentiment Análisis de Text Blob (Loria, 2020) a través de Python (Oliphant, 2007). Text Blob es una librería programada en Python para procesar datos textuales. Proporciona una API para realizar tareas de procesamiento del lenguaje natural (NLP), como etiquetado de parte del discurso, extracción de frases nominales, análisis de sentimientos, clasificación o traducción, entre otras utilidades. En este caso, la polaridad que devuelve la herramienta, utilizando un método lexicón, para cada tuit es un valor numérico dentro del rango [-1.0, 1.0] en donde -1 identifica un mensaje con un sentimiento muy negativo y 1 con uno muy positivo. El nivel de eficacia de la herramienta ha sido ya previamente contrastado en investigaciones publicadas (Fauziyyah, 2020; Micu et al., 2017).

Polemicidad: para establecer el grado en el que la conversación es o no polémica (es decir, incluye opiniones tanto favorables como desfavorables) se creó el «índice de polemicidad» (ver Denia (2020) para un índice conceptualmente similar). Este índice pretende recoger la proporción entre el número de reacciones provocadas por tuits que mencionaban una vacuna y la favorabilidad de las mismas (índice de reacción/ índice de favorabilidad). Valores mayores en este índice sugieren mayor grado de polemicidad.

Cuentas verificadas y sectores profesionales: se identificaron y examinaron aquellos tuits que procedían de usuarios cuya cuenta estuviera verificada por Twitter, ya que esta se consideró como la única forma con la que se podía asegurar que la persona que estaba detrás de la cuenta de usuario era realmente la indicada. Una vez identificados estos usuarios (973) se les agrupó en las 16 categorías más repetidas, más una de «otros». A continuación, estos grupos se ordenaron a su vez en cuatro grandes categorías o sectores, con sus correspondientes subcategorías quedando de la siguiente manera: Ciencia y salud (revista científica, asociación científica, científicos, sanitarios y farmacéuticas); Comunicadores y medios (periodistas, medios de comunicación, divulgadores); Política y gobierno (políticos e instituciones y administraciones públicas) y Sociedad civil (deportistas, instituciones deportivas, abogados, artistas, economistas, otros).

Difusión: para medir el grado de difusión de los mensajes de cada usuario, se estableció este índice a través de la multiplicación de los seguidores de cada usuario por el número de retuits que obtuvo en sus mensajes. De esta forma, valores más altos indican mayor alcance o capacidad viral del usuario.

Bots: para identificar el grado en el que los bots estaban presentes en la conversación, así como sus comportamientos más comunes, se utilizó la librería de Python, Botometer (Botometer, 2020; Yang et al., 2017). Este sistema de detección, que ha sido utilizado habitualmente para la identificación de bots en conversaciones en Twitter (e.g., Broniatowski et al., 2018), analiza las características de los usuarios en relación con diferentes variables y devuelve un valor en un intervalo entre 0 y 1 en donde 1 indica que las características del usuario coinciden con las de un bot en un 100% y 0 que no lo hacen. Por ejemplo, un usuario con un valor de 0,3 indica que en el 30% de las ocasiones los usuarios que reúnen las mismas condiciones son bot.

A la hora de analizar las diferencias existentes entre las diferentes variables analizadas, se recurrió a pruebas estadísticas que mostraran si estas diferencias eran o no estadísticamente significativas. Una vez que se comprobó que los datos no mostraban una distribución normal se recurrió a pruebas no paramétricas como Kruskal-Wallis (Ostertagova et al., 2014), U de Mann-Whitney (McKnight & Najab, 2010) o Chi-cuadrado.

Análisis y resultados

Relevancia de las vacunas en la red

Como puede observarse en los datos recogidos en la Tabla 1, la vacuna más relevante en función del número de usuarios que hablaban de ella, así como por el número de tuits que se publicaron mencionándola, fue la vacuna rusa (Sputnik V), seguida de Pfizer, Moderna, Oxford-AstraZeneca y las de fabricación china.

A su vez, como muestran los datos (Tabla 2), las vacunas que presentaban interlocutores más activos fueron Sputnik V (cada usuario realizó 7,73 interacciones de media), seguida de Pfizer (5,39), Moderna (4,74), Oxford (4,37) y las vacunas de origen chino (2,74). Igualmente, la vacuna rusa fue también la que más reacciones provocaba (72,56 interacciones por cada tuit publicado) por delante de Oxford-AstraZeneca (66,73) Pfizer (61,41) y Moderna (60,48) y las de fabricación china (21,32).

Favorabilidad hacia las vacunas en la conversación

La herramienta de análisis de la polaridad utilizada indicó que el sentimiento general medio hacia las vacunas de la COVID-19 era moderadamente favorable o positivo (M=0,11; DS=0,19). A su vez, cuando se analizó la polaridad o el sentimiento hacia cada vacuna en particular, los resultados mostraron que los valores de polaridad se podrían agrupar en tres niveles, quedando Pfizer (M=0,16; DS=0,198) y Moderna (M=0,16; DS=0,19) como las vacunas que presentan los valores más altos de positividad. En un segundo nivel se podrían encontrar el conjunto de las tres vacunas de origen chino (M=0,13; DS=0,17) y la vacuna de Oxford (M=0,12; DS=0,18), con unos valores de relativo sentimiento positivo más bajos, dejando, en último lugar y, con un índice de sentimiento positivo medio más bajo, la vacuna rusa Sputnik V (M=0,098; DS=0,19). El análisis reveló que estas diferencias fueron estadísticamente significativas (Kruskal-Wallis (4)=53,022; p<0,001).

Por otro lado, cuando se calculó el índice de favorabilidad (teniendo en cuenta no solo el sentimiento o polaridad de cada tuit sino también el número de favoritos y retuits) para cada una de las vacunas (Tabla 2) los resultados mostraron que la vacuna de Oxford-AstraZeneca fue, con diferencia, la que recibió la mayor aceptación (M=21,58; DS=54,70), seguida de Pfizer (M=13,85; DS=59,25), Moderna (M=10,23; DS=25,17) y Sputnik V (M=7,88; DS=58,05) y finalmente las tres de origen chino (M=1,34; DS=5,23), que si bien no generaron un sentimiento negativo, este era más bien neutro. Estas diferencias entre las vacunas también se pudieron identificar como significativas (Kruskal-Wallis (4)=70,337; p<0,001).

Por último, las vacunas con un grado de polemicidad significativamente mayor que el resto fueron las vacunas chinas, con un índice de 15,82, seguidas de la vacuna rusa (9,21). Con valores que presentan menor nivel de polémica o discusión se sitúan Moderna (5,06), Pfizer (4,44) y Oxford (3,09). (Kruskal-Wallis (4)=47,370; p<0,001).

Cuentas verificadas

Para el total de tuits (2.868) se identificó a sus autores y a estos se les catalogó en función de si su cuenta de usuario estaba verificada o no. Esta característica permitía identificar a la persona o institución detrás de cada publicación. Los datos mostraron que el 22,7% de los tuits procedía de un usuario con cuenta verificada.

Cuando se analizó el tipo de actividad que realizan este tipo de usuarios los datos indicaron que, como era esperable, el 47,11% del grueso de su actividad se centró en la publicación de tuits originales. Por otro lado, las menciones en retuits ocuparon el 20,55% de las acciones, seguido por las respuestas a tuits originales (16,14%) y las menciones a otros usuarios (9,55%), siendo realizar retuits a mensajes de otros participantes (6,66%) su actividad más minoritaria. Igualmente, como se puede ver en la Tabla 3, los usuarios de cuentas verificadas mostraron una actividad significativamente mayor comparada con los usuarios de la muestra general ya que, en general, son más prolíficos que el resto de participantes.

A su vez, cuando se analizaron las principales variables (relevancia, favorabilidad y polemicidad) examinando exclusivamente los usuarios con cuenta verificadas (Tabla 3), los resultados mostraron que, para estos participantes, la vacuna más relevante en términos de número de usuarios involucrados en la conversación, de su actividad y de la cantidad de reacciones generadas continuaba siendo la rusa Sputnik, seguida de Pfizer.

Respecto de la favorabilidad, a pesar de que es Pfizer la vacuna con un índice de polaridad o sentimiento más positivo (0,19), en esta ocasión es la vacuna rusa Sputnik V la que, al tener en cuenta el número de favoritos y retuits, presenta un mayor índice de favorabilidad (19,71) entre los usuarios verificados, aunque las diferencias no resultaron significativas (Kruskal-Wallis p>0,05).

La polemicidad más alta entre los usuarios verificados corresponde de nuevo con diferencia a las vacunas chinas (13,18) que vuelven a ser la más controvertidas seguidas por Sputnik V (4,99), Moderna (4,25), Oxford-AstraZeneca (3,96), mientras que Pfizer resulta la vacuna que menos polémica genera (3,05). En este caso las diferencias no fueron estadísticamente relevantes (Kruskal-Wallis p>0,05).

Cuando se realizó la prueba de U de Mann-Whitney para comparar el sentimiento o polaridad de los mensajes en función de la verificación o no de la cuenta del autor del tuit, independientemente de la vacuna mencionada, se encontraron diferencias significativas (U=848.358; p<0,001). En concreto, el sentimiento medio de los tuits procedentes de cuentas verificadas fue más positivo (M=0,16; DS=0,20) que en el de las cuentas no verificadas (M=0,099; DS=0,20).

Resultó relevante analizar la difusión de los mensajes de las cuentas verificadas en comparación de las no verificadas. Para crear este «índice de difusión» se multiplicó el número de seguidores de cada uno de los autores de un tuit por el número de retuits que recibió. Cuando se analizaron los datos, los resultados mostraron diferencias relevantes (U de Mann-Whitney=1.280.576; p<0,001). La difusión media de las cuentas verificadas fue de 30.567.660,99 (DS=137.569.250,48), mientras que las no verificadas obtuvieron una difusión de 635.946,47 (DS=4.757.267,29). Es decir, los tuits de los usuarios verificados llegaron a más usuarios de la red que los tuits de los usuarios no verificados.

A su vez, la clasificación de las cuentas verificadas que habían publicado algún tuit original según su sector profesional reveló una mayoría de participantes pertenecientes a la categoría de comunicadores y medios (95,7%). El resto estaba conformado por usuarios clasificados como sociedad civil (1,84%), ciencia y salud (1,38%), política y gobierno (1,08%). Cuando se analizaron las diferencias entre las categorías en función de la polaridad y en cuanto a la favorabilidad general ante las vacunas los resultados no fueron significativos (Kruskal-Wallis p>.05).

Presencia y actividad de los bots en la conversación

El índice de bot que la herramienta de análisis generó para cada usuario fue categorizado en tres niveles. En primer lugar, los usuarios con un valor inferior al 20% como muy probablemente humanos, los que tenían un valor superior al 80% como probablemente bot y, el resto, como de probabilidad intermedia. Las frecuencias indicaron que el 63,9% de los usuarios eran muy probablemente humanos y tan solo el 0,3% muy probablemente bots, indicando una presencia muy reducida de estos últimos.

Este índice no se distribuyó por igual entre las diferentes vacunas (x²(8)=21,25; p<0,01). Las vacunas de origen chino presentaron significativamente mayor cantidad de usuarios con alta probabilidad de ser bots (1,6%) frente al resto, que oscilaron entre el 0,2% y el 0,3%.

Las acciones más comunes que presentaron los usuarios identificados como bots fueron las que se podrían esperar: el 58,25% de sus acciones son retuits y el 13,11% son menciones con retuit. Estas son acciones dirigidas a dar difusión a los mensajes de otros usuarios, que es la función principal de un bot. A su vez, destinan el 12,14% de sus acciones a las menciones, el 8,74% a la publicación de tuits originales y, por último, el 7,77% a las respuestas.

Discusión y conclusiones

En un contexto en donde la comunicación digital va cobrando mayor presencia, Twitter se ha convertido en una de las plataformas de participación y opinión ciudadana más relevantes de la actualidad, albergando debates sobre temáticas tan dispares como la política, el medio ambiente, las reformas sociales o la salud (Auger, 2013). Sin embargo, todavía no se ha analizado la conversación acerca de un tema aparentemente controvertido y tan relevante desde un punto de vista social, económico y de la salud como lo es el de las vacunas de la COVID-19. Por ello, la presente investigación se ha centrado en el estudio tanto de las opiniones e informaciones vertidas en Twitter sobre las principales vacunas de la COVID-19 como del comportamiento de los participantes que conforman dicha conversación.

Los resultados obtenidos indicaron que, a pesar de la aparente controversia mediática, el sentimiento general ante estas vacunas era moderadamente positivo. Estos datos están en concordancia con las últimas encuestas realizadas en 15 países, en las que se mostraba una amplia aceptación de las vacunas de la COVID-19 por parte de la mayoría de la población (World Economic Forum, 2021). Coinciden también con el caso concreto de España, por ejemplo, donde las encuestas también mostraban mayor favorabilidad hacia las vacunas, especialmente a medida que se confirmaba su llegada (CIS, 2021). Aunque conviene ser prudente con la interpretación de los datos puesto que solo nos permiten observar una imagen fija de un momento concreto, estos resultados podrían ser relevantes porque apuntan, por tanto, que el análisis de la participación ciudadana recogida en Twitter podría poseer cierta capacidad diagnóstica acerca de las opiniones de la población general siendo además un método más rápido y menos costoso que las encuestas tradicionales. Así pues, a pesar de que la metodología empleada no permite examinar los contenidos específicos de dichas opiniones y, por tanto, no permite identificar concepciones erróneas o equivocadas acerca de las vacunas de la COVID-19, el estudio acerca de su favorabilidad sí permite al menos inferir el clima de opinión dominante en la plataforma pudiendo este proporcionar una visión aproximada del clima de opinión general. Como se apuntaba en la introducción, este clima de opinión es relevante porque podría servir para realizar predicciones sobre la conducta posterior de los ciudadanos, lo que en este caso concreto podría traducirse en la existencia de un amplio porcentaje de ciudadanos dispuestos a recibir la vacuna. Además, puesto que el clima de opinión de la plataforma puede tener consecuencias también a la hora de moldear o influir en las actitudes de los participantes de la conversación. Esta aparente aceptación mayoritaria hacia las vacunas es una noticia importante ya que la abierta existencia de discrepancias podría sugerir que no existe suficiente consenso científico sobre las vacunas, reduciendo así la confianza en ellas (Dixon & Clarke, 2013).

A su vez, al estudiar las diferencias de aceptación entre las distintas vacunas, la investigación encontró que las que recibían un trato más favorable fueron las de Oxford-AstraZeneca, Pfizer y Moderna, indicando mayor confianza hacia las vacunas de origen occidental que las fabricadas en países como China o Rusia, cuyos estándares de calidad son menos transparentes. Por otro lado, respecto a la relevancia de cada una de las vacunas, la rusa Sputnik V fue, con diferencia, la que más conversación generó, la que tuvo unos interlocutores más activos y la que más reacciones suscitó. Se advierte, por tanto, que monopolizar gran parte de la conversación, como ocurre con Sputnik V, no implica mejorar la percepción que se tiene de la vacuna. De hecho, después de las vacunas chinas, la rusa es la que más controversia y polémica generó, aglutinando una alta proporción de mensajes positivos y negativos.

Por otro lado, la presente investigación pone de manifiesto la relevancia de prestar atención no solo al contenido de la conversación sino también a la naturaleza de sus participantes. En concreto, esta investigación revela la conveniencia de estudiar detalladamente a aquellos usuarios con cuenta verificada, ya que, como indicaron los datos, se trata de usuarios que respecto a este tema no solo fueron más activos, sino que además demostraron un poder de difusión casi 50 veces superior a los usuarios no verificados. Además, dedican la mitad de su actividad a publicar tuits originales, es decir, a generar contenido propio y no tanto a replicar lo que otros dicen, lo que demuestra un mayor compromiso en la conversación que el resto de participantes. Una posible explicación podría radicar en que, al menos en lo que a la conversación sobre vacunas se refiere, se trata de usuarios que pertenecen en su gran mayoría al sector de la comunicación. Por último, es interesante señalar que sus mensajes, comparados con el resto de usuarios, fueron significativamente más positivos hacia las vacunas, indicando un apoyo y aceptación todavía mayor respecto de las mismas. Por todo ello, nuestra investigación sugiere que cualquier autoridad sanitaria que quiera convencer a la población de las contrastadas bondades de las vacunas podría tener en ellos un eficaz aliado. Además, los análisis indicaron que la presencia de bots que pudieran desvirtuar el análisis de la conversación objeto de estudio fue prácticamente marginal. No obstante, es interesante señalar que casi la totalidad de las cuentas que coincidían con el perfil de un bot se encontraban relacionadas con las vacunas de origen chino. Por último, dado que nuestro estudio examina solo los tuits publicados en español, futuras investigaciones se beneficiarían de ampliar el análisis a todos aquellos mensajes escritos en otros idiomas, especialmente el inglés, para poder tener una perspectiva más global de la conversación. En el mismo sentido, sería conveniente que futuras investigaciones pudiesen examinar la evolución temporal del debate, así como incorporar a los análisis las nuevas vacunas que van surgiendo o incluir nuevas variables de estudio como, por ejemplo, la objetividad o subjetividad de los mensajes.

Contribución de Autores

Idea, R.C, M.A., E.V.; Revisión de literatura (estado del arte), M.A., E.V.; Metodología, R.C., M.A.; Análisis de datos, R.C.; Resultados, R.C.; Discusión y conclusiones, M.A., E.V.; Redacción (borrador original), R.C., M.A., E.V.; Revisiones finales, R.C.; Diseño del Proyecto y patrocinios, M.A., R.C. (1)

References

1. Hansen, D, Shneiderman, B & Smith, M A. 2010.social media networks with NodeXL: Insights from a connected world&author=Hansen&publication_year= Analyzing social media networks with NodeXL: Insights from a connected world. Graduate Journal of Social Science .
2. A.L., Schmidt,, Zollo, Fabiana, Scala, Antonio, Betsch, Cornelia & Quattrociocchi, Walter. 2018.of the vaccination debate on Facebook&author=A.L.&publication_year= Polarization of the vaccination debate on Facebook. Vaccine 36:3606–3612.
3. C.M., López-Rico,, J.L., González-Esteban, & A., Hernández-Martínez,. 2020.de información en redes sociales durante la crisis de la COVID-19 en España&author=C.M.&publication_year= Consumo de información en redes sociales durante la crisis de la COVID-19 en España. Revista de Comunicación y Salud 10(2):461–481.
4. A.A., Dror,, Eisenbach, Netanel, Taiber, Shahar, Morozov, Nicole G., Mizrachi, Matti, Zigron, Asaf, Srouji, Samer & Sela, Eyal. 2020.hesitancy: The next challenge in the fight against COVID-19&author=A.A.&publication_year= Vaccine hesitancy: The next challenge in the fight against COVID-19. European Journal of Epidemiology 35(8):775–779.
5. Xiong, Ying, Cho, Moonhee & Boatwright, Brandon. 2019.activism and message frames among social movement organizations: Semantic network analysis and thematic analysis of Twitter during the #MeToo movement&author=Xiong&publication_year= Hashtag activism and message frames among social movement organizations: Semantic network analysis and thematic analysis of Twitter during the #MeToo movement. Public Relations Review 45:10–23.
6. Bertin, Paul, Nera, Kenzo & Delouvée, Sylvain. 2020.beliefs, rejection of vaccination, and support for hydroxychloroquine: A conceptual replication-extension in the COVID-19 pandemic context&author=Bertin&publication_year= Conspiracy beliefs, rejection of vaccination, and support for hydroxychloroquine: A conceptual replication-extension in the COVID-19 pandemic context. Frontiers in Psychology 11:1–9.
7. World Economic Forum (Ed.) 2021.people now plan to get a COVID-19 vaccine than in December&author=&publication_year= More people now plan to get a COVID-19 vaccine than in December.
8. Loria, S. 2020.Simplified text processing (0.16.0)&author=&publication_year= TextBlob: Simplified text processing (0.16.0).
9. Yang, S, Quan-Haase, A & Rannenberg, K. 1983.changing public sphere on Twitter: Network structure, elites and topics of the #righttobeforgotten&author=Yang&publication_year= The changing public sphere on Twitter: Network structure, elites and topics of the #righttobeforgotten. New Media & Society 19(12):1983–2002.
10. Mcknight, P E & Najab, J. 2010.U Test&author=Mcknight&publication_year= Mann-Whitney U Test. In: Weiner, I.B. & Craighead, W.E., eds. Corsini Encyclopedia of Psychology&author=Weiner&publication_year= The Corsini Encyclopedia of Psychology.John Wiley & Sonshttps://doi.org/10.1002/9780470479216.corpsy0524
11. Centro de Investigaciones Sociológicas (CIS) 2021.de febrero 2021&author=&publication_year= Barómetro de febrero 2021.
12. T.S., Tomeny,, Vargo, Christopher J. & El-Toukhy, Sherine. 2017.and demographic correlates of autism-related anti-vaccine beliefs on Twitter, 2009-15&author=T.S.&publication_year= Geographic and demographic correlates of autism-related anti-vaccine beliefs on Twitter, 2009-15. Social Science & Medicine 191:168–175.
13. Yelin, Dana, Wirtheim, Eytan, Vetter, Pauline, Kalil, Andre C, Bruchfeld, Judith, Runold, Michael, Guaraldi, Giovanni, Mussini, Cristina, Gudiol, Carlota, Pujol, Miquel, Bandera, Alessandra, Scudeller, Luigia, Paul, Mical, Kaiser, Laurent & Leibovici, Leonard. 2020.consequences of COVID-19: Research needs&author=Yelin&publication_year= Long-term consequences of COVID-19: Research needs. The Lancet Infectious Diseases 20:1115–1117.
14. The American Journal of Managed Care (AJMC) (Ed.) 2020.Timeline of COVID-19 Developments in 2020&author=&publication_year= A Timeline of COVID-19 Developments in 2020.
15. Dubé, Eve, Vivion, Maryline & MacDonald, Noni E. 2015.hesitancy, vaccine refusal and the anti-vaccine movement: Influence, impact and implications&author=Dubé&publication_year= Vaccine hesitancy, vaccine refusal and the anti-vaccine movement: Influence, impact and implications. Expert Review of Vaccines 14(1):99–117.
16. Puente, S N, Maceiras, S D & Romero, D F. 2021.activism and ethical witnessing: Possibilities and challenges of feminist politics against gender-based violence&author=Puente&publication_year= Twitter activism and ethical witnessing: Possibilities and challenges of feminist politics against gender-based violence. Social Science Computer Review 39(2):295–311.
17. Manfredi-Sánchez, Juan-Luis, Amado-Suárez, Adriana & Waisbord, Silvio. 2021.Twitter in the face of COVID-19: Between populism and pop politics. [Twitter presidencial ante la COVID-19: Entre el populismo y la política pop&author=Manfredi-Sánchez&publication_year= Presidential Twitter in the face of COVID-19: Between populism and pop politics. [Twitter presidencial ante la COVID-19: Entre el populismo y la política pop]]Comunicar 29(66):83–94.
18. G.A., Auger,. 2013.democracy through social media : Evaluating diametrically opposed nonprofit advocacy organizations’ use of Facebook, Twitter, and YouTube&author=G.A.&publication_year= Fostering democracy through social media : Evaluating diametrically opposed nonprofit advocacy organizations’ use of Facebook, Twitter, and YouTube. Public Relations Review 39(4):369–376.
19. Organización de Naciones Unidas (Ed.) 2020a.de la respuesta de la OMS a la COVID-19&author=&publication_year= Cronología de la respuesta de la OMS a la COVID-19.
20. Gintova, Maria. 2019.government social media users: An analysis of interactions on immigration, refugees and citizenship Canada Twitter and Facebook&author=Gintova&publication_year= Understanding government social media users: An analysis of interactions on immigration, refugees and citizenship Canada Twitter and Facebook. Government Information Quarterly 36(4):101388.
21. Botometer (Ed.) 2020.by OSoMe&author=&publication_year= Botometer® by OSoMe.FAQ
22. H.T., Vu,, H.V., Do,, Seo, Hyunjin & Liu, Yuchen. 2020.leads the conversation on climate change? A study of a global network of NGOS on Twitter&author=H.T.&publication_year= Who leads the conversation on climate change? A study of a global network of NGOS on Twitter. Environmental Communication 14(4):450–464.
23. Denia, Elena. 2020.impact of science communication on Twitter: The case of Neil deGrasse Tyson. [El impacto del discurso científico en Twitter: El caso de Neil deGrasse Tyson&author=Denia&publication_year= The impact of science communication on Twitter: The case of Neil deGrasse Tyson. [El impacto del discurso científico en Twitter: El caso de Neil deGrasse Tyson]]Comunicar 28(65):21–30.
24. G.E., Sued-Palmeiro, & M., Cebral-Loureda,. 2020.autorizadas en Twitter durante la pandemia de COVID-19: Actores, léxico y sentimientos como marco interpretativo para usuarios ordinarios.&author=G.E.&publication_year= Voces autorizadas en Twitter durante la pandemia de COVID-19: Actores, léxico y sentimientos como marco interpretativo para usuarios ordinarios.Revista de Comunicación y Salud 10(2):549–568.
25. Serrano-Contreras, Ignacio-Jesús, García-Marín, Javier & O.G., Luengo,. 2020.online political dialogue: Does polarization trigger more deliberation?&author=Serrano-Contreras&publication_year= Measuring online political dialogue: Does polarization trigger more deliberation?Media and Communication 8:63–72.
26. Zimmer, C, Corum, J & Wee, S L. 2021.vaccine tracker&author=&publication_year= Coronavirus vaccine tracker.The New York Times
27. Milani, Elena, Weitkamp, Emma & Webb, Peter. 2020.visual vaccine debate on Twitter: A social network analysis&author=Milani&publication_year= The visual vaccine debate on Twitter: A social network analysis. Media and Communication 8:364–375.
28. Organización de Naciones Unidas (Ed.) 2020.Impact of the Pandemic on Trade and Development&author=&publication_year= Covid-19. Impact of the Pandemic on Trade and Development.
29. Twitter (Ed.) 2021.de las cuentas verificadas de Twitter&author=&publication_year= Acerca de las cuentas verificadas de Twitter.
30. A., Fauziyyah,. 2020.sentiment pandemi Covid19 pada streaming Twitter dengan text mining Python&author=A.&publication_year= Analisis sentiment pandemi Covid19 pada streaming Twitter dengan text mining Python. Jurnal Ilmiah SINUS 18(2):31.
31. Bosch, T. 2017.activism and youth in South Africa: The case of #RhodesMustFall&author=Bosch&publication_year= Twitter activism and youth in South Africa: The case of #RhodesMustFall. Information, Communication & Society 20(2):221–232.
32. S.B., Meyer,, Violette, Richard, Aggarwal, Reenika, Simeoni, Michelle, MacDougall, Heather & Waite, Nancy. 2019.hesitancy and Web 2.0: Exploring how attitudes and beliefs about influenza vaccination are exchanged in online threaded user comments&author=S.B.&publication_year= Vaccine hesitancy and Web 2.0: Exploring how attitudes and beliefs about influenza vaccination are exchanged in online threaded user comments. Vaccine 37(13):1769–1774.
33. Friedrich, M J. 2019.Top Health Threats for 2019&author=Friedrich&publication_year= WHO’s Top Health Threats for 2019. JAMA (11)321.
34. Puri, Neha, Coomes, Eric A., Haghbayan, Hourmazd & Gunaratne, Keith. 2020.media and vaccine hesitancy: New updates for the era of COVID-19 and globalized infectious diseases&author=Puri&publication_year= Social media and vaccine hesitancy: New updates for the era of COVID-19 and globalized infectious diseases. Human Vaccines & Immunotherapeutics 16(11):2586–2593.
35. Andre, FE, Booy, R, Bock, HL, Clemens, J, Datta, SK, John, TJ, Lee, BW, Lolekha, S, Peltola, H, Ruff, TA, Santosham, M & Schmitt, HJ. 2008.greatly reduces disease, disability, death and inequity worldwide&author=Andre&publication_year= Vaccination greatly reduces disease, disability, death and inequity worldwide. Bulletin of the World Health Organization 86(2):140–146.
36. Organización de Naciones Unidas (Ed.) 2020b.landscape and tracker of COVID-19 candidate vaccines&author=&publication_year= Draft landscape and tracker of COVID-19 candidate vaccines.
37. Colleoni, Elanor, Rozza, Alessandro & Arvidsson, Adam. 2014.chamber or public sphere? Predicting political orientation and measuring political homophily in Twitter using big data&author=Colleoni&publication_year= Echo chamber or public sphere? Predicting political orientation and measuring political homophily in Twitter using big data. Journal of Communication 64(2):317–332.
38. Tornos-Inza, E. 2020.de interacción (engagement) en Twitter&author=&publication_year= Tasa de interacción (engagement) en Twitter.Related: Marketing
39. G., François,, Duclos, Philippe, Margolis, Harold, Lavanchy, Daniel, Siegrist, Claire-Anne, Meheus, Andr??, Lambert, Paul-Henri, N., Emiroglu,, Badur, Selim & Damme, Pierre Van. 2005.safety controversies and the future of vaccination programs&author=G.&publication_year= Vaccine safety controversies and the future of vaccination programs. The Pediatric Infectious Disease Journal 24(11):953–961.
40. M.J., Hornsey,, E.A., Harris, & K.S., Fielding,. 2018.psychological roots of anti-vaccination attitudes: A 24-nation investigation&author=M.J.&publication_year= The psychological roots of anti-vaccination attitudes: A 24-nation investigation. Health Psychology 37(4):307–315.
41. G.A., Poland, & Spier, Ray. 2010.misinformation, and innumerates: How the Wakefield paper, the press, and advocacy groups damaged the public health&author=G.A.&publication_year= Fear, misinformation, and innumerates: How the Wakefield paper, the press, and advocacy groups damaged the public health. Vaccine 28(12):2361–2362.
42. Brand, E & Gomez, H. 2006.Análisis de redes sociales como metodología de investigación. Elementos básicos y aplicación&author=&publication_year= Análisis de redes sociales como metodología de investigación. Elementos básicos y aplicación.Repositorio Institucional Universidad de Antioquia
43. Spier, R.E.. 2001.of risk of vaccine adverse events: A historical perspective&author=Spier&publication_year= Perception of risk of vaccine adverse events: A historical perspective. Vaccine 20(1):S78–S84.
44. YouGov (Ed.) 2021.Public Monitor&author=&publication_year= COVID-19 Public Monitor.COVID-19 Public Monitor
45. Cuesta-Cambra, Ubaldo, Martínez-Martínez, Luz & Niño-González, José-Ignacio. 2019.analysis of pro-vaccine and anti-vaccine information on social networks and the internet: Visual and emotional patterns&author=Cuesta-Cambra&publication_year= An analysis of pro-vaccine and anti-vaccine information on social networks and the internet: Visual and emotional patterns. Profesional de la Información 28.
46. T.E., Oliphant,. 2007.for scientific computing&author=T.E.&publication_year= Python for scientific computing. Computing in Science & Engineering 9(3):10–20.
47. Subrahmanian, V.S., Azaria, Amos, Durst, Skylar, Kagan, Vadim, Galstyan, Aram, Lerman, Kristina, Zhu, Linhong, Ferrara, Emilio, Flammini, Alessandro & Menczer, Filippo. 2016.DARPA Twitter Bot Challenge&author=Subrahmanian&publication_year= The DARPA Twitter Bot Challenge. Computer 49(6):38–46.
48. Micu, Adrian, A.E., Micu,, Geru, Marius & R.C., Lixandroiu,. 2017.user sentiment in social media : Implications for online marketing strategy&author=Micu&publication_year= Analyzing user sentiment in social media : Implications for online marketing strategy. Psychology & Marketing 34(12):1094–1100.
49. Bello-Orgaz, Gema, J., Hernandez-Castro, & Camacho, David. 2017.discussion communities on vaccination in Twitter&author=Bello-Orgaz&publication_year= Detecting discussion communities on vaccination in Twitter. Future Generation Computer Systems 66:125–136.
50. Kouzy, Ramez, Jaoude, Joseph Abi, Kraitem, Afif, Alam, Molly B El, Karam, Basil, Adib, Elio, Zarka, Jabra, Traboulsi, Cindy, Akl, Elie & Baddour, Khalil. 2020.goes viral: Quantifying the COVID-19 misinformation epidemic on Twitter&author=Kouzy&publication_year= Coronavirus goes viral: Quantifying the COVID-19 misinformation epidemic on Twitter. Cureus (3)12.
51. Graells-Garrido, E, Baeza-Yates, R & Lalmas, M. 2019.representative is an abortion debate on Twitter&author=Graells-Garrido&publication_year= How representative is an abortion debate on Twitter. Proceedings of the 10th ACM Conference on Web Science - WebSci ’19133–134.
52. Himelboim, Itai, Xiao, Xizhu, Lee, Danielle Ka Lai, Wang, Meredith Y. & Borah, Porismita. 2020.social networks approach to understanding vaccine conversations on Twitter: Network clusters, sentiment, and certainty in HPV social networks&author=Himelboim&publication_year= A social networks approach to understanding vaccine conversations on Twitter: Network clusters, sentiment, and certainty in HPV social networks. Health Communication 35(5):607–615.
53. D.K., Flaherty,. 2011.vaccine-autism connection: A public health crisis caused by unethical medical practices and fraudulent science&author=D.K.&publication_year= The vaccine-autism connection: A public health crisis caused by unethical medical practices and fraudulent science. Annals of Pharmacotherapy 45(10):1302–1304.
54. Ostertagova, E, Ostertag, O & Kovác, J. 2014.and application of the Kruskal-Wallis test&author=Ostertagova&publication_year= Methodology and application of the Kruskal-Wallis test. Applied Mechanics and Materials 611:115–120.
55. Dixon, G. & Clarke, C.. 2013.effect of falsely balanced reporting of the autism-vaccine controversy on vaccine safety perceptions and behavioral intentions&author=Dixon&publication_year= The effect of falsely balanced reporting of the autism-vaccine controversy on vaccine safety perceptions and behavioral intentions. Health Education Research 28(2):352–359.
56. Burnap, Pete, Gibson, Rachel, Sloan, Luke, Southern, Rosalynd & Williams, Matthew. 2016.characters to victory? Using Twitter to predict the UK 2015 general election&author=Burnap&publication_year= 140 characters to victory? Using Twitter to predict the UK 2015 general election. Electoral Studies 41:230–233.
57. Broniatowski, David A., Jamison, Amelia M., Qi, SiHua, AlKulaib, Lulwah, Chen, Tao, Benton, Adrian, Quinn, Sandra C. & Dredze, Mark. 2018.health communication: Twitter bots and russian trolls amplify the vaccine debate&author=Broniatowski&publication_year= Weaponized health communication: Twitter bots and russian trolls amplify the vaccine debate. American Journal of Public Health 108(10):1378–1384.
58. Callaway, E. 2020.Russia announces positive COVID-vaccine results from controversial trial. Nature .
59. Jolley, Daniel & Douglas, Karen M.. 2014.effects of anti-vaccine conspiracy theories on vaccination intentions&author=Jolley&publication_year= The effects of anti-vaccine conspiracy theories on vaccination intentions. PLoS ONE 9(2):e89177.