Critical thinking of young citizens towards news headlines in Chile

<span style="color:#FFFFFF; background:#ffffcc"><span id="article_es"></span>[[#article_en|Pulsa aquí para ver la versión en Español (ES)]]</span>
==== Abstract ====

Strengthening critical thinking abilities of citizens in the face of news published on the web represents a key challenge for education. Young citizens appear to be vulnerable in the face of poor quality news or those containing nonexplicit ideologies. In the field of data science, computational and statistical techniques have been developed to automatically collect and characterize online news media in real time. Nevertheless, there is still not a lot of interdisciplinary research on how to design data exploration platforms supporting an educational process of critical citizenship. This article explores this opportunity through a case study analyzing critical thinking ability of students when facing news dealing with the social mobilization “No+APF”. From data collected through 4 online exercises conducted by 75 secondary school students, 55 university students and 25 communication specialists, we investigate to what extent young citizens are able to classify news headlines and ideological orientation of news media outlets. We also question the influence of the media’s brand name and the subjectivity of each participant in regards to the social mobilization “No+APF”. The results underline the importance of group work, the influence of the brand name and the correlation between criticalthinking abilities and having a defined opinion.

[[Media:Draft_Content_207776038-62682.pdf|<span style="color:#0645AD; font-weight: bold">Download the PDF version</span>]]

==== 1. Introduction ====

1.1. On the vulnerability of the young citizens when facing digital news media

Recently, Reid, Radesky, Christakis, Moreno, and Cross (2016) published an article that examined the benefits and risks of digital media in the development of the youth. This research study highlighted the importance of fomenting critical thinking abilities in the youth to improve cognitive deficits, such as the scarce capacity to understand thoughts and feelings of other people after a long exposure to bad quality digital content. Similarly, interdisciplinary research works on the Information and Communication Technologies (ICT) question the spread of rumors and fake news in social networks (Kwon, Bang, Egnoto, & Raghav-Rao, 2016; Jong & Duckers, 2016). The concept “bad information” is not new; however, the social networks have considerably intensified their dissemination and impact. The phenomenon of disinformation has political and economic aspects. For example, the surge of “re-information agencies”, which imitate the discourse of news organizations, but with ideological or marketing objectives that are very often not too ethical, should be pointed out (Maigrot, Kijak, & Claveau, 2016). In this sense, filtering and critically interpreting the information consumed has become more complex for the citizens, especially the young.

To understand this phenomenon, current works in data science and artificial intelligence seek to program automated methods to evaluate the quality, truthfulness and degree of confidence of digital content (Middleton & Krivcovs, 2016; Webb & al., 2016; Maigrot & al., 2016). However, we believe that a purely technical focus does not provide solutions to the problem of strengthening the critical-thinking ability of the citizens. Data science should be integrated into methodologies that allow working on the relationship between the youth and the active reading of media. Thus, Barranquero-Carretero and Lema-Blanco (2015), for example, propose the fostering of the visualization of media from the community and/or non-profits to activate critical thinking skills. The technological contribution does not aim to replace human cognitive processes, but favor conditions for accessing better information or filtering it adequately. The present work consists of the first stage, the evaluation of how to integrate data science as part of an educational methodology on critical thinking, a challenge which will be worked on beyond the scope of this study.

1.2. Towards an educational method for critical thinking supported by data science

In education, various research works introduce pedagogy that is based on the concept of critical thinking citizenship (Costandius, Rosochacki, & Le-Roux, 2014; Johnson & Morris, 2012). For Johnson and Morris (2010) and Davies and Barnett (2015), this pedagogy encourages critical thinking about the past and the imagination of a possible future based on social justice, tolerance, diversity, human rights and democracy, with the objective of learning to co-exist. From the proposals by Johnson and Morris (2010), we can summarize that critical-thinking citizenry possesses two dynamics: a) Seeks the scientific rationality to analyze the data from the past; b) Recovers subjectivity and values the individuality of each individual to actively construct their thinking and their actions in the present. This is an integrated process in which both dynamics are mutually supported. Also, in the past few years, various educational methodologies have been proposed which define critical thinking when faced with printed news and propose criteria that can be worked on in the classroom (Alvarado, 2012; Fedorov, & Levitskaya, 2015). Our work does not consist on proposing a new methodology, but we seek to define guidelines to explore how data science can provide methodological and technological foundations to observe and measure critical thinking. More specifically, this article seeks to establish a baseline for the critical reading of news by a group of Chilean students, so that in the future, data science can be integrated into the construction of educational strategies.

1.3. What can data science provide to educational methodologies on critical thinking?

The term data science refers to the extraction of knowledge from a set of data to support human activity. This interdisciplinary science groups a set of mathematical, statistical and computer science tools that facilitate the gathering of data in real time, the pre-analysis and the organization of results in a visual and even interactive manner (Song & Zhu, 2016). There is a great number of research studies on data science that apply the automated analysis of online news, in Twitter or Facebook, for example, to characterize events (Quezada, Peña-Araya, & Poblete, 2015) or to identify publishing strategies (Vernier, Cárcamo-Ulloa, & Scheihing, 2016).

It is important to point out that in the last few years, various platforms of interactive exploration of data have been implemented to ease the work with large volumes of news articles (Devezas, Nunes, & Rodríguez, 2015; Leban, Fortuna, Brank, & Grobelnik, 2014). These resources allow for the monitoring of world events and the identification of trends, but a tool at the service of an educational process for critical-thinking citizenry has not been designed as of yet. Starting with the results obtained in the experiment that the present article describes, we will improve “Sophia” (Vernier & al., 2016), an exploration tool of information from the press, based on text mining and data visualizations, which organizes information gathered from 290 Chilean communication outlets. The Sophia platform is available in a beta version at www.sophia-project.info. This initiative presents the press as an educational object of study that can be used to discuss social, environmental and cultural events.

1.4. Education on communication media for the citizenry

Education in and with media in Chile has an important tradition that alternates emancipative and instructional proposals: experiments in popular education within the context of democratic struggle against dictatorship (Iglesias, 2011), proposals of addition of news media in study plans and programs (De-Fontcuberta, 2009), and educational innovation with Web Social to foment socio-communicative competencies (Arancibia, Cárcamo, Contreras, Scheihing, & Troncoso, 2014). De Fontcuberta (2009) proposes, for the Chilean curriculum, the possibility of contemplating the communication media as objects for study at school, through the analysis and interpretation of television or news programs. For this author, learning is conducted through the critical understanding of media content and the reality they describe. Another possibility is a more pro-active exercise, such as creating school newspapers that can be transformed into expression tools for the students.

Thinking about the media for a critical-thinking citizenry can also be related to the idea of digital “prosumers” (Islas, 2010), which has occupied a place in the school of the 21st century as a didactic innovation (Cárcamo-Ulloa, Flores, & Ramírez, 2014). However, the implementation of an educational innovation requires thinking about media competency of the school children (Ferrés & Piscitelli, 2012), considering that they face a context of media intoxication (Aguaded & Romero-Rodríguez, 2015). Today, it is necessary to keep on fostering the right of information of young citizens (Aguaded, 2014) and the development of critical thinking about the information from the press. Although we now live in an age of globalization of information, this does not create a direct link with the understanding of the world (Wolton, 2011). From education for critical thinking, Paul and Elder (2005: 11) point to the fact that without any competency in the culture of information, the students cannot become educated persons as they will not know which information they should accept and which they should reject. This critical thinking is the one that will provide the tools for the evaluation of information.

The idea of young reporters has been enriching since the time of the school newspaper by Celestín Freinet (1927) to the present. Today, the technologies of the Web 2.0 seduce us with their potential for content creation, but it is necessary to promote the production of school messages in exercises of critical thinking that also comprise the ecology of media. Scolari (2015: 29) states that the ecology of media should be understood from the following basic idea: “the communication technologies, from writing until the digital media, create environments that affect the subjects who utilize them”. Bombarded with information, today the citizenry construct opinions that are very often simplistic. Ruiz, Medina, & García (2001) became aware that a group of students made the opinions of newspaper columnists in Huelva their own, without a greater knowledge of ideological positions.

1.5. Understanding the critical-thinking capacity of young citizens beginning with a specific case

The observing of critical-thinking ability to evaluate social events is a complex ideological challenge. This article presents a study of an experimental case that seeks to characterize the critical-thinking capacity of young Chilean citizens with regards to news media. To define the main research question, we will posit the need to understand how the critical thinking of a young group of citizens acts against an important social event, by choosing the social movement “No+AFP”. From that point on, we pose the following specific research questions:

• To what degree are the youth able to qualify the ideological orientations of a news media?

• To what degree are young citizens able to differentiate news headlines that present facts in favor, neutral or against a social movement?

• Do knowledge and/or opinion as declared by the youth about social mobilizations have an influence on the capacity to qualify the media and headlines?

• Does the media’s brand have an impact on the young citizens in the way they analyze news headlines?

Section 2 of this article presents the material and methodology used in the study. Section 3 summarizes the results obtained. Lastly, section 4 discusses and reflects on these results to answer the four specific questions of the study to obtain conclusions that can guide the future development of the Sophia platform.

====2. Materials and methods====

2.1. Context of the case study

During the year 2016, one of the most important political events in Chile was the social mobilization against the inequalities produced by the Administrators of Pension Funds (APF). The movement, named “No+APF” (originally “No+AFP” in Spanish), was transformed into the greatest social mobilization in the last few years and was able to manage a great number of family-attended demonstrations (1.3 million people mobilized on the streets the second day). Also, the movement allowed for concentrating the public discontent, building a national coordination with representation in the main cities. The “No+APF” Coordinator (www.nomasafp.cl) is defined as: “a citizen group that is aware that when they reach old age, they will have a pension that is a third of their current income”. According to the reports by comptroller organisms, the average amount of the pensions in Chile today rise to 197,726 pesos (300 US dollars). This figure is below the national minimum wage that is about 385 dollars, creating pockets of poverty in older adult groups.

Under the label “No+APF”, three national marches were convened by the most important communication media. This media coverage can be explained, as the movement caters to a social problem that directly or indirectly afflicts most of the Chilean population. One of the first versions of our Sophia platform points to the fact that 290 communication media outlets mention “No+ APF” in 2371 occasions in Twitter (Figure 1). The mentions rise slightly at the end of February 2016 and are maintained until the last week of December. However, they gain strength in July, coinciding with the first day of protest (July 24th). Obviously, the greater visibility does not necessarily imply diversity in political orientations in the press, and even less a direct empathy of the media with social demands, but it is because it is a social movement that becomes part of the journalistic agenda, which is slow to disappear.

2.2. Participants


[[Image:Draft_Content_207776038-62682-en038.jpg|center|px|]]

With the aim of answering the research questions that were previously presented in section 1.4, our methodology was based on a series of experimental tasks conducted by 155 participants at the end of the year 2016 through an online questionnaire (we detail the design of the tasks in section 2.3). The participants were divided into three categories (Table 1). The first category included 75 secondary school students from the region of Los Rios in Chile, who belonged to two education centers, a municipal center, and another public/private center, thereby diversifying their socio-economic status. The students’ ages ranged from 14 to 17 years of age. The second category was composed of 55 university students from the same region. They were aged 18 to 27 years old, and originated from different faculties from the Austral University of Chile: Engineering (20), Sciences (17), Medicine (7), Philosophy and Humanities (5), Economic and Management Sciences (3), Architecture/Arts (2) and Forestry and Natural Resources (1). The third category was comprised of 25 journalists, who had more than four years of professional experience in social communication. These were professional journalists who worked in state-owned (7) and regional (7) media, public institutional chambers (6) and journalism professors (5). The invitation to participate in the online experiment was voluntary and was presented through social networks for the experts and university students. In the case of the secondary school children, the support of two education centers was handled by the Language and Communication teachers, who offered the children the opportunity to participate, and the children voluntarily went to the computer laboratory of the education center to perform the exercises.

During the performing of the tasks, the participants were asked to indicate their gender, their opinion concerning the usefulness of the “No+APF” movement, and their perception of their knowledge about the social movement. The distribution of these variables is shown in Table 1. We note the important disequilibrium in the distribution of the variable “Opinion on the usefulness of the movement” in favor of the answer “necessary” (70% and 92% according to the groups), which could suggest a bias in the selection of the participants. However, this result is coherent with the national poll conducted by Cadem (2016), a public opinion research company with 40 years of experience. This study points out that 84% of those polled deemed that it was necessary to reform the forecast system of the APF.

2.3. Design of the tasks for gathering of data

The participants individually conducted four tasks, without external help, in an interval of time of up to 20 minutes. In the case of the secondary school students, the teachers were explicitly asked not to help in the performing of the task during the protocol. The tasks were created in the shape of a questionnaire, with the tool e-encuesta.com, where each task corresponded to a different webpage, without the possibility of backtracking.


[[Image:Draft_Content_207776038-62682-en039.jpg|center|px|]]

The first task consisted in classifying 11 Chilean press media outlets by answering the following question: “Do you believe that the following media have a defined political orientation?”. The participants had five possibilities for answering: “Right-wing”, “Centrist”, “Left-wing”, “Independent”, “I cannot classify it”. These tasks intentionally imply complex or imprecise concepts (i.e. “Independent”, “Right/Left-wing”). These are concepts that are often used to define the media in common language, but do not have, a priori, an agreed-upon definition. In this sense, this task does not have “true” or “false” answers, although it does reveal the perceptions and the critical-thinking system of analysis of each participant. To construct this task, we relied on a recent work within the context of Chilean media (Vernier et al., 2016) to select 11 Chilean media outlets on the basis of their notoriety, but maintaining a range of media outlets with different publishing strategies (i.e. “La Tercera”, “El Ciudadano”, “Emol”, “CNN Chile”) as well. According to the Sophia platform, these 11 media outlets corresponded to 34.5% of the total volume of news published on “No+APF” in 2016 in the Chilean media.

In the second task, the participants had to classify the same media by answering the following question: “Do you believe the following media offer information that is preferentially in favor, neutral or against the No+APF movement?”. This tasks sought to verify if the participants believed or not that some of the media had a pre-conceived notion towards the social movement. Evidently, a reader of the press frequently shapes an idea on the position that a media outlet adopts about the social movement. It should be mentioned that the participants always had the choice of responding that they did not know.

In the last two tasks, 22 news headlines had to be classified (44 headlines in total, all were different) starting with the question “Do you believe the following headline presents information that is in favor, neutral or against the No+APF movement?”, and with four possible answers: “In favor”, “Neutral”, “Against” o “I could not classify it”. However, in task 3 the headline was the only information available when in task 4 the headline was accompanied by the name of the media outlet. To illustrate, 4 examples of the headlines from the 44 total are presented:

• “No+APF: Protesters drive off a group of hooded persons who tried to slip into the march”.

• “No+APF: The delivery scheme allows the duplication of pensions immediately”.

• “Why, even though the APF is the theft of the century, is the Bravo Commission not aware of it?”.

• “The APF respond: ‘In Chile we have received recommendations from people that do not take responsibility for it”.

To construct this task, we selected 4 news headlines for each of the 11 media outlets. Duplicated or similar texts were filtered, trying to diversify the themes and headline styles. In order to evaluate the influence of the presence of the media’s brand on the task of classifying the headlines, two versions of the same poll were prepared, only reversing the headlines from tasks 3 and 4. Half of the participants completed the first version of the poll and the other half completed the other version.

2.4. Statistical analysis

The participant’s responses were statistically processed with R-Project, mainly through the use of three methods. The first method was used to calculate Kappa’s coefficient (Fleiss, 1971) to evaluate the reliability of agreement between the participants in each task. This measurement calculated the degree of agreement k in a classification task concerning what could occur by chance. When k=1, it means that there is total agreement among the participants. When k=0, it means that the agreement is less than if the agreement occurred by chance. There is no consensus on the scale to be used to interpret k, but it is considered light (0.20=?<0.40), medium (0.40=?<0.60) o important (0.60=?<0.80). This method was adapted to the context of the study to analyze the degree of intra-group and overall agreement.

The second method seeks to analyze to what measure the student’s answers were relevant. The answers provided by 25 journalists were used as the reference when at least 13 of them were in agreement on the classification of a media outlet or headline. It is important to note that the veracity of the participant’s responses was not being measured, but instead, to what degree did the responses come close to the most frequent response by the experts was evaluated. In this method, we took into account the metrics of precision (P) and sensitivity (S), which are frequently used in statistics to evaluate classification tasks. For a given category, for example, “right-wing media”, when P=1 it meant that all the media that were classified as “right-wing” by a participant were classified as “right-wing” by the reference. When S=1, it meant that all the “right-wing” media given by the reference were correctly recognized by the participant. To summarize the information, we used the F1-Score (F1) metric, which represents the harmonic mean between Precision and Sensitivity. Lastly, the Pearson’s test was used to evaluate the degree of correlation between the relevance of the answer in the classification of media and headlines task, the perception of the knowledge of the movement “No+APF” and the opinion on the movement. Pearson’s test measures the linear dependency r between variables X and Y. When r(X,Y)=1, it means that there is a perfect linear correlation between the variables.

====3. Results====

3.1. Analysis of intra-group agreement

Table 2 summarizes the agreement within each group of participants, according to each task and each response possible. In general, we can observe that the students were in disagreement in all the tasks. The concept of “independent media” was the object of the greatest disagreement among the students (k=–0.01). At first sight, the tasks were very complex for the university students and the specialists. There is disagreement in all the groups except for the concepts of “right-wing” / “left-wing” media (k between 0.23 and 0.57) and the headlines “in favor” / “against” the “No+APF” movement (k between 0.26 and 0.48). It was observed that the student body, the students, and the specialists were more in agreement when recognizing a right-wing media outlet and a left-wing one. Task 2 was, undoubtedly, the most “subjective” and the least favorable to a light agreement even for the specialists.

3.2. Analysis of the relevance of the answers

In Table 3, the column “individual” shows the average relevance of the student body for each task. Individually, the relevance of the student body was fairly low (the overall F1-Score varied between 0.27 and 0.39 according to the tasks). The student body was somewhat more able in classifying news headlines in favor or against, but the score stayed below 0.5. As shown in the previous section, the student body did not reach an agreement amongst themselves and did not have the same criteria of interpretation as the specialists. However, in the column “group”, we took into account, for the calculation of relevance, the most-common response given by each group of participants. It was observed that collectively, the student body responded with a relevance of 0.90 when classifying media, and between 0.62 and 0.75 when classifying headlines. These results were similar, or sometimes better, than the results obtained individually by an average student or specialist.

Lastly, a difference was observed in the classification of headlines results when the participants knew the media outlet or did not. For example, the headline “The APF” responded: ‘In Chile, we have received recommendations from people that do not take responsibility for the media outlet”. “El Desconcierto” (literally “The Bewilderment”), was classified as “Against” the No-APF when the specialists did not know the media, and “In favor” when they knew it. According to the specialists, “El Desconcierto” is a “left-wing” media. Of the 44 headlines that were to be classified, five headlines were classified differently by the specialist’s group when they knew the media outlet, six headlines by the student body group and four headlines by the student group. All the changes went in the direction of the ideological stereotype associated to the media outlet by the group in question.


[[Image:Draft_Content_207776038-62682-en040.jpg|center|px|]]

3.3. Correlation analysis

Tables 4 and 5 show the results obtained by the correlation analysis when taking into account all the participants (Table 4) or only the secondary school students (Table 5). In the first place, it was observed that there was a clear correlation between having a great degree of relevance in task 3 (F1_T3) and task 4 (F1_T4) (r=0.76 for the participants, r=0.68 for the student body). They were similar tasks. The correlation between a high relevance for the classification of media outlets task (F1_T1) and a high relevance for classifying headlines (0.53<r<0.65) was more interesting. This result tended to show that classifying headlines was not only a text analysis task, but it also implied a certain knowledge of news media outlets. It could also be interpreted that the abilities of text analysis were perfected when one knows the discourse mechanisms of the press. Later, especially when considering the student body, a stronger correlation was observed between the knowledge perceived on the No+APF and the relevance when classifying headlines (0.38<r<0.45). This result can re-enforce the idea that becoming interested in events of social mobilization and the analysis of text are mutually supported competencies.


[[Image:Draft_Content_207776038-62682-en041.jpg|center|px|]]

====4. Discussion and conclusions====

The results presented allow us to answer specific research questions, to later provide some general thoughts that will allow for the development, in future works, of a methodology that uses data science to the service of critical thinking when dealing with journalistic information. These proposals ratify the needs raised by media education research (Alvarado, 2012; Fedorov, & Levistkaya, 2015) of proposing strategies that contribute to the critical reading of information.

4.1. Critical-thinking ability of the young citizens with regards to news media and headlines


[[Image:Draft_Content_207776038-62682-en042.jpg|center|px|]]


[[Image:Draft_Content_207776038-62682-en043.jpg|center|px|]]

In light of the results, the tasks could have appeared difficult for the secondary school students, as they had little agreement amongst themselves, and their answers had a weak average relevance. It was also observed that for this group of students, the average percentage of the answer “I could not classify it” was 56% for the media outlets and 19% for the headlines, as compared to 13% and 2% for the specialists (12% and 10% for the university students). However, it was observed that the wisdom of crowds could help resolve the challenges well. The concept of wisdom of crowds (Surowiecki, 2004) proposes that often, the decision or evaluations that the group defines are better than what a single individual could think of. Under these principles, and in agreement with Ruíz and others (2001), we can conclude that the secondary school students effectively have an individual capacity that is very fragile, but it is sufficient for contributing to the group’s thinking. The university students have a critical-thinking ability that is more refined, but it would also be more effective to compare their thoughts as a group. On the other hand, concepts such as “independent/centrist media” were very subjective for secondary school and university students. It should also be pointed out that these categories were also somewhat confusing even for the specialists.

4.2. Previous knowledge and brand: factors of influence on critical-thinking capacity

Our last research questions were focused on the impact of the three variables on critical-thinking ability: a) previous knowledge of the social movement, b) personal opinion on the movement and c) the influence of the media’s brand. The results obtained showed that in secondary school students, more than in the other groups, the degree of knowledge of the social movement and having an opinion was correlated with the capacity of classifying headlines. This results corroborates the definition of critical-thinking citizenry by Johnson and Morris (2010), indicating that the subjectivity of the critical-thinking citizenry (having an opinion on the No+APF movement, or at least being aware of it) is correlated to an analytical dynamic (thinking about the meaning of a statement and the orientation of a source).

Lastly, the secondary school and university students seemed to be more influenced by the media’s brand, but just as the specialists. They took into account the source of information for the re-evaluation of a statement within its context. We believe that this shows a certain critical-thinking ability that could be strengthened through the development of the ability to identify the news source and the analysis of its potential ideological orientations, specifically when the source is unknown. These situations are in agreement with proposals by Fedorov and Levitskaya (2015).

4.3. Strengthen the critical-thinking citizenry with data science tools

The study presented contributes clues or reflections for the design of exploration of data platforms to the service of critical thinking about the news. We suggest the adoption of instructional design that foments group work for the performing of analysis of media tasks. The platform could gather the opinion of each participant and highlight the differences in points of view. Also, it would be interesting to show the different ideological orientations of the media outlets and constructively debate to understand why each individual has a different opinion. The data science techniques can help with the compilation of diverse data, incorporating third sector media and exploring the relationship of the youth with this media type (Barranquero-Carretero & Lema-Blanco, 2015), and could also technologically support a diverse, independent and decentralized critical reading to drive human analysis. This last is irreplaceable when designing critical thinking. In this sense, we suggest that the platform propose a scenario of data exploration through the use of a set of tags to qualify media outlets, news, headlines or signs of subjectivity, while at the same time allowing the users to create their scenarios of analysis and tags. Lastly, the application could highlight interesting cases to be interpreted or citizen’s problems that, for the teaching staff and/or the student body, promote critical-thinking exercises and the use of data science to drive network interactions.

Funding agency

This article was conducted within the framework of a study subsidized by the Fondecyt n° 1150545 “Social Media and the Media : Model of Analysis Based on Data Mining for the Understanding of the Informative Chilean Ecosystem on the Internet and Online Communicational Education”. National Commission of Scientific and Technological Research (CONICYT), Ministry of Education of Chile.

====References====

Aguaded, I. (2014). From infoxication to the right to communicate. [Desde la infoxicación al derecho a la comunicación]. Comunicar, 42, 7-8. https://doi.org/10.3916/C42-2014-a1

Aguaded, I., & Romero-Rodríguez, L. (2015). Mediamorfosis y desinformación en la infoesfera: Alfabetización mediática, digital e informacional ante los cambios de hábitos de consumo informativo. Education in the Knowledge Society, 16(1), 44-57. https://doi.org/10.14201/eks20151614457

Alvarado, M. (2012). Critical reading of media : A methodological proposal. [Lectura crítica de medios: Una propuesta metodológica]. Comunicar, 20(39), 101-108. https://doi.org/10.3916/C39-2012-02-10

Arancibia, M., Cárcamo, L., Contreras, P., Scheihing, E., & Troncoso, D. (2014). Re-pensando el uso de las TIC en educación: Reflexiones didácticas del uso de la Web 2.0 en el aula escolar. Arbor, 190, 766, https://doi.org/10.3989/arbor.2014.766n2014

Barranquero-Carretero, A., Lema-Blanco, I. (2016). La juventud española y los medios del Tercer Sector de la Comunicación. Madrid: Centro Reina Sofía sobre Adolescencia y Juventud /FAD. (goo.gl/EGRfJ3).

Cadem (2016). Track semanal de opinión pública, 16 de Agosto 2016, Estudio #135. (http://goo.gl/QJJ6dQ).

Cárcamo-Ulloa, L., Flores, P., & Ramírez, J. (2014). Didactic innovations through YouTube and Gigapan: Teachers’ perceptions in classrooms in southern Chile. Creative Education, 5. https://doi.org/1071-1079. 10.4236/ce.2014.512121

Costandius, E., Rosochacki, S., & Le-Roux, A. (2014). Citizenship education and community interaction: A reflection on practice. International Journal of Art & Design Education, 33(1), 116-129. https://doi.org/10.1111/j.1476-8070.2014.01773.x

Davies, M., & Barnett, R. (Eds.) (2015). The Palgrave handbook of critical thinking in higher education. New York: Palgrave Macmillan US. https://doi.org/10.1057/9781137378057

De Fontcuberta, M. (2009). Propuestas para la formación en educación en medios en profesores chilenos. Comunicar, 32, 201-207. https://doi.org/10.3916/c32-2009-03-001

Devezas, T., Nunes, S., & Rodríguez, M. (2015). MediaViz: An interactive visualization platform for online media Studies. In Proceeding of the 2015 International Workshop on Human-centric Independent Computing, Guzelyurt, Northern Cyprus, 7-11. https://doi.org/10.1145/2808469.2808474

Fedorov, A., & Levitskaya, A. (2015). The framework of media education and media criticism in the contemporary world: The opinion of international experts. [Situación de la educación en medios y la competencia crítica en el mundo actual: opinión de expertos internacionales]. Comunicar, 23(45), 107-116. https://doi.org/10.3916/C45-2015-11

Ferrés, J., & Piscitelli, A. (2012). Media Competence. Articulated Proposal of Dimensions and Indicators. [La competencia mediática: propuesta articulada de dimensiones e indicadores]. Comunicar, 38, 75-82. https://doi.org/10.3916/C38-2012-02-08

Fleiss, J.L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://.doi.org/10.1037/h0031619

Freinet, C. (1927). L’imprimerie à l’école. Brochures d’éducation nouvelle populaire. Boulogne, Ferrary.

Fung, I.C.H., Fu, K.W., Chan, C.H., Chan, B.S.B., Cheung, C.N.,... Tse, Z.T.H. (2016). Social media’s initial reaction to information and misinformation on Ebola, August 2014: Facts and rumors. Public Health Reports, 131(3), 461-473. https://doi.org/10.1177/003335491613100312

Iglesias, M. (2011). Rompiendo el cerco: el movimiento de pobladores contra la dictadura. Santiago: Radio Universidad de Chile.

Islas, O. (2010). Internet 2.0: El territorio digital de los prosumidores. Estudios Culturales, 5(3), 43-64. (http://goo.gl/RJJk6b).

Johnson, L., & Morris, P. (2010). Towards a framework for critical citizenship education. The Curriculum Journal, 21(1). https://doi.org/10.1080/09585170903560444

Johnson, L., & Morris, P. (2012). Critical citizenship education in England and France: A comparative analysis. Comparative Education, 48(3), 283-301. https://doi.org/10.1080/03050068.2011.588885

Jong, W., & Duckers, M.L (2016). Self-correcting mechanisms and echo-effects in social media : an analysis of the ‘gunman in the newsroom’ crisis. Computers in Human Behaviour, 59, 334-341. https://doi.org/10.1016/j.chb.2016.02.032

Kwon, H.K., Bang, C.C., Egnoto, M., & Raghav-Rao, H. (2016). Social media rumors as improvised public opinion: semantic network analyses of twitter discourses during Korean saber rattling 2013. Asian Journal of Communication, 26(3). https://doi.org/10.1080/01292986.2015.1130157

Leban, G., Fortuna, B., Brank, J., & Grobelnik, M. (2014). Event registry: Learning about world events from news. In Proceeding of the 23rd International Conference on World Wide Web (pp. 107-110). https://doi.org/10.1145/2567948.2577024

Maigrot, C., Kijak, E., & Claveau, V. (2016). Médias traditionnels, médias sociaux: Caractériser la réinformation. TALN 2016 - 23ème Conférence sur le Traitement Automatique des Langues Naturelles, Jul. 2016, Paris, France. (http://goo.gl/2Lrzze).

Middleton, S., & Krivcovs, V. (2016). Geoparsing and geosemantics for social media : Spatiotemporal grounding of content propagating rumors to support trust and veracity analysis during breaking news. ACM Transactions on Information Systems, 34(3). https://doi.org/10.1145/2842604

Paul, R., & Elder, L. (2005). Estándares de competencia para el pensamiento crítico. Estándares, principios, desempeño, indicadores y resultados con una rúbrica maestra en el pensamiento crítico. Dillon Beach: Fundación para el Pensamiento Crítico. (http://goo.gl/UMVRP1).

Quezada, M., Peña-Araya, V., & Poblete, B. (2015). Location-aware model for news events in social media. In Proceedings of the 38th Annual ACM SIGIR Conference. Santiago, Chile. http://doi.acm.org/10.1145/2766462.2767815

Reid, Y., Radesky, J., Christakis, D., Moreno, M., & Cross, C. (2016). Children and adolescents and digital media. Pediatrics, 138(5). https://doi.org/10.1542/peds.2016-2593

Ruiz, A., Medina, M., & García, L. (2001). ¿Fomenta la prensa onubense la integración de los inmigrantes en nuestra sociedad? Comunicar, 17, 176-179. (http://goo.gl/Lrg92C).

Scolari, C. (2015). Ecología de los medios: entornos, evoluciones e interpretaciones. Madrid. Gedisa.

Song, I.Y., & Zhu, Y.J. (2016). Big data and data science: what should we teach? Expert Systems, 33(4), 364-373. https://doi.org/10.1111/exsy.12130

Surowiecki, J. (2004). The wisdom of crowds. New York: Anchor.

Vernier, M., Cárcamo-Ulloa, L., & Scheihing, E. (2016). Diagnóstico de la estrategia editorial de medios informativos chilenos en Twitter mediante un clasificador de noticias automatizado. Revista Austral de Ciencias Sociales, 30, 183-201. (goo.gl/D7msKH).

Webb, H., Burnap, P., Procter, R., Rana, O., Stahl, B.C., Williams, M., … Jirotka, M. (2016). Digital wildfires: Propagation, verification, regulation, and responsible innovation. ACM Transactions on Information Systems, 34(3). https://doi.org/10.1145/2893478

Wolton, D. (2011). Informar no es comunicar. Madrid: Gedisa.



<hr>
<span style="color:#FFFFFF; background:#ffffcc"><span id="article_en"></span>[[#article_es|Click to see the English version (EN)]]</span>
==== Resumen ====

Fortalecer el pensamiento crítico de ciudadanos frente a noticias de Internet representa un desafío educativo clave. Los jóvenes ciudadanos parecen vulnerables frente a noticias de mala calidad u orientaciones ideológicas poco explícitas. Desde la ciencia de datos se desarrollan técnicas informáticas y estadísticas para recopilar prensa digital en tiempo real y caracterizarla automáticamente. Sin embargo, existe poca investigación interdisciplinar para diseñar plataformas de exploración de datos al servicio de un proceso educativo de ciudadanía crítica. Este artículo investiga esa oportunidad, mediante un estudio de caso en Chile que analiza la capacidad crítica del alumnado frente a noticias de un hecho social relevante: la movilización social «No+AFP». A partir de cuatro tareas en línea ?realizadas por 75 estudiantes de secundaria, 55 estudiantes universitarios y 25 especialistas en comunicación? preguntamos en qué medida los jóvenes son capaces de calificar titulares de prensa y orientaciones ideológicas de medios de comunicación. Por otra parte, analizamos la influencia de la marca del medio y de la subjetividad que, frente al movimiento social «No+AFP», imprime cada participante al pensamiento crítico. Los resultados obtenidos destacan la relevancia del trabajo en grupo, la influencia de la marca del medio de prensa y la correlación entre tener una opinión definida y la capacidad crítica.

[[Media:Draft_Content_207776038-62682_ov.pdf|<span style="color:#0645AD; font-weight: bold">Descarga aquí la versión PDF</span>]]

==== 1. Introducción ====

1.1. Sobre la vulnerabilidad de los jóvenes ciudadanos frente a los medios de prensa digitales

Recientemente, Reid, Radesky, Christakis, Moreno y Cross (2016) han publicado un artículo sobre los beneficios y los riesgos de los medios digitales en el desarrollo de los jóvenes. Esta investigación destaca la importancia de fomentar el pensamiento crítico en los jóvenes para mejorar déficit cognitivos, como por ejemplo la escasa capacidad en entender pensamientos y emociones de otras personas, luego de una exposición prolongada a contenidos digitales de mala calidad. Paralelamente, trabajos interdisciplinares en TIC cuestionan la propagación de rumores y falsas noticias en redes sociales (Kwon, Bang, Egnoto, & Raghav-Rao, 2016; Jong & Duckers, 2016). El concepto «mala información» no es nuevo, sin embargo, las redes sociales han intensificado considerablemente su difusión e impacto. El fenómeno de la desinformación tiene aristas políticas y económicas. Cabe señalar, por ejemplo, el surgimiento de «agencias de re-información», que imitan el discurso de las agencias de prensa, pero con objetivos ideológicos o de marketing que a menudo resultan poco éticos (Maigrot, Kijak, & Claveau, 2016). En este sentido, se ha hecho mucho más complejo para la ciudadanía, especialmente para los jóvenes, filtrar e interpretar críticamente la información consumida.

Para comprender este fenómeno, trabajos actuales en ciencia de datos e inteligencia artificial buscan programar métodos automatizados para evaluar la calidad, la veracidad y el nivel de confianza del contenido digital (Middleton & Krivcovs, 2016; Webb & al., 2016; Maigrot & al., 2016). Sin embargo, consideramos que un enfoque puramente técnico no soluciona la problemática de fortalecer la capacidad crítica de la ciudadanía. La ciencia de datos debería integrar metodologías que permitan trabajar la relación entre jóvenes y lectura de medios. Así, por ejemplo, Barranquero-Carretero y Lema-Blanco (2015) proponen, para activar el pensamiento crítico, incentivar la visibilización de medios de origen comunitario y/o sin fines de lucro. El aporte tecnológico no trata de reemplazar procesos cognitivos humanos, sino de favorecer condiciones para acceder a mejor información o filtrarla adecuadamente. El presente trabajo consiste en una primera etapa para evaluar cómo integrar la ciencia de datos como parte de una metodología educativa sobre el pensamiento crítico. Un desafío en el que seguiremos trabajando más allá de este artículo.

1.2. Hacia una metodología educativa para el pensamiento crítico apoyada por la ciencia de datos

En educación, varios trabajos introducen una pedagogía basada sobre el concepto de ciudadanía crítica (Costandius, Rosochacki, & Le-Roux, 2014; Johnson & Morris, 2012). Para Johnson y Morris (2010) y Davies y Barnett (2015), esta pedagogía alienta el pensamiento crítico sobre el pasado y la imaginación de un futuro posible basado sobre justicia social, tolerancia, diversidad, derechos humanos y democracia, con el fin de aprender a convivir. Desde las propuestas de Johnson y Morris (2010), podemos sintetizar que la ciudadanía crítica posee en realidad dos dinámicas: a) Busca la racionalidad científica para analizar los datos del pasado; b) Recupera la subjetividad y valora la singularidad de cada individuo para construir activamente su propio pensamiento y sus acciones presentes. Se trata de un proceso integrado en el que las dos dinámicas se apoyan mutuamente. También, en los últimos años se han propuestos varias metodologías educativas definiendo el pensamiento crítico frente a noticias de prensa y proponiendo criterios para trabajar en el aula (Alvarado, 2012; Fedorov & Levitskaya, 2015).

Nuestro trabajo no consiste en proponer una nueva metodología, sino que buscamos pautas para explorar cómo la ciencia de los datos puede aportar bases metodológicas y tecnológicas para observar y medir el pensamiento crítico. En particular, este artículo busca establecer una línea base de lectura crítica de noticias en un grupo de alumnado chileno para, en un futuro, integrar ciencia de datos en la construcción de estrategias educativas.

1.3. ¿Qué puede aportar la ciencia de datos a metodologías educativas sobre el pensamiento crítico?

El término de ciencia de datos se refiere a la extracción de conocimiento a partir de un conjunto de datos para apoyar la actividad humana. Esta interdisciplina agrupa un conjunto de herramientas matemáticas, estadísticas e informáticas que facilitan la recolección de datos en tiempo real, la realización de un pre-análisis y la organización de resultados de manera visual o incluso interactiva (Song & Zhu, 2016). Además, existe un número importante de trabajos en ciencia de datos que aplican análisis automatizado de prensa online, en Twitter o Facebook, por ejemplo, para caracterizar eventos (Quezada, Peña-Araya, & Poblete, 2015) o identificar estrategias editoriales (Vernier, Cárcamo-Ulloa, & Scheihing, 2016).

Es importante señalar que en los últimos años se implementaron varias plataformas de exploración interactiva de datos para facilitar el trabajo con grandes volúmenes de noticias (Devezas, Nunes, & Rodríguez, 2015; Leban, Fortuna, Brank, & Grobelnik, 2014). Dichos recursos permiten monitorear eventos mundiales e identificar tendencias, pero aún no se ha diseñado una herramienta al servicio de un proceso educativo de ciudadanía crítica. A partir de los resultados obtenidos en el experimento de este trabajo, desarrollaremos las mejoras de «Sophia» (Vernier & al., 2016), una herramienta de exploración de información de prensa, basada en minería textual y visualizaciones de datos, que sistematiza información vertida por 290 medios de comunicación chilenos. La plataforma Sophia se encuentra disponible en versión beta en www.sophia-project.info. Esta iniciativa propone a la prensa como un objeto de estudio escolar para discutir sobre hechos sociales, medioambientales y culturales.

1.4. Educación en medios de comunicación para la ciudadanía

La educación en y con medios en Chile tiene una tradición importante que alterna entre propuestas emancipadoras e instruccionales: experiencias de educación popular en el contexto de lucha democrática frente a la dictadura (Iglesias, 2011), propuestas de incorporación de medios de prensa en planes y programas de estudio (De-Fontcuberta 2009) e innovación educativa con Web Social para fomentar competencias socio-comunicativas (Arancibia, Cárcamo, Contreras, Scheihing, & Troncoso, 2014). De-Fontcuberta (2009) propone, para el currículum chileno, la posibilidad de contemplar los medios de comunicación como objetos de estudio escolar ejercitando el análisis e interpretación de programas televisivos o noticias. Para esta autora, se aprende entendiendo críticamente los contenidos mediáticos y la realidad que describen. Otra posibilidad es una ejercitación más proactiva, como elaborar periódicos escolares que se transformen en herramientas de expresión para los educandos.

Pensar los medios para una ciudadanía crítica puede relacionarse también con la idea de «prosumidores» digitales (Islas, 2010) que se ha ocupado en la escuela del siglo XXI como innovación didáctica (Cárcamo-Ulloa, Flores, & Ramírez, 2014). Sin embargo, el instalar una innovación educativa requiere reflexionar en torno a las competencias mediáticas de los escolares (Ferrés & Piscitelli, 2012), considerando que se encuentran ante un contexto de infoxicación mediática (Aguaded & Romero-Rodríguez, 2015). Hoy se hace necesario seguir potenciando el derecho a la información de jóvenes ciudadanos (Aguaded, 2014) y el desarrollo del pensamiento crítico sobre la información de prensa.

Aunque vivimos una época de mundialización de las informaciones esto no genera un vínculo directo con la comprensión del mundo (Wolton, 2011). Desde la educación para el pensamiento crítico, Paul y Elder (2005: 11) señalan que sin competencia alguna en la cultura de la información, los estudiantes no pueden convertirse en personas educadas porque no sabrán cuál información aceptar y cuál rechazar. Es el pensamiento crítico el que provee las herramientas para evaluar la información.

La idea de jóvenes reporteros ha sido muy enriquecedora desde los tiempos del periódico escolar de Celestín Freinet (1927) a la actualidad. Hoy las tecnologías de la Web 2.0 nos seducen con su potencial de creación de contenidos, pero se hace necesario cimentar la producción de mensajes escolares en ejercicios de pensamiento crítico que comprendan también la ecología de los medios. Scolari (2015: 29) señala que la ecologi´a de medios debe entenderse desde la siguiente idea basal: «las tecnologi´as de la comunicacio´n, desde la escritura hasta los medios digitales, generan ambientes que afectan a los sujetos que las utilizan». Bombardeada de información, hoy la ciudadanía construye opiniones muchas veces simplistas. Ruiz, Medina y García (2001) percibieron que un grupo de alumnado tomaba como propias las opiniones de articulistas de periódicos en Huelva, sin un mayor reconocimiento de posiciones ideológicas.

1.5. Comprender la capacidad crítica de los jóvenes ciudadanos desde un caso específico

Observar la capacidad crítica para evaluar hechos sociales es un desafío metodológico complejo. Este artículo presenta un estudio de caso experimental que busca caracterizar la capacidad crítica de los jóvenes ciudadanos chilenos frente a medios de prensa. Para explicitar la pregunta de investigación principal plantearemos la necesidad de conocer cómo actúa el pensamiento crítico en un grupo de jóvenes ciudadanos frente a un hecho social relevante y elegiremos el caso del movimiento social «No+AFP». Desde allí, planteamos las siguientes preguntas de investigación específicas:

• ¿En qué medida, los jóvenes son capaces de calificar las orientaciones ideológicas de un medio de prensa?

• ¿En qué medida los jóvenes ciudadanos son capaces de diferenciar titulares de noticias que presentan hechos a favor, neutra o en contra a una movilización social?

• ¿Influyen el conocimiento y/o la opinión declarados por los jóvenes sobre la movilización social en la capacidad de calificar los medios y los titulares?

• ¿La marca del medio tiene un impacto sobre los jóvenes ciudadanos en su manera de analizar titulares de prensa?

Este artículo presenta en la sección 2 el material y la metodología para realizar el estudio. La sección 3 resume los resultados obtenidos. Y finalmente, la sección 4 discute y reflexiona para responder a las cuatro preguntas específicas del estudio y extraer algunas conclusiones que guíen el futuro desarrollo de la plataforma Sophia.

====2. Material y métodos====

2.1. Contexto del estudio de caso

Durante el 2016 uno de los hechos políticos relevantes en Chile fue la movilización frente a las desigualdades producidas por las Administradoras de Fondos de Pensiones (AFP). El movimiento, conocido como «No+AFP», se transformó en la mayor movilización social de los últimos años y fue capaz de gestionar multitudinarias marchas familiares (1,3 millones de personas movilizadas en las calles en la segunda jornada). Así también, el movimiento permitió nuclear el descontento ciudadano constituyendo una coordinadora nacional con representaciones en las principales ciudades. La Coordinadora «No+AFP» (www.nomasafp.cl) se define como: «grupo de ciudadanos y ciudadanas que tenemos conciencia que al llegar a nuestra vejez con una pensión que será la tercera parte de lo que hoy ganamos». Según informes de organismos contralores, el monto promedio de las jubilaciones en Chile asciende hoy a unos 197.726 pesos (300 dólares). Dicha cifra se ubica por debajo del sueldo mínimo nacional que bordea los 385 dólares, generando bolsas de pobreza en grupos de adultos mayores.


[[Image:Draft_Content_207776038-62682_ov-es038.jpg|center|px|]]

Bajo el rótulo «No+AFP» se convocaron tres marchas nacionales cubiertas por los grandes medios de comunicación. Dicha cobertura medial se explica dado que el movimiento atiende un problema social que aqueja directa o indirectamente a la gran mayoría de chilenos. Una primera versión de nuestra plataforma Sophia da cuenta que 290 medios de comunicación hicieron mención a «No+AFP» en 2.371 ocasiones en Twitter (Figura 1). Las menciones se inician levemente a finales de febrero de 2016 y se mantienen hasta la última semana de diciembre. Sin embargo, cobran potencia durante el mes de julio coincidiendo con la primera jornada de protesta (24 de julio). Obviamente, la mayor visibilidad no necesariamente implica una diversidad de orientaciones políticas en la prensa y menos una empatía directa de los medios con las demandas sociales, sino que se trata de un movimiento social que entra en agenda periodística y no desaparece fácilmente.

2.2. Participantes

Con el fin de responder a las preguntas de investigación presentadas previamente en el apartado 1.4, nuestra metodología se basa en una serie de tareas experimentales realizadas por 155 participantes al final del año 2016 mediante un cuestionario online (detallamos el diseño de las tareas en la sección 2.3). Los participantes se dividen en tres categorías (Tabla 1). La primera categoría incluye 75 alumnos de Secundaria de la región de Los Ríos en Chile, perteneciente a dos centros educativos, un centro municipal y otro de carácter concertado diversificando orígenes socioeconómicos. Las edades del alumnado fluctúan entre los 14 y 17 años. La segunda categoría está compuesta por 55 estudiantes universitarios de la misma región. Tienen entre 18 y 27 años y provienen de distintas facultades de la Universidad Austral de Chile: Facultad de Ingeniería (20), Ciencias (17), Medicina (7), Filosofía y Humanidades (5), Ciencias Económicas y Administrativas (3) Arquitectura/Artes (2) y Ciencias Forestales y Recursos naturales (1). La tercera categoría está formada por 25 periodistas, con más de 4 años de ejercicio profesional en comunicación social. Se trata de profesionales que trabajan en medios nacionales (7) y regionales (7), gabinetes institucionales públicos (6) y docentes de periodismo (5). La invitación a participar del experimento online fue voluntaria a través de redes sociales para expertos y estudiantes universitarios. En el caso del alumnado escolar se gestionó el apoyo de dos centros educativos en los que el profesorado de Lenguaje y Comunicación ofrecieron la oportunidad de participar y los niños acudieron voluntariamente al laboratorio de computación del centro educativo para ejecutar los ejercicios.

Durante la realización de las tareas, se pidió a los participantes que indicaran su género, su opinión respecto a la utilidad del movimiento «No+AFP» y la percepción de su propio conocimiento sobre este movimiento social. La distribución de esas variables está descrita en Tabla 1. Tomamos nota del desequilibrio importante en la distribución de la variable «Opinión sobre la utilidad del movimiento» a favor de la respuesta «necesario» (70% y 92% según los grupos) que podría sugerir un sesgo en la selección de los participantes. Sin embargo, este resultado es coherente con la encuesta nacional realizada por Cadem (2016), empresa de estudios de opinión pública con 40 años de experiencia. Dicho estudio señala que el 84% de los encuestados consideran necesario hacer una reforma al sistema de previsión de las AFP.


[[Image:Draft_Content_207776038-62682_ov-es039.jpg|center|px|]]

2.3. Diseño de tareas para la recopilación de datos

Los participantes realizaron individualmente cuatro tareas, sin ayuda exterior, en un intervalo de tiempo de hasta 20 minutos. En el caso del alumnado secundario, se pidió explícitamente al profesorado no ayudar en la realización durante el protocolo. Elaboramos las tareas en forma de cuestionario, con la herramienta e-encuesta.com, donde cada una de ellas corresponde a una página web distinta, sin retroceso posible.

La primera tarea consiste en clasificar 11 medios de prensa chilenos respondiendo a la pregunta siguiente: «¿Consideras que los siguientes medios tienen una orientación política definida?». Los participantes tenían cinco opciones posibles para responder: «De derecha», «De centro», «De izquierda», «Independiente», «No sabría calificarlo». Estas tareas implican intencionalmente conceptos complejos o imprecisos (ej. «Independiente», «De derecha/izquierda»). Son conceptos que a menudo se utilizan para definir los medios en el lenguaje corriente pero no disponen, a priori, de una definición consensual. En este sentido, esta tarea no tiene respuestas «verdaderas» o «falsas», revela más bien las percepciones y el sistema de análisis crítico de cada participante. Para construir esta tarea, nos apoyamos sobre un trabajo reciente en el contexto de medios chilenos (Vernier & al., 2016) para seleccionar 11 medios chilenos sobre la base de su notoriedad, pero conservando una gama de medios con estrategias editoriales diferentes (ejemplo: La Tercera, El Ciudadano, Emol, CNN Chile). Según la plataforma Sophia, estos 11 medios corresponden a 34,5% del volumen de noticias publicadas sobre «No+AFP» en 2016 en los medios chilenos.

En la segunda tarea, se trata de clasificar los mismos medios respondiendo a la pregunta siguiente: «¿Consideras que los siguientes medios ofrecen información preferentemente a favor, neutra o en contra del movimiento No+AFP?». Esta busca verificar si los participantes consideran o no que alguno de los medios tiene una disposición a priori frente al movimiento social. Evidentemente, un lector de prensa frecuente se forma una idea sobre la posición que adopta un medio u otro frente a los hechos sociales. Cabe precisar que los participantes siempre tienen la posibilidad de responder que no saben.

En las dos últimas tareas se trata de clasificar 22 titulares de prensa (44 titulares en total, todos distintos) a partir de la pregunta «¿El siguiente titular te parece que presenta una información a favor, neutra o en contra frente del movimiento No+AFP?» y con cuatro opciones de respuesta posible: «A favor», «Neutra», «En contra» o «No sabría calificarlo». Sin embargo, en la tercera tarea el titular es la única información disponible cuando en la cuarta tarea el titular está acompañado por el nombre del medio de prensa. Para ilustrar, a continuación, se indican cuatro ejemplos de titulares de los 44:

• «No+AFP: Manifestantes repelen a grupo de encapuchados que pretendía colarse en la marcha».

• «No+AFP: El esquema de reparto permite duplicar las pensiones de inmediato».

• «¿Por qué las AFP son el robo del siglo, pero la Comisión Bravo no se da cuenta?».

• «Las AFP responden: ‘En Chile hemos tenido recomendaciones de gente que no se hace responsable’».

Para construir esta tarea, seleccionamos cuatro titulares noticiosos por cada uno de los 11 medios. Filtramos los textos duplicados o similares tratando de diversificar los temas y estilos de titulación. Para poder evaluar la influencia de la presencia de la marca del medio sobre la tarea de clasificación de titulares, hemos preparado dos versiones de la misma encuesta, invirtiendo únicamente los titulares de las tareas 3 y 4. La mitad de los participantes llenó la primera versión de la encuesta y la otra mitad llenó la otra versión.

2.4. Análisis estadísticos

Las respuestas de los participantes fueron procesadas estadísticamente con R-Project utilizando principalmente tres métodos. El primero, calculando el coeficiente de Kappa (Fleiss, 1971) para evaluar la fiabilidad del acuerdo entre participantes de cada tarea. Esta medida calcula un grado de acuerdo k en una tarea de clasificación con respecto a lo que podría ocurrir como resultado de una casualidad. Cuando k=1, significa que hay un acuerdo total entre participantes, cuando k=0, significa que el acuerdo es menor al acuerdo que ocurriría casualmente. No hay consenso sobre la escala para interpretar ? pero se considera que de acuerdo es ligero (0.20=?<0.40), medio (0.40=?<0.60) o importante (0.60=?<0.80). Adaptamos este método en nuestro contexto para analizar la tasa de acuerdo intra-grupos y global.

El segundo método busca analizar en qué medida las respuestas del alumnado son pertinentes. Utilizamos como dato de referencia las respuestas dadas por 25 periodistas cuando al menos 13 están de acuerdo sobre la clasificación de un medio o titular. Es importante señalar que no estamos midiendo la veracidad de las respuestas de los participantes, sino que evaluamos en qué medida son capaces de aproximarse a la respuesta más frecuente de los especialistas. Aquí, consideramos las métricas de precisión (P) y sensibilidad (S) usadas frecuentemente en estadística para evaluar tareas de clasificación. Para una categoría dada, por ejemplo «medio de derecha», cuando P=1 significa que todos los medios clasificados como «de derecha» por un participante fueron realmente clasificados como «de derecha» por la referencia. Cuando S=1, significa que todos los medios «de derecha» dados por la referencia fueron correctamente reconocidos por el participante. Para resumir la información, utilizamos la métrica F1-Score (F1), que representa la media armónica entre Precisión y Sensibilidad.

Finalmente, utilizamos el Test de Pearson para evaluar el grado de correlación entre la pertinencia de la respuesta en las tareas de clasificación de medios y titulares, la percepción de conocimiento del movimiento «No+AFP» y la opinión sobre el movimiento. El test de Pearson mide una dependencia lineal r entre dos variables X e Y. Cuando r(X,Y)=1, significa que existe una correlación lineal perfecta entre las variables.

====3. Resultados====

3.1. Análisis del acuerdo intra-grupos

En la Tabla 2 resumimos el acuerdo de cada grupo de participantes, por cada tarea y por cada respuesta posible. De manera general, podemos observar que el alumnado está en situación de desacuerdo en todas las tareas. El concepto de «medio independiente» es el que implica mayor desacuerdo en el alumnado (?=–0.01). A primera vista, las tareas fueron bastante complejas para los estudiantes universitarios y los especialistas. En todos los grupos existe poco acuerdo, excepto sobre los conceptos de medios de «derecha» / «de izquierda» (? entre 0.23 y 0.57) y los titulares «a favor» / «en contra» al movimiento «No+AFP» (? entre 0.26 y 0.48). Observamos que el alumnado, los estudiantes y los especialistas están un poco más de acuerdo para reconocer un medio de derecha que uno de izquierda. La segunda tarea era, sin duda, la más «subjetiva» y la menos favorable a un acuerdo ligero incluso para los especialistas.


[[Image:Draft_Content_207776038-62682_ov-es040.jpg|center|px|]]

3.2. Análisis de la pertinencia de las respuestas

En la Tabla 3 la columna «individual» da la pertinencia promedio del alumnado por cada tarea. Individualmente la pertinencia del alumnado es bastante baja (el F1-Score global varía entre 0.27 y 0.39 según las tareas). El alumnado resulta un poco más hábil al clasificar titulares de prensa a favor o en contra, pero el puntaje queda por debajo de 0.5. Como lo vimos en la sección anterior el alumnado consigue poco acuerdo entre ellos y no tienen los mismos criterios de interpretación que los especialistas. Sin embargo, en la columna «grupo», consideramos para el cálculo de la pertinencia, la respuesta mayoritaria dada por cada grupo de participantes. Observamos que colectivamente, el alumnado responde con una pertinencia de 0.90 cuando clasifican medios y entre 0.62 y 0.75 cuando clasifican titulares. Estos resultados son similares, o a veces mejores, que los resultados obtenidos individualmente por un estudiante o un especialista promedio.


[[Image:Draft_Content_207776038-62682_ov-es041.jpg|center|px|]]

Finalmente, observamos una diferencia de resultados para clasificar titulares cuando los participantes conocían el medio de prensa o no. Por ejemplo, el titular «Las AFP responden: En Chile hemos tenido recomendaciones de gente que no se hace responsable» del medio «El Desconcierto» está clasificado como «En contra» a No+AFP cuando los especialistas no conocen el medio y «A favor» cuando lo conocen. Según los especialistas, «El Desconcierto» es un medio «de izquierda». Sobre los 44 titulares que tuvieron que clasificar, cinco titulares son clasificados diferentemente por el grupo de especialistas cuando conocen el medio, seis titulares por el grupo de alumnado y cuatro titulares por el grupo de estudiantes. Todos los cambios van en el sentido del estereotipo ideológico asociado al medio por el grupo en cuestión.

3.3. Análisis de correlaciones

Las Tablas 4 y 5 presentan los resultados obtenidos por el análisis de correlaciones cuando consideramos todos los participantes (Tabla 4) o únicamente el alumnado de secundaria (Tabla 5). En primer lugar, observamos que hay una correlación evidente entre tener una tasa de pertinencia alta en tarea 3 (F1_T3) y en la tarea 4 (F1_T4) (r=0.76 para los participantes, r=0.68 para el alumnado). Son tareas similares. La correlación entre una pertinencia alta para la tarea de clasificación de medios (F1_T1) y una pertinencia alta para clasificar titulares (0.53<r<0.65) es más interesante. Este resultado tiende a mostrar que clasificar titulares no es solamente una tarea de análisis de textos, sino que implica también un cierto conocimiento sobre los medios de prensa. También se puede interpretar que se perfeccionan las habilidades de análisis de textos cuando uno conoce los mecanismos discursivos de la prensa. Luego, al considerar especialmente al alumnado se observa una correlación más fuerte entre el conocimiento percibido sobre No+AFP y la pertinencia para clasificar titulares (0.38<r<0.45). Este resultado puede reforzar la idea de que interesa a hechos de movilización social y analizar textos son competencias que se apoyan mutuamente.


[[Image:Draft_Content_207776038-62682_ov-es042.jpg|center|px|]]


[[Image:Draft_Content_207776038-62682_ov-es043.jpg|center|px|]]

====4. Discusión y conclusiones====

Los resultados expuestos permiten responder las preguntas de investigación específicas para luego aportar algunas reflexiones generales que desarrollen, en futuros trabajos, una metodología que utilice ciencia de datos al servicio del pensamiento crítico frente a información periodística. Estas propuestas ratifican la necesidad planteada por las investigaciones de educación en medios (Alvarado, 2012; Fedorov & Levistkaya, 2015) de proponer estrategias que contribuyan a la lectura crítica de las informaciones.

4.1. Capacidad crítica de los jóvenes ciudadanos frente a medios y titulares de prensa

A la luz de los resultados, las tareas podrían parecer difíciles para estudiantes de secundaria ya que consiguen poco acuerdo y las respuestas tienen en promedio una pertinencia débil. Se observa también que, para los estudiantes de secundaria, la tasa promedio de respuesta «no sabría calificarlo» es de 56% para los medios y 19% para los titulares, contra 13% y 2% para los especialistas (12% y 10% para estudiantes universitarios). Sin embargo, observamos que la sabiduría de los grupos permitiría resolver bastante bien los desafíos. El concepto de sabiduría de los grupos (Surowiecki, 2004) propone que muchas veces las decisiones o evaluaciones que son capaces de definir los grupos son mejores que las que pueda tomar un individuo. Bajo estos principios, y coincidiendo con Ruíz y otros (2001), podemos concluir que los estudiantes de secundaria tienen efectivamente una capacidad individual bastante frágil, pero suficiente para aportar a la reflexión del grupo. Los universitarios tienen una capacidad crítica individual más fina, pero también sería más efectivo cruzar reflexiones en grupo.

Por otra parte, resultan bastante subjetivos para los estudiantes de secundaria y los universitarios. Algunos conceptos como «medios independientes/de centro». Pero cabe señalar que dichas categorías son confusas, incluso para los especialistas.

4.2. Conocimientos previos y marca: factores de influencia sobre la capacidad crítica

Nuestras últimas preguntas de investigación cuestionan el impacto de tres variables sobre la capacidad crítica: a) el conocimiento previo sobre la movilización social, b) la opinión personal frente a la misma y c) la influencia de la marca del medio. Los resultados obtenidos muestran que en el alumnado se correlacionan, más que en otros grupos, el grado de conocimiento percibido sobre el movimiento social y el hecho de tener una opinión con la capacidad para clasificar titulares. Este resultado corrobora la definición de ciudadanía crítica dada por Johnson y Morris (2010) precisando que la subjetividad de la ciudadanía crítica (tener una opinión sobre el movimiento No+AFP o al menos conocerlo) está correlacionado a una dinámica analítica (reflexionar sobre el sentido de un enunciado y la orientación de una fuente).

Finalmente, el alumnado y los estudiantes universitarios parecen más influenciados por la marca del medio, pero al igual que los especialistas. Toman en cuenta la fuente como información para re-evaluar un enunciado en su contexto. Pensamos que esto refleja una cierta capacidad crítica que se podría fortalecer desarrollando las habilidades a identificar la fuente de una noticia y analizar sus orientaciones ideológicas potenciales, en particular cuando no es fuente conocida. Dichas situaciones coinciden con las propuestas de Fedorov y Levitskaya (2015).

4.3. Fortalecer la ciudadanía crítica con herramientas de ciencia de datos

El estudio presentado nos aporta pistas o reflexiones para diseñar plataformas de exploración de datos al servicio del pensamiento crítico sobre la prensa. Sugerimos adoptar un diseño instruccional que fomente el trabajo grupal para realizar tareas de análisis medios. Una plataforma podría dar cuenta de la opinión de cada participante y destacar las diferencias de puntos de vista. También sería interesante mostrar distintas orientaciones ideológicas de los medios y debatir constructivamente para entender porque cada individuo se forma una opinión diferenciada. Las técnicas de ciencia de datos pueden ayudar para recopilar datos diversificados incorporando a medios del tercer sector y explorar la relación de los jóvenes con dichos espacios informativos (Barranquero-Carretero & Lema-Blanco, 2015) y apoyar tecnológicamente una lectura crítica diversa, independiente y descentralizada para potenciar el análisis humano. Este último resulta irremplazable a la hora de proyectar el pensamiento crítico. En este sentido, sugerimos que la plataforma proponga un escenario de exploración de datos utilizando un conjunto de etiquetas para calificar medios, noticias, titulares o indicios de subjetividad y también es importante permitir que grupos de usuarios creen sus propios escenarios de análisis y etiquetas. Finalmente, la aplicación podría destacar casos interesantes de interpretar problemáticas ciudadanas que, para el profesorado y/o el alumnado, promuevan ejercicios críticos y usar ciencia de datos para potenciar interacciones en Red.

Apoyos

Este artículo se realizó en el marco de un estudio subvencionado por el Fondecyt n° 1150545 “Redes Sociales y Medios de Comunicación: Modelo de análisis basado en minería de datos para la comprensión del ecosistema informativo chileno en Internet y la educomunicación ciudadana en la Red”. Comisión Nacional de Investigación Científica y Tecnológica (CONICYT). Ministerio de Educación de Chile.

====Referencias====

Aguaded, I. (2014). From infoxication to the right to communicate. [Desde la infoxicación al derecho a la comunicación]. Comunicar, 42, 7-8. https://doi.org/10.3916/C42-2014-a1

Aguaded, I., & Romero-Rodríguez, L. (2015). Mediamorfosis y desinformación en la infoesfera: Alfabetización mediática, digital e informacional ante los cambios de hábitos de consumo informativo. Education in the Knowledge Society, 16(1), 44-57. https://doi.org/10.14201/eks20151614457

Alvarado, M. (2012). Critical reading of media : A methodological proposal. [Lectura crítica de medios: Una propuesta metodológica]. Comunicar, 20(39), 101-108. https://doi.org/10.3916/C39-2012-02-10

Arancibia, M., Cárcamo, L., Contreras, P., Scheihing, E., & Troncoso, D. (2014). Re-pensando el uso de las TIC en educación: Reflexiones didácticas del uso de la Web 2.0 en el aula escolar. Arbor, 190, 766, https://doi.org/10.3989/arbor.2014.766n2014

Barranquero-Carretero, A., Lema-Blanco, I. (2016). La juventud española y los medios del Tercer Sector de la Comunicación. Madrid: Centro Reina Sofía sobre Adolescencia y Juventud /FAD. (goo.gl/EGRfJ3).

Cadem (2016). Track semanal de opinión pública, 16 de Agosto 2016, Estudio #135. (http://goo.gl/QJJ6dQ).

Cárcamo-Ulloa, L., Flores, P., & Ramírez, J. (2014). Didactic innovations through YouTube and Gigapan: Teachers’ perceptions in classrooms in southern Chile. Creative Education, 5. https://doi.org/1071-1079. 10.4236/ce.2014.512121

Costandius, E., Rosochacki, S., & Le-Roux, A. (2014). Citizenship education and community interaction: A reflection on practice. International Journal of Art & Design Education, 33(1), 116-129. https://doi.org/10.1111/j.1476-8070.2014.01773.x

Davies, M., & Barnett, R. (Eds.) (2015). The Palgrave handbook of critical thinking in higher education. New York: Palgrave Macmillan US. https://doi.org/10.1057/9781137378057

De Fontcuberta, M. (2009). Propuestas para la formación en educación en medios en profesores chilenos. Comunicar, 32, 201-207. https://doi.org/10.3916/c32-2009-03-001

Devezas, T., Nunes, S., & Rodríguez, M. (2015). MediaViz: An interactive visualization platform for online media Studies. In Proceeding of the 2015 International Workshop on Human-centric Independent Computing, Guzelyurt, Northern Cyprus, 7-11. https://doi.org/10.1145/2808469.2808474

Fedorov, A., & Levitskaya, A. (2015). The framework of media education and media criticism in the contemporary world: The opinion of international experts. [Situación de la educación en medios y la competencia crítica en el mundo actual: opinión de expertos internacionales]. Comunicar, 23(45), 107-116. https://doi.org/10.3916/C45-2015-11

Ferrés, J., & Piscitelli, A. (2012). Media Competence. Articulated Proposal of Dimensions and Indicators. [La competencia mediática: propuesta articulada de dimensiones e indicadores]. Comunicar, 38, 75-82. https://doi.org/10.3916/C38-2012-02-08

Fleiss, J.L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://.doi.org/10.1037/h0031619

Freinet, C. (1927). L’imprimerie à l’école. Brochures d’éducation nouvelle populaire. Boulogne, Ferrary.

Fung, I.C.H., Fu, K.W., Chan, C.H., Chan, B.S.B., Cheung, C.N.,... Tse, Z.T.H. (2016). Social media’s initial reaction to information and misinformation on Ebola, August 2014: Facts and rumors. Public Health Reports, 131(3), 461-473. https://doi.org/10.1177/003335491613100312

Iglesias, M. (2011). Rompiendo el cerco: el movimiento de pobladores contra la dictadura. Santiago: Radio Universidad de Chile.

Islas, O. (2010). Internet 2.0: El territorio digital de los prosumidores. Estudios Culturales, 5(3), 43-64. (http://goo.gl/RJJk6b).

Johnson, L., & Morris, P. (2010). Towards a framework for critical citizenship education. The Curriculum Journal, 21(1). https://doi.org/10.1080/09585170903560444

Johnson, L., & Morris, P. (2012). Critical citizenship education in England and France: A comparative analysis. Comparative Education, 48(3), 283-301. https://doi.org/10.1080/03050068.2011.588885

Jong, W., & Duckers, M.L (2016). Self-correcting mechanisms and echo-effects in social media : an analysis of the ‘gunman in the newsroom’ crisis. Computers in Human Behaviour, 59, 334-341. https://doi.org/10.1016/j.chb.2016.02.032

Kwon, H.K., Bang, C.C., Egnoto, M., & Raghav-Rao, H. (2016). Social media rumors as improvised public opinion: semantic network analyses of twitter discourses during Korean saber rattling 2013. Asian Journal of Communication, 26(3). https://doi.org/10.1080/01292986.2015.1130157

Leban, G., Fortuna, B., Brank, J., & Grobelnik, M. (2014). Event registry: Learning about world events from news. In Proceeding of the 23rd International Conference on World Wide Web (pp. 107-110). https://doi.org/10.1145/2567948.2577024

Maigrot, C., Kijak, E., & Claveau, V. (2016). Médias traditionnels, médias sociaux: Caractériser la réinformation. TALN 2016 - 23ème Conférence sur le Traitement Automatique des Langues Naturelles, Jul. 2016, Paris, France. (http://goo.gl/2Lrzze).

Middleton, S., & Krivcovs, V. (2016). Geoparsing and geosemantics for social media : Spatiotemporal grounding of content propagating rumors to support trust and veracity analysis during breaking news. ACM Transactions on Information Systems, 34(3). https://doi.org/10.1145/2842604

Paul, R., & Elder, L. (2005). Estándares de competencia para el pensamiento crítico. Estándares, principios, desempeño, indicadores y resultados con una rúbrica maestra en el pensamiento crítico. Dillon Beach: Fundación para el Pensamiento Crítico. (http://goo.gl/UMVRP1).

Quezada, M., Peña-Araya, V., & Poblete, B. (2015). Location-aware model for news events in social media. In Proceedings of the 38th Annual ACM SIGIR Conference. Santiago, Chile. http://doi.acm.org/10.1145/2766462.2767815

Reid, Y., Radesky, J., Christakis, D., Moreno, M., & Cross, C. (2016). Children and adolescents and digital media. Pediatrics, 138(5). https://doi.org/10.1542/peds.2016-2593

Ruiz, A., Medina, M., & García, L. (2001). ¿Fomenta la prensa onubense la integración de los inmigrantes en nuestra sociedad? Comunicar, 17, 176-179. (http://goo.gl/Lrg92C).

Scolari, C. (2015). Ecología de los medios: entornos, evoluciones e interpretaciones. Madrid. Gedisa.

Song, I.Y., & Zhu, Y.J. (2016). Big data and data science: what should we teach? Expert Systems, 33(4), 364-373. https://doi.org/10.1111/exsy.12130

Surowiecki, J. (2004). The wisdom of crowds. New York: Anchor.

Vernier, M., Cárcamo-Ulloa, L., & Scheihing, E. (2016). Diagnóstico de la estrategia editorial de medios informativos chilenos en Twitter mediante un clasificador de noticias automatizado. Revista Austral de Ciencias Sociales, 30, 183-201. (goo.gl/D7msKH).

Webb, H., Burnap, P., Procter, R., Rana, O., Stahl, B.C., Williams, M., … Jirotka, M. (2016). Digital wildfires: Propagation, verification, regulation, and responsible innovation. ACM Transactions on Information Systems, 34(3). https://doi.org/10.1145/2893478

Wolton, D. (2011). Informar no es comunicar. Madrid: Gedisa.