Wikipedia in higher education: Changes in perceived value through content contribution

<span style="color:#FFFFFF; background:#ffffcc"><span id="article_es"></span>[[#article_en|Pulsa aquí para ver la versión en Español (ES)]]</span>
==== Abstract ====

Wikipedia is a widely used resource by university students, but it is not necessarily regarded as being reliable and trustworthy by them, nor is it seen as a context in which to make content contributions. This paper presents a teaching and research project that consisted in having students edit or create Wikipedia articles and testing whether or not this experience changed their perceived value of the platform. We conducted our experience at Universitat Pompeu Fabra (Barcelona, Spain) and University of Niš (Niš, Serbia) with a total number of 240 students. These students edited articles and answered two questionnaires, one before and one after the exercise. We compared the pre and post experience answers to the questionnaires with a series of paired samples ttests, through which our data showed that students did significantly change their perception of reliability and usefulness, and of likeliness of finding false information on Wikipedia. Their appreciation of the task of writing Wikipedia articles, in terms of it being interesting and challenge also increased. They did not significantly change, however, their judgement on the social value of the platform, neither in the university nor in the general context. In addition, the open questions and informal feedback allowed us to gather valuable insights towards the evaluation of the overall experience

[[Media:Draft_Content_984096541-62676.pdf|<span style="color:#0645AD; font-weight: bold">Download the PDF version</span>]]

==== 1. Introduction ====

The use of Wikipedia in education has been implemented in a significant number of cases and has become a common practice in recent years, as it can be seen for instance on the Wikimedia Outreach Education Program website (Wikimedia, 2016). Recently, Lerga and Aibar have published an extensive and detailed guide on how to use Wikipedia in higher education, which includes categories of possible activities such as critical analysis of existing articles, expanding and improving existing articles and creating new articles, among others (Lerga & Aibar, 2015).

These practices have been shown as having significantly improved some basic skills in students, such as interaction and communication, writing and comprehension, research and motivation, along with the social benefits of contributing to and participating in the open resource culture of the project (Lerga & Aibar, 2015; Ricaurte-Quijano & Álvarez, 2016) as part of the open knowledge (García-Peñalvo, García-de-Figuerola, & Merlo-Vega, 2010; Ramírez-Montoya & García-Peñalvo, 2015). Along with this, it is important to note that they also foster the development of media literacy skills and the collaboration among students (Dawe & Robinson, 2017; Di-Lauro & Johinke, 2017), and of students with Wikipedians. It has been noted that the participation in an established online community –with its tacit rules and cultural norms– represents a process of acculturation that can be very valuable to the students (Brailas & al., 2015).

However, there are still many concerns among the faculty in the universities regarding the use of Wikipedia, mostly due to a perceived lack of credibility, accuracy and reliability by a significant number of teachers (Llados & al., 2013; Aibar & al., 2014; Konieczny, 2014), although these have grown smaller over time (Shachaf, 2009; Soules, 2015). In recent years, there have been significant efforts to report on and advocate for the formal use of Wikipedia in academic practices (Konieczny, 2016, Freire & Li, 2016; Meseguer-Artola & al., 2016; Jemielniak & Aibar, 2016; Di-Lauro & Johinke, 2017), and even to push Wikipedia’s importance in assessing academic research impact (Kousha & Thelwall, 2016).

On the part of the students, it is certainly a widely used resource, but it is not necessarily valued regarding credibility or usefulness either (Meseguer-Artola, 2014; Selwyn & Gorard, 2016; Huang & al., 2016). Arguably, this is often due to a lack of knowledge of how the processes of editing and discussing articles take place (Menchen-Trevino & Hargittai, 2011).

Among the motivations to introduce Wikipedia in the classroom, previous research has identified mainly two types of reasons. First, strictly from the pedagogical point of view, it is seen as a very valid exercise to enhance students’ literacy skills (Hafner, Chik, & Jones, 2015; Walker & Li, 2016; Di-Lauro & Johinke, 2017). Certainly, the process of writing for Wikipedia covers all the aspects of academic writing –originality, rigor, peer review, etc.– with the benefits of immediate dissemination, an aspect which connects to the second type of reasons identified. Jemielniak & Aibar (2016) have noted the immense readership of the platform, and the fact that contributing to it helps to popularize the respective fields of research within which the activities are inscribed, while it represents contributing to the benefit of the wider society. Wikipedia is not only part of but the paradigm of the open culture of Internet. And it is in the contribution to this that many authors inscribe their interest in these types of activities (Shane-Simpson, Che, & Brooks, 2016; Luyt, 2016), hoping to engage the students in the same type of motivation that Wikipedians have (Nov 2007). In our case, along with these two reasons, it was important for us to invite our students to contribute to a platform that they all use extensively, but not necessarily value as a relevant cultural artefact.

Additionally, we deemed important to enquire about the editing of text in a multilingual context. In both cases, our students were able to read articles in at least in three languages (Catalan, Spanish, and English for Universitat Pompeu Frabra students; Serbian, Croatian, Bosnian and English for University of Niš students). Contrasting and comparing the different versions became part of the exercise, as it is an interesting aspect to be able to acknowledge the difference in coverage and the possible biases in the different language editions, which have been identified in the literature as being more likely to occur in smaller language communities, as it is expected that they would have a smaller community involved in the culture adaptation process (Massa & Scrinzi, 2012; Eom & al., 2015).

The work presented here draws upon the authors’ previous research on different areas related to the pedagogic uses of information technologies and open platforms. Some of these efforts have addressed the process of acquisition and evaluation of generic and transversal skills, such as socialization process, critical capacity (Freixa & Sora, 2008) or of academic writing standards (Freixa & al., 2013), along with more generic accounts of the competencies for the practice of interactive communication (Soler-Adillon & al., 2016), and some specific studies on the use of interactive and communications technologies in education (Pavlovic, Stanisavljevic-Petrovic, & Soler-Adillon, 2016; Stanisavljevic-Petrovic, Pavlovic, & Soler-Adillon, 2016).

The study presented in this paper was designed during the 2015-2016 academic year in collaboration with Amical Wikimedia and implemented during the Summer term on both Universitat Pompeu Fabra (Spain) and University of Niš (Serbia). Section two explains the design of the study and the context in which it took place, including the creation of the questionnaires that served as the basis for it. Section 3 presents the results of the questionnaires, which students responded before and after taking part in the creation and editing of Wikipedia articles, that were aimed at exploring the changes in perception of it after the task, both through Likert scales and open questions. Finally, section 4 discusses these results with respect to the initial hypothesis and the existing literature presented in this introduction.

====2. Material and methods====

Our investigation took place in two different higher education institutions: Universitat Pompeu Fabra (UPF) in Barcelona, Spain, and University of Niš (UN) in Niš, Serbia, during April to June of 2016. Students were asked to fill in two questionnaires: one before editing a Wikipedia article as a course exercise, and one after the experience. The project was partially funded by UPF’s Center for Learning Innovation and Knowledge and also had the support of Amical Wikimedia, the independent association of volunteers for the promotion of Catalan culture through the Catalan version of Wikipedia.

At UPF, the experience took place in the Digital Culture class, a first-year mandatory course in the Audiovisual Communication undergraduate degree. The topics of the course range from digital photography and animation to interactive art and interaction design. At UN, the experience took place in the Computer Science class, a first-year mandatory course on Communication and Public Relations, as well as on Journalism undergraduate degrees. The topics of the course cover the history of computers, hardware, software, multimedia and the Internet.

The two questionnaires (Q1 and Q2 for pre and post experience respectively) were designed to address our research question about the perception of Wikipedia before and after the experience of editing or creating an article, in the form of both Likert scale and open questions. In addition, we added a series of general questions regarding the use of Wikipedia and, since we were performing our study in two contexts in which we could expect students to be able to access at least three different language editions of this online encyclopaedia, we also added some questions about language use and choice for editing. However, the focus of the study was, as said, on the perception of Wikipedia, and thus we will be discussing here this part of the research.

The main research question we were addressing with this design was: “Will the participation of the students in the process of editing and creating Wikipedia articles influence their perception of the platform from reliability, trustworthiness and value within the academic and general context?”.

2.1. Design of the activity

This study on the perception of Wikipedia is part of a larger pedagogical effort, within which the researchers implemented the creation of content for this open platform. The aim of the activity was for our students to become familiar with the process of writing for Wikipedia and, through this, to understand the process of collaborative writing, peer review, good academic practices and to contribute to an open access platform. By writing Wikipedia articles instead of strict academic essays, we were hoping that they would engage in a new, challenging experience, while contributing to their work to a project that they use extensively.

A secondary goal was to enhance the coverage of Wikipedia on the areas of our courses. Thus, while giving the students a large degree of freedom to find topics they were interested in, their work would immediately become valuable for future students on their degrees. This academic experience was designed with the invaluable guidance of volunteers at Amical Wikimedia, who has extensive experience in designing workshops and activities were participants edit and create articles.

It was important that the experience for the students was properly guided, and that they responded the questionnaires at relevant times. Thus, Q1 was given to the students before their first contact with the edition process of the Wikipedia, and Q2 once they had already finished their article. In between, they were given a general introduction to the process of editing and creating articles, and were guided throughout the process with the help of the Wikipedia volunteers both directly and through platform’s peer review process.

Following this procedure, we were able to make sure that the questions in Q2 were answered only after the whole process of editing had been completed, including research, editing, and dealing with the platform conventions and curating process – through both robots and volunteers.

2.2. Questionnaires

Q1 had four main sections. It was designed to gather a general idea of the student’s uses and knowledge of Wikipedia, and it contained a set of questions that would be repeated in Q2 to test the changes before and after the experience of editing Wikipedia articles. As said above, this was the central part of the study and consequently that on which this paper is focused.

The first and largest section in Q1 enquired about the general use of Wikipedia, asking about situations and patterns of use. It used Likert scales, either temporarily based (always / usually / occasionally / rarely / never) or a more common one based on agreement to a statement (strongly agree / agree/ cannot decide / disagree / strongly disagree). It contained 16 Likert-based questions and one open question.

Section 2 and 3 enquired about Wikipedia editing (expected interest and challenge) and value of Wikipedia respectively. These sections contained the following questions, which were those repeated in Q2:

• Editing Wikipedia articles is an interesting task.

• Editing Wikipedia articles is a challenging task.

• Wikipedia is a reliable source [for use] in the University context.

• Wikipedia is a useful source of information.

• It is possible to find false information on Wikipedia.

• Do you think that the consideration of Wikipedia is correct in the context of University studies?

• Do you think that the consideration of Wikipedia is correct in general?

Whilst the first five were answered with an Agree / Disagree Likert scale, we created an ad-hoc Likert scale for the last two questions, so that students could choose between the following: It is strongly undervalued / It is a little undervalued / Its consideration is correct / It is a little overrated / It is strongly overrated.

Q2 was shorter, and it repeated the questions mentioned above with an open question at the end of the section. Before ending with a final section on language, it briefly enquired the students about the process of writing the articles and whether or not they though that they would keep editing it.

====3. Results====

The overall participation was of 240 students. Each of them was required to either edit significantly or create from scratch an article for the Wikipedia related to their field of study as part of their course assignments. They were also required to answer two questionnaires, one before and one after the experience.

67.5% of the participants were UN students (N=162), and 32.5% were UPF students (N=78). 67.9% were female participants (N=163), 30.8% males (N=74), and 1.2% (N=3) preferred not to answer. A 75.4% of the students were first years (N=181), 10.8% were third-year students (N=26), and 13.7% were in their fourth year (N=33).


[[Image:Draft_Content_984096541-62676-en019.jpg|center|px|]]

3.1. Quantitative data: statistical and descriptive analysis

A series of paired-samples t-test was conducted to compare the answers in Q1 and Q2 on these questions that were identical in both questionnaires. What follows is a list of these questions and the results of each test, along with some descriptive analysis of the percentages of the answers (see table 1 for details). The means are calculated from 0 being ‘Strongly Disagree’ to 4 being ‘Strongly agree’ on the first, and from 0 being ‘It is strongly overrated’ to 4 ‘It is strongly undervalued’ on the latter two (see previous sections for details on the scale answers). The significance threshold was set at .05 for all cases.

a) Editing Wikipedia articles is an interesting task. There was a significant difference in the scores for Q1 (M=2.4, SD=0.71) and Q2 (M=2.8, SD=0.69) conditions; t(4)=–5.176, p < .001.Not surprisingly, in Q1 there were a significant number of students who remained neutral in their answer (45.4%). Many others (43.3%) selected ‘Agree’ on this statement, leaving the rest of the options in very low numbers. In Q2, a very important number of answers agreed with the statement (70.3%), which added to an almost 5% increase on the ‘Strongly agree’ showed a combined agreement 78.9%, leaving an even smaller percentage on the negative spectrum (5.6% ‘Disagree’ and 0.6% ‘Strongly disagree’), while still a 14.9% of the answers remained on the neutrality of ‘Can not decide’.

b) Editing Wikipedia articles is a challenging task. There was a significant difference in the scores for Q1 (M=2.7, SD= 0.78) and Q2 (M=3.1, SD=0.74) conditions; t(4)=–4.53, p<.001. This question presented almost identical shifts on the answers’ percentages regarding the previous one, although with much lower numbers. The two positive answers went up from a combined 66.6% to an 84.6% (with about a quarter of the students agreeing strongly), while the negative remained in the 4.6%, but going to a null percentage in the ‘Strongly disagree’.

c) Wikipedia is a reliable source [for use] in the University context. There was a significant difference in the scores for Q1 (M=1.9, SD=0.99) and Q2 (M=2.6, SD=0.91) conditions; t(4)= –6.591, p<.001. This question presents the most remarkable changes from Q1 to Q2. While the ‘Cannot decide’ remains still a big number on Q2 (20%, down from 28.8%), there is a 31.2% increase in the positive spectrum, with the ‘Agree,’ growing from 29.2% to 56%, and a 22.5% decrease on the negative spectrum. Thus, while in the first two questions there is a clear trend from undecided to positive, here there is a much bigger shift from negative to positive answers.

d) Wikipedia is a useful source of information. There was a significant difference in the scores for Q1 (M=3.0, SD=0.70) and Q2 (M=3.1, SD=0.59) conditions; t(4)=–2.622, p=.010. The changes in this question are more mitigated than on the previous ones. All the positive answers’ percentages increase, but only a combined 7.6% from already big numbers (85% in Q1). The negative answers went from 3.7% to 1.7%, with 0% ‘Strongly disagree’. Thus, the perception of usefulness, which was already strong, strengthened according to Q2.

e) It is possible to find false information on Wikipedia. There was a significant difference in the scores for Q1 (M=3.0, SD=0.77) and Q2 (M=2.6, SD=0.99) conditions; t(4)=3.953, p<.001. Contrary to the others, in this case, the alternative hypothesis was that the change would be towards disagreement with the statement. And while the change was shown to be statistically relevant, the percentages shifted in relatively small numbers. The agreement with the statement was initially very high, with 21.7% ‘Strongly agree’ and 58.8% ‘Agree’. In Q2 these numbers dropped in a 7.4% and 5.7% respectively. Interestingly, this is the only question where the ‘Cannot decide’ increased after editing Wikipedia articles (from 13.7% in Q1 to 18.3% in Q2). The combined disagreement went up from 5.8% to 14.3%.

f) Do you think that the consideration of Wikipedia is correct in the context of University studies? There was not a significant difference in the scores for Q1 (M=2.3, SD=0.84) and Q2 (M=2.4, SD=0.83) conditions; t(4)=–1.061, p=.290. As it can be expected by the non-rejection of the null hypothesis of the paired samples t-test, the numbers in this question changed relatively little, although they did so in the anticipated direction. Most of the students’ answers indicated that they considered that Wikipedia was correctly regarded within the University context regarding reliability (37.9%), while even more considered that it was slightly undervalued (41.7%), with 5% saying that it was strongly undervalued. These numbers changed to 8% on the latter and increased only by 0.8% on the former, while the middle option lost a 3%. The answer stating that is a little overrated virtually remained the same, while strongly overrated option lost all of its already small 1.2% support.

g) Do you think that the consideration of Wikipedia is correct in general? There was not a significant difference in the scores for Q1 (M=2.3, SD=0.79) and Q2 (M=2.5, SD=0.77) conditions; t(4)=–1.896, p=.060. Like with the former question, the changes here weren’t big enough to be accounted for as statistically relevant, although as one might anticipate by the p value, they were somewhat bigger. Again, the students considering that it was undervalued –this time in the general context– augmented, from a combined 42.6% to a 49.7%, while 44.2% in Q1 and 41.7% in Q2 answered that Wikipedia’s reputation was correct. The students stating that it was overrated went down from a combined 13.3% to 8.6%.

Summarizing, only on the first five questions show a statistically significant change from Q1 to Q2, while the answers to the two questions on the consideration of Wikipedia were not different enough to reject the null hypothesis, and thus we cannot conclude that the students´ opinion in respect to this changed with the article editing exercise. On the contrary, our research hypothesis was confirmed for the rest of the questions: there was a significant increase in students’ perception of usefulness, reliability, and confidence in not finding false information in Wikipedia. Likewise, students found both more interesting and more challenging to edit Wikipedia articles in Q2 than in Q1.

3.2. Open questions and student feedback

The second focus of interest was on the feedback we received from students both informally and in the form of open questions and course feedback. The main open question in Q2 addressed specifically and quite directly the focus of the study, by asking the participants “How did editing a WP article change your perception of it?”.

The answers to this question were overwhelmingly positive in the sense that they praised the robustness of the project regarding the quality of the information it hosts, and thus stating that after the experience they thought of it as a much more reliable platform. Examples of these answers are:

• “Now I think that we can’t find false information on Wikipedia”.

• “Now I know that it is not possible to make anything up. Every word is checked, and so is each article several times”.

• “I started to value the information found on Wikipedia more than I used to before I edited it”.

• “The need to reference everything made me realize it’s more reliable than I thought it was”.

• “I’ve seen it’s more reliable than they say”.

• “It changed my perception because of the volunteers that look after every article, which makes Wikipedia more reliable”.

• “Now I am sure that the information found in Wikipedia is reliable because there are a lot of volunteers that correct what you write, being very strict in referencing information”.

• “I realised how rigorous the supervision is”.

• “It has changed a lot. I think I was underestimating Wikipedia”.

A much smaller number of comments went in the exact opposite direction, either with quite broad strokes on how everyone can intervene, or addressing the authors’ biases:

• “I realized that anyone could edit a Wikipedia article and I learned how easy it is to add new information that can be referenced but not necessarily true”.

• “I realized that everybody could write whatever they want to”.

• “Seeing how easy it is that anyone can edit it make me loose a bit of the trust I had in the page”.

• “Now I’m aware that behind an article there is the person who wrote it, with his/her own opinion, which influences the information”.

Finally, many students used their answer to this question to address the process of writing, and how it changed not their perception of how reliable or solid the project is, but how difficult (or in a few cases easy) it is to write an article and publish it there, without making judgements on trustworthiness in general:

• “I thought that it was an easy job, but I guess I was wrong about it”.

• “After my text was corrected, I realized changing Wikipedia articles wasn’t easy. Only people who are well informed about certain topics can change the articles”.

• “I now think that editing a Wikipedia articles is more difficult than I have thought before. It is like writing small scientific article for University. You have to take care of references and lots of other small things and check lots of facts and respect lots of rules of writing that are similar to writing scientific work for the University. To sum up, it is a very challenging task that needs your full concentration and attention”.

• “It is harder than I thought”.

• “It is a heavy work so big applause for the people who work on it”.

• “It made me realize how easy is to contribute”.

• “It is easy to edit and very useful for other people”.

Informally, both by following the students’ progress and by talking to them, we could gather some interesting insights on how they were changing their perceptions. At the University of Niš, some students entered false information to see what happened and were very (and positively) surprised to find out that the information was changed in a matter of hours. In general, students were surprised by the efficiency of the volunteers monitoring the process. Mostly, this experience with the peer review process was positive, although in some cases the students were frustrated because they had to remove content and they considered that some particular volunteers were overzealous.

Another aspect that they enjoyed was the fact that their work would be made public immediately, and they had a strong sense of contributing to their field of interest, thus becoming very much aware of the collaborative effort behind Wikipedia and the importance of the open culture behind it. For some of them, it was particularly interesting to interact with the person they were writing about. When it was relevant, we encouraged students to get in touch with them, or with someone who had studied them. Beyond the general help in finding references and the positive answers that the students received, there were some especially interesting situations, such as a person attending the presentation of the Wikipedia article on himself, and a group of students getting in touch with the daughter of Edgar Rubin, who sent them an unpublished photo of him – which is still in the process of becoming public access and thus publishable to Wikipedia.

In any case, as seen by the answers to the open questions and from what we gathered through informal feedback, there was a general consensus that Wikipedia was, in fact, a very strict environment where it was not easy to publish, and that this process ensured a high degree of reliability of the information published in it and, consequently, improved the perceived value of the platform.

====4. Discussion and conclusions ====

Based on the survey results, it is possible to state that editing and creating Wikipedia articles had in general terms a significant influence on the perception of Wikipedia by the students, in terms of reliability, trustworthiness, and robustness of the process of posting information on the platform, and also proved that they found that the process was both interesting and challenging. However, we cannot conclude from our data that their perception of the appreciation of Wikipedia changed, both in general and in the context of University.

Students had already anticipated that editing Wikipedia articles would be both interesting and challenging, and these perceptions were stronger after the experience, with significantly bigger numbers moving from the undecided to the positive answers. In addition, as shown above, many of the comments to the open question referred to this aspect, stating that it had been difficult to get their information published on the site.

This appreciation of the robustness of the project of peer review within Wikipedia was linked, as the open question shows, to their perception of the reliability of the project. This is confirmed by the answers to the third question and to that referred to the possibility of finding false information on Wikipedia. They also gained some confidence in the usefulness of the project, although their appreciation of it from that point of view was already very strong from the start. Thus, the hypothesis underlying our research question, which stated that students would regard Wikipedia as a more reliable project after participating in the creation of content, was confirmed.

The overall experience was a very positive one. Integrating Wikipedia in the classroom was successful from both the point of view of the students’ perception of the online encyclopaedia and as a pedagogic exercise. There are some challenges that should be taken into account before using this type of exercise as a formal assessment: mainly, the unpredictability of the peer review process through the intervention of the volunteers, which can vary greatly from article to article. However, as noted by Di-Lauro & Johinke (2017), while certainly lacking the rigour of the academic publication peer review, it is a very thorough and well-documented process, and the involvement in the community is beneficial for the students. In any case, in general terms, and as the survey and informal feedback accounted for, the advantages of it superseded the difficulties. Additionally, we were successful in improving the coverage of Wikipedia to our teaching domain, thus involving our higher academic institutions in the process of content curation of a resource that has become more and more important in our context. Along the lines of the suggestions of Jemielniak and Aibar (2016), this is, in turn, a contribution to disseminating the work that is being done at the higher education institutions, thus transferring this knowledge to the wider society. Finally, strictly regarding the study of the perception of Wikipedia, we aim at improving our method by adding several more questions to address specific issues on trust, the perception of reliability and use, and to do so in a much larger number of students internationally.

Funding agency

Funding project 1: “Interactive content and creation in multimedia information communication: audiences, design, systems and styles”. CSO2015-64955-C4-2-R (MINECO/FEDER). Spanish Ministry of Economy and Competitiveness” (Spain). Subsidised. Funding Project 2: 68-Plaquid, 2015-2016; Creación y ampliación de artículos en la Wikipedia como herramienta docente y de evaluación. Pompeu Fabra University (Spain). Voluntary support: Amical Wikimedia collaborated in both the design and implementation of the pedagogical exercise and subsequent study. The Wikipedia community of volunteers helped and guided our students during the editing process.

====References====

Aibar, E., Lladós-Masllorens, J., Meseguer-Artola, A., Minguillón, J., & Lerga, M. (2015). Wikipedia at university: What faculty think and do about it. The Electronic Library, 33(4), 668-683. https://doi.org/10.1108/EL-12-2013-0217

Brailas, A., Koskinas, K., Dafermos, M., & Alexias, G. (2015). Wikipedia in Education: Acculturation and learning in virtual communities. Learning, Culture and Social Interaction, 7, 59-70. https://doi.org/10.1016/j.lcsi.2015.07.002

Dawe, L., & Robinson, A. (2017). Wikipedia editing and information literacy: A case study. Information and Learning Science, 118(1/2), 5-16. https://doi.org/10.1108/ILS-09-2016-0067

Di-Lauro, F., & Johinke, R. (2017). Employing Wikipedia for good not evil: innovative approaches to collaborative writing assessment. Assessment & Evaluation in Higher Education, 42(3), 478-491. https://doi.org/10.1080/02602938.2015.1127322

Eom, Y.H., Aragón, P., Laniado, D., Andreas, K., Vigna, S., & Shepelyansky, D.L. (2015). Interactions of Cultures and Top People of Wikipedia from Ranking of 24 Language Editions. PLoS ONE, 10(3). https://doi.org/10.1371/journal.pone.0114825

Freire, T., & Li, J. (2016). Using Wikipedia to enhance student learning: A case study in economics. Education and Information Technologies, 21(5), 1169-1181. http://doi.org/10.1007/s10639-014-9374-0

Freixa, P., & Sora, C. (2008). Proyecto Universo de la Comunicación Audiovisual: una representación visual, transversal y participativa en la Red. I Jornadas de Innovación Docente aplicada a las Tecnologías de la Información y las Comunicaciones (ID+TIC 2008). Universidad de Alcalá de Henares (2008-07-17/18). (https://goo.gl/7Qq9Vt).

Freixa-i-Font, P., Sora, C., Soler-Adillon, J., & Ribas, J.I. (2013). Concepción, diseño y evaluación del tutorial interactivo: Cómo elaborar un trabajo académico. Un estudio de caso. Hipertext.net, 11. (https://goo.gl/MMxDoi).

Garcia-Peñalvo, F.J., García-de-Figuerola, C., & Merlo, J.A. (2010). Open knowledge: Challenges and facts. Online Information Review, 34(4), 520-539. https://doi.org/10.1108/14684521011072963

Hafner, C.A., Chik, A., & Jones, R.H. (2015). Digital literacies and language learning. Language Learning and Technology, 19(3), 1-7. (https://goo.gl/C6rCcG).

Huang, J., Shi, S., Chen, Y., & Chow, W.S. (2016). How do students trust Wikipedia? An examination across genders. Information Technology & People, 29(4), 750-773. https://doi.org/10.1108/ITP-12-2014-0267

Jemielniak, D., & Aibar, E. (2016). Bridging the gap between Wikipedia and Academia. Journal of the Association for Information Science and Technology, 67(7), 1773-1776. https://doi.org/10.1002/asi.23691

Kayvan, K., & Thelwall, M. (2017). Are Wikipedia citations important evidence of the impact of scholarly articles and books? Journal of the Association for Information Science and Technology, 68(3), 762-779. https://doi.org/10.1002/asi.23694

Konieczny, P. (2014). Rethinking Wikipedia for the classroom. American Sociological Association, 13, 80-84. https://doi.org/10.1177/1536504214522017

Konieczny, P. (2016). Teaching with Wikipedia in a 21st-century classroom: Perceptions of Wikipedia and Its educational benefits. Journal of the Association for Information Science and Technology, 67(7), 1523-1534. https://doi.org/10.1002/asi.23616

Lerga, M., & Aibar, E. (2015). Best Practice Guide to Use Wikipedia in University Education. (http://hdl.handle.net/10609/41662).

Lladós, J., Aibar, E., Lerga, M., Meseguer, A., & Minguillon, J. (2013). An empirical study on faculty perceptions and teaching practices of wikipedia. Proceedings of the European Conference on E-Learning, ECEL, 258-265. (https://goo.gl/Rdweyy).

Luyt, B. (2016). Wikipedia, Collective Memory, and the Vietnam War. Journal of the Association for Information Science and Technology, 67(8), 1956-1961. https://doi.org/10.1002/asi.23518

Massa, P., & Scrinzi, F. (2013). Manypedia: Comparing language points of view of Wikipedia communities. First Monday, 18(1). https://doi.org/10.5210/fm.v18i1.3939

McKerlich, R., Ives, C., & McGreal, R. (2013). Measuring use and creation of open educational resources in higher education. International Review of Research in Open and Distance Learning, 14(4), 90-103. http://doi.org/10.19173/irrodl.v14i4.1573

Menchen-Trevino, E., & Hargittai, E. (2011). Young adults’ credibility assessment of Wikipedia. Information, Communication & Society, 14(1), 24-51. https://doi.org/10.1080/13691181003695173

Meseguer-Artola, A. (2014). Learning by comparing with Wikipedia: the value to students’ learning. Universities and Knowledge Society Journal, 11(2), 57. https://doi.org/10.7238/rusc.v11i2.2042

Meseguer-Artola, A., Aibar, E., Llado´s, J., Minguillo´n, J., & Lerga, M. (2016). Factors That Influence the Teaching Use of Wikipedia in Higher Education. Journal of the Association for Information Science and Technology, 67(5), 1224-1232. https://doi.org/10.1002/asi.23488

Nov, O. (2007). What motivates Wikipedians? Communications of the ACM, 50(11), 60-64. https://doi.org/10.1145/1297797.1297798

Pavlovic, D., Stanisavljevic-Petrovic, Z., & Soler-Adillon, J. (2016). Traditional and (or) new media: Teacher’s work experience and application of media in schools. In Proceedings of the 12th International Scientific Conference eLearning and Software for Education. Budapest. (https://doi.org/10.12753/2066-026X-16-112).

Ramírez-Montoya, M.S., & García-Peñalvo, F.J. (2016). Movimiento educativo abierto. VIRTUalis, 6(12), 1-13. (https://goo.gl/BVXGXF)

Ricaurte-Quijano, P., & Álvarez, A.C. (2016). The Wiki Learning Project: Wikipedia as an open learning environment. Comunicar, 49(24), 61-69. https://doi.org/10.3916/C49-2016-06

Selwyn, N., & Gorard, S. (2016). Students’ use of Wikipedia as an academic resource - Patterns of use and perceptions of usefulness. The Internet and Higher Education, 28, 28-34. https://doi.org/10.1016/j.iheduc.2015.08.004

Shachaf, P. (2009). The paradox of expertise: Is the Wikipedia reference desk as good as your library? Journal of Documentation, 65(5), 977-996. https://doi.org/10.1108/00220410910998951

Shane-Simpson, C., Che, E., & Brooks, P.J. (2016). Giving psychology away: Implementation of Wikipedia editing in an introductory human development course. Psychology Learning & Teaching, 15(3), 268-293. https://doi.org/10.1177/1475725716653081

Soler-Adillon, J., Sora, C., Freixa, P., & Ribas, J.I. (2016). El perfil del profesional de la comunicación interactiva: fundamentos, actualidad y perspectivas. El Profesional de La Información, 25(2), 196-208. https://doi.org/10.3145/epi.2016.mar.06

Soules, A. (2015). Faculty perception of Wikipedia in the California State University System. New Library World, 116(3/4), 213-226. https://doi.org/10.1108/NLW-08-2014-0096

Stanisavljevic-Petrovic, Z., Pavlovic, D., & Soler-Adillon, J. (2016). ICT In early education: Reasons for insufficient application. Proceedings of the 12th International Scientific Conference eLearning and Software for Education. Bucharest, 227-232. https://doi.org/10.12753/2066-026X-16-119

Walker, M.A., & Li, Y. (2016). Improving information literacy skills through learning to use and edit Wikipedia: A chemistry perspective. Journal of Chemical Education, 93(3), 509-515. https://doi.org/10.1021/acs.jchemed.5b00525

Wikimedia. (2016). Wikimedia education portal. (https://goo.gl/xsDQXX).



<hr>
<span style="color:#FFFFFF; background:#ffffcc"><span id="article_en"></span>[[#article_es|Click to see the English version (EN)]]</span>
==== Resumen ====

Wikipedia es un recurso muy utilizado por estudiantes universitarios, pero no está necesariamente bien valorado en términos de fiabilidad, ni tampoco es visto como un entorno en el que hacer aportaciones de contenido. Este artículo presenta un proyecto de docencia e investigación que consiste en proponer que los estudiantes editen o creen artículos para la Wikipedia, y en comprobar si la experiencia modifica su valoración de la misma. Se realizó la experiencia en la Universidad Pompeu Fabra (España) y la Universidad de Niš (Serbia) con un total de 240 alumnos. Editaron artículos y respondieron dos cuestionarios, uno antes y otro después de la experiencia. Se compararon las respuestas mediante una serie de pruebas T para muestras emparejadas, a partir de las cuales pudimos comprobar que los datos mostraban un cambio significativo en su percepción sobre la fiabilidad y la utilidad de la Wikipedia y sobre la probabilidad de encontrar información falsa en ella. También cambió su apreciación de la tarea de editar artículos, que se valoró como interesante y representó un reto. En cambio, su valoración del prestigio social de la Wikipedia, tanto en el contexto universitario como el general, no varió significativamente. Adicionalmente, las preguntas abiertas y el feedback informal permitieron recoger informaciones muy valiosas respecto a la valoración del conjunto de la experiencia

[[Media:Draft_Content_984096541-62676_ov.pdf|<span style="color:#0645AD; font-weight: bold">Descarga aquí la versión PDF</span>]]

==== 1. Introducción ====

La Wikipedia se ha utilizado en un número significativo de prácticas educativas y su uso se ha convertido en una actividad formativa habitual en los últimos años, como se puede observar, por ejemplo, en el sitio web de Wikimedia Outreach Education Program (Wikimedia, 2016). Recientemente, Lerga y Aibar han publicado una extensa y detallada guía sobre el uso de la Wikipedia en educación superior, que incluye una categorización de tipos de actividades como, por ejemplo, el análisis crítico de artículos o la expansión y mejora de los mismos, entre otras (Lerga & Aibar, 2015).

Se ha puesto de manifiesto cómo estas prácticas han contribuido a mejorar significativamente algunas competencias básicas del alumnado, como son la interacción y la comunicación, la comprensión lectora, la escritura, la capacidad de investigación y la motivación; a ello hay que añadir los beneficios en contribuir y participar de la cultura de contenido abierto que promueve el proyecto (Lerga & Aibar, 2015; Ricaurte-Quijano & Álvarez, 2016), así como de formar parte del movimiento en pro del conocimiento abierto (García-Peñalvo, García-de-Figuerola, & Merlo-Vega, 2010; Ramírez-Montoya & García-Peñalvo, 2015). A su vez, es importante recalcar que dichas prácticas también promueven el desarrollo de competencias de capacitación mediática y de colaboración entre estudiantes (Dawe & Robinson, 2017; Di-Lauro & Johinke, 2017) y de los estudiantes con los «wikipedistas». Algunos autores han argumentado a favor de la participación en una comunidad online establecida –con sus normas y cultura tácitas–, ya que representa un proceso de aculturación que puede resultar muy valioso para los estudiantes (Brailas & al., 2015).

Sin embargo, aún existen muchas reticencias entre la comunidad universitaria respecto el uso de la Wikipedia, debido, sobre todo, a que es percibida por parte de un número importante de profesores como carente de credibilidad, de veracidad y de fiabilidad (Llados & al., 2013; Aibar & al., 2014; Konieczny, 2014), a pesar de ciertos avances en los últimos tiempos (Shachaf, 2009; Soules, 2015). En los últimos años se han realizado importantes esfuerzos a favor de un uso formal de Wikipedia en el entorno académico (Konieczny, 2016, Freire & Li, 2016; Meseguer-Artola & al., 2016; Jemielniak & Aibar, 2016; Di-Lauro & Johinke, 2017), e incluso en pro de promover la Wikipedia como indicador de impacto en investigación (Kousha & Thelwall, 2016).

Se trata, ciertamente, de un recurso muy usado por parte de los estudiantes, aunque ello no supone necesariamente que sea valorado tampoco por su parte favorablemente en cuanto a credibilidad o utilidad (Meseguer-Artola, 2014; Selwyn & Gorard, 2016; Huang & al., 2016). Algunos autores apuntan que frecuentemente esta percepción es debida a un desconocimiento sobre los procesos de edición y discusión de los artículos (Menchen-Trevino & Hargittai, 2011).

Entre las motivaciones para utilizar la Wikipedia en el aula, investigaciones anteriores han identificado dos categorías principales. En primer lugar, desde el punto de vista estrictamente pedagógico, su uso es visto como un ejercicio válido para la mejora de las competencias de alfabetización del alumnado (Hafner, Chik, & Jones, 2015; Walker & Li, 2016; Di-Lauro & Johinke, 2017). Ciertamente, el proceso de escribir para la Wikipedia cubre todos los aspectos de la escritura académica –originalidad, rigor, revisión por pares, etc.– y cuenta con los beneficios de la diseminación inmediata, un aspecto que conecta con el segundo tipo de motivación identificada. Jemielniak y Aibar (2016) argumentan, teniendo en cuenta el gran número de lectores con los que cuenta la plataforma, que el hecho de contribuir a ella ayuda a popularizar los respectivos campos de investigación, a la vez que se realiza una contribución en forma de divulgación en beneficio del conjunto de la sociedad.

Wikipedia no es solo parte de, sino que puede considerarse el paradigma de la cultura abierta en Internet. Y es en contribución con esta, que muchos autores manifiestan su interés por este tipo de actividades (Shane-Simpson, Che, & Brooks, 2016; Luyt, 2016), esperando que los estudiantes encuentren en ellas las mismas motivaciones que sienten los wikipedistas (Nov, 2007). Además de estas dos razones, para nosotros era importante invitar a los estudiantes a contribuir en una plataforma que utilizan extensamente pero que no necesariamente valoran como artefacto cultural relevante.

Adicionalmente, nos pareció importante investigar la edición de artículos en un contexto multilingüe. En los dos casos, nuestros estudiantes eran capaces de leer artículos en, al menos, tres idiomas (catalán, español e inglés en la Universitat Pompeu Fabra, y serbio, croata, bosnio e inglés en la Universidad de Niš). Contrastar y comparar distintas ediciones se convirtió en parte del ejercicio, pues es un aspecto muy interesante que permite darse cuenta de las diferencias de cobertura y posibles sesgos en las distintas ediciones lingüísticas, aspecto este último que la literatura ha identificado como más probable en comunidades lingüísticas pequeñas, pues se supone que estas cuentan con un número menor de personas implicadas en el proceso de edición de contenidos (Massa & Scrinzi, 2012; Eom & al., 2015).

Para los autores, este trabajo dibuja una línea de continuidad respecto a investigaciones desarrolladas anteriormente relacionadas con los usos pedagógicos de las TIC y las plataformas abiertas. Algunos de estos trabajos se centraron en el proceso de adquisición y en la evaluación de competencias genéricas y transversales, como el proceso de socialización o la capacidad crítica (Freixa & Sora, 2008) o de los estándares de escritura académica (Freixa & al., 2013), mientras otros representan un estudio más genérico de las competencias necesarias para la práctica de la comunicación interactiva (Soler-Adillon & al., 2016), e investigaciones específicas sobre el uso de las TIC en contextos educativos concretos (Pavlovic, Stanisavljevic-Petrovic, & Soler-Adillon, 2016; Stanisavljevic-Petrovic, Pavlovic, & Soler-Adillon, 2016).

El estudio que presentamos en este artículo se diseñó durante el primer semestre del curso académico 2015-16 en colaboración con Amical Wikimedia, y se implementó durante el tercer trimestre del mismo tanto en la Universidad Pompeu Fabra (España) como en la Universidad de Niš (Serbia). En la segunda sección se presenta el diseño del estudio y el contexto en el que se implementó, incluyendo el modelo de los cuestionarios que sirvieron de base del mismo. La tercera sección presenta los resultados de los cuestionarios que los estudiantes contestaron antes y después de participar en la creación y edición de artículos para la Wikipedia, y que fueron diseñados prioritariamente para explorar el posible cambio de percepción sobre la propia Wikipedia después de realizar la práctica, con escalas de Likert y preguntas abiertas. Finalmente, la cuarta sección presenta los resultados en contraste con la hipótesis inicial y la literatura presentada en esta introducción.

====2. Materiales y métodos====

Nuestra investigación se llevó a cabo en dos instituciones distintas: la Universitat Pompeu Fabra (UPF) en Barcelona (España) y la Universidad de Niš (UN) en Niš (Serbia), durante los meses de abril a junio de 2016. Los estudiantes rellenaron un cuestionario antes y otro después de la experiencia. El proyecto se financió parcialmente a través del Centro para la Innovación en Aprendizaje y Conocimiento de la UPF, y contó también con el soporte de Amical Wikimedia, la asociación independiente de voluntarios para la promoción de la cultura y lengua catalanas mediante la versión catalana de la Wikipedia.

En la UPF, la experiencia se realizó en el marco de la asignatura «La cultura digital», una materia obligatoria correspondiente al primer curso académico de Comunicación Audiovisual. Los temas tratados en el curso abarcan la fotografía digital, la animación, el arte interactivo y el diseño de interacción. En la UN, la experiencia se realizó en la asignatura Informática, una materia obligatoria de primer curso en Comunicación y Relaciones Públicas, así como en el grado de Periodismo. Los temas del curso cubren la historia de la computación, hardware, software, multimedia e Internet.

Los dos cuestionarios (Q1 y Q2 para pre y post experiencia, respectivamente) se diseñaron acorde con nuestras preguntas de investigación sobre la percepción de valor de la Wikipedia antes y después de la edición o creación de artículos, y constaban tanto de preguntas formuladas según escalas de Likert como de preguntas abiertas. Adicionalmente, añadimos algunas preguntas sobre el uso de la Wikipedia en general y, debido a que hacíamos el estudio en dos contextos donde los estudiantes podrían acceder a al menos tres ediciones lingüísticas de la enciclopedia, añadimos también preguntas sobre uso lingüístico y lengua escogida para la edición. Sin embargo, el foco del estudio era, como se ha dicho, la percepción de la Wikipedia, y por este motivo, esta será la cuestión sobre la que nos centraremos en el presente artículo.

La pregunta principal de investigación que planteamos resolver fue la siguiente: ¿Influenciará la participación de los estudiantes en el proceso de edición y creación de artículos de la Wikipedia sobre su percepción de la misma en términos de fiabilidad, veracidad y valor social tanto en el contexto académico como en el contexto general?

2.1. Diseño de la actividad

El estudio sobre la percepción de valor de la Wikipedia forma parte de un proyecto pedagógico más amplio, dentro del cual los investigadores implementaron la práctica de creación de contenido para dicha plataforma. El objetivo de la actividad consistía en que los estudiantes se familiarizaran con el proceso de escribir para la Wikipedia y, a través de ello, con el proceso de escritura colaborativa, con la revisión por pares, con principios de buenas prácticas académicas y, finalmente, que contribuyeran a una plataforma de acceso abierto. Escribiendo artículos para la Wikipedia en lugar de los trabajos académicos a los que están acostumbrados, esperábamos que los estudiantes se sintieran motivados con una experiencia y reto nuevos, a la vez que hacían una contribución con su trabajo a un proyecto que usan extensamente.

Un objetivo secundario consistía en ampliar la cobertura de Wikipedia en las áreas de conocimiento que cubren nuestras asignaturas y materias. Así, si bien se dio a los estudiantes un alto grado de libertad para escoger temas de su interés, si lo elegían dentro de las temáticas del curso su trabajo cobraba inmediatamente valor para futuros estudiantes de sus mismas asignaturas. Esta experiencia académica se diseñó con la inestimable ayuda de los voluntarios de Amical Wikimedia, los cuales tienen una extensa y valiosa experiencia en el diseño de talleres y actividades donde los participantes editan y crean artículos.

Era importante que la experiencia para los estudiantes fuera suficientemente guiada y pautada, así como que los cuestionarios se respondieran en el momento adecuado. De este modo, los estudiantes respondieron el Q1 antes de establecer el primer contacto con el proceso de edición de Wikipedia, mientras que el Q2 se contestó una vez finalizado y publicado el artículo que redactaron. Entre ambos cuestionarios, se les ofreció una introducción general al proceso de creación y edición de artículos, y se les guió durante el proceso con la ayuda de los voluntarios de la Wikipedia, tanto directamente, de forma presencial en el aula, como a través del sistema de revisión por pares de la plataforma.

Siguiendo estas pautas, pudimos cerciorarnos de que las preguntas en el Q2 se contestaran una vez finalizado todo el proceso hasta la publicación final del artículo, incluyendo la fase de investigación, la edición, y el trabajo con las convenciones específicas de la plataforma y su proceso de curación de contenidos, tanto a través de robots como de voluntarios.

2.2. Los cuestionarios

El Q1 contenía cuatro secciones. Se diseñó para obtener una idea general de los usos y conocimiento previo de los estudiantes sobre la Wikipedia; contenía una serie de preguntas que se repetirían en el Q2 y que sirvieron para investigar los cambios entre el antes y el después de la experiencia de editar en la Wikipedia. Como se ha dicho, esta era la parte central del estudio, y aquella en que nos centraremos en este artículo.

La primera y mayor sección del Q1 preguntaba sobre el uso habitual de la Wikipedia, con cuestiones relacionadas con situaciones y patrones de uso. Se utilizaron escalas de Likert, bien de base temporal (siempre, a menudo, ocasionalmente, raramente, nunca) o la más común en base al acuerdo o desacuerdo con una afirmación dada (muy de acuerdo, de acuerdo, no puedo decidir, en desacuerdo, muy en desacuerdo). La sección contenía 16 preguntas en forma de escala de Likert y una pregunta abierta.

Las secciones segunda y tercera preguntaban sobre el proceso de edición en Wikipedia (interés esperado y desafío) y valor de la Wikipedia respectivamente. Estas secciones contenían las preguntas siguientes, que se repetían en el Q2:

• Editar artículos de la Wikipedia es una tarea interesante.

• Editar artículos de la Wikipedia es una tarea difícil.

• La Wikipedia es una fuente fiable [para su uso] en el contexto universitario.

• La Wikipedia es una fuente de información útil.

• Es posible encontrar información falsa en la Wikipedia.

• ¿Crees que la consideración de la Wikipedia es correcta en el contexto de los estudios universitarios?

• ¿Crees que la consideración de la Wikipedia es correcta en general?

Mientras las primeras cinco preguntas se respondieron con la escala de Likert en base al acuerdo/desacuerdo, creamos una escala ad-hoc para las últimas dos preguntas, con lo que los estudiantes podían escoger una de las respuestas siguientes: Está muy infravalorada / está un poco infravalorada / su consideración es correcta / está un poco sobrevalorada / está muy sobrevalorada.

El Q2 era más corto, y repetía las preguntas mencionadas con el añadido de una pregunta abierta al final de la sección. Antes de acabar con un apartado final sobre idiomas, la sección cuarta, preguntaba brevemente a los estudiantes sobre el proceso de elaboración de los artículos y si anticipaban que seguirían en el futuro editando o no.

====3. Resultados====

240 estudiantes participaron en el proyecto. Se requirió a cada uno de ellos bien editar significativamente o bien crear desde cero un artículo de Wikipedia relacionado con su asignatura, tarea que formaría parte de la actividad evaluable del curso. Así mismo, se les pidió contestar dos cuestionarios, uno antes y otro después de dicha actividad.


[[Image:Draft_Content_984096541-62676_ov-es019.jpg|center|px|]]

El 67,5% de los participantes eran estudiantes en UN (N=1 62) y 32,5% lo eran en la UPF (N=78). El 67,9% de ellos eran mujeres (N=163), 30,8% hombres (N= 74) y 1,2% (N=3) prefirieron no contestar la pregunta sobre género. Un 75,4% de los participantes eran estudiantes de primer año (N= 181), 10,8% eran de tercer año (N=26) y 13,7% de cuarto año (N=33).

3.1. Datos cuantitativos: análisis estadístico y estadística descriptiva

Para poder comparar las respuestas en el Q1 y el Q2, se realizaron una serie de pruebas t pareadas en aquellas preguntas repetidas en ambos cuestionarios. Lo que sigue es una lista de estas preguntas y los resultados para cada test, así como un análisis descriptivo de los porcentajes en las respuestas (ver detalles en la Tabla 1). Las medias se han calculado asignando el valor 0 a ‘Muy en desacuerdo’ y el valor 4 a ‘Muy de acuerdo’ en las primeras, y valor 0 a ‘Está muy sobrevalorada’ así como valor 4 a ‘Está muy infravalorada’ en las dos últimas (ver sección previa para detalles en las escalas de Likert que configuraban las respuestas). El nivel de significancia se estableció en 0,05 para todos los casos.

a) Editar artículos de la Wikipedia es una tarea interesante. Hay diferencias significativas entre los resultados del Q1 (M=2,4, SD=0,71) y del Q2 (M=2,8, SD=0,69); t(4)=–5,176, p <,001. No es sorprendente que en el Q1 haya un número importante de estudiantes que escogieron la respuesta neutral (45,4%). Muchos otros (43,3%) seleccionaron ‘De acuerdo’ con esta afirmación, dejando el resto de opciones en valores muy bajos. En el Q2, un número muy elevado de estudiantes afirmaron estar de acuerdo con la afirmación, lo que supuso un incremento de casi un 5% en la opción ‘Muy de acuerdo’, y que conlleva un 78,9% de respuestas afirmativas, dejando el espectro negativo en aún menores porcentajes (5,6% ‘En desacuerdo’ y 0,6% ‘Muy en desacuerdo’), mientras que un 14,9% se mantuvo en la neutralidad del ‘No puedo decidir’.

b) Editar artículos de la Wikipedia es una tarea difícil. Hay diferencias significativas entre los resultados del Q1 (M=2,7, SD=0,78) y del Q2 (M=3,1, SD=0,74); t(4)=–4,53, p<,001. Esta pregunta presenta unos cambios de porcentajes prácticamente idénticos a los de la pregunta anterior, aunque con valores mucho menores. La combinación de las dos respuestas positivas subió de 66,6% a 84,6% (con casi un cuarto de los estudiantes en el ‘Muy de acuerdo’), mientras que las negativas se mantuvieron en el 4,6%, bajando hasta el cero en la opción del ‘Muy en desacuerdo’.

c) La Wikipedia es una fuente fiable [para su uso] en el contexto universitario. Hay diferencias significativas entre los resultados del Q1 (M=1,9, SD=0,99) y del Q2 (M=2,6, SD=0,91); t(4)=–6,591, p <,001. Esta pregunta presenta los cambios más notorios entre el Q1 y el Q1. Mientras el ‘No puedo decidir’ sigue obteniendo un número alto de respuestas en el Q2 (20%, bajando de 28,8%), hay un aumento de 31,2% en el espectro positivo, con ‘De acuerdo’ creciendo de 29,2% a 56%, y una disminución del 22,5% en las respuestas negativas. Así pues, mientras las dos primeras preguntas muestran una tendencia que va de lo neutral a lo positivo, en esta se produce un cambio mucho mayor pasando de respuestas negativas a positivas.

d) La Wikipedia es una fuente de información útil. Hay diferencias significativas entre los resultados del Q1 (M=3,0, SD=0,70) y del Q2 (M=3,1, SD=0,59); t(4)=–2,622, p=,010. Los cambios en las respuestas a esta pregunta son más mitigados que en las anteriores. Todas las respuestas positivas crecieron, pero solamente un total de 7,6%, ya que se partía de valores muy altos en la Q1 (85%). Las respuestas negativas pasaron del 3,7% al 1,7%, con 0% respuestas en ‘Muy en desacuerdo’. Así pues, la percepción de utilidad, que ya era alta, se incrementó, según muestra el Q2.

e) Es posible encontrar información falsa en Wikipedia. Hay diferencias significativas entre los resultados del Q1 (M=3,0, SD=0,77) y del Q2 (M=2,6, SD=0,99); t(4)=3,953, p<,001. Al contrario que en el resto de cuestiones, aquí la hipótesis alternativa era que el cambio sería en desacuerdo con la afirmación. Y si bien el cambio resultó ser estadísticamente relevante, los porcentajes cambiaron en números relativamente pequeños. El acuerdo con la afirmación era inicialmente muy alto, con 21,7% ‘Muy de acuerdo’ y 58,8% ‘Acuerdo’. En el Q2 esos números bajaron un 7,4% y un 5,7% respectivamente. Es interesante notar que este es el único caso en el que el porcentaje de respuestas a ‘No puedo decidir’ aumentó después de la edición de artículos (de 13,7% en el Q1 a 18,3% en el Q2). La combinación de respuestas negativas subió del 5,8% al 14,3%.

f) ¿Crees que la consideración de la Wikipedia es correcta en el contexto de los estudios universitarios? No hay diferencias significativas entre los resultados del Q1 (M=2,3, SD=0,84) y del Q2 (M=2,4, SD=0,83); t(4)=–1,061, p=,290. Como se puede esperar al no poder descartar la hipótesis nula de la prueba T, los valores en las respuestas a esta pregunta cambiaron relativamente poco, aunque sí lo hicieron en la dirección esperada. La mayoría de respuestas indicaron que la Wikipedia tenía una consideración correcta en el contexto universitario (37,9%), mientras que un número aún mayor consideraba que está un poco infravalorada (41,7%) y un 5% afirmó que está muy infravalorada. Estos valores cambiaron un 8% en el último caso con un levísimo aumento de un 0,8% en el primero, mientras que la opción neutral perdió un 3%. La respuesta indicando que está un poco sobrevalorada fue virtualmente la misma, mientras que la opción indicando que está muy sobrevalorada perdió todo el soporte, a pesar de que contaba con un ínfimo 1,2% en el Q1.

g) ¿Crees que la consideración de la Wikipedia es correcta en general? No hay diferencias significativas entre los resultados del Q1 (M=2,3, SD=0,79) y del Q2 (M=2,5, SD=0,77); t(4)=–1,896, p=,060. Como en el caso anterior, los cambios fueron demasiado pequeños para ser estadísticamente relevantes, a pesar de que, como se puede anticipar por el valor P, fueron algo mayores. De nuevo, los estudiantes que consideraron que está infravalorada –la mayoría en este caso– aumentaron, pasando del 42,6% al 49,7%, mientras que 44,2% en el Q1 y 41,7% en el Q2 contestaron que la reputación de la Wikipedia es correcta. Los estudiantes que indicaron que está sobrevalorada bajaron del 13,3% al 8,6%.

En resumen, solo en las primeras cinco preguntas se observa un cambio estadísticamente significativo entre el Q1 y el Q2, mientras las respuestas a las dos preguntas sobre la consideración de Wikipedia no fueron suficientemente distintas como para rechazar la hipótesis nula, y por consiguiente no podemos concluir que la opinión de los estudiantes respecto este aspecto cambiara después de la práctica de edición de artículos. En cambio, nuestra hipótesis sí se confirmó en el resto de casos, hubo un aumento estadísticamente significativo en la percepción de valor de la Wikipedia en los estudiantes respecto a utilidad, fiabilidad y confianza en no encontrar información falsa en ella. Asimismo, los estudiantes consideraron tanto más interesante como más difícil editar artículos en el Q2 que en el Q1.

3.2. Preguntas abiertas y comentarios de los estudiantes

Un segundo punto de interés se dio por medio de los comentarios que tanto de manera informal como mediante las preguntas abiertas ofrecieron los estudiantes sobre el desarrollo del curso. La pregunta abierta más importante en el Q2 remetía específica y directamente al foco del estudio y preguntaba a los participantes: «¿Cómo ha modificado la edición de un artículo en la Wikipedia la opinión que tenías de ella?».

Las respuestas a esta pregunta fueron abrumadoramente positivas, en el sentido de que elogiaron la solidez del proyecto destacando la calidad de la información que alberga y, por tanto, afirmaron que, gracias a la experiencia, la consideraban una plataforma mucho más fiable. Estos son algunos ejemplos de las respuestas que dieron:

• «Ahora creo que no hay información falsa en la Wikipedia».

• «Ahora sé que no es posible inventar nada. Cada palabra se comprueba varias veces y es así en cada artículo».

• « Empecé a valorar la información encontrada en la Wikipedia más de lo que solía antes de editar en ella».

• «La necesidad de hacer referencia a todo hizo darme cuenta de que es más fiable de lo que pensaba».

• «He visto que es más fiable de lo que dicen».

• «Cambió mi percepción debido a los voluntarios que supervisan cada artículo, lo que hace que la Wikipedia sea más fiable».

• «Ahora estoy seguro de que la información encontrada en la Wikipedia es fiable porque hay un montón de voluntarios que corrigen lo que escribes, y son muy estrictos sobre las referencias de información».

• «Me di cuenta de lo rigurosa que es la supervisión».

• «Ha cambiado mucho. Creo que estaba subestimando la Wikipedia».

Un número mucho menor de comentarios fue en la dirección exactamente opuesta. A grandes trazos, se centraron en la facilidad con que se puede intervenir y sobre cómo abordar los sesgos de los autores:

• «Me di cuenta de que cualquiera puede editar un artículo en la Wikipedia y aprendí lo fácil que es agregar nueva información que puede ser referenciada pero no necesariamente verdadera».

• «Me di cuenta de que todo el mundo puede escribir lo que quiera».

• «Ver lo fácil que es que cualquiera pueda editarla me hace perder un poco la confianza que tenía en la página».

• «Ahora soy consciente de que detrás de un artículo está la persona que lo escribió, con su propia opinión, que influye en la información».

Por último, muchos estudiantes utilizaron su respuesta a esta pregunta para abordar el proceso de escritura y valorar cómo cambió no ya su percepción de cuán confiable o sólido es el proyecto, sino cuán difícil es (o en algunos casos, fácil) escribir un artículo y publicarlo en la Wikipedia, sin hacer juicios generales sobre la fiabilidad:

• «Pensé que era un trabajo fácil, pero supongo que estaba equivocado.

• «Después de que mi texto fue corregido me di cuenta de que cambiar los artículos de Wikipedia no era fácil. Solo las personas que están bien informadas sobre ciertos temas pueden cambiar los artículos.

• «Ahora pienso que la edición de un artículo de la Wikipedia es más difícil de lo que pensaba antes. Es como escribir un pequeño artículo científico para la Universidad. Tienes que tener cuidado con las referencias y muchos otros pequeños detalles; debes comprobar muchos hechos y respetar muchas reglas de escritura que son similares a la escritura de un trabajo científico para la Universidad. Para resumir, es una tarea muy difícil que necesita plena concentración y atención.

• «Es más difícil de lo que pensaba».

• «Es un trabajo pesado; por tanto, gran aplauso para las personas que trabajan en él».

• «Me hizo darme cuenta de lo fácil que es contribuir».

• «Es fácil de editar y muy útil para otras personas».

Informalmente, siguiendo en clase el progreso de los estudiantes y hablando con ellos, pudimos recopilar algunas ideas interesantes sobre cómo estaba cambiando su percepción. En la Universidad de Niš, algunos estudiantes ingresaron información falsa para ver lo que sucedía, y estuvieron muy (positivamente) sorprendidos al descubrir que la información fue cambiada en cuestión de horas. En general, los estudiantes se sorprendieron por la eficiencia de los voluntarios que supervisan el proceso. Mayoritariamente, esta experiencia con el proceso de revisión por pares fue positiva, aunque en algunos casos los estudiantes se sintieron frustrados porque tuvieron que eliminar el contenido y consideraron que algunos voluntarios en particular eran demasiado celosos.

Otro aspecto que vivieron como positivo fue comprobar que su trabajo se hacía público de inmediato, y que se sentían partícipes al hacer una contribución en su campo de interés, haciéndose así muy conscientes del esfuerzo colaborativo sobre el que se sustenta la Wikipedia y de la importancia de la cultura abierta que hay detrás de ella. Para alguno de ellos, resultó particularmente interesante interactuar con la persona sobre la que estaban escribiendo. Cuando era pertinente, animamos a los estudiantes a ponerse en contacto con ellos, o con alguien que los hubiese estudiado. Más allá de la ayuda general en la búsqueda de referencias y las respuestas positivas que recibieron los estudiantes, hubo algunas situaciones especialmente interesantes, como una persona que asistió a la presentación del artículo que habían redactado sobre él en la Wikipedia, o el caso de un grupo de estudiantes entrando en contacto con la hija de Edgar Rubin, que les envió una foto inédita de él –que actualmente se encuentra en el proceso de adquirir derechos de acceso público y, por tanto, de ser publicable en la Wikipedia–.

En cualquier caso, como se puede apreciar tanto en las respuestas a las preguntas abiertas como por lo que recogimos a través de los comentarios y observaciones informales, hubo un consenso general de que en realidad la Wikipedia era un entorno muy estricto en el que no era fácil publicar y que este proceso garantizaba un alto grado de fiabilidad en la información publicada y, en consecuencia, mejoró la percepción sobre el valor de la plataforma.

====4. Discusión y conclusiones====

Basándonos en los resultados de las encuestas, es posible afirmar que la edición y creación de artículos en la Wikipedia tuvo en términos generales una influencia significativa en la percepción sobre la Wikipedia por parte de los estudiantes, en términos de fiabilidad, exactitud y robustez sobre el proceso de publicación de información en la plataforma, y también concluimos que encontraron que el proceso resultó interesante y desafiante. Sin embargo, no podemos afirmar con nuestros datos que su percepción sobre la valoración social de la Wikipedia hubiese cambiado, tanto en general como en el contexto de la Universidad.

Los estudiantes ya habían anticipado que la edición de artículos en la Wikipedia resultaría interesante y desafiante, y estas percepciones aumentaron después de la experiencia, con unos resultados significativamente mayores en las respuestas que pasan de lo indeciso a lo positivo. Además, como se ha señalado anteriormente, muchos de los comentarios a la pregunta abierta se refirieron a este aspecto, afirmando que había sido difícil publicar su información en la plataforma.

La apreciación de solidez del proyecto Wikipedia aparece vinculada a la revisión por pares, como muestra la pregunta abierta, y mejora su confianza en el proyecto. Este aspecto queda confirmado con las respuestas a la tercera pregunta, que se refiere a la posibilidad de encontrar información falsa en la Wikipedia. También ganaron cierta confianza respecto a la utilidad del proyecto, aunque desde ese punto de vista su valoración inicial era ya muy alta. Por lo tanto, se confirmó la hipótesis subyacente a nuestra pregunta de investigación, que afirmaba que los estudiantes considerarían Wikipedia un proyecto más fiable después de participar en la creación de contenido.

La experiencia en general fue muy positiva. La integración de la Wikipedia en el aula tuvo éxito tanto sobre la percepción que tenían los estudiantes sobre la enciclopedia en línea como por su valor como ejercicio pedagógico. Hay algunos retos que deben tenerse en cuenta antes de utilizar este tipo de ejercicio como parte de una evaluación formal: principalmente, la imprevisibilidad del proceso de revisión por pares realizada mediante la intervención de los voluntarios, que puede variar mucho de un artículo a otro. Sin embargo, como señala Di-Lauro y Johinke (2017), aunque ciertamente carece del rigor propio de la revisión de la publicación académica, se trata de un proceso muy completo y bien documentado. Además, la participación en la comunidad es beneficiosa para los estudiantes. En cualquier caso, en términos generales, y como la encuesta y las observaciones informales confirmaron, las ventajas de la misma superaron las dificultades. Así mismo, tuvimos éxito en mejorar la cobertura de la Wikipedia en nuestras propias áreas de enseñanza, implicando así a nuestras instituciones de educación superior en el proceso de edición de contenido en un recurso que se ha vuelto cada vez más importante en nuestro contexto. En la línea de las sugerencias propuestas por Jemielniak y Aibar (2016), supone una contribución a la difusión del trabajo que se está realizando en las instituciones de educación superior, transfiriendo de este modo el conocimiento a la sociedad en general. Por último, estrictamente en términos del estudio sobre la percepción de la Wikipedia, nos proponemos mejorar nuestro método añadiendo algunas preguntas más que permitan abordar temas específicos relacionados con la confianza, la percepción de fiabilidad y el uso, y realizando la experiencia con un número mucho mayor de estudiantes a nivel internacional.

Apoyos

Este trabajo forma parte del proyecto «Creación y contenido interactivo en la comunicación de información audiovisual: audiencias, diseño, sistemas y formatos» (CSO2015-64955-C4-2-R), del Ministerio de Economía y Competitividad (España) con fondos FEDER, y del proyecto «Creación y ampliación de artículos en la Wikipedia como herramienta docente y de evaluación» (68-Plaquid, 2015-2016), de la Universitat Pompeu Fabra (España). Amical Wikimedia colaboró tanto en el diseño como en la implementación de la práctica pedagógica y del estudio posterior. La comunidad de voluntarios de la Wikipedia ayudó y orientó a los estudiantes durante el proceso de edición de artículos.

====Referencias====

Aibar, E., Lladós-Masllorens, J., Meseguer-Artola, A., Minguillón, J., & Lerga, M. (2015). Wikipedia at university: What faculty think and do about it. The Electronic Library, 33(4), 668-683. https://doi.org/10.1108/EL-12-2013-0217

Brailas, A., Koskinas, K., Dafermos, M., & Alexias, G. (2015). Wikipedia in Education: Acculturation and learning in virtual communities. Learning, Culture and Social Interaction, 7, 59-70. https://doi.org/10.1016/j.lcsi.2015.07.002

Dawe, L., & Robinson, A. (2017). Wikipedia editing and information literacy: A case study. Information and Learning Science, 118(1/2), 5-16. https://doi.org/10.1108/ILS-09-2016-0067

Di-Lauro, F., & Johinke, R. (2017). Employing Wikipedia for good not evil: innovative approaches to collaborative writing assessment. Assessment & Evaluation in Higher Education, 42(3), 478-491. https://doi.org/10.1080/02602938.2015.1127322

Eom, Y.H., Aragón, P., Laniado, D., Andreas, K., Vigna, S., & Shepelyansky, D.L. (2015). Interactions of Cultures and Top People of Wikipedia from Ranking of 24 Language Editions. PLoS ONE, 10(3). https://doi.org/10.1371/journal.pone.0114825

Freire, T., & Li, J. (2016). Using Wikipedia to enhance student learning: A case study in economics. Education and Information Technologies, 21(5), 1169-1181. http://doi.org/10.1007/s10639-014-9374-0

Freixa, P., & Sora, C. (2008). Proyecto Universo de la Comunicación Audiovisual: una representación visual, transversal y participativa en la Red. I Jornadas de Innovación Docente aplicada a las Tecnologías de la Información y las Comunicaciones (ID+TIC 2008). Universidad de Alcalá de Henares (2008-07-17/18). (https://goo.gl/7Qq9Vt).

Freixa-i-Font, P., Sora, C., Soler-Adillon, J., & Ribas, J.I. (2013). Concepción, diseño y evaluación del tutorial interactivo: Cómo elaborar un trabajo académico. Un estudio de caso. Hipertext.net, 11. (https://goo.gl/MMxDoi).

Garcia-Peñalvo, F.J., García-de-Figuerola, C., & Merlo, J.A. (2010). Open knowledge: Challenges and facts. Online Information Review, 34(4), 520-539. https://doi.org/10.1108/14684521011072963

Hafner, C.A., Chik, A., & Jones, R.H. (2015). Digital literacies and language learning. Language Learning and Technology, 19(3), 1-7. (https://goo.gl/C6rCcG).

Huang, J., Shi, S., Chen, Y., & Chow, W.S. (2016). How do students trust Wikipedia? An examination across genders. Information Technology & People, 29(4), 750-773. https://doi.org/10.1108/ITP-12-2014-0267

Jemielniak, D., & Aibar, E. (2016). Bridging the gap between Wikipedia and Academia. Journal of the Association for Information Science and Technology, 67(7), 1773-1776. https://doi.org/10.1002/asi.23691

Kayvan, K., & Thelwall, M. (2017). Are Wikipedia citations important evidence of the impact of scholarly articles and books? Journal of the Association for Information Science and Technology, 68(3), 762-779. https://doi.org/10.1002/asi.23694

Konieczny, P. (2014). Rethinking Wikipedia for the classroom. American Sociological Association, 13, 80-84. https://doi.org/10.1177/1536504214522017

Konieczny, P. (2016). Teaching with Wikipedia in a 21st-century classroom: Perceptions of Wikipedia and Its educational benefits. Journal of the Association for Information Science and Technology, 67(7), 1523-1534. https://doi.org/10.1002/asi.23616

Lerga, M., & Aibar, E. (2015). Best Practice Guide to Use Wikipedia in University Education. (http://hdl.handle.net/10609/41662).

Lladós, J., Aibar, E., Lerga, M., Meseguer, A., & Minguillon, J. (2013). An empirical study on faculty perceptions and teaching practices of wikipedia. Proceedings of the European Conference on E-Learning, ECEL, 258-265. (https://goo.gl/Rdweyy).

Luyt, B. (2016). Wikipedia, Collective Memory, and the Vietnam War. Journal of the Association for Information Science and Technology, 67(8), 1956-1961. https://doi.org/10.1002/asi.23518

Massa, P., & Scrinzi, F. (2013). Manypedia: Comparing language points of view of Wikipedia communities. First Monday, 18(1). https://doi.org/10.5210/fm.v18i1.3939

McKerlich, R., Ives, C., & McGreal, R. (2013). Measuring use and creation of open educational resources in higher education. International Review of Research in Open and Distance Learning, 14(4), 90-103. http://doi.org/10.19173/irrodl.v14i4.1573

Menchen-Trevino, E., & Hargittai, E. (2011). Young adults’ credibility assessment of Wikipedia. Information, Communication & Society, 14(1), 24-51. https://doi.org/10.1080/13691181003695173

Meseguer-Artola, A. (2014). Learning by comparing with Wikipedia: the value to students’ learning. Universities and Knowledge Society Journal, 11(2), 57. https://doi.org/10.7238/rusc.v11i2.2042

Meseguer-Artola, A., Aibar, E., Llado´s, J., Minguillo´n, J., & Lerga, M. (2016). Factors That Influence the Teaching Use of Wikipedia in Higher Education. Journal of the Association for Information Science and Technology, 67(5), 1224-1232. https://doi.org/10.1002/asi.23488

Nov, O. (2007). What motivates Wikipedians? Communications of the ACM, 50(11), 60-64. https://doi.org/10.1145/1297797.1297798

Pavlovic, D., Stanisavljevic-Petrovic, Z., & Soler-Adillon, J. (2016). Traditional and (or) new media: Teacher’s work experience and application of media in schools. In Proceedings of the 12th International Scientific Conference eLearning and Software for Education. Budapest. (https://doi.org/10.12753/2066-026X-16-112).

Ramírez-Montoya, M.S., & García-Peñalvo, F.J. (2016). Movimiento educativo abierto. VIRTUalis, 6(12), 1-13. (https://goo.gl/BVXGXF)

Ricaurte-Quijano, P., & Álvarez, A.C. (2016). The Wiki Learning Project: Wikipedia as an open learning environment. Comunicar, 49(24), 61-69. https://doi.org/10.3916/C49-2016-06

Selwyn, N., & Gorard, S. (2016). Students’ use of Wikipedia as an academic resource - Patterns of use and perceptions of usefulness. The Internet and Higher Education, 28, 28-34. https://doi.org/10.1016/j.iheduc.2015.08.004

Shachaf, P. (2009). The paradox of expertise: Is the Wikipedia reference desk as good as your library? Journal of Documentation, 65(5), 977-996. https://doi.org/10.1108/00220410910998951

Shane-Simpson, C., Che, E., & Brooks, P.J. (2016). Giving psychology away: Implementation of Wikipedia editing in an introductory human development course. Psychology Learning & Teaching, 15(3), 268-293. https://doi.org/10.1177/1475725716653081

Soler-Adillon, J., Sora, C., Freixa, P., & Ribas, J.I. (2016). El perfil del profesional de la comunicación interactiva: fundamentos, actualidad y perspectivas. El Profesional de La Información, 25(2), 196-208. https://doi.org/10.3145/epi.2016.mar.06

Soules, A. (2015). Faculty perception of Wikipedia in the California State University System. New Library World, 116(3/4), 213-226. https://doi.org/10.1108/NLW-08-2014-0096

Stanisavljevic-Petrovic, Z., Pavlovic, D., & Soler-Adillon, J. (2016). ICT In early education: Reasons for insufficient application. Proceedings of the 12th International Scientific Conference eLearning and Software for Education. Bucharest, 227-232. https://doi.org/10.12753/2066-026X-16-119

Walker, M.A., & Li, Y. (2016). Improving information literacy skills through learning to use and edit Wikipedia: A chemistry perspective. Journal of Chemical Education, 93(3), 509-515. https://doi.org/10.1021/acs.jchemed.5b00525

Wikimedia. (2016). Wikimedia education portal. (https://goo.gl/xsDQXX).