Challenges in the Creation, Development and Implementation of MOOCs: Web Science Course at the University of Southampton

Pulsa aquí para ver la versión en Español (ES)

Abstract

Massive is one of the distinctive features of MOOCs which differentiate them from other e-learning experiences. This massiveness entails certain possibilities, but also some challenges that must be taken into consideration when designing and implementing a Massive Open Online Course, in relation to context, work progress, learning activities, assessment, and feedback. This document presents an analysis of the advantages and disadvantages of the massive aspect of MOOCs, and specifically it narrates the experience of creating a MOOC on Web Science, developed at the University of Southampton (United Kingdom) using the new FutureLearn platform, in autumn 2013. In this document, the importance of Web Science as an emerging field is analyzed and its origins explored. The experience gained from the decisions and the work progress developed for the creation and implementation of a specific MOOC is also shared here. The final section of the paper analyses some data from the MOOC in Web Science, including the participation index, the comments and interactions of some participants, tools used, and the organization of facilitation. Challenges involved in running a MOOC related to course design, platform use and course facilitation are also discussed.

Download the PDF version

1. Introduction

Massive Open Online Courses (MOOCs) are so far generating more questions than answers in academia. Such questions are often focused on whether they will be viable in the future, why they generate so much interest, and whether they will transform the future of online education. One of the main reasons so many questions have been asked may be found in the fact that such a phenomenon originated as recently as in 2008, when Siemens and Downes conferred a «massive» feature to open online courses. Three years later, Thrun and Norvig developed an Artificial Intelligence MOOC in which more than 160,000 learners signed up, intensifying scrutiny of the phenomenon and its implications.

Martínez-Abad & al. (2014) analysed the impact of the MOOC acronym, in comparison with the word e-Learning, and found that scientific interest in MOOCs is currently central, with a significantly rising rate of publications. Most of them, however, are more informative than scientific, probably because such a phenomenon is still recent.

Similar conclusions have been drawn from a previous analysis by the British DBIS (2013), in which a steep increase growing curve has been noticed in the rate of publications on the topic, as well as a growing presence of debates on this matter both in the press and social media.

Projects such as OpenupEd and ECO (http://ecolearning.eu), both fostered by the European Commission, reveal the growing interest that European universities are currently placing in promoting online free education (Scopeo, 2013).

Such a trend has also been noticed by Yuan and Powell (2013), who claim the phenomenon is extending worldwide. This article attempts to share the experience of the development process of the first University of Southampton MOOC (UK). The course is entitled «Web Science, How the Web is Changing the World» and it was developed and delivered through a MOOC platform called FutureLearn.

1.1. The challenges of «Massive» in MOOCs

The «massive» nature of MOOCs is perhaps their most distinctive features when compared to other online learning experiences. As Siemens indicates (2012), this «massive» feature became widely discussed when he and Robert Downes delivered a course in which more than 2300 learners subscribed.

Such a high number of learners in a course can contribute to a more effective learning process in several ways:

• Interaction with other learners. This is one of the traditional features of online learning that MOOCs can enhance significantly. A wider network of learners increases the chances of the creation of enriching connections with others worldwide. As the Scopeo June report suggests (2013), MOOCs afford connections with like-minded individuals with similar interests and professional profiles. New groups can be created from these connections, which can generate new ideas for new projects.

• Enhancing the visibility of an institution. One of the main motivations for universities worldwide in designing and implementing MOOCs is that these can become a powerful marketing tool for potential student recruitment.

• Rethinking the curriculum. As Yuan & Powell indicate (2013), MOOC’ popularity could lead HEIs to rethink the elaboration process of the curriculum toward more open and flexible educational models, due to the new «massive» element of these courses.

It is worth noticing that there are certain risks involved for institutions when attempting the creation of such courses, especially if they do not satisfy the innovation and quality requirements set by such institutions.

• The invasion of «package content» The DBIS report on MOOCs (2013) identifies criticism indicating that the spread of MOOCs involves the risk of reproducing online educational models based on «package content» which were common in the 1990s. That is, the emphasis was diverted towards digital resources and their contents, rather than on the educational model and its improvement. Extensive efforts have since been made for more flexible online education that focuses on the process rather than on the product in an attempt to move to a more learner-centric approach. This is why content-centric MOOCs such as xMOOC could set back the progress made in pedagogies underpinning online teaching and learning.

• Assessment difficulties. Because of the high numbers of learners involved, the preference for quiz-like assessments could become a growing trend. Peer assessment as a more flexible option has been practiced for years in contexts such as connectivist MOOCs. However, flaws in this strategy have also been suggested because, as O’Toole indicates, learners are usually provided with templates for grading their peers. Therefore, what is called «peer assessment» should often more accurately be called «peer-grading». A more process-focused assessment is still a major challenge when dealing with such high numbers of students.

• Facilitation challenges. Managing the facilitation of an online course with thousands of learners is far from simple. Personalised feedback becomes complicated when there is a high diversity in tools and approaches used in such populous learning communities (Prendes & Sánchez, 2014).

As discussed above, massive registration is a MOOC feature, but it is not the only one. Low retention rates are also characteristic. Clow (2013) uses the analogy of «the funnel of participation» to explain the process of loss of students from registration to graduation, the latter having rates of between 5 and 15% (Jordan, 2013; UTHSC, 2013; Daradounis & al., 2013).

1.2. A Web Science MOOC

«Web Science» is a growing field of study in the UK. The University of Southampton offers a Bachelors Degree, a Masters of Science, and a doctoral programme in this area. In November 2013, the «Institute of Web Science» was launched with the aim of fostering interdisciplinary research in this area. Its curriculum focuses on the impact of the Web in all areas of society, and it approaches disciplines such as sociology, economy, law, and computer science in an attempt to understand the Web and how it is changing the world. The University of Southampton Web Science Web site (www.southampton.ac.uk/Webscience) presents the subject as a new discipline that has the objective of promoting understanding of what the Web implies as a sociotechnical phenomenon. Tim Berners-Lee, considered the inventor of the World Wide Web, contributed to the establishment of this discipline and its foundations, recommending the identification of needs and changes that the Web is producing in society. The Web, he asserts, should be studied as a social, communicative, and even philosophical phenomenon (Berners-Lee & al., 2006). In this context, the department of Electronics and Computer Science (ECS) of the University of Southampton, together with the above-mentioned Web Science Institute, and the Centre for Innovation and Technologies in Education (CITE), launched a Web Science MOOC that went live on the 18th September 2013 (Davis & al. 2014). It is not a coincidence that the first MOOC produced by this institution is on Web Science, given the prevalence that this field of study is gaining in the institutional agenda of this university (www.southampton.ac.uk/wsi).

Regarding its syllabus and content, the Web Science MOOC is organised over 6 weeks, as shown in table 1.

1.3. Web Science MOOC in FutureLearn

Futurelearn is a private initiative from the Open University in the UK. It operates in a consortium of about 30 institutions, most of them British universities pertaining to the so-called Russell Group. It is a demanding platform in terms of the quality of the materials that it hosts, both pedagogically and technically.

Regarding its pedagogic features, the platform has been inspired on Laurillard’s Conversational Framework (2002), a constructivist model that divides the learning process in four stages (discursive, interactive, adaptive, and reflexive). In each of them, the application of learning technologies can play a fundamental role. Although this is attained to a great extent in Futurelearn MOOCs, their structure still contains certain behaviourist elements related to xMOOC, such as the content sequencing and the quiz-like assessments.

Perhaps the main difference in respect to other platforms is the forum distribution. There is a different discussion forum for each of the course steps, be it a video, an article, or an activity. This way, the discussion threads are not created by the user, but by the educators in the platform.

In order to promote interaction between users, the platform has enabled a system by which they can follow each other, reply comments, vote them (only with positive votes), and rank them in terms of number of votes.

Regarding its assessment system, the platform has recently incorporated a peer review tool, adding it to the existing quizzes.

Another distinctive feature is its user interface, oriented towards a simple and intuitive navigation in order to arrive to a wider target audience. The interface allows the user be aware at all times about their progress by indicating the week in which learners are supposed to be, the week where they actually are, the steps they have completed, and the steps they still have to complete.

For the Web Science course, users were encouraged to use other social media such as Twitter and Google +, although not as the main means of interaction, but as a complement.

2. Method and materials

This article was written by the end of the second edition of the first MOOC at the University of Southampton. It was a six weeks course with a new platform (Futurelearn), and in a relatively new field of study (Web science). Due to this novelty, in many aspects, the education team was unable to predict the course outcomes. The intention here is sharing the experience when dealing with the unknown, present the results obtained so far, and explain how the course was created. Rather than understanding MOOCs as a general phenomenon, it is intended to present what has been classified as an intrinsic case study (Stake, 1994; Buendía & al., 1998).

From its creation to its deployment, the academic and educational team in charge of this project development has divided the work in the following stages:

• Content creation and development. More than 25 staff members of the University were involved in this process, from the dean of the faculty, Wendy Hall, to PhD students. Materials consisted primarily of videos and articles, although some applications and animations were also incorporated. The videos were recorded with TV production means, and hosted in iPlayer, a video platform that comes from the BBC. In fact, Simon Nelson, the production chief executive of Futurelearn, is a former member of the BBC, and responsible for this format. A relatively high budget was dedicated to the video production, especially compared to that of other MOOC platforms.

• The texts and activities proposed by the academic staff were subject to various control processes before being published. One of the main criteria was that these materials had to be succinct, easy to read on screen, and with a plain language that could be easily understood by non-native speakers. Some external articles and videos were recommended for further study, which involved certain challenges with the copyrights. To address this, the library services of the university helped and advised about the legal issues arising from the release of some of the contents.

• The delivery, the facilitation, and the assessment. One week before the course went life, all materials were ready, although there was some work to be done with the assessment. This is an important part of the interaction between the university and the students, and only a few days before the start of the course, the university came to realise that the only form of assessment available was quiz questions (it was in the second run on the course when peer-review was incorporated as an assessment option in the platform). Formulating the right questions involved an extra effort for the educational team, especially due to the presumed diversity of the learning community. Every question had five options, and each of these options contained feedback, regardless of whether they were correct or not.

3. Analysis and results

The data provided by Futurelearn shows that, from the 13.680 registered users, slightly less than half of them (5487) completed at least one step. Nearly 3000 completed steps in more than one week, which suggests that less than a quarter continued to the second week. A survey conducted by the platform, with 802 participants, shows that the main obstacle for completing the course was lack of time, which coincides with the fact that a small majority of participants were working full time (45%).

It is also worth noticing that the highest proportion of participants were over 46 years old (about 20% between 46 and 55, a similar percentage between 56 and 65, and almost 15% more than 66). Also, a majority held a degree (43%), and nearly a quarter had postgraduate qualifications. More than 40% had participated in an online course before. Regarding their professions, education and computing were the two most frequent areas. Regarding their nationalities, three quarters were Europeans, with a predominance of British (63%). Therefore, it could be suggested that the target audience of this course was from the country where the course was developed, mature, with high qualifications, digitally literate, and familiarised with online learning technologies.

In terms of their expectations, participants had «learning new things» as their main motivation (nearly ninety selected this option), followed by the intention to try out the platform as a teaching method (68 participants). Complementing their studies (21) and improving their professional profile (21) appeared not to be the main motivations of the participants. Their interests were mainly related to the area of science and technology (78), followed by humanities (55), and education (43).

1204 learners completed the course, which results in almost 10% of the overall registrars. This situates this course slightly above the average in terms of completing rates, which some studies suggest to be around 7% (Parr, 2013).

Participation in forums was also relatively high compared to other courses in the same platform. The learning community posted around 19.000 comments only in the Futurelearn platform, and 2.200 learners contributed at least once in these forums. More than 1300 contributed at least twice, some 1050 more than 3 times, and about 660 more than four. Graph 1 shows a descending curve in relation to the number of users (vertical axis) in terms of their number of contributions (horizontal axis). It is worth noticing that there were a significant number of users who contributed frequently. Some of them, 7 in total, made more than 100 comments.

Figure 1: users (y) by number of comments (x).

As discussed above, there were different forums for each step. Some of these steps recorded nearly 1000 comments, being the average 151 per forum. As per different weeks, the number of contributions was consistent. Although the first week stood out with nearly 6.500 comments, the subsequent weeks recorded around 2500, except for the last week, with 1.900. The lower figure of last week might be due to the fact that it contained 14 steps, as opposed to the 21 on average of the rest of weeks.

In terms of the nature of the comments, it could be highlighted that most of them consisted of direct responses to questions made within the content of the different steps of the course. For example, there was an activity in which an application used browser history data to return the percentage of web-sites visited by the user. In such activity, users were asked to provide a reflection on their frequency of visits different sites. Most comments in that step (1.425), consisted of the actual reflection.

Comments consisting of a direct question to the educators turned out to be a small minority. Despite that, facilitators replied to an average of 40 comments during the course. It should be taken into account that, as opposed to other MOOCs, facilitators did not post comments for livening up the discussions, but for solving doubts, clarifying concepts, and giving support to issues both technical and content related.

Out of the platform, Google+ was the most utilised space, according to the pre-course and post-course surveys conducted by Futurelearn. The community in this space had nearly 800 members. The number of contributions descended steadily as the course went on, but it kept alive as a space of communication between participants and some educators.

4. Discussion and conclusions: three challenges for the Web Science MOOC

Based on the experience gained from this course and the current literature on the topic, three main challenges can be identified in the creation, delivery and management of a MOOC:

4.1. The course design

The pedagogical design of such a course entailed intense planning and coordination of effort at various levels. The platform was new, so much so that it operated with a beta version at that time. The Web Science MOOC was the first at the University of Southampton, so there was no previous experience to draw from in these kinds of projects. Also, the Web Science Institute is a multidisciplinary department, with subsequent diversity in materials and pedagogical approaches. This situation lead to an enriching process, but it required major efforts in planning and establishing the roles of each contributor, something to be considered in future editions of the course.

How the course will be delivered and what interactions will take place are essential considerations for the design of the course. Yang & al. (2013) suggest that social relationships have an influence in the completion rate of the course. Therefore, as Bentley & al. cofirm (2014) the social side of the course is of paramount importance for its success, and a design oriented to this end should be created so that learners are motivated to participate in communities formed on these courses.

4.2. The platform requirements

There are many reasons why it is considered convenient to use the services of a platform when developing a MOOC. One of them is visibility, a determining factor that both Edinburgh (2013) and University of London (2013) reports recognise as the main reason for joining Coursera. Another reason is the technological support that they offer. Creating a platform for managing the content of a MOOC may involve a cost that exceeds the budget that many universities allocate to free online learning. Outsourcing these services by using established MOOC platforms is often considered a more affordable option.

However, being part of a platform such as FutureLearn entails certain compromises. For example, the course materials, both written and audiovisual, are subject to demanding quality standards. This elevates the production costs to figures that not all institutions can afford. Another compromise to consider is the distribution of contents and activities, as the platform divides everything into «steps» which are categorised into videos, activities, discussions, and assessments. The course educators need to comply with such a classification, which could conflict with their pedagogical aims at times. The same applies for the assessment, as the only options available are quizzes and peer-assessments the protocol of which only the platform controls. Therefore, a divergence with the pedagogical principles of the platform may require a great deal of creativity and flexibility. It is therefore recommended to combine external social media with the social tools available on the platform.

4.3. The challenges of facilitation

Facilitation is one of the greatest challenges not only in MOOCs, but also in any other online learning experience, as students need continued feedback to support their learning process in a context where high levels of autonomy are required (Sangrá, 2001).

Forums are deemed as important communication and learning tools in MOOCs (Mak & al., 2010). Levels of participation in such forums are often indicators of learners’ level of commitment to the course. These participation levels also indicate the liveliness of the learning communities as well as that of the course in general (McGuire, 2013). With these premises, a team of 10 facilitators was established. These were all PhD students at the Web Science Centre for Doctoral Training who were instructed and coordinated in such a way that they could read all comments in the forums, and provide responses when needed. With an awareness of the importance of facilitation strategies in this kind of courses (Marauri, 2013), the following procedure was implemented: a rota with three daily shifts, including weekends, was devised. In each of these shifts, the facilitator would read all comments and indicate in a form which of them had been replied to, and which of them required attention. In a session prior to the course, a protocol was agreed to determine which kinds of actions were going to be taken in different scenarios. One of the main reasons why such a large team was formed is that each of the steps contained a forum, and all of them encouraged learners to participate. Each of the six modules had an average of 20 steps, which generated 120 different interaction spaces in the platform alone. To this we have to add the interactions that occurred in Twitter and Google+. Although there was not an aim of replying to all the nearly 19,000 comments, the facilitation team aimed to go through all of them in order not to leave unanswered questions or doubts. The intention was also to let learners be the drivers of the conversations. It was observed that in very few occasions these interactions went off topic, perhaps because in the platform structure, the content of each step determined the conversation topic. The challenge is fostering participant interaction, and the creation of conversational threads and groups of learners that interact with each other.

4.4. The challenges of the MOOC phenomenon

The traditional challenge of online education, namely activity design, facilitation, assessment, and feedback (Burkle, 2004; Prendes, 2007; Sánchez-Vera, 2010), prevail and even intensify with MOOCs, especially due to their massive size. However, despite their difficulties, MOOCs open a wide range of possibilities, as they are not only about opening up resources, but about the whole educational process. Thus, these courses represent interesting learning and professional training opportunities, and can even be advantageous for their use in Flipped Classroom experiences (Zhang, 2013).

The experience presented here does not represent the end, but the beginning of a promising path towards the improvement and widening of online learning opportunities.

References

Bentley, P., Crump, H., Cuffe, P., Gniadek, B.J., MacNeill, S. & Mor, Y. (2014). Signals of Success and Self-Directed Learning. EMOOC 2014: European MOOC Stakeholder Summit. Proceedings, 5-10. (http://goo.gl/jkHP4q) (03-04-2014).

Berners-Lee, T., Hall, W., Hendler, J.A., O´Hara, K., Shadbolt, N. & Weitzner, J. (2006). A Framework for Web Science. Foundations and Trends in Web Science, 1, 1-130. (http://goo.gl/jZ9vl7) (14-04-2014) (DOI: DOI: http://doi.org/dsh2b8)

Buendía, L., Colás. P. & Hernández, F. (1998). Métodos de investigación en psicopedagogía. Madrid: Mc Graw Hill.

Burkle, M. (2004). El aprendizaje on-line: oportunidades y retos en instituciones politécnicas. Comunicar, 37, 45-53. (DOI: http://doi.org/fc2tgj).

Clow, D. (2013). MOOC and the Funnel of Participation. Third Conference on Learning Analytics and Knowledge (LAK 2013), 8-12. Leuven. Belgium. (http://goo.gl/KCSqAJ) (20-03-2014) (DOI: http://doi.org/tqz)

Daradounis, T., Bassi, R., Xhafa, F., & Caballé, S. (2013). A Review of Massive e-learning (MOOC) Design, Delivery and Assessment. Eight International Conference on P2P. (http://goo.gl/9QKrtr) (21-03-2014) (DOI: http://doi.org/tpk).

Davis, H., Dickens, K., León, M., Sánchez-Vera, M.M. & White, S. (2014). MOOC for Universities and Learners an Analysis of Motivating Factors. 6th International Conference on Computer Supported Education.

Department for Business, Innovation & Skills (2013). The Maturing of the MOOC: Literature Review of Massive Open Online Courses and Other Forms of Online Distance Learning. United Kingdom. (http://goo.gl/X8UlG4) (16-04-2014).

Jordan, K. (2013). Synthesising MOOC Completion Rates. MoocMoocher. (http://goo.gl/8yyu6r) (14-03-2014).

Laurillard, D. (2002). Rethinking University Teaching: A Conversational Framework for the Effective Use of Learning Technologies. London: Routledge Falmer.

Mak, S., Williams, R. & Mackness, J. (2010). Blogs and Forums as Communication and Learning Tools in a MOOC. Networked Learing Conference, 275-285. University of Lancaster.

Marauri, P.M. (2013). Figura de los facilitadores en los cursos online masivos y abiertos (COMA/MOOC): nuevo rol profesional para los entornos educativos en abierto. RIED, 17, 1, 35-67. (DOI: http://doi.org/tq2).

Martínez-Abad, F., Rodríguez-Conde, M.J. & García-Peñalver, F.J. (2014). Evaluación del impacto del término MOOC vs eLearning en la literatura científica y de divulgación. Profesorado, 18, 1, 1-17.

McGuire, R. (2013). Building a Sense of Community in MOOC. Campus Technology. (http://goo.gl/dcS3ls) (27-03-2014).

O´Toole, R. (2013). Pedagogical Strategies and Technologies for Peer Assessment in Massively Open Online Courses (MOOC). University of Warwick. (http://goo.gl/16rlIF) (20-04-2014).

Parr, C. (2013). MOOC Completion Rates Below. Times Higher Education. (http://goo.gl/pQBKls) (20-04-2014).

Prendes, M.P. & Sánchez-Vera, M.M. (2014). Arquímedes y la tecnología educativa: un análisis crítico en torno a los MOOC. REIFOP, 79.

Prendes, M.P. (2007). Internet aplicado a la educación: estrategias didácticas y metodologías. In J. Cabero, (Coord.), Las nuevas tecnologías aplicadas a la educación. Madrid: McGrawHill.

Sánchez-Vera, M.M. (2010). Espacios virtuales para la evaluación de aprendizajes basados en herramientas de Web Semántica. Universidad de Murcia: Tesis doctoral inédita.

Sangrá, A. (2001). La calidad en las experiencias virtuales de Educación Superior. Conferencia Internacional sobre Educación Superior, Formación y Nuevas Tecnologías, 641-625.

SCOPEO. (2013). MOOC?: Estado de la situación actual, posibilidades, retos y futuro. Scopeo, Informe, 2, 266. (http://goo.gl/rVD7tR) (18-04-2014).

Siemens, G. (2012). What is the Theory that Underpin our MOOC? (http://goo.gl/nHhCOJ) (25-03-2014).

Stake, R. (1994). Case studies, In N.K. Denzi & Y.S. Lincoln (Eds.), Handbook of Qualitative Research. Thousand Oaks: Sage Publications.

University of London (2013). Massive Online Open Courses (MOOC) Report. (pp. 1-40). London: The University of London. (http://goo.gl/RJCbo4) (24-04-2014).

UTHS (2013). What is a MOOC. UTHS Educational Technology. (http://goo.gl/djRNty) (03-04-2014).

Yang, D., Shina, T., Adamson, D. & Rosa, C.P. (2013). Turn On, Tune In, Drop Out: Anticipating Students Dropouts in Massive Open Online Courses. Proceedings of the 2013 NIPS Data-Driven Education Workshop. (http://goo.gl/t2qtIm) (14-03-2014).

Yuan, L., & Powell, S. (2013). MOOC and Open Education. A White Paper, 1-21. (http://goo.gl/Yw2CvV) (16-04-2014).

Zhang, Y. (2013). Benefiting from MOOC. In A. Herrington, V. Couros & V. Irvine (Eds.), World Conference on Educational Multimedia, Hypermedia and Telecommunications, 2013, 1372-1377. AACE. (http://goo.gl/Q3pXhZ) (20-04-2014).

Click to see the English version (EN)

Resumen

El carácter masivo es una de las peculiaridades de los MOOC, que lo diferencian de otro tipo de experiencias de aprendizaje en red. Este hecho configura una serie de posibilidades, pero también una serie de retos que hay que tener en cuenta a la hora de diseñar e implementar un curso masivo en red, en relación, por ejemplo, a los contenidos, el proceso de trabajo, las actividades, la evaluación y el feed-back. Este trabajo presenta un análisis de las ventajas y desventajas del carácter masivo de los MOOC y concretamente describe la experiencia de creación de un MOOC sobre Web Science desarrollada en la Universidad de Southampton (Reino Unido) en la plataforma FutureLearn durante el otoño de 2013. Se analiza la importancia del estudio de la rama de Web Science y cómo se originó esta experiencia. También describen las decisiones y el proceso de trabajo desarrollado para la creación e implementación del MOOC en concreto. Se termina este trabajo analizando alguno de los datos que se han obtenido, como el índice de participación (ligeramente elevado respecto a la media de los MOOC), los comentarios de los participantes, la manera de gestionar la facilitación del curso y algunos de los retos que nos encontramos a la hora de gestionar un MOOC, que se relacionan con el diseño del curso, la plataforma que se utiliza y cómo se organiza la facilitación del curso.

Descarga aquí la versión PDF

1. Introducción y estado de la cuestión

Los Massive Open Online Courses (MOOC) hasta el momento están generando más preguntas que respuestas en la comunidad científica. ¿Tendrán viabilidad en el futuro? ¿Por qué hay tanto interés en ellos? ¿Transformarán el futuro del elearning? Teniendo en consideración que estamos hablando de un fenómeno que se originó en 2008, cuando Siemens y Downes añadieron el carácter de «masivo» a los cursos abiertos en línea, y que tuvo su eclosión en 2011 cuando Thrun y Norvig desarrollan un MOOC sobre inteligencia artificial (en el que se registraron más de 160.000 personas), es razonable que nos encontremos realizando muchas preguntas sobre este fenómeno y sus repercusiones.

Martínez-Abad y otros (2014) han analizado el impacto de la palabra MOOC frente a eLearning, a partir de un análisis de bases de datos en red y científicas. El estudio de estos autores concluye indicando que los MOOC están en pleno auge a nivel científico, con un aumento importante en el número de publicaciones, pero que hasta ahora estas tienen un carácter más divulgativo que científicoacadémico, debido seguramente, al poco tiempo que lleva el fenómeno en marcha.

Estos datos se relacionan con los encontrados en el estudio del Departamento de Innovación de Reino Unido, que también valora el impacto de los MOOC en blogs y redes sociales, concluyendo que hay un gran incremento de publicaciones y entradas sobre los MOOC, y destacando el gran debate que se está produciendo entre la comunidad científica y en la propia red en torno a estos cursos.

La Comisión Europea ha respaldado una iniciativa sobre MOOC, en la que participan Francia, Italia, Lituania, Países Bajos, Portugal, Eslovaquia, Reino Unido, Rusia, Turquía e Israel (Scopeo, 2013).

También es destacable el proyecto ECO, en el que participan Universidades de todo el mundo (la UNED entre ellas), con el objetivo de estudiar y diseñar recursos y cursos abiertos con la idea de potenciar la accesibilidad a la formación en red (http://ecolearning.eu). Como podemos observar, cada vez menos organizaciones muestran indiferencia en torno al movimiento MOOC y cada vez un mayor número de las mismas muestran interés en incorporar este tipo de cursos en su catálogo educativo (Yuan & Powell, 2013). Este artículo pretende presentar la experiencia de MOOC en Web Science, desarrollado por la Universidad de Southampton (Reino Unido) a través de la plataforma FutureLearn.

1.1. El reto de lo masivo en los MOOC

El carácter de lo masivo es una de las características que definen a los MOOC, y es precisamente lo que le diferencia de otras experiencias de eLearning. De hecho, Siemens (2012) indica que cuando él y Downes consiguieron 2.300 alumnos en su curso en red fue cuando realmente comenzó a hablarse de cursos en línea no solo abiertos, sino también masivos.

El carácter masivo de los MOOC puede aportar algunas ventajas al proceso de aprendizaje:

• Interactividad con otros aprendices. Es ésta una de las características tradicionales de la enseñanza en red que se ve multiplicada en los MOOC. Cuanta mayor sea la red de participantes, se producen más posibilidades de crear conexiones enriquecedoras con otros estudiantes de cualquier lugar del mundo. Como afirma el informe de Scopeo de junio de 2013, los MOOC permiten conectar con personas que comparten los mismos intereses o perfiles profesionales, para a partir de ahí crear nuevos grupos y generar nuevas ideas para emprender proyectos de futuro.

• Promover la propia institución. Una de las motivaciones para que las grandes Universidades del mundo diseñen e implementen MOOC es que pueden suponer una especie de marco publicitario de cara a potenciales alumnos.

• Repensar el currículum. Como indican Yuan y Powell (2013), la popularidad de los MOOC puede suponer que las Universidades tengan que repensar cómo elaborar el currículum para modelos más abiertos y flexibles, debido al carácter masivo de los cursos. Hay que tener en cuenta que para una institución puede suponer un determinado riesgo el embarcarse en realizar un MOOC, ante el posible fracaso del mismo, por lo tanto, supone una preocupación por la calidad y la innovación que puede ser positiva de cara a mejorar la calidad educativa de los recursos y del propio proceso educativo.

Pero los MOOC son también un fenómeno muy criticado, precisamente por el carácter masivo y lo que este implica. Alguno de los problemas que pueden presentar son:

• El triunfo del «package content». En el ya citado informe del Departamento de Innovación de Reino Unido (2013) se analiza cómo las personas más críticas con los MOOC indican que el triunfo de los MOOC suponen una vuelta a principio de los años 90 y de los modelos de educación en red que se basaban en el «contenido empaquetado», es decir, en incluir contenidos y recursos digitales de buena calidad, pero no en transformar el proceso educativo. Desde diversos ámbitos pedagógicos se lleva tiempo intentando flexibilizar la educación en línea fomentando más el proceso que el producto y promoviendo que el alumno sea el protagonista del aprendizaje, por lo que los MOOC focalizados en recursos (o los llamados xMOOC) pueden suponer una vuelta al pasado en cuanto a la pedagogía que sustenta el proceso de enseñanzaaprendizaje en línea.

• Los problemas de la evaluación. Con miles de alumnos, la evaluación puede tender a ser realizada a través de pruebas tipo test. En otros ámbitos se lleva tiempo intentando flexibilizar la educación en línea fomentando el «peer assessment» (como en los MOOC conectivistas), sin embargo, esta estrategia es también cuestionada, ya que como indica O´ Toole (2013), se suelen proporcionar planillas al alumnado para evaluar a otro compañero, por lo que más que «peerassessment», debería denominarse «peergrading». La evaluación procesual es complicada cuando tenemos un alto volumen de alumnado.

• Las dificultades de la facilitación. Gestionar la facilitación de un curso en red con miles de alumnos no es sencillo, ya que el feedback personalizado se hace complicado con tantos alumnos participando en diversas herramientas (Prendes & Sánchez, 2014).

Como decíamos, el registro masivo es una característica de los MOOC, pero también lo es el descenso de la participación. Es lo que Clow (2013) representa como «el embudo de la participación», para explicar el proceso de pérdida de estudiantes desde los que se matriculan, hasta los que terminan, siendo la tasa de finalización entre el 5% y el 15%, según las primeras investigaciones (Jordan, 2013; UTHSC, 2013; Daradounis & al., 2013).

1.2. Un MOOC sobre Web Science

«Web Science» es un área de conocimiento que está adquiriendo especial relevancia en Reino Unido. En la Universidad de Southampton se desarrolla una carrera y un Máster en esta especialidad, y en noviembre de 2013 se inauguró el «Instituto en Web Science» con la finalidad de potenciar la investigación multidisciplinar en esta área. Podríamos traducir «Web Science» como «Ciencia de la Web». Estos estudios se centran en el impacto que la Web e Internet han estado teniendo en el mundo y se basan en el análisis de la web, desde una perspectiva multidisciplinar. De este modo, un alumno de Máster de Web Science estudia programación informática, sociología, economía y leyes, entre otras áreas, para intentar entender el fenómeno de la web y cómo está transformando el mundo. Como se define en la página web de la Universidad de Southampton (www.southampton.ac.uk/webscience), desde 1992 la World Wide Web (WWW) ha transformando los entornos laborales, sociales, económicos y políticos. Web Science se presenta como una nueva disciplina con el objetivo de promover el entendimiento de lo que implica la web como un fenómeno tanto tecnológico como social. El propio BernersLee, conocido por ser el creador de la WWW, estableció las bases de esta disciplina en 2006 al indicar que es necesario identificar las necesidades y los cambios que la web produce en el mundo, y que este ámbito abarca distintas disciplinas, debido al hecho de que la web debe ser estudiada como fenómeno social, comunicativo e incluso filosófico (BernersLee & al., 2006). En este contexto, el Departamento de Electrónica e Informática (ECS) y el Centro para la Innovación en Tecnologías y Educación (CITE) de la Universidad de Southampton, junto con el mencionado Web Science Institute lanzaron un MOOC sobre Web Science el 18 de septiembre de 2013 (Davis & al., 2014).

Según el propio centro, el MOOC en Web Science supone para la Universidad de Southampton la posibilidad de compartir su experiencia en este área, que se encuentra en pleno auge (www.southampton.ac.uk/wsi). El MOOC en Web Science se organiza en 6 semanas.

Draft Content 528741752-32638 ov-es014.jpg

1.3. Web Science en FutureLearn

Futurelearn es una iniciativa privada de la Open University del Reino Unido. Opera en un consorcio de unas treinta instituciones, la mayoría de ellas universidades británicas pertenecientes al denominado Russell Group. Esta se define por sus exigencias en cuanto a la calidad de los materiales que se alojan en la plataforma, tanto en términos pedagógicos como en la producción audiovisual.

En cuanto a sus características pedagógicas, la plataforma pretende seguir los principios del «marco conversacional» de Laurillard (2002), un modelo con influencias constructivistas que define el aprendizaje como una sucesión de fases (discursiva, interactiva, adaptativa y reflexiva) en cada una de las cuales la aplicación de las tecnologías digitales juega un papel fundamental. Si bien esto se consigue en gran medida, la estructura de los cursos todavía tiene muchos elementos instruccionistas y relacionados con los xMOOC, como la estricta secuenciación de los contenidos y sus evaluaciones tipo test.

Quizá la principal diferencia con otras plataformas es la distribución de sus foros. Hay uno distinto para cada uno de sus pasos, ya sea un vídeo, un artículo o una actividad. Así, los hilos de discusión no los crean los usuarios, sino los educadores mediante la plataforma.

Con el fin de fomentar la interacción entre los usuarios, éstos pueden seguirse unos a otros, responder comentarios, votarlos (solo positivamente), y ordenarlos por los más votados. Así, los hilos de discusión no los crean los usuarios, sino los educadores mediante la plataforma.

Respecto a su sistema de evaluación, la plataforma ha incorporado recientemente un sistema de revisión por pares, sumándolo a los ya existentes cuestionarios de preguntas tipo test.

Otra característica es su diseño orientado a la navegación sencilla e intuitiva, con el fin de llegar a todo tipo de audiencias. Permite al usuario saber en cada momento en qué fase del curso se encuentra, qué pasos ha completado, y cuáles le quedan por completar.

Además de FutureLearn, para la experiencia se potenció el uso de aplicaciones 2.0, que complementaran el proceso en la plataforma. Se promovió el uso de herramientas como Twitter y Google+ durante el desarrollo del curso.

2. Material y métodos

Este artículo se ha escrito poco después de que la Universidad de Southampton finalizara la segunda edición de su primer MOOC. Fue un curso de seis semanas con la nueva plataforma, FutureLearn, y en una disciplina también nueva, Web Science. Se pretende incluir información respecto al proceso de creación del MOOC y los primeros resultados obtenidos, a partir de la técnica de estudio de casos, ya que la finalidad no es comprender un fenómeno general, sino que tiene un interés intrínseco en relación al MOOC de Web Science en concreto, por lo que podría incluirse bajo la clasificación de estudio de caso intrínseco (Stake, 1994; Buendía, Colás & Hernández, 1998).

Desde su creación a su implementación, el equipo académico y docente encargado del desarrollo de este proyecto ha trabajado principalmente en las siguientes fases:

• La creación y desarrollo del contenido. Más de 25 miembros de la universidad estuvieron implicados en este proceso, desde la Decana de la Facultad, Wendy Hall, hasta estudiantes de doctorado. Los materiales consistían principalmente en vídeos y artículos, aunque también se incorporaron aplicaciones informáticas y animaciones. Los vídeos se grabaron con medios de producción televisiva, y se utilizó un soporte llamado iPlayer, proveniente de la BBC. De hecho, el director ejecutivo de Futurelearn, Simon Nelson, viene de esta cadena y es el responsable de este formato. Tanto la producción de los vídeos como la plataforma audiovisual sobre la que se reproducen daban a entender que se había empleado un alto presupuesto, siendo este uno de los aspectos por los que quería destacar Futurelearn sobre otras plataformas de MOOC.

• Los textos y actividades propuestas por los docentes pasaron por varios filtros antes de ser publicados en el curso. Uno de los criterios principales era que debían ser sucintos, como para ser leídos en pantalla, y con un lenguaje claro que evitara expresiones idiomáticas y pudiera ser leído con facilidad por no angloparlantes. También se recomendó la lectura de varios artículos académicos externos y la visualización de vídeos producidos fuera del MOOC, lo cual acarreó ciertas dificultades con los derechos de autor. Para ello, se contó con la ayuda de los servicios bibliotecarios y legales de la Universidad, que asesoraron al equipo de producción del MOOC en cuanto a la legalidad de la difusión de algunos de los contenidos.

• La entrega, la evaluación y la facilitación. Una semana antes de que el curso se lanzara al público, todos los materiales estaban listos, aunque aún había trabajo que hacer con la evaluación. Ésta es una parte importante de la interacción entre la universidad y los estudiantes, y tan solo un poco antes de empezar el curso la universidad se dio cuenta de que, dadas las características de la plataforma, la única forma de evaluación posible era la de preguntas de opción múltiple (en la segunda ronda del curso se incorporó la revisión por pares). Formular las cuestiones adecuadas en este formato supuso un esfuerzo extra para el equipo docente, especialmente teniendo en cuenta la diversidad de la comunidad de aprendices que se presuponía. Todas las preguntas tenían cinco opciones, y lo que es más importante, todas las opciones de respuesta contenían una explicación, tanto si fueran correctas como incorrectas.

3. Análisis y resultados

Según los datos proporcionados por la plataforma FutureLearn, de los 13.680 usuarios registrados, algo menos de la mitad (5.467) marcaron al menos un paso como completado. 2.930 completaron pasos en más de una semana, lo cual nos lleva a pensar que probablemente más de tres de cada cuatro aprendices no pasaron de la primera semana. En una encuesta llevada a cabo por la misma plataforma, completada por 802 participantes, se refleja que el principal obstáculo para completar el curso era la falta de tiempo, lo cual coincide con el hecho de que la mayoría de participantes en la encuesta trabajaban a jornada completa (casi un 45%).

También cabe destacar que la mayoría de los participantes en la encuesta tenían edades superiores a los 46 años (algo más del 20% entre 46 y 55 años, un porcentaje similar entre los 56 y los 65, y casi un 15% más de 66). La mayoría de ellos tenían al menos una carrera (43%) y casi una cuarta parte tenían estudios de postgrado. Más del 40% habían seguido algún curso de formación en línea. En cuanto a sus ocupaciones, las dos áreas más frecuentes fueron la informática y la educación. En cuanto a la nacionalidad, tres cuartas partes eran europeos y la mayoría británicos (63%), Por tanto, se puede decir que estábamos sirviendo a un público mayormente del país donde se hizo el MOOC, maduro, con alto nivel educativo y tecnológico, y familiarizado con las TIC y la enseñanza en línea.

En cuanto a las expectativas de los encuestados, la mayor motivación fue aprender cosas nuevas (casi noventa marcaron esta opción), seguido por la intención de probar la plataforma como método de enseñanza (68 participantes). Complementar los estudios (21 participantes) o mejorar las perspectivas laborales (otros 21) no contaban entre las principales motivaciones de los aprendices. Sus intereses eran mayormente relacionados con el área de ciencia y tecnología (78 respuestas), seguido de las humanidades (55), y con la educación en tercer lugar (43).

1.204 personas completaron el curso, lo cual resulta en un casi un 10% de todos los aprendices registrados. Esto sitúa a este curso ligeramente por encima de la media en cuanto a tasas de finalización, que varios estudios sitúan alrededor del 7% (Parr, 2013).

La participación en los foros también fue alta en comparación con otros cursos. Se registraron cerca de 19.000 comentarios en la plataforma FutureLearn, y concretamente, más de 2.200 personas contribuyeron al menos una vez en los foros. Más de 13.000 hicieron como mínimo dos contribuciones en los foros, unos 1.050 más de tres, y unos 860 más de cuatro. En el gráfico 1 se puede apreciar una curva descendente en el número de usuarios (eje vertical) en cuanto al número de aportaciones (eje horizontal). Cabe destacar que hubo un número significativo de usuarios que contribuían regularmente, habiendo algunos, siete en total, que hicieron hasta 100 aportaciones.

Draft Content 528741752-32638 ov-es015.jpg

Figura 1: usuarios (y) por número de comentarios realizados (x).

En cuanto a los comentarios según los foros, hubo algunos pasos que registraron cerca de los 1.000 comentarios, y se promediaron 151 comentarios por foro.

Otro dato a destacar fue la consistencia en el número de aportaciones. Si bien la primera semana destacó con casi 6.500 comentarios, las semanas siguientes registraron alrededor de 2.500, excepto la última con 1.900 (ver tabla 2), probablemente por el hecho de contener 14 pasos, en lugar de los 21 de media de las semanas anteriores.

Draft Content 528741752-32638 ov-es016.jpg

En cuanto a la naturaleza de los comentarios, se puede destacar que la mayoría de ellos consistía en respuestas directas a preguntas hechas en los distintos pasos del curso. Es decir, si había un ejercicio en el que, mediante el uso de una herramienta online proporcionada por los educadores, se preguntaba al aprendiz qué porcentaje de sitios web visitaba en su vida diaria, los comentarios consistían en una respuesta elaborada a dicha pregunta. De hecho, este ejercicio en concreto registró el mayor número de comentarios, 1.425. Por el contrario, aquellos comentarios que consistían en preguntas directas al equipo de facilitación resultaron ser una minoría. Aun así, los facilitadores respondieron una media de 40 comentarios en el total de las seis semanas que duró el curso. Hay que tener en cuenta que, a diferencia de otros cursos, los facilitadores no publicaron comentarios para avivar las discusiones, sino para resolver dudas, aclarar conceptos, y dar soporte a los usuarios en cuestiones tanto técnicas como de contenido.

El espacio en Google+ fue, según las encuestas llevadas a cabo por FutureLearn antes y después del curso, el más utilizado fuera de la plataforma. Este contó con cerca de 800 miembros durante el desarrollo del curso. El número de publicaciones fue descendiendo conforme avanzaba el desarrollo del curso, pero manteniéndose como espacio informal de comunicación entre participantes y con algunos educadores.

4. Discusión y conclusiones: tres desafíos en el MOOC de Web Science

A partir de la experiencia desarrollada y del panorama cientí

4.1. El diseño del curso

El diseño pedagógico de un curso de estas características supuso un intenso trabajo de planificación y coordinación a varios niveles. La plataforma era nueva, tanto que operaba con una versión beta; Web Science era el primer MOOC de la Universidad de Southampton, con lo cual no había experiencia previa en este tipo de proyectos; y el departamento de Web Science es multidisciplinar, con su consiguiente diversidad en materiales y enfoques pedagógicos. Esta situación supuso un proceso muy enriquecedor, por la interdisciplinariedad de enfoques, pero al mismo tiempo requiere de mayores esfuerzos para planificar el rol y las funciones de cada participante en futuras ediciones del curso.

El diseño del curso y de los futuros procedimientos cuando este se desarrolle es esencial. Yang y otros (2013) indican que las relaciones sociales influyen en la tasa de finalización del curso, y que por lo tanto, como confirman Bentley y otros (2014), tenemos que tener en cuenta este aspecto en el diseño del curso, para intentar que los participantes se sientan motivados por poder participar en una comunidad.

4.2. Las exigencias de la plataforma

Hay muchas razones por las que se considera conveniente utilizar los servicios de una plataforma a la hora de desarrollar y lanzar un MOOC. Una de ellas es la visibilidad que ésta ofrece. Informes como el de la Universidad de Edimburgo (2013) y la Universidad de Londres (2013) reconocen esta razón como uno de los factores determinantes para unirse a una plataforma conocida, en este caso Coursera. Otra razón es el soporte tecnológico que ofrecen. Crear una plataforma para gestionar el contenido de un MOOC puede suponer un coste superior a lo que muchas universidades están dispuestas a afrontar, con lo cual puede resultar más asequible contratar servicios a terceros, como es el caso de plataformas MOOC ya establecidas. El formar parte de una plataforma como Futurelearn conlleva, sin embargo, ciertos compromisos. Los materiales, tanto escritos como audiovisuales, pasan por un exigente control de calidad, lo cual eleva el coste de su producción a cotas que no todas las instituciones pueden permitirse. Otra cesión que hay que tener en cuenta es la distribución de los contenidos y actividades, ya que la plataforma lo divide todo en «pasos», y dichos pasos son denominados vídeos, actividades, discusiones o preguntas. El educador debe ceñirse a dicha clasificación, lo cual podría diferir de su intención pedagógica. Lo mismo se aplica a la evaluación, ya que como se mencionaba anteriormente, tiene unas pautas muy marcadas: se puede escoger entre preguntas tipo test en las cuales el aprendiz tiene tres intentos, y un sistema de evaluación por pares recientemente instalado cuyo protocolo solo controla la plataforma. Por tanto, si no se comulga con los principios pedagógicos propuestos por la plataforma, el diseño de un curso podría requerir altas dosis de creatividad y flexibilidad.

Se recomienda por tanto, continuar avanzando en el uso de aplicaciones 2.0, combinadas con el potencial de la plataforma.

4.3. Los retos de la facilitación

La facilitación es uno de los grandes retos no solo en los MOOC, sino en cualquier experiencia de formación en red, ya que el feedback es necesario para que el estudiante pueda controlar su proceso de estudio en un contexto en el que se le exigen grandes niveles de autonomía (Sangrá, 2001). Conscientes de que los foros son herramientas esenciales en la comunicación y aprendizaje en los MOOC (Mak & al., 2010), y de que los niveles de participación en dichos foros son a menudo indicadores no solo del nivel de compromiso que adquiere el aprendiz con el curso, sino del estado de salud de la comunidad de aprendices e incluso del curso en general (McGuire, 2013), para el curso de Web Science se habilitó un equipo de diez facilitadores (formado a partir de estudiantes de doctorado en el centro de investigación), que se organizaban a lo largo del día para estar activos y proveer de respuesta a los participantes del curso, habiendo recibido formación acerca de cómo gestionar la facilitación en red. La estrategia de facilitación es por tanto fundamental (Marauri, 2013). Para la facilitación se procedió de la siguiente manera: se estableció un cuadrante de tres turnos diarios (incluyendo noches y fines de semana), en cada turno el facilitador leía todos los comentarios que se habían escrito y producía un informe en el que se registraban aquellos que necesitaban una acción, y cuáles no se habían respondido pero necesitaban atención. En una sesión previa se había desarrollado un protocolo de actuación en el que se había consensuado qué tipo de acciones se iban a tomar en cada escenario previsto.

Una de las principales razones para escoger la facilitación en equipo es que la mayoría de los pasos del MOOC animaban a los aprendices a que participaran en los foros, ya fuera mediante preguntas directas o invitando indirectamente a la reflexión. Cada uno de los seis módulos del curso tenía una media de veinte pasos, lo cual generó alrededor de 120 foros distintos, a los cuales hay que sumarle las aportaciones de los aprendices en otras plataformas como Twitter y Google+. Si bien no había intención de dar respuesta a todos los comentarios (como se indica en la sección anterior, hubo casi 19.000), el equipo de facilitación aspiró a leerlos todos y no dejar preguntas o dudas sin responder. Lo que no se hizo intencionadamente fue participar en las conversaciones entre los aprendices, dejando así que tomaran la dirección que éstos consideraran. Se ha podido observar que en muy raras ocasiones estas conversaciones se salieron de la temática propuesta, posiblemente por la estructura de la plataforma, que como hemos visto arriba, contaba con un foro por tema. Por lo que el reto para próximas ocasiones es el de intentar potenciar conversaciones entre los participantes en el MOOC, creando grupos o propiciando que puedan responderse unos a otros.

4.4. Los propios retos del fenómeno MOOC

Los retos, que podríamos denominar como «tradicionales», de la educación en línea: el diseño de actividades, la facilitación, la evaluación y el feedback (Burkle, 2004; Prendes, 2007; SánchezVera, 2010), se mantienen e incluso se intensifican con los MOOC, ya que la masificación de los cursos dificulta aún más estas tareas. Pero a pesar de sus dificultades, los MOOC nos abren un nuevo abanico de posibilidades, ya que no solo estamos hablando de liberar recursos, sino todo el proceso educativo, y por tanto representan una opción más para aprender en la Red y ampliar nuestra red de contactos, así como representar oportunidades de formación y actualización profesional muy interesantes. Incluso pueden tener ventajas para la enseñanza utilizándolos en experiencias de Flipped Classroom (Zhang, 2013).

La experiencia presentada no representa el final, sino el inicio de un camino en el trabajo con los MOOC que pueda suponer una experiencia de aprendizaje interesante en el abanico de oportunidades de la educación en línea.

Referencias