Analysis and Implications of the Impact of MOOC Movement in the Scientific Community: JCR and Scopus (2010-13)

Pulsa aquí para ver la versión en Español (ES)

Abstract

The emergence of massive open online course (MOOCs) has been a turning point for the academic world and, especially, in the design and provision of training courses in Higher Education. Now that the first moments of the information explosion have passed, a rigorous analysis of the effect of the movement in high-impact scientific world is needed in order to assess the state of the art and future lines of research. This study analyzes the impact of the MOOC movement in the form of scientific article during the birth and explosion period (2010-2013) in two of the most relevant databases: Journal Citation Reports (WoS) and Scopus (Scimago). We present, through a descriptive and quantitative methodology, the most significant bibliometric data according to citation index and database impact. Furthermore, with the use of a methodology based on social network analysis (SNA), an analysis of the article’s keyword co-occurrence is presented through graphs to determine the fields of study and research. The results show that both the number of articles published and the citations received in both databases present a medium-low significant impact, and the conceptual network of relationships in the abstracts and keywords does not reflect the current analysis developed in general educational media.

Download the PDF version

1. Introduction

Massive open online courses (MOOCs) have been considered as a revolution in the divulgative and scientific literature, with a great incidence on educational and formative context (Martin, 2012; Cooper & Sahami, 2013; Aguaded, Vázquez-Cano & Sevillano, 2013; Vázquez-Cano, López-Meneses & Sarasola, 2013; Yuan & Powell, 2013; Downes, 2013). The latest Horizon Report (Johnson et al., 2013) provides a prospective study of the use of educational technologies and future trends in various countries and especially highlights the impact of MOOCs in today’s educational context. Moreover, the Ibero-American Edition oriented to higher education believes that the «massive open courses» will be implemented in institutions of Higher Education within the next four to five years (Durall & al., 2012).

MOOCs have attracted a worldwide interest because of their potential to offer free training accessible to anyone regardless of their country of origin, a previous training without the need to pay for tuition (Vázquez-Cano & al., 2013). Since early 2010, the emergence of these courses has begun to be viewed from a more academic perspective when different prestigious universities began their mass activities; among others: Stanford, Harvard, MIT, and the University of Toronto. There is consensus in the scientific community about the importance and popularity of the movement, mainly by its international scope and the opportunity to offer a diversified Higher Education through prestigious institutions, which even recently was only possible for a small group of people. At the same time, there are discrepancies and doubts about the pedagogical value and future of the MOOC movement in Higher education. The scientific community focus on its impact on the educational and social context from different positions; some of them consider it a destructive development (Touve, 2012), while others see it as a deeply renewing and creative movement (Downes, 2013).

The last two years have seen a peak of over sizing with a high impact and widespread dissemination on media and networks. A Google search on the term MOOC produces more than three million results, whereas a search for more established terms from the scientific literature such as «e-learning» or «mobile learning», generates less than half the results. This gives us an idea of what might be called a «disruptive» event.

In this paper, we analyze the MOOC‘ scientific impact in two of the most prestigious scientific databases WOS (Journal Citation Reports) and Scimago (Scopus) to focus on the main implications for future research and the most significant global bibliometric data, with special emphasis on articles, authors, institutions, and the more representative semantic fields according to citations and database impact. Thus, we can also determine the impact on the scientific world and if the results in this area may also be considered «disruptive».

2. The scientific impact of MOOC movement

Arguably, David Wiley (professor at the State University of Utah, United States), with his open education course offered in 2007, created the first MOOC in history. Subsequently, in 2008, George Siemens and Stephen Downes designed the course that is considered the genesis of the MOOC movement «Connectivism and Connective Knowledge (CCK08)». This event, along with the landmark in the autumn of 2011, when 160,000 people were enrolled in a course on artificial intelligence offered by Sebastian Thrun and Peter Norvig at Stanford University through a startup company called «Know Labs» (now Udacity), converted to an MOOC movement, meant a turning point for the academic and scientific community.

From these events, many teachers, institutions, and universities have started to develop plenty of open courses, multiplying exponentially their impact on the learning processes of Higher Education. The academic and scientific world have analyzed the benefits of this training model in numerous publications, mainly in divulgative journals, scattered in blogs, wikis, journals, social networks, and so on. A sign of this is the prolific activity of researchers such as Stephen Downes with a continuous process of open publication (www.downes.ca), Sir John Daniel with his thoughts and research on quality assessment (Daniel, 2012) and George Siemens with his approaches to the movement from the connectivism principles (Siemens, 2013), among many others. The publishing phenomenon in this movement has followed a similar pattern to other «disruptive innovations». For example, the Twitter microblogging phenomenon that first appeared in 2006, only produced three articles until 2007, but in 2011, there were hundreds (Williams, Terras & Warwick, 2013). The MOOC phenomenon presents an opportunity for emerging research in the coming years in three priority research areas: technology architecture (models and tools in the service of masses), pedagogical model’s reviews and the principles on which it is based (monetization, assessment, accreditation, etc.), implications for rethinking course offerings, and the educational model of Higher Education.

Today, publishers are beginning to seriously invest in MOOCs and offer publications for the development of courses. The Elsevier publishing group has entered the edX group, and Coursera is negotiating with several publishing groups. This commercial interest may have a negative impact on teaching and monetization aspects that could be seen in the near future (Howard, 2012). On the other hand, research on the development of courses and their principles is limited, due to restrictions for researchers to access to interview students from different platforms or develop surveys on teaching functionality or technological development of the different courses. This is generating many studies by teachers who have designed their own MOOC course or by platforms that assess the impact of their own courses with the corresponding bias in investigations in both cases.

Now that the peak of «excitement» has passed, it is time to analyze the current state regarding the impact of the movement in the scientific community taken as reference two of the most representative data bases in academia and the scientific world: Journal Citation Report and Scopus to verify impact among researchers and the lines of research undertaken. Thus, this analysis could serve as a reference for future researchers to highlight both the benefitsand challenges that MOOC movement has to face for its improvement and consolidation in the educational context (Aguaded, Vázquez-Cano & Sevillano, 2013; Touve, 2012).

To date, there are no studies presenting a rigorous analysis on the MOOC movement from the conceptual and bibliometric perspectives. Regarding the analysis of the impact of publications from a bibliometric perspective, there have been some studies examining the impact from a comparative approach with other concepts (Martínez-Abad, Rodríguez-Conde & García-Peñalvo, 2014) or the impact of movement in different databases (Liyanagunawardena, Adams & Williams, 2013). No research has been developed to analyze and assess the implications of the MOOC movement in two of the most prestigious databases with greater global impact in accordance with criteria and variables that allow us to analyze the state of the art, the areas with higher impact, and the main implications for the MOOC movement. For this reason, it seems appropriate to conduct a study that analyzes the different variables, both bibliometric and semantic, that allow researchers and others interested in MOOCs to have an updated overview of the scientific impact of the movement from different variables and perspectives of study to detect the difficulties and weaknesses, including new challenges.

3. Method

3.1. Objectives

The research aims were twofold:

• To quantify from a bibliometric approach the MOOC scientific production in the form of articles in JCR and Scopus databases during the period 2010-2013, according to the following variables: total number of published papers; number of received citations; major citable journals; average citations per year; name, country, and institutional affiliation of the most cited authors; and articles’ methodological approach.

• Analyze the key words used in articles to establish the thematic and conceptual implications to better understand the MOOC movement.

3.2. Research design and analysis

This investigation stems from the principles embodied in bibliometric studies in the field of education (Fernández & Bueno, 1998), with the use of descriptive, quantitative, and correlational techniques with the application to the study of semantic keywords with the technique of social network analysis (Knoke & Yang, 2008) via networks generated in UCINET and visual representation with VOSviewer. The use of databases from a comparative perspective is a research method used in measuring the impact of a term or trend and is usually referenced to three international databases: JCR, Scopus, and Google Scholar (Jacso, 2005; Levine-Clark & Gil, 2009), Recently, the results of Google Scholar have been seriously questioned (Delgado, Robinson & Torres, 2014), and the recovered entries frequently found to incorporate unreliable references. For this reason, this research has been limited to the two databases with greater impact and international recognition, JCR and Scopus (Delgado & Repiso, 2013).

4. Data analysis

For the analysis, we used a technique based on the bibliographic data quantification of articles; with this approach, we obtained several indicators that have been used in other studies in relation to the following: authors, countries, institutions, and subject areas (Davis & Gonzalez, 2003; Chiu & Ho, 2005). Subsequently, we turned to the analysis of keywords frequency (Bhattacharya & al., 2003; Ding, Chowdhury & Foo, 2001) with special attention to the analysis of co-occurrence within the specific research domain of MOOCs. With the same conceptual goal, different areas of study have demonstrated successful implementations (Cahlik, 2000; Neff & Corley, 2009; Viedma & al., 2011).

Initially, the search equation «mooc» or «MOOC» or «massive open online course» was used in both JCR and Scopus databases. With the initial information from both databases, a total of 63 publications in JCR and 180 in Scopus were retrieved, and they were finally reduced to 48 and 111, respectively, by removing books, books chapters, repeated records, irrelevant publications, conference proceedings, and documents that did not fit the purpose of the study or were out of the 2010-2013 interval. We used the automated mechanisms for analysis included in both databases, with representation in figures and tables. Data extraction was performed by direct consultation of the databases according to the following variables:

• Total number of articles and quartile position.

• Number of citations received by each article.

• MOOC article citations in journals.

• Year/month of publication and average citations per year.

• Authors.

• Authors’ institutional affiliation.

• Productivity by country.

• Article’s methodological approach (theoretical, quantitative, qualitative, and mixed).

• Keywords in Scopus and JCR (networks using UCINET and word clouds by generating .txt file (WoS) and csv (Scopus) and key words visual representation in VOSviewer program).

5. Results

We opted to present the quantitative data of both databases to respond to the first objective of this research. In a second phase, we present graphs of keywords in both databases and their analysis to define the major implications in the study of MOOC movement according to key topics developed until today. Table 1 shows the number of articles published in the 2010-2013 interval in both databases. The articles in Scopus are double in quantity those published in JCR; but the number of articles in relation to other concepts such as «e-learning» in the same period (1243 items) is significantly lower (Martínez-Abad, Rodríguez-Conde & García-Peñalvo, 2014).

The 159 articles were distributed heterogeneously among the different quartiles of databases. Most published articles in both databases are concentrated in 2013 (134%-84.27%) as shown in table 2 (http://goo.gl/yjS2XK). The increase in the number of citation of articles in both databases since 2010 is significant, but it continues to have a low incidence, as is shown in table 3 (http://goo.gl/uny7Eo); no article reached 5 citations in JCR and Scopus. Table 4 (http://goo.gl/6cFFJt) shows the evolution of citations distributed by month. It shows a significant increase in the number of articles published since the second half of 2013 as the MOOC movement generated more interest and data. The year 2013 concentrates almost all citations in the interval studied (84.27%). Table 5 (http://goo.gl/YSgkzD) shows that the average number of citations in the past three years increased substantially. In 2013, the average citation was 3.33 in JCR and 7.83 in Scopus, which multiplies 3- and 6-fold, respectively, the citation rates from 2010 to 2012. Despite this increase, it still represents a low rate with respect to the dissemination of informative articles on the MOOC network literature (Google Scholar shows 2125 MOOC citations in the same period).

Table 6 presents the impact of the most cited authors in the two databases, and as can be seen, it is low. For example, Professor Rita Kop (Yorkville University, Canada) with her article «The Challenges to Connectivist Learning on Open Online Networks: Learning Experiences During a Massive Open Online Course» only receives two citations in each of the two databases, whereas in Google Scholar, this article receives 98 citations. This implies a low effect on high-impact databases.

Table 7 (http://goo.gl/4Tm3vs) shows the most active countries during this early period of the movement. It is remarkable that the United States accounts for half of all citations received in both databases. The second country is the United Kingdom but quite a distance behind; Australia, Canada, and Spain occupy the following positions. Other countries are far ahead of those mentioned with an almost symbolic authors’ representation in JCR, which does not exceed 2%. In table 8 (http://goo.gl/y1GHhS), we can see that American universities are the most representative in the MOOC movement, followed by European, Canadian, and Oceania universities. The role of Spanish universities representing 50% of the European scientific production in JCR and 81.83% of production in Scopus is remarkable.

The methodological approach of the articles is a relevant aspect providing an overview of how the research and reflection on MOOC movement is being addressed at this early stage and expansion. The results show that, even today, the main body of research has focused on the theoretical reflection and essays, with a percentage of 80% in both databases. Table 9 (http://goo.gl/CTRWFh) shows the classification of articles according to their methodological approach. Thus, we can see that the ten articles with more citations in both databases have an eminently theoretical approach.

The theoretical approach of the articles with the highest citation index in both databases shows that MOOC research is still at an early stage, and the efforts made to date focus more on the informatics field than on the scientific and academic context (table 10). Some of the biggest names in MOOC research, such as George Siemens, Stephen Downes, and Sir John Daniel who have more than 200,000 search results on Google about MOOCs, have not yet published high-impact articles in these two databases.

The ten journals with the highest citation are published mostly in North American institutions (80%); Canada is represented by the journal «International Review of Research in Open and Distance Learning», one of the most productive in the MOOC movement, Australia by «Distance Education» and the only European journal is the Spanish one, «Comunicar», as you can see in figure 1 (http://goo.gl/KvMqGE).

Once the descriptive and quantitative analysis of the impact of MOOC movement in both databases was implemented, we conducted an analysis of the relations established between keywords through a graph representation. We then chose the words «Abstract» and «Keywords» as the basis for obtaining the word network once the article has been uploaded to the archive, and for the development of binary count, we considered a minimum of two items:

• Of a total of 530 terms extracted from Web of Science, the program determined that only 67 terms meet this criterion.

• Of a total of 1,715 terms extracted from Scopus, the program determined that only 323 terms meet this criterion.

After fixing these criteria, the map of keywords was generated. The matrix was previously built in the UCINET program to calculate the nodal degrees of intermediation and closeness of the five most representative concepts and descriptive keywords in both databases; results are displayed in table 11 (http://goo.gl/4oKw54). If we take into account all the criteria together, that is, nodal degree, rank, closeness, and betweenness, we find that the most relevant values are concepts related to materials or instruments used: video and educational resources as well as educational learning experience, environment, design, and evaluation. The networks presented in Figures 2 and 3 are the graphical representation of the matrix of relations among keywords in JCR and Scopus, respectively.

Figure 2: Graphical representation of keywords in JCR.

In JCR, Figure 2 shows the central position of concepts in the network (Spencer, 2003) and shows a high score of 67% with a total number of 23 nodes. The maximum degree (maximum number of relations of a node in the network) is 3,199 (video), indicating that each keyword is intertwined with an average of 3. The graph density is 0.07, a low value, well away from the value of 1 (high density). The results show that the aspects with a high standardized range (Nrmdegree: percentage of connections of a node on the total network) and a higher node degree focus on the following items: «educational resource», «openness», «assessment» and «impact».

Figure 3. Graphical representation of keywords in Scopus.

In Scopus network (Figure 3), the results of the betweenness degree are significant 27,248, providing relevant information regarding the frequency with which a node appears on the shortest (or geodesic) stretch connecting two others; that is displayed when a concept or keyword can be intermediary between others. We have summarized in Table 11 those nodes that have a higher degree of intermediation (=11) and are recurrent in the published articles: «education», «learning», «experience», «environment» and «design». The results of degree of closeness indicate that, in these five major nodes, those aspects that serve to interrelate the dominant categories in the publication of articles indexed in Scopus.

6. Conclusion

The scientific production of high impact on the MOOC movement in 2010-2013 is still in its early stages and undeveloped. The number of articles published in journals indexed in Scopus and JCR is low compared with other emerging concepts and research areas. The impact in Scopus with 111 articles is significantly greater than that in JCR with 48. Additionally, the published works present a medium-low impact index (JCR 3.33 and Scopus 7.83), which implies that these publications are not a referent of reflection for the analysis of the MOOC movement. This poses a problem for research in MOOCs, mainly because the vision of the movement from the academic world is focusing on the particular interest from certain platforms that use data for advertising or selling the benefits of this type of training without contrast or analyzing critically the data obtained. Moreover, the analysis in blogs and magazines raises the profile of the the MOOC movement, but this is not usually supported by rigorous research methods to better understand the strengths and weaknesses on which the movement is based.

The methodological approach of the ten articles with the highest citations in both databases presents mainly a theoretical approach; by contrast quantitative and qualitative approaches do not exceed 9% of the published articles, making it difficult to conduct a deep analysis from a scientific approach. Until now, universities and countries that are having greater scientific impact are the United States, Australia, Canada, the UK, and Spain. Also, the journals with the highest citation index are concentrated in the United States (80%) and, to a lesser extent, in Canada, Australia, and Spain.

Analysis by networks of abstract and keywords shows that MOOC’s relations are being linked thematically with the educational experience of learning, environment, design, and evaluation. These relations are not in direct line with the current main criticism that focuses on the pedagogical principles of connectivism, monetization, accreditation, and technological architecture of platforms and resources embedded in them (Hill, 2012; Daniel 2012, Vázquez-Cano, López-Meneses & Sarasola, 2013).

Finally, some of the biggest names in MOOC research, such as George Siemens, Stephen Downes, and Sir John Daniel, have not published in both databases and develop their reflections in lower impact journals and in their own Web pages, blogs, specific newspapers, social networks, and so on. These non-academic publications serve as a vehicle for reflection and analysis to the academic and scientific community, which should make scientific journals think about their role in the identification of emerging research fields and more call for papers on this topic to foster a deeper and scientific reflection.

Acknowledgement

Juan-Antonio Barrera, Librarian and Head of Library of Science Education at the University of Seville, and Adrián Macías-Alegre and Raquel Casanova Tristancho of Dokumentalistas.com who assisted in data extraction.

References

Aguaded, I., Vázquez-Cano, E. & Sevillano, M.L. (2013). MOOC, ¿turbocapitalismo de redes o altruismo educativo? Hacia un modelo más sostenible. Informe Scopeo, 2. MOOC: Estado de la situación actual, posibilidades, retos y futuro. Universidad de Salamanca.

Bhattacharya, S., Kretschmer, H. & Meyer, M. (2003). Characterizing Intellectual Spaces between Science and Technology. Scientometrics, 58, 369-390.

Cahlik, T. (2000). Search for Fundamental Articles in Economics. Scientometrics 49(3), 389-402.

Chiu, W.T. & Ho, Y.S. (2005). Bibliometric Analysis of Homeopathy Research during the Period of 1991 to 2003. Scientometrics, 63(1), 3-23.

Cooper, S. & Sahami, M. (2013). Education Reflections on Stanford’s MOOC: New Possibilities in Online Education Create New Challenges. Communications of the ACM, 56(2), 28-30. (DOI:10.1145/2408776.2408787).

Daniel, J.S. (2012). Making Sense of MOOC: Musing in a Maze of Myth, Paradox and Possibility. Journal of Interactive Media in Education, Special issue, 1, 1-20.

Davis, J.C. & Gonzalez, J.G. (2003). Scholarly Journal Articles about the Asian Tiger Economies: Authors, Journals and Research Felds, 1986-2001. Asian-Paci?c Economic Literature, 17(2), 51-61.

Delgado, E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 41, 45-52. (DOI: 10.3916/C41-2013-04).

Delgado, E., Robinson, N. & Torres, D. (2014). The Google Scholar Experiment: How to Index False Papers and Manipulate Bibliometric Indicators. Journal of the Association for Information Science and Technology, 65, 446-454. (DOI: 10.1002/asi.23056).

Ding, Y., Chowdhury, G. & Foo, S. (2001). Bibliometric Cartography of Information Retrieval Research by Using co-word Analysis. Information Processing & Management, 37(6), 817-842.

Downes, S. (2013). MOOC-The Resurgence of Community in Online Learning. (http://goo.gl/1GPk3y) (01-03-2014).

Durall, E., Gros, B., Maina, M., Johnson, L. & Adams, S. (2012). Perspectivas tecnológicas: educación superior en Iberoamérica 2012-17. Austin, Texas: The New Media Consortium.

Fernández Cano, A. & Bueno Sánchez, A. (1998). Síntesis de estudios bibliométricos españoles en educación. Una dimensión evaluativa. Revista Española de Documentación Científica, 3(21), 269-285.

Hill, P. (2012). Four Barriers that MOOC must Overcome to Build a Sustainable Model. E-Literate. (http://goo.gl/7F9Rs) (01-03-2014).

Howard, J. (2012). Publishers see online mega-courses as an opportunity to sell textbooks. Chronicle of Higher Education, 17 September. (http://goo.gl/tgqh9O) (01-03-2014).

Jacso, P. (2005). As we may search-comparison of major features of the Web of Science, Scopus, and Google Scholar citation-based and citation-enhanced databases. Current Science, 89(9), 1537-1547.

Johnson, L., Adams Becker, S.,

Knoke, D. & Yang, S. (2008). Social Network Analysis. United States of America: SAGE.

Levine-Clark, M. & Gil, E. (2009). A Comparative Analysis of Social Sciences Citation Tools. Online Information Review, 33(5), 986-996.

Liyanagunawardena, T.R., Adams, A.A. & Williams, S.A. (2013). MOOC: A Systematic Study of the Published Literature 2008-12. The International Review of Research in Open and Distance Learning, 14(3), 202-227.

Martin, F. G. (2012). Will Massive Open Online Courses Change how we Teach? Communications of the ACM, 55(8), 26-28. (DOI: 10.1145/2240236.2240246).

Martínez-Abad, F., Rodríguez-Conde, M.J. & García-Peñalvo, F.J. (2014). Evaluación del impacto del término «MOOC» vs «eLearning» en la literatura científica y de divulgación. Revista de Formación del Profesorado, 18(1), 185-201.

Neff, M. & Corley, E.A. (2009). 35 Years and 160,000 Articles: A Bibliometric Exploration of the Evolution of Ecology. Scientometrics, 81(1), 657-682.

Siemens, G. (2013). What is the Theory that Underpins our MOOC? (http://goo.gl/itce4) (01-03-2014).

Spencer, J. W. (2003). Global Gatekeeping, Representation and Network Structure: A Longitudinal Analysis of Regional and Global Knowledge-diffusion Networks. Journal of International Business Studies, 34, 428-442.

Touve, D. (2012). MOOC’s Contradictions. Inside Higher Ed. 11 September. (http://goo.gl/Pu8OZJ) (01-03-2014).

Vázquez-Cano, E., López-Meneses, E. & Sarasola, J.L. (2013). La expansión del conocimiento en abierto: Los MOOC. Barcelona: Octaedro.

Viedma, M.I., Perakakis, P., Muñoz M.A., López A.G. & Vila J. (2011). Sketching the first 45 years of the Journal Psychophysiology (1964-2008): A Co-word based Analysis. Psychophysiology, 48, 1029-1036.

Williams, S., Terras, M. & Warwick, C. (2013). What People Study when they Study Twitter: Classifying Twitter related academic papers. Journal of Documentation, 69(3), 384-410.

Yuan, L. & Powell, S. (2013). MOOC and Open Education: Implications for Higher Education. Cetis. (http://publications.cetis.ac.uk/2013/667) (01-03-2014).

Click to see the English version (EN)

Resumen

La irrupción de los MOOC (Massive Online Open Courses) ha supuesto un punto de inflexión en el mundo académico y, especialmente, en el diseño y oferta de cursos formativos en la Educación Superior. Una vez superado el primer momento de explosión informativa, se precisan análisis rigurosos sobre la repercusión del movimiento en el mundo científico con más alto impacto para valorar el estado de la cuestión y las líneas de investigación futuras. El presente estudio analiza el impacto del movimiento MOOC en forma de artículo científico durante el período de nacimiento y explosión (2010-2013) en dos de las bases de datos de revistas científicas más relevantes, Journal Citation Reports (WoS) y Scopus (Scimago). A través de una metodología descriptiva y cuantitativa se presentan los datos bibliométricos más significativos por su índice de cita y repercusión. Asimismo, mediante la metodología de Análisis de Redes Sociales (ARS) se realiza un análisis de co-ocurrencia con representación en grafo de las palabras clave de los artículos para la determinación de los campos de estudio e investigación. Los resultados muestran que tanto el número de artículos publicados en ambas bases de datos como las citas que reciben presentan un índice medio-bajo de impacto y la red temática de interrelaciones en los resúmenes y palabras clave de los artículos publicados no reflejan la crítica actual de los medios divulgativos generales.

Descarga aquí la versión PDF

1. Introducción

Los cursos masivos, en línea y en abierto denominados con la sigla inglesa «MOOC» se han considerado, en la literatura divulgativa y científica, una revolución con un gran potencial en el mundo educativo y formativo (Martin, 2012; Cooper & Sahami, 2013; Aguaded, VázquezCano & Sevillano, 2013; VázquezCano, LópezMeneses & Saralosa, 2013; Yuan & Powell, 2013; Downes, 2013). El último informe Horizon (Johnson & al., 2013) aporta un estudio prospectivo del uso de tecnologías y tendencias educativas en el futuro de distintos países y destaca especialmente la incidencia de los MOOC en el panorama educativo actual. Asimismo, la edición Iberoamericana orientada a la Educación Superior considera que los «cursos masivos abiertos» se implantarán en las instituciones de educación superior en un horizonte de cuatro a cinco años (Durall & al., 2012).

Los MOOC han acaparado un interés mundial debido a su gran potencial para ofrecer una formación gratuita y accesible a cualquier persona independientemente de su país de procedencia, su formación previa y sin la necesidad de pagar por una matrícula (VázquezCano & al., 2013). Desde comienzos del año 2010, la irrupción de estos cursos empezó a ser vista desde una perspectiva más academicista cuando diferentes universidades de reconocido prestigio iniciaron sus actividades masivas, entre otras, Stanford, Harvard, MIT y la Universidad de Toronto. Existe un consenso en la comunidad científica sobre la importancia y popularidad del movimiento, principalmente, por su alcance internacional y la oportunidad de ofrecer una formación superior muy diversificada a través de prestigiosas instituciones, lo que hasta hace muy poco parecía estar destinado a las élites. Al mismo tiempo, existen discrepancias y cuestionamientos sobre el valor pedagógico y el alcance que tendrá el movimiento en la educación superior. El cuestionamiento se centra principalmente en el valor que la comunidad científica otorga al movimiento desde su incidencia en el panorama formativo y social y que polarizan posturas desde posicionamientos que lo consideran un movimiento destructivo (Touve, 2012), hacia otras que lo tildan de profundamente renovador y creativo (Downes, 2013).

Estos dos últimos años han supuesto un pico de sobredimensión del movimiento en su repercusión y divulgación general en medios y redes. Si realizamos una búsqueda en el buscador «Google» del término MOOC nos devuelve más de tres millones de resultados, mientras que si lo hacemos con otros dos términos más asentados en la literatura científica como «elearning» o «mobile learning» no llegamos a esa cifra ni uniendo los resultados de los dos términos. Esto nos da una idea de lo que se puede denominar un acontecimiento «disruptivo».

En este trabajo realizamos una investigación del impacto científico del movimiento en dos de las bases de datos de revistas científicas más relevantes en el mundo académico WOS (Journal Citation Reports) y Scimiago (Scopus) con el objeto de delimitar las implicaciones fundamentales para futuras investigaciones y los datos bibliométricos más significativos a nivel mundial, con especial incidencia en los artículos, autores, instituciones y temáticas más representativos por su índice de cita y repercusión. De esta manera, podremos determinar también la incidencia en el mundo científico y si los resultados en este ámbito pueden también considerarse «disruptivos».

2. La repercusión científica del movimiento MOOC

Podemos considerar que David Wiley, profesor de la Universidad Estatal de Utah (USA), con su curso sobre educación abierta, ofertado en 2007, creó el primer MOOC de la historia. Posteriormente, en el año 2008, George Siemens y Stephen Downes diseñaron el curso que se considera la génesis del movimiento MOOC: «Connectivism and Connective Knowledge (CCK08)». Este acontecimiento junto con el hito de que en otoño de 2011, 160.000 personas se matricularon en un curso de «Inteligencia artificial», ofrecido por Sebastian Thrun y Peter Norvig en la Universidad de Stanford a través de una compañía «startup» llamada «Know Labs» (actualmente Udacity) convirtió al movimiento MOOC en un punto de inflexión para la comunidad académica y científica.

Desde estos acontecimientos, numerosos profesores, instituciones y universidades han empezado a desarrollar infinidad de cursos en abierto, multiplicando exponencialmente su repercusión en los procesos formativos de la Educación Superior. El mundo académico y científico ha reflejado en numerosas publicaciones, principalmente divulgativas, diseminadas en blogs, wikis, revistas, entradas en redes sociales, etc., las bondades y críticas de este modelo de formación. Muestra de ello, es la prolífica actividad de investigadores como Stephen Downes con un continuo proceso de publicación en abierto (www.downes.ca), Sir John Daniel con sus reflexiones e investigaciones sobre la evaluación de la calidad (Daniel, 2012) y George Siemens, con sus aproximaciones al movimiento desde el principio del conectivismo (Siemens, 2013), entre otros muchos autores. El fenómeno en la publicación sobre este movimiento ha seguido un patrón similar al de otras «innovaciones disruptivas». Por ejemplo, el fenómeno del microblogging con Twitter que apareció por primera vez en el año 2006, solo produjo tres artículos hasta el año 2007, y ya en el año 2011 se contaban por cientos (Williams, Terras & Warwick, 2013). El fenómeno MOOC se convierte así en una oportunidad de investigación emergente para los próximos años en tres áreas de investigación prioritarias: arquitectura tecnológica (modelos y herramientas al servicio de la masividad), críticas al modelo pedagógico y a los principios sobre los que se asienta (monetización, evaluación y acreditación, etc.) e implicaciones para el replanteamiento de la oferta y el modelo educativo de la educación superior.

En la actualidad, las editoriales están empezando a apostar seriamente por integrarse en el movimiento MOOC y ofrecer sus publicaciones en el desarrollo de los cursos; el grupo editorial Elsevier ha entrado en el grupo edX y Coursera está negociando con varios grupos editoriales. Este interés comercial puede tener una incidencia negativa en aspectos didácticos y de monetización que se verán en un futuro muy cercano (Howard, 2012).

Por otro lado, la investigación sobre el desarrollo de los cursos y los principios sobre los que se asienta está teniendo numerosas limitaciones debido a la restricción que tienen los investigadores para acceder a entrevistar a los estudiantes de las diferentes plataformas o realizar cuestionarios sobre la funcionalidad didáctica o tecnológica en el desarrollo de los diferentes cursos. Esto está suscitando que mucha de la investigación desarrollada hasta el momento se realice por los propios profesores que han diseñado su curso MOOC o las plataformas que evalúan la incidencia de su oferta formativa con los correspondientes sesgos en las investigaciones en ambos casos. Por lo tanto, una vez superado el pico de «excitación», es el momento de analizar el estado de la cuestión con respecto al impacto del movimiento en la comunidad científica tomando como referencia dos de las bases de datos más representativas en el mundo académico y científico como son Journal Citation Report y Scopus para comprobar tanto su impacto entre los investigadores como las líneas de investigación iniciadas. De forma que puedan servir de referencia para futuras investigaciones donde se ponga de relieve tanto las bondades como las dificultades y retos que debe afrontar el movimiento MOOC para su mejora y consolidación en el panorama formativo (Aguaded, VázquezCano & Sevillano, 2013; Touve, 2012).

Hasta la actualidad, no han aparecido estudios que realicen un análisis riguroso, tanto bibliométrico como conceptual del movimiento MOOC. Con respecto al análisis del impacto de las publicaciones desde una perspectiva bibliométrica, se han publicado algunos estudios que analizan este impacto de forma comparada con otros conceptos (MartínezAbad, RodríguezConde & GarcíaPeñalvo, 2014) o de la repercusión del movimiento en diferentes bases de datos (Liyanagunawardena, Adams & Williams, 2013). Todavía no se ha realizado una investigación que analice y valore las implicaciones del movimiento MOOC en dos de las bases de datos con mayor impacto mundial conforme a criterios y variables que nos permitan analizar el estado de la cuestión, las líneas con mayor repercusión y las implicaciones para el movimiento. Por este motivo, parece pertinente realizar un estudio que analice en profundidad diferentes variables, tanto bibliométricas como temáticas, que posicionen a los investigadores e interesados en el temática MOOC ante un panorama actualizado de la repercusión científica del movimiento desde diferentes variables y perspectivas de estudio, que permitan detectar dificultades, debilidades y proyectar nuevos retos.

3. Método

3.1. Objetivos

La investigación pretende un doble objetivo:

• Cuantificar bibliométricamente en las bases de datos JCR y Scopus la producción científica sobre MOOC en forma de artículo durante el periodo 201013 con respecto a las siguientes variables: número total de artículos publicados, número de citas recibidas, principales revistas citantes, promedio de citas por año, nombre, país y filiación institucional de los autores más citados y enfoque metodológico de los artículos.

• Analizar las palabras clave empleadas en los artículos para establecer las implicaciones temáticas y conceptuales con la que los investigadores están avanzando en la comprensión y análisis del movimiento MOOC.

3.2. Diseño de la investigación y análisis de datos

Esta investigación parte de los principios enmarcados en los estudios bibliométricos en el campo de la educación (Fernández & Bueno, 1998), con el empleo de técnicas de tipo descriptivo, cuantitativo, correlacional y de aplicación semántica al estudio de palabras clave con la técnica del análisis de redes sociales (Knoke & Yang, 2008) mediante red generada en UCINET y representación visual con el software VOSviewer. El uso comparado de bases de datos es un método utilizado en investigaciones que miden el impacto de un término o tendencia y se suele recurrir a tres bases de datos internacionales: JCR, Scopus y Google Scholar (Jacso, 2005; LevineClark & Gil, 2009); aunque recientemente los resultados de Google Scholar han sido seriamente cuestionados (Delgado, Robinson & Torres, 2014) y las entradas recuperadas muchas veces incorporan referencias poco fiables. Por este motivo, la investigación se ha circunscrito a dos de las bases de datos con mayor impacto y reconocimiento internacional JCR y Scopus (Delgado & Repiso, 2013).

4. Análisis de datos

Para el procedimiento de análisis, se recurrió a la cuantificación de datos bibliográficos de los artículos con los que se obtuvieron indicadores que también han sido utilizados en otros estudios bibiométricos y que se relacionan con: autores, países, instituciones y áreas temáticas (Davis & Gonzalez, 2003; Chiu & Ho, 2005). Posteriormente, recurrimos al análisis de frecuencia de las palabras clave (Bhattacharya & al., 2003; Ding, Chowdhury & Foo, 2001) con especial atención al análisis de coocurrencia dentro del dominio de investigación específico de los MOOC. Con el mismo objetivo conceptual, distintas disciplinas científicas han evidenciado éxito en su aplicación (Cahlik, 2000; Neff & Corley, 2009; Viedma & al., 2011).

Inicialmente se empleó la ecuación de búsqueda «mooc» OR «MOOC» OR «massive open online course» tanto en JCR como en Scopus. Con la información inicial de ambas bases de datos, se recuperaron un total de 63 publicaciones de JCR y 180 de Scopus que finalmente han sido reducidas a 48 y 111 respectivamente mediante expurgo manual de capítulos de libros, registros repetidos, publicaciones irrelevantes, actas de congresos y documentos que no pertenecían al umbral 20-10-2013 objeto de estudio. Se han empleado los mecanismos de análisis automatizados incluidos en ambas bases de datos, cuya información se ha interpolado a las gráficas y tablas. La extracción de datos se ha realizado a través de la consulta directa de las bases de datos atendiendo a las siguientes variables:

• Número total de artículos y cuartil.

• Número de citas que recibe cada artículo.

• Revistas citantes de artículos MOOC.

• Año/mes de publicación y promedio de citas por año.

• Autores firmantes.

• Filiación institucional de los autores.

• Productividad por país.

• Enfoque del artículo (teórico, cuantitativo, cualitativo y mixto).

• Palabras clave de Scopus y JCR (redes mediante UCINET y nubes de palabras mediante generación de archivo .txt (en el caso de WoS) y .csv (caso de Scopus) y representación visual de los mismos en el programa VOSviewer).

5. Resultados

Hemos optado por presentar de forma diferenciada los datos cuantitativos obtenidos en el análisis de las dos bases de datos, y de esta manera, dar respuesta al primer objetivo de esta investigación. En una segunda fase, presentamos los grafos de palabras clave en ambas bases de datos y su análisis para así poder delimitar las principales implicaciones en el estudio del movimiento MOOC según las temáticas relacionadas con su estudio hasta la actualidad. La tabla 1 muestra el número de artículos publicados en el intervalo 201013 en las dos bases de datos analizadas. Los artículos publicados en Scopus doblan en cantidad a los publicados en JCR; pero el número de artículos con respecto a otros conceptos como «elearning» en el mismo periodo de tiempo (1.243 artículos) es significativamente mucho menor (MartínezAbad, RodríguezConde & GarcíaPeñalvo, 2014).

Draft Content 325122497-32642 ov-es033.jpg

Estos 159 artículos se han distribuido de forma heterogénea entre los diferentes cuartiles de las bases de datos. La mayor publicación de artículos en ambas bases de datos se concentra en el año 2013 (13484,27%) como se puede observar en la tabla 2 (véanse las siguientes tablas en el Repositorio Figshare) (http://goo.gl/8qSMRA). Asimismo, es significativo el incremento del número de citas de los artículos en ambas bases de datos desde el 2010 pero continua siendo muy baja su incidencia como se puede observar en la tabla 3 (http://goo.gl/Qu2B57), ningún artículo alcanza más de 5 citas en JCR y Scopus. La tabla 4 (http://goo.gl/6u0Jia) muestra la evolución de citas distribuida por meses. Se puede comprobar cómo se ha ido incrementado desde la segunda mitad del año 2013 significativamente el número de artículos publicados a medida que el movimiento MOOC generaba más interés y datos. El año 2013 concentra casi la totalidad de las citas del intervalo (84,27%). La tabla 5 (http://goo.gl/qWNpdX) muestra que el promedio de citas en estos tres años se ha incrementado sustancialmente. El año 2013 el promedio de cita fue 3,33 en JCR y 7,83 en Scopus lo que triplica y sextuplica respectivamente los índices de cita del intervalo 20102012. A pesar de este incremento, todavía representa un índice muy bajo con respecto a la difusión de artículos MOOC en la literatura divulgativa en red (Google Scholar recoge 2.125 citas sobre MOOC en el mismo intervalo de tiempo).

En la tabla 6 presentamos el impacto de los autores más citados en las dos bases de datos que como se puede observar es muy bajo. Por ejemplo, la profesora Rita Kop (Yorkville University, Canadá) con su artículo «The Challenges to Connectivist Learning on Open Online Networks: Learning Experiences during a Massive Open Online Course» solo recibe dos citas en cada una de las bases de datos, mientras que en Google Scholar recibe 98 citas de este mismo artículo. Lo que implica que la repercusión en bases de datos de alto impacto es todavía muy poco significativa.

Draft Content 325122497-32642 ov-es034.jpg

La tabla 7 (http://goo.gl/NmLNbm) muestra los países que se han mostrado más activos durante este periodo inicial del movimiento. Destaca Estados Unidos que acapara la mitad de citas de todas las recibidas en ambas bases de datos. El segundo país a bastante distancia es Reino Unido; Australia, Canadá y España ocupan los siguientes puestos. Los demás países se encuentran a bastante distancia de los mencionados con una representación de autores casi testimonial en JCR que no supera el 2% en el resto de los países. En la tabla 8 (http://goo.gl/UtclZT) podemos observar que las universidades con mayor representación en el movimiento MOOC son las estadounidenses, seguidas de las europeas, las canadienses y las de Oceanía. Es muy destacable el papel de las universidades españolas que representan el 50% de la producción científica europea en JCR y el 81,83% de la producción en Scopus.

El enfoque metodológico de los artículos es un valor que nos proporciona una perspectiva general de cómo se está afrontando la investigación y reflexión sobre el movimiento MOOC en esta fase inicial y de expansión. Los resultados obtenidos muestran que hasta la actualidad el grueso de la investigación se ha centrado en los artículos teóricos de reflexión y ensayo con un porcentaje mayor del 80% en ambas bases de datos como se puede observar en la tabla 9 (http://goo.gl/q0Yhus) que muestra la clasificación de los artículos según su enfoque metodológico. Así podemos comprobar que los diez artículos con más citas en ambas bases de datos tienen un enfoque eminentemente teórico.

Este enfoque teórico de los artículos con mayor índice de cita en ambas bases de datos muestra que la investigación sobre los MOOC está aún en una fase inicial, y los esfuerzos que se han realizado hasta la fecha, se centran más en el ámbito divulgativo que en el científicoacadémico (Tabla 10). Es reseñable que algunos de los grandes nombres de la investigación MOOC, como pueden ser: George Siemens, Stephen Downes y Sir John Daniel que acumulan entre los tres más de 200.000 resultados de búsqueda en Google sobre MOOC, no hayan publicado artículos de alto impacto en estas dos bases datos.

Draft Content 325122497-32642 ov-es035.jpg

Las diez revistas con mayor índice de cita son editadas en su mayor parte en instituciones estadounidenses (80%), Canadá aparece representado por la revista «International Review of Research in Open and Distance Learning» una de las más productivas en el movimiento MOOC, Australia por «Distance Education» y la única europea es la española «Comunicar» como se puede ver en la figura 1 (véanse las siguientes fuguras en el Repositorio Figshare) (http://goo.gl/T4vCdO).

Una vez realizado el análisis descriptivo y cuantitativo del impacto del movimiento MOOC en las dos bases de datos, realizamos el análisis de las relaciones que se establecen entre las palabras clave por medio de la representación en grafo de las mismas. Una vez cargado el archivo, se ha elegido como base para la obtención de la red de palabras el campo «Abstract» y «Keywords» y para su desarrollo, se ha seleccionado el conteo binario (Binary counting) con un umbral mínimo de términos considerados de 2:

• De un total de 530 términos extraídos de Web of Science, el programa ha determinado que solo 67 términos cumplen este criterio.

• De un total de 1.715 términos extraídos de Scopus, el programa ha determinado que solo 323 términos cumplen este criterio.

Tras la fijación de estos criterios se ha producido la generación del mapa de palabras clave. La matriz fue construida previamente en el programa UCINET para calcular los grados nodales de intermediación y cercanía de los cinco conceptos y palabras clave más representativas en ambas bases de datos y se pueden visualizar los resultados obtenidos en la tabla 11 (http://goo.gl/Xkh9aG). Si observamos todos los criterios mencionados en conjunto, es decir, grado nodal, rango, cercanía e intermediación, los valores más relevantes los presentan conceptos relacionados con los materiales o instrumentos empleados: vídeo y recursos educativos; la experiencia educativa de aprendizaje, entorno, diseño y evaluación de los mismos. Las redes expuestas en las figuras 2 y 3 son la representación gráfica de la matriz de relaciones entre las palabras claves en JCR y Scopus respectivamente.

Draft Content 325122497-32642 ov-es036.jpg

Figura 2: Representación gráfica de palabras clave en JCR con VOSviewer.

En JCR (figura 2), la centralidad muestra la posición de los conceptos en la red (Spencer, 2003) y arroja un resultado bastante alto del 67% con un número total de nodos de 23. El grado máximo (número máximo de relaciones de un nodo en la red) es de 3,199 (video) lo cual indica que cada palabra clave está interrelacionada con una media de 3. La densidad del grafo es 0.07 un valor bajo, alejado del valor 1 (densidad máxima). Los resultados muestran que los aspectos con mayor rango normalizado (Nrmdegree: porcentaje de conexiones que tiene un nodo sobre el total de la red) y mayor grado nodal se concentran en los ítems: «Educational resource», «Openness», «Assessment» e «Impact».

Draft Content 325122497-32642 ov-es037.jpg

Figura 3. Representación gráfica de palabras clave en Scopus con VOSviewer.

En la red Scopus (figura 3), son significativos los resultados del grado de intermediación 27,248; lo que proporciona información relevante con respecto a la frecuencia con que aparece un nodo en el tramo más corto (o geodésico) que conecta a otros dos; es decir, muestra cuando un concepto o palabra clave puede ser intermediario entre otros. Hemos reseñado en la tabla 11 aquellos nodos que tienen un grado de intermediación mayor (=11) y son recurrentes en los artículos publicados: «Education», «Learning», «Experience», «Environment» y «Design». Los resultados del grado de cercanía indican que, en estos cinco nodos mayores, se concentran aquellos aspectos que sirven para interrelacionar las categorías dominantes en la publicación de artículos indexados en Scopus.

6. Conclusión

La producción científica de alto impacto en el movimiento MOOC en el periodo de estudio 20102013 se encuentra todavía en una fase incipiente y poco desarrollada. El número de artículos publicados en revistas indexadas en JCR y Scopus es muy bajo con respecto a otros conceptos y campos emergentes de investigación. Es significativamente mayor el impacto en Scopus con 111 artículos que en JCR con 48. Asimismo, los trabajos publicados presentan un índice mediobajo de cita (JCR 3,33 y Scopus 7,83) lo que implica que estas publicaciones no están siendo el referente de reflexión y análisis del movimiento. Esto representa un problema para la investigación en MOOC; principalmente porque la visión del movimiento desde el mundo académico se está enfocando desde el interés particular de determinadas plataformas que usan sus datos para hacer publicidad o vender las bondades de este tipo de formación sin contrastar ni analizar los datos de una manera crítica. Asimismo, el análisis en blogs y revistas de divulgación enriquece la percepción del movimiento MOOC pero no se suelen complementar con métodos de investigación rigurosos que permitan entender las fortalezas y debilidades sobre las que se asienta el movimiento.

El enfoque metodológico de los diez artículos con mayor índice de cita en las dos bases de datos presenta una aproximación eminentemente teórica; por el contrario los enfoques cuantitativos y cualitativos no superan el 9% de los artículos publicados; lo que dificulta la realización de una crítica desde postulados más empíricos. Las universidades y países, que hasta el momento, están teniendo una mayor repercusión científica son Estados Unidos, Australia, Canadá, Reino Unido y España. Asimismo, las revistas con mayor índice de cita se concentran en Estados Unidos (80%) y en menor medida en Canadá, Australia y España.

El análisis mediante redes de los «abstract» y palabras clave muestra que las relaciones del movimiento MOOC se están vinculando temáticamente con la experiencia educativa de aprendizaje, el entorno, el diseño y la evaluación de los mismos. Estas relaciones no están en directa consonancia con las principales críticas vertidas hasta el momento y que se concentran en los principios pedagógicos conectivistas, la monetización, la acreditación y la arquitectura tecnológica de las plataformas y de los recursos en ellas integrados (Hill, 2012; Daniel 2012, VázquezCano, LópezMeneses & Sarasola, 2013).

Por último, insistimos en el hecho de que algunos de los grandes nombres de la investigación MOOC, como pueden ser George Siemens, Stephen Downes y Sir John Daniel, no hayan publicado en ambas bases de datos y desarrollen sus reflexiones en revistas de menor impacto y en sus propias páginas web, blogs, periódicos temáticos, redes sociales, etc. Estos medios digitales de divulgación informativa sí están sirviendo a la comunidad académica y científica de reflexión y crítica; lo que debe hacer reflexionar a la revistas de corte más científico sobre su papel en la identificación de las campos emergentes de investigación y en su aproximación mediante «call for papers» a una reflexión más profunda y científica de los mismos.

Agradecimientos

Juan-Antonio Barrera, Documentalista y Responsable de la Biblioteca de Ciencias de la Educación de la Universidad de Sevilla, y Adrián MacíasAlegre y Raquel Tristancho Casanova, de Dokumentalistas.com, que colaboraron en la extracción de datos.

Referencias