Engagement and desertion in MOOCs: Systematic review

Download the PDF version

RESUMEN

Los cursos en línea masivos y abiertos (MOOCs) permiten satisfacer necesidades de aprendizaje desde las particularidades de sus tipologías (xMOOC, tMOOC, cMOOC, iMOOC, entre otras), sin embargo, es aún latente su alta tasa de deserción. Estudios recientes reafirman el engagement como una alternativa para disminuir los índices de deserción. La literatura analizada aún no logra sistematizar respuestas a ¿cómo garantizar el engagement en los MOOCs y disminuir así su tasa de deserción? Y, en coherencia con esa pregunta, ¿existen aún retos del profesorado en este ámbito de la tecnología educativa? Ello motivó a realizar esta revisión sistemática para determinar cómo se ha trabajado el engagement para contribuir a disminuir la tasa de deserción en los MOOCs. Se revisaron artículos de revistas indexadas en Scopus o en WoS aplicando el protocolo PRISMA. Al finalizar el protocolo se definió analizar 40 estudios. Los resultados reflejan que las principales variables son: el diseño e-actividades; la motivación intrínseca y extrínseca y; la comunicación entre los estudiantes. Se ratifica que los principales retos para garantizar el engagement en los MOOCs son: la tutoría individualizada; la interactividad; y la retroalimentación. Debido a la escasez de estudios que analicen de forma integrada las variables antes mencionadas, se propone como trabajo futuro, determinar qué relaciones existen entre estas variables que intervienen en el engagement y la deserción en los MOOCs.

Palabras clave

Compromiso, MOOC, sMOOC, tMOOC, xMOOC, aprendizaje

Keywords

Engagement, MOOC, sMOOC, tMOOC, xMOOC, learning

ABSTRACT

Massive and open online courses (MOOCs) satisfy learning needs from the particularities of their typologies (xMOOC, tMOOC, cMOOC, iMOOC, among others) even though their high dropout rate is still latent. Recent studies reaffirm engagement as an alternative to reduce dropout rates. The literature analyzed has not yet been able to systematize responses as to how to guarantee engagement in MOOCs and thus reduce their attrition rate. And, consistent with that question, are there still challenges for teachers in this area of educational technology? These answers motivated us to carry out this systematic review to determine how engagement has been studied to help reduce the attrition rate in MOOCs. Articles from journals indexed in Scopus or WoS were reviewed applying the PRISMA protocol. At the end of the protocol, it was defined to analyze 40 studies. The results reflect that the main variables are: the design of e-activities, intrinsic and extrinsic motivation, and communication between students. This paper confirms that the main challenges to guarantee engagement in MOOCs are individualized tutoring, interactivity, and feedback. Due to the scarcity of studies that analyze the variables in an integrated way, it is proposed as future work to determine what relationships exist between these variables that interfere with engagement and dropout in MOOCs.

Palabras clave

Compromiso, MOOC, sMOOC, tMOOC, xMOOC, aprendizaje

Keywords

Engagement, MOOC, sMOOC, tMOOC, xMOOC, learning

Introducción y estado de la cuestión

El estudio de la evolución, diseño y evaluación de los cursos en línea masivos y abiertos (en adelante MOOCs, por sus siglas en inglés) es objeto de análisis desde el siglo pasado. Sin embargo, en los últimos 15 años, ha resurgido un nuevo auge debido, fundamentalmente, al aumento de ofertas educativas y las crecientes exigencias y necesidades de aprendizaje por parte de la sociedad (Palacios-Hidalgo et al., 2020).

En este ámbito de la educación virtual, se vislumbran disímiles fundamentos didácticos y psicopedagógicos desde las tipologías de los MOOCs. Diversos autores (Mellati & Khademi, 2020; Osuna-Acedo et al., 2018; Romero-Frías et al., 2020; Teixeira et al., 2019) los clasifican en: cMOOC (Connectivist MOOCs) en los cuales se promueve desde el conectivismo el trabajo colaborativo y la cooperación; los xMOOC o xMOOCs (eXtendedMOOCs) donde la interacción está fuertemente ligada a la relación estudiante-profesor y el proceso de evaluación se centra en preguntas cerradas; madeMOOCs, fomentando el uso de videos, la interactividad y la co-evaluación; synchMOOCs, estableciendo periodos de tiempos límites; adaptiveMOOCs, desarrollando las evaluaciones dinámicas mediante algoritmos y métodos adaptativos; gMOOC, incluyendo en mayor medida la gamificación; sMOOC (Social Massive Open Online Course) los cuales propician una mayor interacción en el aprendizaje y la constante accesibilidad y ubicuidad de sus recursos educativos; tMOOC (transferMOOC) contribuyendo a mayores niveles de transferencia del aprendizaje y transformación pedagógica; e iMOOC (intelligent MOOC) propiciando la personalización de la formación. Por tanto, hoy en día, realizar un estudio teórico de los MOOCs implicaría o bien seleccionar una determinada tipología o analizarlas «en su unidad» desde una mirada interdisciplinaria.

Diversas son las plataformas que se emplean para diseñar MOOCs destacándose edX, Udacity, Moodle y Coursera. Anualmente, a modo de estadística inicial, se matriculan más de 40.000 personas en diferentes tipos de cursos (Deshpande & Chukhlomin, 2017; Zainuddin et al., 2020) lo cual, en cierto sentido, es muestra de su importancia y pertinencia aun cuando es real la alta deserción que estos enfrentan (Zhu, Sari, & Lee, 2020). Disímiles son las causas explícitas en la literatura, destacándose: la motivación; disponibilidad de tiempo; la actitud; el interés; la tutoría; la interactividad y retroalimentación; la accesibilidad de los recursos educativos; el engagement, entre otras causas (Alturkistani et al., 2020; Fırat et al., 2018; Palacios-Hidalgo et al., 2020).

Estudios anteriores declaran que una de las variables más debatidas en la comunidad científica es el engagement. Este término se refiere a la participación, compromiso escolar, pasión, interés ante el estudio, entusiasmo, energía y entrega que evidencia el estudiante; el cual ha sido objeto de análisis pedagógico desde el ámbito del aprendizaje, el rendimiento académico y; la permanencia/deserción del estudiante en un curso (Doo, Tang et al., 2020; Er et al., 2020; Gallego-Romero et al., 2020). Si bien el engagement del estudiante es analizado desde la década de 1980, este término en el contexto educativo de los MOOCs evidencia particularidades y un auge en los últimos 10 años debido, fundamentalmente, a su relación con la permanencia o no de un estudiante en un MOOCs y sus relaciones con la interactividad, motivación, calidad de los recursos educativos digitales (en adelante, RED), las e-actividades y la tutoría virtual (Deng et al., 2020). Es interesante reflejar que en el 2020 (Deng et al., 2020), debido a las carencias teóricas existentes, realizan un análisis exhaustivo de la literatura y se valida científicamente una escala para medir el engagement en los MOOCs, estableciendo y «actualizando» para ello las dimensiones: engagement social; engagement emocional; engagement cognitivo; y engagement conductual.

Para profundizar en las tendencias de los MOOCs diversos meta-análisis, revisiones y mapeos sistemáticos se han publicado en el último quinquenio, destacándose los de revistas indexadas en la Web of Science (WoS) o en Scopus. En la Tabla 1 se observan cuáles son las principales temáticas analizadas en cada estudio. Se identifica, a su vez, que solo ocho han abordado de alguna manera el engagement y su relación con los MOOCs (Almatrafi & Johri, 2019; Alturkistani et al., 2020; Joksimović, Poquet et al., 2018; Khalid et al., 2020; Nortvig et al., 2018; Paton et al., 2018; Wong et al., 2019; Zainuddin et al., 2020; Zhu et al., 2018). Estudios recientes reafirman que si bien se ha investigado «bastante» acerca del engagement y su relación con los MOOCs (Monique & Chiappe, 2020) aún es insuficiente, pues se carece de estudios que sistematicen y agrupen las variables que intervienen en la relación engagement y la deserción en los MOOCs (Galikyan et al., 2021). En este sentido, desde la educación virtual es vital conocer e identificar cuáles son los actuales retos del profesorado para promover y garantizar el engagement en los MOOCs. Desde el análisis de estudios previos (Tabla 1) no se logra aún responder a la pregunta: ¿cómo garantizar o promover el engagement en los MOOCs y disminuir así su tasa de deserción? Y, en coherencia con esa pregunta: ¿existen aún retos del profesorado en este ámbito de la tecnología educativa y la enseñanza digital? Ello motivó a realizar esta revisión sistemática.

Material y métodos

Se aplicó el protocolo PRISMA (Urrútia & Bonfill, 2010) y las consideraciones del cómo proceder para realizar una revisión sistemática (Moher et al., 2016). Este protocolo lo conforma una lista de verificación y un proceso de cuatro fases las cuales guían el diseño adecuado de revisiones sistemáticas.

Paso 1: Propósito de la investigación. El objetivo es realizar una revisión sistemática para determinar cómo se ha trabajado el engagement para contribuir a disminuir la tasa de deserción en los MOOCs. Para ello se establecieron las siguientes preguntas científicas:

1) ¿Cuáles son las plataformas y modalidades de estudios más empleadas en las investigaciones que estudian el engagement en los MOOCs?

2) ¿Cuáles son las variables más estudiadas desde el engagement para contribuir a disminuir la tasa de deserción en los MOOCs?

3) ¿Cuáles son los principales retos relacionados con el engagement en los MOOCs?

Criterios de amenaza de validez

Paso 2: Protocolo de revisión.

• Validez interna. Cada estudio se analizó mediante un protocolo que involucró: palabras clave; descripción; tipo de investigación; estrategia utilizada; análisis de resultados y argumentación de las conclusiones.
• Validez externa. Se descartaron aquellos artículos (estudios de casos o experimentos) que no validaron o argumentaron sus resultados.
• Validez de la conclusión. Se elaboró un formulario según la técnica de Keywording (Petersen et al., 2008). Se utilizaronlos criterios de evaluación para revisiones sistemáticas propuesto por el Instituto de Joanna Briggs (Lockwood et al., 2015) y las pautas para analizar la calidad, transparencia y la replicabilidad (Díaz-Iso et al., 2020).

Procedimiento de selección y criterios de inclusión y exclusión

• Procedimiento de selección y clasificación: 1) Se empleó la técnica de palabras claves «Keywording technique» (Petersen et al., 2008); y 2) se determinó como fundamento pedagógico el constructivismo social para el análisis de la literatura científica. Se utilizó Mendeley para la identificación de los duplicados. Ante cualquier discrepancia «puntual» entre los autores se consultó a tres investigadores colaboradores.
• Criterios de inclusión: 1) Estudios publicados entre 2017 a febrero de 2021; 2) artículos en revistas indexadas en Scopus o WoS; 3) estudios de casos o estudios experimentales; 4) investigaciones que estudien el engagement y su relación con la deserción en los MOOCs; 5) artículos redactados en inglés o español y revisados ​​por pares.
• Criterios de exclusión: Nivel de descripción de la investigación; tipo de investigación (ensayos, tutoriales, meta-análisis, revisiones y mapeos sistemáticos); relación con el objeto de estudio (engagement y deserción en los MOOCs), y fecha de publicación.

Estrategia de búsqueda

Se indagó en las bases de datos Scopus y WoS.

• Se emplearon combinaciones entre los operadores lógicos AND/OR. Las palabras claves fueron: engagement; MOOC; MOOCs; xMOOCs; cMOOC; iMOOC; sMOOC; tMOOC; estudios experimentales; estudios de casos; pre-experimento; cuasiexperimento; experiencias empíricas; y estudios.
• Se utilizaron varios términos establecidos en el bosque semántico de los MOOC, tales como: MOOC, MOOCs; xMOOCs; iMOOC; tMOOC y sMOOC. Se analizaron terminologías similares (cMOOC o cMOOCs; xMOOC o xMOOCs).
• Cadenas de búsqueda general –en español e inglés–: KEY ((MOOCs OR xMOOC OR MOOC OR iMOOC OR sMOOC OR tMOOC OR cMOOC) AND (engagement) AND (estudios experimentales OR pre-experimento OR estudios de casos OR cuasiexperimento OR estudio) OR TITLE (MOOCs OR xMOOC OR MOOC OR iMOOC OR sMOOC OR tMOOC OR cMOOC) AND (engagement) AND (estudios experimentales OR pre-experimento OR estudios de casos OR cuasiexperimento OR estudio). En el caso de WoS, solo se indagó en los índices: Social Sciences Citation Index (SSCI), y Science Citation Index Expanded (SCIE).

Criterios de calidad

Para disminuir los sesgos, se codificó cada estudio con una calificación «1-5, donde el 5 es la calificación máxima» según la valoración de cada investigador (dos en total). Entre los criterios empleados se destacan: ¿Se describen los instrumentos y el proceso investigativo? ¿Se argumentan los resultados? ¿Existe coherencia entre los elementos que conforman el tipo de estudio y la metodología empleada?

Paso 3: Extracción de datos.

Mediante el análisis en profundidad del contenido de las evidencias; su información y conocimientos relevantes fueron almacenados en una matriz de datos según lo establecido para el análisis, síntesis y agrupamiento de la información (Díaz-Iso et al., 2020; Lockwood et al., 2015; Petersen et al., 2008). Entre la información almacenada se destacan: autores; fecha de publicación; variables de estudio; tipo de investigación y nivel educativo.

Paso 4: Análisis de los datos.

El proceso incluyó el agrupamiento de variables; análisis de tendencias y estadísticas. Se aplicó el coeficiente de Kappa de Cohen (k=0,826) a las observaciones realizadas por los investigadores obteniéndose un 96% de «acuerdos» lo cual refleja una adecuada coincidencia (Tang et al., 2015).

Análisis y resultados

Información general de la revisión sistemática

De los 40 estudios seleccionados (Figura 1), el 77,5% (Figura 2) son de los últimos tres años destacándose las investigaciones de estudios de casos con pre y post-test (65%), y los experimentales (27,5%).

Pregunta 1. ¿Cuáles son las plataformas y modalidades de estudios más empleadas en las investigaciones que estudian el engagement en los MOOCs? Las experiencias educativas se centran fundamentalmente (Figura 3) en las plataformas edX (n=14); Coursera (n=8); FutureLearn (n=4) y Moodle (n=4).

En cuanto a las modalidades, la más empleada es el e-learning con énfasis en la formación totalmente en línea (n=34) y por lo cual, se refleja una mayor diversidad de plataformas.

En ambas modalidades (e-learning y b-learning) es interesante que las investigaciones solo exponen que emplean «MOOCs» sin abordar clasificaciones, aunque en el caso del e-learning son reiteradas las tipologías xMOOC y sMOOC. A su vez, las tipologías menos empleadas son los cMOOCs y el iMOOCs. La relación investigación, modalidad de estudio y plataformas se visualizan en la Tabla 2.

Pregunta 2. ¿Cuáles son las variables más estudiadas desde el engagement para contribuir a disminuir la tasa de deserción en los MOOCs? En las investigaciones se destacan tres escenarios (Figura 4):

• Educación general «estudiantes de diversas edades». Las variables más empleadas son: la privacidad de los datos; diseño de foros; democratización de la educación; gamificación; la satisfacción y la calidad percibida.
• Educación universitaria. En este escenario se destacan las variables: diseño de e-actividades; motivación intrínseca y extrínseca; redes personales de aprendizaje; y revisión por pares.
• Educación posgraduada. Se destacan las variables: comunicación y medios sociales; diseño de e-actividades; motivación y la comunicación intrínseca.

La relación de investigación-variables se visualiza en la Tabla 2. Al agrupar y analizar las variables, las más empleadas desde el engagement para contribuir a disminuir la tasa de deserción en los MOOCs son: diseño de e-actividades; la motivación intrínseca y extrínseca; y la comunicación entre los estudiantes.

Pregunta 3. ¿Cuáles son los principales retos relacionados con el engagement en los MOOCs?

El análisis de cada investigación permitió identificar los siguientes retos teniendo en cuenta el par investigación-retos. Los ítems se refieren a las investigaciones analizadas (Tabla 2).

• I1: Validez de la oferta educativa; tutoría según la individualización y la diversidad.
• I2: Conformación de la comunidad de aprendizaje y la interacción.
• I3: Tutoría según la individualización y la diversidad.
• I4: Dinero, infraestructura y acceso a Internet.
• I5: Conformación de la comunidad de aprendizaje y la interacción.
• I6: Tutoría y preparación previa de cómo emplear el MOOC.
• I7: Interactividad y retroalimentación.
• I8: Calidad de los RED.
• I9: Interactividad y retroalimentación.
• I10: Tutoría según la individualización y la diversidad.
• I11: Generación de actividades colaborativas desde el trabajo grupal.
• I12: Calidad de los RED.
• I13: Accesibilidad y reusabilidad de los contenidos.
• I14: Interfaz de usuario y la interactividad.
• I15: Interactividad.
• I16: Interactividad y retroalimentación.
• I17: Interactividad y colaboración.
• I18: Privacidad de los datos.
• I19: Interactividad y colaboración.
• I20: Tutoría según la individualización y la diversidad.
• I21: Política de información educativa.
• I22: Calidad de los RED.
• I23: Diversidad de actividades en varios MOOC.
• I24: Personalización del itinerario formativo.
• I25: La alfabetización tecnológica, el control de los materiales de aprendizaje, la disponibilidad de los materiales didácticos y los criterios de la evaluación.
• I26: Tutoría según la individualización y la diversidad.
• I27: Tutoría y poca familiaridad que algunos docentes tienen con la tecnología.
• I28: Calidad de los RED.
• I29: Interactividad y retroalimentación.
• I30: Métodos de enseñanza en el MOOCs.
• I31: Calidad de los RED.
• I32: Curiosidad.
• I33: Interactividad y colaboración.
• I34: Interactividad y colaboración.
• I35: Diseños de aprendizaje basados en actividades.
• I36: Autonomía.
• I37: Interactividad y colaboración.
• I38: Calidad de los RED.
• I39: Tutoría según la individualización y la diversidad.
• I40: Interactividad y retroalimentación.

A modo de síntesis al analizar las investigaciones y agruparlas por año los retos más recurrentes son:

• 2017: La tutoría individualizada y la conformación de comunidades de aprendizaje.
• 2018: La conformación de comunidades de aprendizaje y la interactividad.
• 2019: La interactividad, la retroalimentación, la accesibilidad e interfaz de usuario y la tutoría individualizada.
• Artículos publicados durante el 2020 a febrero de 2021: la interactividad, retroalimentación, calidad de los RED y la tutoría individualizada.

En síntesis, el análisis, selección y agrupamiento de las variables permitió determinar que los principales retos, entre otros particulares de cada estudio, son: 1) la tutoría individualizada; 2) la interactividad; y 3) la retroalimentación.

Discusión y conclusiones

La deserción o abandono en los MOOCs preocupa a la comunidad de los educadores, pues es visible una gran diferencia entre la matrícula inicial y la cantidad de estudiantes que culminan los cursos. Diversas son sus causas, destacándose el interés, la experiencia académica previa, ausencias reiteradas, la sistematicidad en el autoaprendizaje, la tutoría, la interactividad y retroalimentación, la accesibilidad de los recursos educativos, y el engagement (Martinez-Navarro, 2021; Alturkistani et al., 2020; Firat et al., 2018; Palacios-Hidalgo et al., 2020). Por tal motivo, la comunidad científica busca alternativas para disminuir la tasa de deserción en los MOOCs. En este sentido, el engagement es uno de los núcleos teóricos estudiados para lograr este fin. Es por ello que se realizó esta revisión sistemática para identificar que variables desde el engagement contribuyen a diminuir la tasa de deserción en los MOOCs.

Al responder la Pregunta 1, es evidente el uso masivo y frecuente de MOOCs mediante las plataformas edX, Coursera, FutureLearn y Moodle. Todos necesitamos una constante superación profesional y, por tanto, la alternativa abierta de los MOOCs se reafirma como la principal vía de educación virtual. Las experiencias educativas se centran fundamentalmente en la educación universitaria y de posgrado, lo cual se justifica en cierta medida por la edad de los participantes, su situación laboral y expectativas económicas.

Lo anterior a su vez, puede ser el justificante del mayor uso de la modalidad e-learning, fundamentalmente por la posibilidad de la enseñanza totalmente en línea que les brinda a los estudiantes. En esta modalidad, los MOOCs desarrollados en la educación universitaria se diseñaron básicamente bajo la tipología cMOOCs y «MOOCs» −los autores lo declaran así, sin argumentaciones− mientras que, en la educación posgraduada, fueron los xMOOC. Si bien se expresan experiencias innovadoras mediante el sMOOC y el tMOOC −como últimas tendencias de los MOOCs−, aún se carecen de estudios para ratificar el logro del trabajo colaborativo, la transferencia del aprendizaje, la transformación pedagógica y el «generar interés hacia la acción e interacción profesional» (Osuna-Acedo et al., 2018).

En cuanto a la Pregunta 2, se evidencian disímiles variables que contribuyen a garantizar o promover el engagement en los MOOCs. En el análisis de los resultados se destacan las siguientes variables:

• En el diseño de e-actividades en un MOOC son recurrentes: 1) promover la libertad cognitiva del estudiantado y su implicación en la actividad de aprendizaje; 2) la autonomía; 3) fomentar el aprendizaje colaborativo y la interacción entre el estudiante y un sistema de RED; y 4) la orientación y desarrollo de competencias que le permitan al estudiantado buscar, interactuar, analizar, seleccionar y manipular la información presente en el entorno de aprendizaje (Cabero-Almenara & Palacios-Rodríguez, 2021; Gros-Salvat, 2018). A su vez, la evaluación de las e-actividades exige la imbricación entre las «adecuadas» rúbricas de aprendizaje; la autogestión del aprendizaje; las estrategias de aprendizaje; la tutoría y los entornos personales de aprendizaje, por tanto, debe diseñarse su evaluación en correspondencia a las tipologías de las e-actividades: 1) análisis y síntesis; 2) resolución de problemas; 3) interacción y comunicación; 4) construcción colaborativa de conocimiento; y 5) actividades de reflexión (Maina, 2020).

Son conocidos los fundamentos psicopedagógicos de la relación entre la motivación intrínseca, extrínseca y la desmotivación. Si bien este estudio no está orientado para realizar una observación de estas teorías desde la psicología conductiva; cognitivista o constructivista; es válido destacar que los estudios analizados (Tabla 2) declaran que estas son variables imprescindibles para promover o garantizar el engagement en los MOOCs. El análisis de la literatura refuerza la hipótesis de que la «personalidad» es única, y por tanto, la motivación intrínseca, extrínseca y la desmotivación es un proceso complejo y dinámico el cual puede ser afectado o propiciado por condicionantes internos y externos del individuo, reforzando así su carácter bio-psico-social. Ello implica que las recompensas educativas extrínsecas (felicitaciones, acreditaciones, certificados, entre otros) y las intrínsecas (autoestima, entre otras) tributan al aprendizaje, al rendimiento académico y la permanencia del estudiante en el curso, lo cual se contrapone con lo expresado por Acosta et al. (2014).

• La tercera variable más empleada es la «comunicación entre los estudiantes» siendo fundamental la interacción y la interactividad. Sin embargo, si bien en la mayoría de los estudios analizados hay una preponderancia hacia la interactividad en los MOOCs, la comunicación educativa trasciende estas fronteras, incluyendo la labor y dirección pedagógica del profesor; el estilo y forma de comunicación educativa; y la comunicación educativa individualizada y grupal. Por tanto, el diseño, desarrollo y evaluación de las e-actividades deben promover la interacción social, la colaboración y la inclusión social en un ambiente de comunicación educativa, de constante retroalimentación y dirección pedagógica.

Lo anterior muestra una posible relación entre estas tres variables, sin embargo, consideramos que se carece, en la literatura, de estudios que demuestren a través de experimentos la relación entre estas variables; y cómo, en su unidad, afecta el engagement en los MOOCs.

Por último, en coherencia con los resultados obtenidos en las dos preguntas anteriores, los principales retos (Pregunta 3) para garantizar el engagement en los MOOCs se agrupan en los siguientes aspectos:

• Primer reto. Tutoría individualizada. Es conocido que esta acción educativa se fundamenta principalmente de forma personal y directa. Sin embargo, con la introducción de las modalidades del e-learning y del b-learning, fue complejizándose debido a la diversidad de escenarios en los cuales el profesor y los estudiantes interactuaban. En este sentido, la introducción de los MOOCs aumentó la complejidad de este proceso pedagógico con la masividad de la matrícula. Por tanto, han surgido tendencias e ideas para promover las nuevas tutorías aun cuando no siempre los profesores estamos preparados. En este sentido, en los xMOOC se promueve el proceso de apoyo de los pares; en los cMOOC la tutoría se transforma y se apoya fundamentalmente en las relaciones, nodos e interacciones presentes en el entorno virtual ya sea cognitiva, didáctica o social, evolucionando hasta la creación de los sistemas recomendadores como alternativas de las tecnologías emergentes y para los cuales, los profesores deben de crear y emplear pedagogías emergentes que no siempre están disponibles en la literatura.

Es real que, en los últimos años, desde los tMOOC se acentúan dos actores del proceso pedagógico: el «tutor» y el instructor o profesor(es) del curso (Escudero-Nahón & Núñez-Urbina, 2019). Sin entrar a debatir los roles pedagógicos y funciones de cada cual, desde una perspectiva humanista y educativa, la personalización del aprendizaje, la preocupación por el rendimiento y motivación del estudiante; sus resultados de aprendizaje y el engagement del curso son aspectos que involucran a estos dos actores. Por tal motivo, este reto no resuelto y mal abordado, en ocasiones producto de la mercantilización de la educación y la individualización del profesorado, incide en el engagement del estudiantado (Maré & Mutezo, 2020).

• Segundo reto. La interactividad. Este aspecto «archiconocido» es vital en las modalidades e-learning y b-learning. Sin embargo, es reiterada su presencia en los retos actuales para generar o promover el engagement en los MOOCs. Por tanto, si ya existen orientaciones y guías didácticas en varios estudios teóricos y empíricos de cómo propiciar la interactividad ¿por qué es un reto actual? En el análisis realizado se refleja un aumento de las necesidades y exigencias de aprendizaje por parte del «estudiante» (persona de cualquier edad, fundamentalmente adultos) y, por tanto, un aumento de ofertas educativas de MOOCs que, no siempre, son diseñados bajo un sustento didáctico y pedagógico, lo cual quizás, es reflejo del posible dominio de competencias pedagógicas, didácticas y educomunicativas de los «docentes».

Diversas son las e-actividades que se realizan en los MOOCs, siendo los foros uno de los de mayor uso. En la literatura es reiterada la necesidad de formar al profesorado y/o tutores en garantizar o promover el engagement en los MOOCs para la interacción en los foros de discusión; el aprendizaje colaborativo; los métodos de enseñanza MOOCs y los métodos de evaluación MOOCs (Wu, 2021). En síntesis, este reto se resume en que el profesor, tutor y/o instructor debe «saber» y «saber hacer» la interacción en los foros de discusión e integrarlos con las reseñas en línea de los MOOCs.

• Tercer reto. Retroalimentación. La retroalimentación es concebida tradicionalmente desde tres perspectivas: centrada en el docente; como diálogo centrado en el proceso; y como acción sostenible (Quezada-Cáceres & Salinas-Tapia, 2021). Sin embargo, la orientación y seguimiento individual como función pedagógica del profesor en los MOOCs es inviable debido a la masificación (Gordillo et al., 2019). En tal sentido, es una necesidad actual que el profesor diseñe y produzca RED con alto nivel de accesibilidad logrando que estos se adapten al estudiante y lo retroalimenten en función de sus necesidades de aprendizaje y su actual rendimiento. Este reto cobra un nuevo significado, es decir, la retroalimentación trasciende los límites de profesor-estudiante, incluyéndose herramientas y recursos educativos diseñados para retroalimentar al estudiante. Este reto circunscribe, por tanto, la formación del profesor en el empleo de herramientas de autor. En síntesis, hay una coincidencia y preocupaciones por implementar la retroalimentación desde los MOOCs, involucrando para ello, el accionar pedagógico del profesor; el diseño y producción de RED; y la formación del profesorado para el uso, interpretación y análisis de las herramientas y funcionalidades que ofrecen las plataformas de aprendizaje para determinar el estado actual y prospectivo del aprendizaje del estudiantado.

Se concluye que el diseño de MOOCs ha devenido en el tiempo en solucionar diversas necesidades de aprendizaje, sin embargo, si bien su efectividad y pertinencia es indudable, la alta tasa de deserción es su principal eslabón de Aquiles. En esta dirección, diversos estudios han investigado cómo mitigar este limitante destacándose la línea del engagement. En la última década los estudios del engagement y su relación con la deserción en los MOOCs, no son suficientes, por tal motivo es un reto pendiente, aun cuando se han identificado sus principales variables (diseño de e-actividades; la motivación intrínseca y extrínseca; y la comunicación entre los estudiantes). Esta revisión sistemática logra identificar y, posteriormente, ratificar y agrupar los principales retos para generar el engagement en los MOOCs, siendo estos: la tutoría individualizada; la interactividad; y la retroalimentación (Almatrafi & Johri, 2019; Nortvig et al., 2018).

Las limitaciones de extensión imposibilitan profundizar en los resultados y su discusión. Consideramos que este estudio presenta diversas carencias. En primer lugar, al solo analizar publicaciones indexadas en Scopus y WoS, y en determinados idiomas escogidos (inglés y español), se obviaron otras experiencias educativas, las cuales pueden matizar y diversificar los resultados obtenidos. A su vez, tampoco determinó cuáles son las alternativas de solución a los retos presentes en la literatura, ya que solo se centró en analizar la literatura relevante para así sintetizarlas y agruparlas. Por tanto, esta debilidad da lugar a investigaciones teóricas y empíricas para solucionar dichos retos. Asimismo, sería importante refinar los criterios de búsqueda en términos como: madeMOOCs, synchMOOCs, adaptiveMOOCs y gMOOC pues no fueron intencionados en nuestras cadenas de búsquedas. Por último, sería interesante determinar qué relación o relaciones existen entre las variables asociadas al engagement (diseño e-actividades; la motivación intrínseca y extrínseca; y la comunicación entre los estudiantes) y la tasa de deserción en los MOOCs.

Contribución de Autores

Idea, O.E., D.R.F.C.; Revisión de literatura (estado del arte), O.E., D.R.F.C.; Metodología, O.E., D.R.F.C.; Análisis de datos, O.E., D.R.F.C.; Resultados, O.E; Discusión y conclusiones, O.E., D.R.F.C.; Redacción (borrador original), O.E; Revisiones finales, O.E., D.R.F.C.; Diseño del Proyecto y patrocinios, O.E. (1)

References

1. Díaz-Iso, A, Eizaguirre, A & García-Olalla, A. 2020.A systematic review of the concept of extracurricular activity in higher education. Educacion XX1 1:307–335.
2. Rajabalee, B Y, Santally, M I & Rennie, F. 2020.A study of the relationship between students’ engagement and their academic performances in an eLearning environment. E-Learning and Digital Media 17:1–20.
3. Tang, W, Hu, J, Zhang, H, Wu, P & He, H. 2015.coefficient: A popular measure of rater agreement&author=Tang&publication_year= Kappa coefficient: A popular measure of rater agreement. Shanghai Archives of Psychiatry 27:62–67.
4. Deng, R, Benckendorff, P & Gannaway, D. 2020.engagement in MOOCs: Scale development and validation&author=Deng&publication_year= Learner engagement in MOOCs: Scale development and validation. British Journal of Educational Technology 51(1):245–262.
5. Foley, K, Alturkistani, A, Carter, A, Stenfors, T, Blum, E, Car, J, Majeed, A, Brindley, D & Meinert, E. 2019.open online courses (MOOC) evaluation methods: Protocol for a systematic review&author=Foley&publication_year= Massive open online courses (MOOC) evaluation methods: Protocol for a systematic review. JMIR Research Protocols 8(3).
6. Escudero-Nahón, A & Núñez-Urbina, A A. 2019.teóricos para la transformación de los “Massive Open Online Courses” hacia “Customizable Open Online Courses&author=Escudero-Nahón&publication_year= Fundamentos teóricos para la transformación de los “Massive Open Online Courses” hacia “Customizable Open Online Courses. EDMETIC 8(2):129–149.
7. Deshpande, A & Chukhlomin, V. 2017.makes a good MOOC: A field study of factors impacting student motivation to learn&author=Deshpande&publication_year= What makes a good MOOC: A field study of factors impacting student motivation to learn. American Journal of Distance Education 31(4):275–293.
8. Watted, A & Barak, M. 2018.factors of MOOC completers: Comparing between university-affiliated students and general participants&author=Watted&publication_year= Motivating factors of MOOC completers: Comparing between university-affiliated students and general participants. Internet and Higher Education 37:11–20.
9. Wong, J, Baars, M, Davis, D, Zee, T Van Der, Houben, G J & Paas, F. 2019.self-regulated learning in online learning environments and MOOCs: A systematic review&author=Wong&publication_year= Supporting self-regulated learning in online learning environments and MOOCs: A systematic review. International Journal of Human-Computer Interaction 35(4-5):356–373.
10. Wu, B. 2021.of MOOC learners discussion forum social interactions on online reviews of MOOC&author=Wu&publication_year= Influence of MOOC learners discussion forum social interactions on online reviews of MOOC. Education and Information Technologies 26:3483–3496.
11. Antonaci, A, Klemke, R, Lataster, J, Kreijns, K & Specht, M. 2019.of MOOCs adopting social presence and sense of community to increase user’s engagement: An experimental study&author=Antonaci&publication_year= Gamification of MOOCs adopting social presence and sense of community to increase user’s engagement: An experimental study. In: Scheffel, M., Broisin, J., Pammer-Schindler, V., Ioannou, A. & Schneider, J., eds. Learning with Meaningful Technologies. EC-TEL 2019. Lecture Notes in Computer Science, vol 11722&author=Scheffel&publication_year= Transforming Learning with Meaningful Technologies. EC-TEL 2019. Lecture Notes in Computer Science, vol 11722. (pp. 172-186) Springerhttps://doi.org/10.1007/978-3-030-29736-7_13
12. Gallego-Romero, J M, Alario-Hoyos, C, Estévez-Ayres, I & Kloos, C Delgado. 2020.learners’ engagement and behavior in MOOCs on programming with the Codeboard IDE&author=Gallego-Romero&publication_year= Analyzing learners’ engagement and behavior in MOOCs on programming with the Codeboard IDE. Educational Technology Research and Development 68(5):2505–2528.
13. Fuentes-Cancell, D, Estrada-Molina, O & Delgado-Yanes, N. 2021.redes sociales digitales: Una valoración socioeducativa. Revisión sistemática&author=Fuentes-Cancell&publication_year= Las redes sociales digitales: Una valoración socioeducativa. Revisión sistemática. Revista Fuentes 23(1):41–52.
14. Maina, M. 2020.E-actividades para un aprendizaje activo. In: A. Sangrà, ed. para la mejora de la docencia online. Propuestas para educar en contextos presenciales discontinuos&author=&publication_year= Decálogo para la mejora de la docencia online. Propuestas para educar en contextos presenciales discontinuos. (pp. 81-97) Editorial UOC
15. Zhang, J, Sziegat, H, Perris, K & Zhou, C. 2019.More than access: MOOCs and changes in Chinese higher education. Learning, Media and Technology 44:108–123.
16. Tang, H, Xing, W & Pei, B. 2018.the temporal dimension of forum participation in MOOCs&author=Tang&publication_year= Exploring the temporal dimension of forum participation in MOOCs. Distance Education 39(3):353–372.
17. Sun, Y, Ni, L, Zhao, Y, Shen, X L & Wang, N. 2019.students’ engagement in MOOCs: An integration of self-determination theory and theory of relationship quality&author=Sun&publication_year= Understanding students’ engagement in MOOCs: An integration of self-determination theory and theory of relationship quality. British Journal of Educational Technology 50(6):3156–3174.
18. Zhu, M, Sari, A & Lee, M M. 2018.systematic review of research methods and topics of the empirical MOOC literature&author=Zhu&publication_year= A systematic review of research methods and topics of the empirical MOOC literature. Internet and Higher Education 37:31–39.
19. Doo, M Y, Zhu, M, Bonk, C J & Tang, Y. 2020.effects of openness, altruism and instructional self-efficacy on work engagement of MOOC instructors&author=Doo&publication_year= The effects of openness, altruism and instructional self-efficacy on work engagement of MOOC instructors. British Journal of Educational Technology 51(3):743–760.
20. Gros-Salvat, B. 2018.evolución del e-learning: Del aula virtual a la red&author=Gros-Salvat&publication_year= La evolución del e-learning: Del aula virtual a la red. RIED 21(2):69–82.
21. Jarnac, M & Mira, M. 2020.Systematic literature review about gamification in MOOCs. Open Learning1–23.
22. Petersen, K, Feldt, R, Mujtaba, S & Mattsson, M. 2008.Systematic mapping studies in software engineering. In: Visaggio, G., Baldassarre, M.T., Linkman, S. & Turner, M., eds. Proceedings of the 12th internationalconference on Evaluation and Assessment in Software Engineering&author=Visaggio&publication_year= EASE’08 Proceedings of the 12th internationalconference on Evaluation and Assessment in Software Engineering. (pp. 68-77) BCS Learning & Development Ltd
23. Cornelius, S, Calder, C & Mtika, P. 2019.Understanding learner engagement on a blended course including a MOOC. Research in Learning Technology 27.
24. Mellati, M & Khademi, M. 2020.educational program and interaction in distance education: Long life mode of teaching&author=Mellati&publication_year= MOOC-based educational program and interaction in distance education: Long life mode of teaching. Interactive Learning Environments 28(8):1022–1035.
25. Adam, T. 2020.educational practices of MOOC designers: Embodiment and epistemic location&author=Adam&publication_year= Open educational practices of MOOC designers: Embodiment and epistemic location. Distance Education 41(2):171–185.
26. Maré, S & Mutezo, A T. 2020.The effectiveness of e-tutoring in an open and distance e-learning environment: Evidence from the university of south africa. Open Learning .
27. Littenberg-Tobias, J & Reich, J. 2020.Evaluating access, quality, and equity in online learning: A case study of a MOOC-based blended professional degree program. Internet and Higher Education 47:100759.
28. Palacios-Hidalgo, F J, Huertas-Abril, C A & Parra, M E. 2012.Origins, concept and didactic applications: A systematic review of the literature&author=Palacios-Hidalgo&publication_year= MOOCs: Origins, concept and didactic applications: A systematic review of the literature. Technology, Knowledge and Learning 25:853–879.
29. Sanz-Martínez, L, Er, E, Martínez-Monés, A, Dimitriadis, Y & Bote-Lorenzo, M L. 2019.collaborative groups in a MOOC: A homogeneous engagement grouping approach&author=Sanz-Martínez&publication_year= Creating collaborative groups in a MOOC: A homogeneous engagement grouping approach. Behaviour and Information Technology 38(11):1107–1121.
30. Acosta, E, Escribano, J J & Valderrama, F G. 2014.en la educación masiva online Desarrollo y experimentación de un sistema de acreditaciones para los MOOC&author=Acosta&publication_year= Motivación en la educación masiva online Desarrollo y experimentación de un sistema de acreditaciones para los MOOC. Digital Education Review 25(1):18–35.
31. Cabero-Almenara, J & Palacios-Rodríguez, A. 2021.La evaluación de la educación virtual: Las e-actividades. RIED 24:169–188.
32. Almatrafi, O & Johri, A. 2019.review of discussion forums in Massive Open Online Courses (MOOCs)&author=Almatrafi&publication_year= Systematic review of discussion forums in Massive Open Online Courses (MOOCs)IEEE Transactions on Learning Technologies 12(3):413–428.
33. Urrútia, G & Bonfill, X. 2010.declaration: A proposal to improve the publication of systematic reviews and meta-analyses&author=Urrútia&publication_year= PRISMA declaration: A proposal to improve the publication of systematic reviews and meta-analyses. Medicina Cínica 135(11):507–511.
34. Maya-Jariego, I, Holgado, D, González-Tinoco, E, Castaño-Muñoz, J & Punie, Y. 2020.of motivation and learning intentions of users in MOOCs: The moocknowledge study&author=Maya-Jariego&publication_year= Typology of motivation and learning intentions of users in MOOCs: The moocknowledge study. Educational Technology Research and Development 68(1):203–224.
35. Monique, A & Chiappe, A. 2020.MOOC en la línea del tiempo: Una biografía investigativa de una tendencia educativa&author=Monique&publication_year= Los MOOC en la línea del tiempo: Una biografía investigativa de una tendencia educativa. RED1–31.
36. Zhu, M, Bonk, C J & Doo, M Y. 2020.Self-directed learning in MOOCs: Exploring the relationships among motivation, self-monitoring, and self-management. Educational Technology Research and Development 68:2073.
37. Er, E, Gómez-Sánchez, E, Bote-Lorenzo, M L, Dimitriadis, Y & Asensio-Pérez, J I. 2020.actionable predictions regarding MOOC learners’ engagement in peer reviews&author=Er&publication_year= Generating actionable predictions regarding MOOC learners’ engagement in peer reviews. Behaviour and Information Technology 39(12):1356–1373.
38. Veletsianos, G & Shepherdson, P. 2016.systematic analysis and synthesis of the empirical MOOC literature published in 2013-2015&author=Veletsianos&publication_year= A systematic analysis and synthesis of the empirical MOOC literature published in 2013-2015. International Review of Research in Open and Distance Learning 17:198–221.
39. Dale, V H & Singer, J. 2019.experiences of a blended course incorporating a MOOC on Haskell functional programming&author=Dale&publication_year= Learner experiences of a blended course incorporating a MOOC on Haskell functional programming. Research in Learning Technology 27.
40. Firat, M, Kilinç, H & Yüzer, T V. 2018.of intrinsic motivation of distance education students in e-learning environments&author=Firat&publication_year= Level of intrinsic motivation of distance education students in e-learning environments. Journal of Computer Assisted Learning 34(1):63–70.
41. Stöhr, C, Stathakarou, N, Mueller, F, Nifakos, S & Mcgrath, C. 2019.as learning objects in MOOCs: A study of specialist and non-specialist participants’ video activity in MOOCs&author=Stöhr&publication_year= Videos as learning objects in MOOCs: A study of specialist and non-specialist participants’ video activity in MOOCs. British Journal of Educational Technology 50(1):166–176.
42. Doo, M Y, Tang, Y, Bonk, C J & Zhu, M. 2020.instructor motivation and career development&author=Doo&publication_year= MOOC instructor motivation and career development. Distance Education 41(1):26–47.
43. Paton, R M, Fluck, A E & Scanlan, J D. 2013.and retention in VET MOOCs and online courses: A systematic review of literature from&author=Paton&publication_year= Engagement and retention in VET MOOCs and online courses: A systematic review of literature from. Computers and Education 125:191–201.
44. Quezada-Cáceres, S & Salinas-Tapia, C. 2021.Modelo de retroalimentación para el aprendizaje: Una propuesta basada en la revisión de la literatura. Revista Mexicana de Investigación Educativa 26(88):225–251.
45. Blum-Smith, S, Yurkofsky, M M & Brennan, K. 2021.back and stepping in: Facilitating learner-centered experiences in MOOCs&author=Blum-Smith&publication_year= Stepping back and stepping in: Facilitating learner-centered experiences in MOOCs. Computers and Education 160.
46. Prinsloo, P, Slade, S & Khalil, M. 2019.data privacy in MOOCs: a sentiment analysis&author=Prinsloo&publication_year= Student data privacy in MOOCs: a sentiment analysis. Distance Education 40(3):395–413.
47. Teixeira, A M, Mota, J, Morgado, L & Do-Carmo-Teixeira-Pinto, M. 2019.MOOCs close the Opportunity Gaps? The contribution of social inclusive pedagogical design&author=Teixeira&publication_year= Can MOOCs close the Opportunity Gaps? The contribution of social inclusive pedagogical design. Revista Fuentes 21(2):239–252.
48. Galikyan, I, Admiraal, W & Kester, L. 2021.discussion forums: The interplay of the cognitive and the social&author=Galikyan&publication_year= MOOC discussion forums: The interplay of the cognitive and the social. Computers and Education 165.
49. Xing, W, Tang, H & Pei, B. 2019.Beyond positive and negative emotions: Looking into the role of achievement emotions in discussion forums of MOOCs. Internet and Higher Education 43:100690.
50. Sallam, M H, Martín-Monje, E & Li, Y. 2012.trends in language MOOC studies: A systematic review of the published literature&author=Sallam&publication_year= Research trends in language MOOC studies: A systematic review of the published literature. Computer Assisted Language Learning .
51. Romero-Frías, E, Arquero, J L & Barrio-García, S. 2020.how student motivation relates to acceptance and participation in MOOCs&author=Romero-Frías&publication_year= Exploring how student motivation relates to acceptance and participation in MOOCs. Interactive Learning Environments1–17.
52. Martinez-Navarro, J. 2021.de abandono en contextos MOOC, una aproximación pedagógica desde la literatura&author=Martinez-Navarro&publication_year= Indicadores de abandono en contextos MOOC, una aproximación pedagógica desde la literatura. Revista de Ciències de l'Educació 1(3):36–59.
53. Gordillo, A, López-Pernas, S & Barra, E. 2019.of MOOCs for teachers in safe ICT use training. [Efectividad de los MOOC para docentes en el uso seguro de las TIC&author=Gordillo&publication_year= Effectiveness of MOOCs for teachers in safe ICT use training. [Efectividad de los MOOC para docentes en el uso seguro de las TIC]]Comunicar 61:98–107.
54. Araka, E, Maina, E, Gitonga, R & Oboko, R. 2008.trends in measurement and intervention tools for self-regulated learning for e-learning environments-systematic review&author=Araka&publication_year= Research trends in measurement and intervention tools for self-regulated learning for e-learning environments-systematic review. Research and Practice in Technology Enhanced Learning15.
55. Feitosa, V, Alexandre, C & Noronha, A B. 2021.use of Massive Open Online Courses (MOOCs) in blended learning courses and the functional value perceived by students&author=Feitosa&publication_year= The use of Massive Open Online Courses (MOOCs) in blended learning courses and the functional value perceived by students. Computers and Education 161.
56. Kubincova, E, Dale, V H M & Kerr, J. 2018.a MOOC can effectively facilitate student transitions to an online distance postgraduate programme&author=Kubincova&publication_year= How a MOOC can effectively facilitate student transitions to an online distance postgraduate programme. Research in Learning Technology 26.
57. Vayre, E & Vonthron, A M. 2019.Relational and psychological factors affecting exam participation and student achievement in online college courses. Internet and Higher Education 43:100671.
58. Zhu, M, Sari, A R & Lee, M M. 2020.comprehensive systematic review of MOOC research: Research techniques, topics&author=Zhu&publication_year= A comprehensive systematic review of MOOC research: Research techniques, topics. Educational Technology Research and Development 68(4):1685–1710.
59. Zainuddin, Z, Chu, S K W, Shujahat, M & Perera, C J. 2020.impact of gamification on learning and instruction: A systematic review of empirical evidence&author=Zainuddin&publication_year= The impact of gamification on learning and instruction: A systematic review of empirical evidence. Educational Research Review 30.
60. Osuna-Acedo, S, Marta-Lazo, C & Frau-Meigs, D. 2018.sMOOC to tMOOC, learning towards professional transference. ECO European Project. [De sMOOC a tMOOC, el aprendizaje hacia la transferencia profesional: El proyecto europeo ECO&author=Osuna-Acedo&publication_year= From sMOOC to tMOOC, learning towards professional transference. ECO European Project. [De sMOOC a tMOOC, el aprendizaje hacia la transferencia profesional: El proyecto europeo ECO]]Comunicar 55:105–114.
61. Ballesteros, M L, Mercado, M A, García, N J & Glasserman, L D. 2020.professional learning experiences in mooc: Teachers from sonora, Mexico who participated in the key learning collection&author=Ballesteros&publication_year= Teacher professional learning experiences in mooc: Teachers from sonora, Mexico who participated in the key learning collection. Texto Livre 13(3):79–102.
62. Alturkistani, A, Lam, C, Foley, K, Stenfors, T, Blum, E R, Van Velthoven, M H & Meinert, E. 2020.Open Online Course evaluation methods: Systematic review&author=Alturkistani&publication_year= Massive Open Online Course evaluation methods: Systematic review. Journal of Medical Internet Research 22(4).
63. Kovanović, V, Joksimović, S, Poquet, O, Hennis, T, De-Vries, P, Hatala, M, Dawson, S, Siemens, G & Gašević, D. 2019.communities of inquiry in Massive Open Online Courses: The role of study strategies&author=Kovanović&publication_year= Examining communities of inquiry in Massive Open Online Courses: The role of study strategies. Internet and Higher Education 40:20–43.
64. Jiménez, J R. 2017.Integración de un curso MOOC y de un PLN-PLE en un curso presencial sobre fundamentos de la programación. RED1–17.
65. Joksimović, S, Dowell, N, Poquet, O, Kovanović, V, Gašević, D, Dawson, S & Graesser, A C. 2018.Exploring development of social capital in a CMOOC through language and discourse. Internet and Higher Education 36:54–64.
66. Kasch, J, Van-Rosmalen, P, Löhr, A, Klemke, R, Antonaci, A & Kalz, M. 2021.perceptions of the peer-feedback experience in MOOCs&author=Kasch&publication_year= Students’ perceptions of the peer-feedback experience in MOOCs. Distance Education 42(1):145–163.
67. Khalid, A, Lundqvist, K & Yates, A. 2020.Recommender systems for MOOCs: A systematic literature survey. International Review of Research in Open and Distance Learning 21:256–291.
68. Dai, H M, Teo, T, Rappa, N A & Huang, F. 2020.Chinese university students’ continuance learning intention in the MOOC setting: A modified expectation confirmation model perspective&author=Dai&publication_year= Explaining Chinese university students’ continuance learning intention in the MOOC setting: A modified expectation confirmation model perspective. Computers and Education 150.
69. Velázquez-Sortino, M, Gómez-Zermeño, M G & Alemán-De-La-Garza, L. 2017.in a massive, online, open course (MOOC) for teacher’s. Proposal for a model of analysis&author=Velázquez-Sortino&publication_year= Interactions in a massive, online, open course (MOOC) for teacher’s. Proposal for a model of analysis. Digital Education Review 31:149–175.
70. Douglas, K A, Merzdorf, H E, Hicks, N M, Sarfraz, M I & Bermel, P. 2020.to assessing motivation in MOOC learners: An application of an argument-based approach&author=Douglas&publication_year= Challenges to assessing motivation in MOOC learners: An application of an argument-based approach. Computers and Education 150:103829.
71. Lockwood, C, Munn, Z & Porritt, K. 2015.research synthesis: Methodological guidance for systematic reviewers utilizing meta-aggregation&author=Lockwood&publication_year= Qualitative research synthesis: Methodological guidance for systematic reviewers utilizing meta-aggregation. International Journal of Evidence-Based Healthcare 13(3):179–187.
72. Joksimović, S, Poquet, O, Kovanović, V, Dowell, N, Mills, C, Gašević, D, Dawson, S, Graesser, A C & Brooks, C. 2018.do we model learning at scale? A systematic review of research on moocs&author=Joksimović&publication_year= How do we model learning at scale? A systematic review of research on moocs. Review of Educational Research 88(1):43–86.
73. Nortvig, A M, Petersen, A K & Balle, S H. 2018.A literature review of the factors influencing e-learning and blended learning in relation to learning outcome, student satisfaction and engagement. Electronic Journal of E-Learning 16(1):45–55.
74. Shapiro, H B, Lee, C H, Roth, N E Wyman, Li, K, Çetinkaya-Rundel, M & Canelas, D A. 2017.the massive open online course (MOOC) student experience: An examination of attitudes, motivations, and barriers&author=Shapiro&publication_year= Understanding the massive open online course (MOOC) student experience: An examination of attitudes, motivations, and barriers. Computers and Education 110:35–50.
75. Moher, D, Shamseer, L, Clarke, M, Ghersi, D, Liberati, A, Petticrew, M, Shekelle, P, Stewart, L A, Estarli, M, Barrera, E S A, Martínez-Rodríguez, R, Baladia, E, Agüero, S D, Camacho, S, Buhring, K, Herrero-López, A, Gil-González, D M, Altman, D G, Booth, A & Whitlock, E. 2016.reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement&author=Moher&publication_year= Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Revista Española de Nutrición Humana y Dietética 20(2):148–160.