RESUMEN

En la actualidad las tecnologías desempeñan un papel fundamental en los procesos de investigación educativa, especialmente cuando se realizan diseños complejos o desde perspectivas integradoras (Cuantitativas y Cualitativas). Las facilidades ofrecidas por nuevas herramientas y dispositivos tecnológicos influyen constantemente en la forma en que se lleva a cabo la investigación educativa. Por consiguiente, esta creciente importancia de la tecnología para la investigación educativa exige una reflexión más profunda, no sólo sobre sus evidentes beneficios, sino también sobre sus posibles inconvenientes y limitaciones. En este artículo se explora esa tensión en un diseño de investigación desde una estrategia mixta centrada en la identificación y comprensión de las barreras que impiden la adopción de herramientas/métodos de Diseño de Aprendizaje, un problema importante en el campo del aprendizaje mejorado por tecnología (Technology Enhanced Learning). Diferentes actores (profesores e investigadores) han participado en el diseño de la investigación, que incluye una revisión sistemática de la literatura, un estudio Delphi y un estudio de caso, generando un diseño muy articulado con tecnologías para cada fase. En el documento se describen las principales repercusiones metodológicas de las tecnologías empleadas en la investigación. Las conclusiones del documento ponen de relieve que, si bien las tecnologías apoyan en gran medida un nivel alto de complejidad y ayudan a articular el propio diseño, también pueden dar lugar a resultados superficiales o sesgados.

Palabras clave

Métodos mixtos, e-investigación, tecnologías, diseño de aprendizaje, investigación educativa, estudio de casos, revisión de literatura, estudio Delphi

Keywords

Mixed-methods, e-research, technologies, learning design, educational research, case study, literature review, Delphi study

Abstract

Nowadays, technologies play a key role in educational research processes, especially in the context of complex designs or integrative perspectives (qualitative and quantitative). Affordances provided by new tools and technological devices are constantly impacting the way educational research is carried out. Consequently, this growing importance (and dependence on) technology for educational research calls for a deeper reflection, not only about its clear benefits, but also about its potential drawbacks and limitations. This paper explores this tension in a specific mixed-methods research design aimed at understanding the barriers preventing the adoption of Learning Design (LD) tools/methods, a significant problem in the research field of Technology Enhanced Learning (TEL). Different actors (teachers and researchers) were involved in the research design, which included a systematic literature review, a Delphi study and a case study. Such an articulated design required the adoption of technologies to support the process in all its phases. The paper describes the main methodological implications of the employed technologies in the research. The conclusions of the paper highlight that while technologies definitely support a higher level of complexity and articulation of the research design, they might also lead to superficial or biased results.

Palabras clave

Métodos mixtos, e-investigación, tecnologías, diseño de aprendizaje, investigación educativa, estudio de casos, revisión de literatura, estudio Delphi

Keywords

Mixed-methods, e-research, technologies, learning design, educational research, case study, literature review, Delphi study

Introducción

El Aprendizaje potenciado por la tecnología (TEL-Technology-Enhanced Learning) es el campo de investigación que tiene como objetivo «mejorar la calidad y los resultados del aprendizaje, en todas aquellas circunstancias variadas en las que la tecnología desempeña un papel de apoyo significativo» (Goodyear & Retalis, 2010: 7). Este campo es intrínsecamente interdisciplinario y se nutre de diferentes áreas científicas tecnológicas y socioculturales (Balacheff et al., 2009). La investigación en TEL cubre una amplia gama de tecnologías educativas, teorías de aprendizaje y enfoques pedagógicos, que abordan las necesidades de los diferentes actores educativos (estudiantes, profesores, instituciones, responsables políticos, etc.), dando así lugar a múltiples subcampos de investigación: Aprendizaje colaborativo asistido por ordenador, aprendizaje en movilidad, aprendizaje ubicuo, analítica de aprendizaje, entre otros (Duval et al., 2017; Rubia-Avi & Guitert-Catasús, 2014). A partir de la visión interdisciplinar y como consecuencia de los trabajos conjuntos con amplias miras en el mundo de TEL, se pueden encontrar visiones del mundo de la investigación y enfoques metodológicos radicalmente diferentes. Sin embargo, y en la mayoría de los casos, los datos de investigación en TEL no solo incluyen observaciones etnográficas, que cada vez más provienen de fuentes digitales, sino también datos provenientes de las tecnologías que soportan el aprendizaje y que son el foco de las intervenciones de TEL. Esta complejidad en las técnicas de recopilación y análisis de datos en la investigación de TEL se ve facilitada por el uso de herramientas tecnológicas. El apoyo tecnológico para la investigación de TEL no solo se refiere a paquetes de software cada vez más eficaces y abiertos para el análisis estadístico, sino también a herramientas específicamente dirigidas al análisis cualitativo (Duca & Metzler, 2019; Hai-Jew, 2015). El papel del apoyo tecnológico para la investigación de TEL se hace aún más relevante en el caso de los diseños de investigación de métodos mixtos (Greene, 2007). En esos diseños, los investigadores de TEL necesitan incorporar técnicas de análisis que permitan la triangulación eficaz y eficiente de los datos procedentes de fuentes tanto cualitativas como cuantitativas. En muchos casos, esas técnicas de análisis no serían viables sin el apoyo que proporcionan los instrumentos tecnológicos (Hesse-Biber & Griffin, 2013; Hai-Jew, 2015).

Sin embargo, esta creciente dependencia de las herramientas tecnológicas para la investigación exige una reflexión más profunda sobre cómo los procesos de investigación en TEL, y especialmente los basados en diseños de métodos mixtos, están siendo influenciados por la elección y el uso particular de estas ayudas tecnológicas. Por lo tanto, este documento explora las preocupaciones mencionadas anteriormente abordando la siguiente pregunta de investigación: ¿Cuáles son las ventajas, desventajas y limitaciones de emplear tecnologías de apoyo a la compleja investigación del campo TEL con métodos mixtos?

Con el fin de responder a esta pregunta de investigación, el artículo explora un diseño particular de investigación TEL de métodos mixtos durante un periodo largo de tiempo, en el que el equipo de investigación aún está involucrado. Este diseño de investigación tiene como objetivo comprender la adopción (o la falta de ella) de los cambios en la práctica de la enseñanza que implica el llamado Diseño de Aprendizaje (LD-Learning Design). La comunidad de investigación del LD se centra en el desarrollo de herramientas y métodos destinados a apoyar a los profesores en el diseño de intervenciones educativas con tecnología (Lockyer et al., 2009; Persico et al., 2013). Aunque la investigación del LD está en el núcleo de TEL, la adopción sobre el uso de herramientas y métodos de LD por parte de los profesores es todavía muy limitada y sigue siendo un reto de investigación (Mor et al., 2013; Hernández-Leo et al., 2018). Sin embargo, la investigación sobre la adopción de LD hasta la fecha se ha desarrollado en estudios a corto plazo y se ha centrado principalmente en la evaluación de herramientas concretas, en las que no se explora a fondo la cuestión de la toma de decisiones para la adopción y uso de estas (Dagnino et al., 2018). La comprensión de la adopción (o la falta de) de los cambios en la práctica de la enseñanza que implica el LD va más allá del análisis de un tipo específico de herramienta tecnológica, como en Katsamani & Retalis (2013). La adopción del LD afecta profundamente el papel mismo de los docentes (Laurillard, 2012) en el complejo camino hacia la integración de las Tecnologías de la Información y las Comunicaciones (TIC) en la práctica docente que requiere, entre otros factores: comprender y superar los obstáculos contextuales, cognitivos y afectivos a los que se enfrentan los docentes (Ertmer & Ottenbreit-Leftwich, 2013), y adaptar los enfoques del Desarrollo Profesional de los Docentes (TPD-Teachers Profesional Development) (Asensio-Pérez et al., 2017) a los principios del LD.

El análisis y comprensión de estos factores dependientes del contexto requiere una postura de investigación interpretativa (Orlikowski & Baroudi, 1991) que puede ser apoyada adecuadamente por un diseño de investigación de métodos mixtos siguiendo una estrategia secuencial explicativa (Creswell, 2014). De hecho, los diseños de investigación de métodos mixtos se han empleado anteriormente en otros proyectos de investigación similares destinados a comprender las decisiones de los profesores en la adopción de nuevas tecnologías (Sugar et al., 2004), o en el marco de investigaciones de las TIC en la educación, presentadas en el Simposio Internacional de Métodos Mixtos sobre Investigación Social y Educación de 2020 (https://bit.ly/3fDbtSf). Por ello, consideramos que un diseño de investigación de métodos mixtos sobre este tema es un buen ejemplo para explorar el papel de las tecnologías de apoyo a la investigación. El diseño de investigación realizado se dirigió a dos tipos de implicados (profesores y expertos en la materia) y utilizó diferentes métodos de investigación, a saber: Revisión Sistemática de la Literatura, Estudio de Caso y Estudio Delphi.

Este documento presenta las decisiones metodológicas adoptadas en el diseño de la investigación y se centra en el papel que desempeñan las tecnologías en el proceso de investigación realizado, sin depender de una única perspectiva teórica para el estudio. Desde el comienzo del diseño de la investigación quedó claro que los autores tendrían que abordar el manejo de una cantidad considerable de datos y acercarse a los diferentes miembros de la comunidad educativa mencionados. Por estas razones, se utilizaron ampliamente diversas tecnologías para apoyar las diversas fases de esta investigación, como se muestra en este artículo.

Dada la cuestión de investigación del artículo, debe quedar claro que no pretendemos presentar aquí los resultados de la investigación específica, sino que reflexionaremos sobre las consecuencias de la utilización de tecnologías en el diseño general de la investigación con métodos mixtos. En la siguiente sección presentamos el diseño de la investigación, así como las tecnologías que se emplearon para apoyarlo. A continuación, se examinan las lecciones aprendidas con respecto al papel de las tecnologías de apoyo a la investigación, y se concluye con reflexiones para los investigadores que necesiten aplicar diseños de métodos mixtos apoyados por tecnologías.

Diseño de investigación con métodos mixtos y las tecnologías de apoyo

Como se explica en la introducción, hemos participado en un proceso de investigación destinado a comprender la adopción (o la falta de ella) de los cambios en la práctica de la enseñanza que implica el LD. Así pues, estamos avanzando en un diseño de investigación de métodos mixtos, haciendo uso intensivo de tecnologías de apoyo para la recopilación y análisis de datos de investigación. En las siguientes subsecciones presentamos las principales características del diseño de la investigación, donde mostramos haciendo hincapié en la forma en que se emplearon los instrumentos de apoyo a la investigación. En esta sección se plantean los fundamentos y el contexto del debate que desarrollamos en la tercera sección.

El diseño global de investigación

El problema de la adopción de métodos e instrumentos de LD es complejo y polifacético, a la vez que la investigación sobre el terreno sigue estando, a menudo, parcelada. La literatura científica describe intentos para comprender los factores limitantes para dicha adopción que están muy centrados en métodos e instrumentos concretos y que tienen en cuenta experiencias específicas de los profesores o las opiniones de los expertos (Neumann et al., 2010). Asensio-Pérez et al. (2017), en el esfuerzo por esbozar los factores que afectan a la toma de decisión al respecto, identifican tres puntos principales de análisis: 1) Las características de las herramientas del LD como, por ejemplo, que las herramientas deben ser flexibles, apoyar todas las fases del proceso de diseño y a los profesores como miembros de las comunidades de diseñadores educativos (Hernández-Leo et al., 2013); 2) La mentalización de los profesores (Dimitriadis & Goodyear, 2013), en el sentido de que deben incorporar una preparación para el LD adecuada a sus contextos; 3) La formación adecuada (Bennett et al., 2017), en referencia a la necesidad de una formación apropiada para que los profesores sean impulsores de la innovación. Este análisis inicial, realizado al principio de nuestro proyecto de investigación, puso de relieve la necesidad de hacer participar a los agentes pertenecientes a diferentes categorías educativas (investigadores y docentes) y nos abocó a que se adoptara un enfoque global destinado a integrar los resultados de ambas visiones. Además, era evidente que los diferentes tipos de datos podían probablemente enriquecer la comprensión del fenómeno: si un análisis sistemático de la bibliografía podía proporcionar un marco inicial, el análisis en profundidad de un estudio de caso real podía representar una fuente útil para explorar la cuestión, tanto desde el punto de vista cuantitativo como cualitativo. Por último, la participación directa de expertos en un estudio Delphi podría complementar las conclusiones, proporcionando tanto valoraciones cuantitativas como opiniones cualitativas desde una orientación explicativa de las conclusiones.

Las consideraciones mencionadas nos llevaron a diseñar una investigación de métodos mixtos. En la Figura 1 se presenta una visión general del diseño de la investigación.

En el diagrama anterior se indican los tres principales métodos empleados (Revisión Sistemática de la Literatura, Estudio de casos y Estudio Delphi), los participantes que intervienen en cada etapa (investigadores, profesores y expertos, respectivamente), así como las fuentes de datos de la investigación. Además, el diagrama muestra los instrumentos tecnológicos utilizados para la recopilación, gestión, procesamiento, análisis y visualización de los datos. Particularmente, hemos adoptado una clasificación de las posibles tecnologías de apoyo a la investigación propuesta por Hai-Jew (2015), quien distingue entre:

Herramientas tecnológicas para la recopilación de información secundaria, como (en nuestro caso) bases de datos bibliográficas en línea utilizadas en la revisión sistemática de la literatura.
Herramientas tecnológicas para la recopilación de información primaria. Estas pueden ser de distinta naturaleza, pero en nuestro caso utilizamos: herramientas para la implementación de cuestionarios en línea (Limesurvey, https://bit.ly/3bn8MRp), sistemas de videoconferencia (Microsoft Skype, https://bit.ly/2WkimjA) para la gestión de entrevistas en línea, procesadores de texto para escribir diarios, y sistemas TEL (en nuestro caso se trataba de un sistema LD, llamado Planificador Pedagógico, PP (Bottino et al., 2011; Pozzi et al., 2020) para hacer un seguimiento de las acciones de los docentes participantes en el estudio y almacenar los recursos elaborados (en nuestro caso diseños de aprendizaje).
Herramientas tecnológicas para la gestión de datos. En nuestro caso utilizamos Microsoft Excel (https://bit.ly/2yE8DvL) y MAXQDA (https://bit.ly/2WKQeFs).
Herramientas tecnológicas para el procesamiento, visualización y análisis de datos. En nuestro caso, fue principalmente SPSS (https://ibm.co/2WlQs6L).

De manera general, adoptamos un diseño que puede entenderse principalmente como «secuencial explicativo», según Creswell (2014), en el que los métodos cualitativos tienen por objeto asentar y corroborar los resultados cuantitativos obtenidos en una fase inicial. En otras palabras, el «diseño secuencial explicativo» prevé una secuencia «cuantitativa->cualitativa->interpretación». Como se muestra en la Figura 2, seguimos la secuencia al adoptar primero un método de investigación cuantitativo (la Revisión Sistemática de la Literatura) y luego procedimos con otros dos métodos cualitativos, a saber, el Estudio de Caso y el Estudio Delphi. No obstante, nos desviamos parcialmente del modelo original, ya que en realidad aplicamos métodos que implícitamente incorporaban un sistema de mezcla de datos, es decir, la Revisión Sistemática de la Literatura era en su mayor parte cuantitativa, pero se apoyaba en cuantificaciones, y el Estudio de Caso, así como el Estudio Delphi, eran en su mayor parte cualitativos, pero con aspectos cuantitativos, como se describirá más adelante. Probablemente, este diseño de la investigación también podría haberse clasificado como un «diseño embebido», pero la categoría de «diseño secuencial explicativo» encaja mejor, ya que la investigación general se orientó a detectar las necesidades generalizables de los profesores y los obstáculos a la adopción como método de diseño del LD. A continuación, se ofrece una descripción más detallada de cada uno de los métodos.

Revisión Sistemática de la Literatura (RSL)

La revisión se llevó a cabo en 2017 conforme a las directrices propuestas por Kitchenham y Charters (2007) y abarcó todas las fases: planificación, realización y presentación de resultados. Como se sugiere en dichas directrices, establecimos un protocolo de revisión que incluía: las preguntas de investigación que guía la RSL; la estrategia de búsqueda para recopilar los diferentes trabajos primarios (incluidas las cadenas de búsqueda y las bases de datos en las que se debía buscar); los criterios de selección de los trabajos (criterios de inclusión y exclusión) y los procedimientos asociados; el procedimiento de selección y síntesis de datos. La búsqueda se llevó a cabo en cinco bases de datos académicas utilizadas con frecuencia por la comunidad TEL (biblioteca digital de ACM, IEEE Xplore, Scopus, SpringerLink, Web of Science). Inicialmente se recopilaron 2.408 registros, incluyendo documentos de revistas y congresos, y capítulos de libros. Se realizó una primera ronda de selección mediante la lectura del título y el resumen, comprobando la relevancia de la contribución con respecto a los temas explorados y los criterios de inclusión. 26 documentos de un total de 423 pasaron esta ronda y fueron seleccionados. Estos trabajos fueron leídos, y 20 trabajos finalmente cumplieron los criterios de inclusión. Posteriormente, estos trabajos fueron analizados siguiendo estrategias tanto inductivas como deductivas. Fueron leídos y etiquetados: algunos temas clave de nuestro estudio ya habían sido identificados y discutidos en la literatura (por ejemplo, la cuestión de la flexibilidad de las herramientas en relación con los contextos educativos y las teorías del aprendizaje) y se utilizaron para establecer categorías preexistentes para el etiquetado. Otros (por ejemplo, la motivación del profesorado) surgieron del análisis y se añadieron a la lista de temas. La revisión proporcionó un panorama sistemático de los conocimientos desarrollados en el ámbito de la LD, centrándose especialmente en: a) las necesidades de los profesores en materia de herramientas LD; b) los principales obstáculos para la adopción de herramientas y prácticas de diseño LD. Los resultados del RSL completo están disponibles en Dagnino et al. (2018), sirviendo de base para las fases posteriores del diseño de la investigación.

El estudio de caso

Como parte del diseño general de la investigación, establecimos y llevamos a cabo un único estudio de caso instrumental (Stake, 2005) con el fin de obtener una comprensión más profunda de las barreras para la adopción de métodos e instrumentos de LD, que se identificaron durante el RSL, sobre la base de las opiniones y visiones de los profesores en ejercicio. Este estudio de caso específico se eligió sobre la base de la «conveniencia», ya que la escuela implicada pidió formación en TEL a algunos miembros de nuestro equipo. El contexto es una Escuela de Formación Profesional para panaderos y diseñadores gráficos que se encuentra cerca de Milán (Italia). La escuela cuenta con 8 grupos de estudiantes (un grupo por cada año de las dos áreas de estudio: panadería y diseño gráfico). El personal docente está compuesto por formadores y profesionales del ramo (encargados de impartir las materias específicas de las profesiones), tutores y profesores de apoyo (que ayudan a los estudiantes con discapacidades cognitivas y necesidades especiales). Los formadores tienen diferentes perfiles: algunos de ellos son solo profesionales en activo sin formación docente, mientras que otros tienen formación en educación o pedagogía. Esa heterogeneidad la puso de manifiesto el Director, que la expresó al ponerse en contacto para solicitar una formación específica. El profesorado se inscribió en un curso de formación en TEL, que comenzó en la primavera de 2017 y se llevó a cabo hasta septiembre de 2019. El LD fue uno de los temas desarrollados durante las primeras sesiones de la formación (mayo-junio de 2017). Los participantes recibieron lecciones sobre los fundamentos teóricos de la LD y también tuvieron la posibilidad de utilizar una herramienta particular de LD (el Planificador Pedagógico). Hubo un seguimiento por nuestra parte y recapitulación en noviembre de 2017 y, posteriormente, los profesores participaron en una tarea práctica de diseño que realizaron entre diciembre de 2017 y febrero de 2018.

Dado que la formación abarcaba 3 años académicos, el grupo de profesorado implicado cambió parcialmente. El grupo inicial estaba compuesto por 12 profesores, entre los cuales solo 5 de ellos siguieron toda la formación; en noviembre de 2017 se incluyó un profesor adicional.

Según Stake (2005), para lograr una comprensión global de un fenómeno en la vida real, los investigadores deben reunir y analizar diversas fuentes de datos, a fin de obtener múltiples perspectivas. Por consiguiente, en este estudio se supervisó la utilización por parte de los profesores de la herramienta de LD propuesto y sus opiniones mediante: cuestionarios a los profesores (Inicialmente, durante el proceso y al final de la formación); datos digitales del planificador pedagógico durante su utilización, así como los recursos elaborados por los profesores y almacenados por la plataforma durante el proceso de diseño del aprendizaje; diarios de los profesores durante el proceso de diseño del aprendizaje; y entrevistas a estos al final de la formación.

El estudio Delphi

El Estudio Delphi es una técnica diseñada para obtener «el consenso de opinión más fiable de un grupo de expertos» (Dalkey & Helmer, 1963: 1). Se llevó a cabo como parte del diseño de investigación, con el objetivo de obtener una opinión fiable de un grupo de expertos (Landeta, 2006) en el campo de la investigación del LD. La motivación última fue confirmar o rechazar los hallazgos obtenidos durante las fases de RSL y Estudio de Caso en el diseño de la investigación centrado en las barreras para la adopción de la LD por el profesorado. En un estudio de este tipo se suele consultar varias veces a los expertos de forma individual y por separado. Las respuestas son analizadas por los proponentes del estudio y se devuelve a los participantes la información relativa a la posición de todo el grupo, para que puedan reconsiderar su opinión inicial en vista de los resultados de las iteraciones anteriores. Si la primera ronda suele ser exploratoria y basada en preguntas abiertas, las preguntas de las rondas finales se formulan para realizar un análisis estadístico de los resultados a nivel de grupo.

El estudio Delphi realizado comprendió dos rondas. En primer lugar, debido a la disponibilidad de los resultados del RSL (véase la subsección 2.1.1) obtuvimos una clara base bibliográfica a partir de la cual elaboramos un cuestionario para la primera ronda. En la segunda ronda se volvió a contactar a los expertos para que respondieran a las mismas preguntas a la luz de la información recibida sobre la posición del grupo durante la primera ronda. Los cuestionarios incluían tanto preguntas cerradas como abiertas. Se pidió a los expertos: 1) Expresar su opinión acerca de la importancia relativa de tres categorías de factores (necesidades de los profesores, barreras extrínsecas e intrínsecas) con respecto a la utilización de herramientas y métodos de LD; 2) Expresar su opinión acerca de en qué medida las necesidades y barreras específicas afectan a la adopción de herramientas y métodos de LD.

En la segunda ronda se pidió además a los expertos que propusieran posibles soluciones para superar los obstáculos identificados.

Los expertos participantes eran reconocidos investigadores en materia de LD, que habían sido autores de publicaciones en revistas científicas de calidad contrastada sobre el tema y que tenían un papel activo en la comunidad LD mediante la participación en conferencias y redes de especialistas. Los expertos eran principalmente investigadores que trabajaban en instituciones europeas con perfiles académicos en educación, ingeniería, informática o ambas: 25 expertos participaron en la primera ronda (20 completaron el cuestionario); 20 expertos participaron en la segunda ronda (18 completaron el cuestionario).

El uso de tecnologías de apoyo a lo largo del proceso de investigación

Como destaca Hesse-Biber y Griffin (2013), las tecnologías pueden aportar ventajas considerables a la investigación con métodos mixtos. Pueden utilizarse en varias fases y con diferentes propósitos, que van desde el procesamiento estadístico en métodos cuantitativos, hasta la transcripción y codificación en métodos cualitativos; su potencial puede explotarse en términos de comunicación, así como de interpretación de datos, por mencionar solo algunos. Así pues, la tecnología se adoptó ampliamente en esta investigación y se utilizó en las diferentes fases.

En lo que respecta a la Revisión Sistemática de Literatura, las bases de datos académicas representaron las «herramientas de recopilación de datos secundarios» (Hai-Jew, 2015), mientras que la gestión de datos se realizó a través de Excel, que se utilizó para analizar los resúmenes y los títulos, apoyando así el proceso de selección con el que reducir el número de los trabajos relevantes. Se eligió este programa informático porque los investigadores que participaban en la RSL no tenían una sólida formación tecnológica; ya estaban familiarizados con Excel y, por lo tanto, consideraban que era suficientemente fácil de utilizar y al mismo tiempo, capaz de gestionar la gran cantidad de bibliografía inicial.

En lo que respecta al Estudio de casos y al Estudio Delphi, en lo relacionado con las «herramientas de recopilación de datos primarios» (Hai-Jew, 2015), se utilizó un sistema en línea para implementar cuestionarios (Limesurvey). Se eligió este sistema porque tiene una interfaz sencilla y fácil de usar tanto para los gestores como para los participantes. En el contexto del Estudio de casos, también se utilizó para la recopilación de datos primarios la herramienta LD propuesta, el Planificador Pedagógico. Se trata de una aplicación escalable basada en la web y desarrollada en PHP, MySQL y javascript; la base de datos de la herramienta hace un seguimiento de los eventos de interacción y almacena los recursos producidos por el profesorado.

Para gestionar los datos recopilados y almacenados por el Planificador Pedagógico, se volvió a utilizar Excel, ya que permitía de forma sencilla el manejo de datos, mediante consulta y filtrado de datos. Además, las entrevistas a los profesores involucrados en el Estudio de Caso se realizaron en línea, por medio de Skype, siendo elegido porque los expertos que iban a ser entrevistados estaban familiarizados con él. Durante las entrevistas compartimos la pantalla con el entrevistado, mostrando así de vez en cuando palabras clave seleccionadas (presentadas en diapositivas) con el objeto de introducir los diversos temas tratados y de desencadenar el debate sobre cuestiones clave.

En cuanto a las herramientas tecnológicas para el tratamiento de los datos, las transcripciones de las entrevistas fueron etiquetadas por dos codificadores independientes utilizando MAXQDA, un software que permitía el análisis de diferentes tipos de datos (como textos, imágenes, archivos de audio/video, etc.) y la triangulación de datos provenientes de diferentes fuentes. El mismo software se utilizó también para gestionar otros datos cualitativos procedentes de los diarios de reflexión del profesorado, así como de las preguntas abiertas tanto en los cuestionarios de los profesores, como las de los expertos en el estudio Delphi. Finalmente, la principal herramienta tecnológica adoptada para el procesamiento, análisis y presentación de datos fue SPSS, que se utilizó especialmente para realizar análisis estadísticos descriptivos e inferenciales.

Resultados y discusión

El uso de tecnologías de apoyo a la investigación tuvo un impacto tanto en cada método, como en todo el proceso. A continuación, presentamos las principales lecciones aprendidas, organizándolas de acuerdo con la clasificación Hai-Jew (2015) de las herramientas tecnológicas, de modo que nos permita reflexionar sobre las principales implicaciones atendiendo a cada tecnología.

En lo que respecta a los instrumentos de «recopilación de datos secundarios», en nuestro RSL las tecnologías permitieron sin duda alguna obtener resultados más ricos y fiables, ya que pudimos buscar exactamente lo que queríamos encontrar dentro de la gran cantidad de literatura almacenada en bases de datos en línea; además, la literatura de interés ha sido directamente accesible. La búsqueda libre a través de un navegador proporcionó una gran cantidad de documentos y también de literatura no convencional (como los informes de proyectos), cuya existencia podría haber permanecido oculta y que podría ser difícil de recuperar de otra manera.

Por otra parte, tuvimos que hacer frente al reto de gestionar la gran cantidad de datos extraídos por las bases de datos; esto nos lleva a otra categoría de herramientas en la clasificación de Hai-Jew (2015), a saber, las tecnologías para la gestión de datos. Como ya se ha mencionado, en nuestras investigaciones hemos confiado a menudo en Excel para esta fase, que por lo general resultó ser fácil de usar. No obstante, en lo que respecta al RSL, tenemos que decir que se necesitaban algunas capacidades técnicas para fusionar automáticamente los conjuntos de datos (lo que se hizo mediante un programa informático). Así, en este caso particular, para la gestión de los datos tuvimos que solicitar el apoyo técnico de otros compañeros, que no estaban incluidos originalmente en el equipo. El otro software utilizado para la gestión y el procesamiento de datos fue MAXQDA. De hecho, como subraya Fielding (2012), los instrumentos de software como MAXQDA permiten la integración de datos cualitativos con datos cuantitativos, cotejando por ejemplo el análisis de las entrevistas con la información de las escalas de calificación o las respuestas a las encuestas. Es decir, estos tipos de software permiten tender un puente entre la dimensión cualitativa y cuantitativa, apoyar las comparaciones de diferentes conjuntos de datos, preparando así el camino para la triangulación de los mismos y, en última instancia, proporcionar ideas para nuevas líneas de investigación. En nuestro caso, esta herramienta se utilizó para gestionar los datos procedentes de los cuestionarios, las entrevistas y los diarios de reflexión de los profesores del Estudio de Caso, así como los datos procedentes del Estudio Delphi. El software también aceleró el proceso de codificación, ya que dos codificadores fueron capaces de etiquetar el texto y grabar sus códigos. Por tanto, MAXQDA puede considerarse una tecnología intermedia entre las dos categorías de «gestión de datos» y «procesamiento, presentación y análisis de datos». Además, aunque no es tan común como Excel, combina características avanzadas en el procesamiento de datos.

En cuanto a los «instrumentos de recopilación de datos primarios», como hemos mencionado anteriormente, utilizamos diferentes tecnologías. Comencemos con Limesurvey, que se utilizó para recoger datos de los profesores del Estudio de Caso y de los expertos durante el estudio Delphi. Especialmente en este último caso, el programa informático resultó muy útil, ya que ayudó a gestionar algunos aspectos que normalmente se consideran que consumen mucho tiempo en este tipo de estudios, como la gestión de las comunicaciones con los panelistas, la administración de múltiples rondas de encuestas y, a continuación, la recopilación y organización de las respuestas de los participantes. En nuestro caso, Limesurvey nos liberó de tareas como el envío de invitaciones y cuestionarios o el registro de las respuestas en una base de datos. Como destacaron Cole et al. (2013), el e-Delphi también es eficaz y eficiente para superar las barreras geográficas, ahorrando tiempo y dinero, como en nuestro caso. Otros aspectos derivados de la configuración en línea del estudio fueron la percepción del anonimato, ya que Limesurvey asignó automáticamente un código a los participantes, y la exactitud de la recopilación de datos, que fueron registrados directamente por el sistema (Roztocki, 2001). Por otra parte, el Estudio Delphi en línea no estuvo exento de desafíos. El correo electrónico enviado desde el sistema a veces era bloqueado por las funcionalidades de SPAM de los clientes de correo de los destinatarios y, en cualquier caso, corría un mayor riesgo de ser desestimado en comparación con una invitación personal. Estas funciones automáticas facilitaban interacciones bastante «impersonales» entre los panelistas y los investigadores, y lo que es más importante, no podemos excluir que se produjera algún efecto Hawthorne: las respuestas abiertas proporcionadas en el estudio de Limesurvey por los panelistas, a menudo eran muy cortas y a veces difíciles de interpretar. La impersonalidad de la situación puede haber afectado a la contribución de los participantes. Este aspecto particular merecería una investigación más a fondo en el futuro ya que, hasta donde sabemos, se ha prestado muy poca atención a la forma en que los participantes cambian sus comportamientos cuando la observación y la recopilación de datos se realizan mediante la tecnología. Por último, los encuestados también plantearon algunas objeciones relativas al uso de la encuesta Limesurvey a nivel técnico, como la imposibilidad de modificar las preguntas previamente contestadas.

Otra herramienta utilizada para la recopilación de datos primarios fue Skype. En este caso, aprovechamos un tipo de tecnología que proporcionó un canal de comunicación sincrónico para las entrevistas con los profesores del Estudio de Caso. Así, una de las principales ventajas fue la posibilidad de organizar las llamadas a conveniencia de los entrevistados, no necesitando viajar para llegar al lugar de trabajo de los expertos. Además, gracias a la utilización de un sistema de videoconferencia, los autores pudieron mostrar indicaciones visuales y recopilar aspectos no verbales, aunque el medio pudiera alterar las percepciones. Además, la posibilidad de ver las grabaciones de las entrevistas varias veces permitió un análisis en profundidad. En raras ocasiones, los problemas técnicos (principalmente debido a la baja calidad de la conexión a Internet) fueron molestos.

El último instrumento empleado para la recopilación de datos primarios fue el Planificador Pedagógico, utilizado por los profesores para hacer su diseño de aprendizaje durante el Estudio de Caso. Esto nos dio la oportunidad de hacer una reflexión general sobre el papel de la tecnología en el campo de la investigación en sí mismo, es decir, el Aprendizaje Mejorado por Tecnología (TEL). Dado que el diseño de aprendizaje se realizó a través de la herramienta «Pedagogical Planner» (que es en sí misma digital), este uso de la tecnología nos permitió recoger y observar recursos concretos producidos por los profesores, y así analizar las decisiones tomadas durante el proceso de diseño. Si no se hubiera dispuesto de la tecnología, solo se habrían producido recursos en papel y solo habríamos podido analizar el resultado final del proceso. En cambio, en este caso, fue posible observar también recursos a medio elaborar, lo que permitió una comprensión más profunda del proceso de diseño general de los profesores. Esto es así para cualquier proceso de investigación en el campo de los estudios en TEL, donde normalmente las plataformas digitales (como por ejemplo los sistemas de gestión de aprendizaje) pueden proporcionar analíticas de aprendizaje, arrojando luz sobre el proceso de aprendizaje de los estudiantes.

Para concluir, nos gustaría proponer algunas reflexiones más transversales sobre las decisiones metodológicas tomadas en el diseño general de la investigación.

En primer lugar, la posibilidad de llevar a cabo una RSL como primer paso de la investigación, tuvo un impacto considerable en todo el proceso, ya que proporcionó un punto de partida fiable que permitió saltarse una fase preliminar de identificación de barreras, que de otro modo debería haberse llevado a cabo entrevistando directamente a los profesores, posiblemente con una experiencia importante en LD. Claramente, esto representó una decisión metodológica que aceleró el proceso pero, al mismo tiempo, influyó, y tal vez «sesgó», la progresión de la investigación.

Además, los profesores que participaron en el estudio de casos eran una muestra bastante pequeña con experiencia variada en LD. Esto podría haber afectado y sesgado algunos de los resultados. Sin embargo, al haber integrado tanto el RSL como el Estudio de Caso en la misma investigación, y luego haber enriquecido también los hallazgos con el Estudio Delphi buscando la confirmación/rechazo de los resultados iniciales, pudimos encontrar un equilibrio y superar los límites de un solo método.

Conclusiones

El uso de tecnologías en el diseño de investigación de métodos mixtos presentado ha implicado varias ventajas, algunas de ellas ya señaladas por Hesse-Biber y Griffin (2013) o Hai-Jew (2015). En general, el apoyo de las tecnologías afectó a la investigación en términos de complejidad y articulación: las posibilidades de las tecnologías y su capacidad para gestionar grandes cantidades de datos hicieron posible incluir varios métodos a lo largo de múltiples iteraciones en un proyecto de investigación relativamente pequeño, algo que era casi imposible en investigaciones «tradicionales» anteriores. La decisión en sí misma de adoptar un enfoque general de métodos mixtos, en el que también cada método está internamente mezclado, fue posible sobre todo porque hoy en día las tecnologías permiten gestionar datos cuantitativos y cualitativos de manera relativamente fácil y rápida, llegar a interesados diferentes y distantes, e integrar fácilmente los datos procedentes de diferentes fuentes (Fielding, 2012).

Por otra parte, hay graves consecuencias para la investigación y los resultados conexos. En primer lugar, la investigación en línea implica la falta de una relación directa con los participantes, lo que suele generar bajas tasas de participación o respuestas inexactas. Además, las encuestas en línea suelen limitar la posibilidad de que los participantes pidan aclaraciones sobre las preguntas, aumentando así el riesgo de malentendidos y respuestas sesgadas (Roztocki, 2001). Por consiguiente, los investigadores deben encontrar el equilibrio adecuado entre la automatización y la relación con los participantes. Este elemento no debe pasarse por alto durante la fase de diseño de los proyectos de investigación y, en cualquier caso, los resultados deben analizarse siempre teniendo en cuenta estos elementos.

Otra cuestión es que la complejidad de las investigaciones apoyadas por la tecnología exige continuamente una redefinición de las competencias del investigador, tanto a nivel metodológico como tecnológico. Como destacaron Hesse-Biber y Griffin (2013: 3): «Acceder a nuevos modos de recopilación de datos puede suponer un reto para un investigador de cara a salir de su 'zona de confort' de los métodos y desarrollar nuevas competencias tanto en la recopilación de datos como en el análisis». Ser competente en todos los métodos posibles, junto con los instrumentos tecnológicos asociados, es casi imposible para un solo investigador y, en cambio, exigiría proyectos de investigación realizados por equipos multidisciplinares. Obviamente, esto no siempre es posible, a menudo debido a las restricciones de financiación. Además, lamentablemente en muchos contextos esto también se ve impedido por una visión competitiva de la investigación, en la que la evaluación de los investigadores recompensa el esfuerzo individual más que el trabajo de grupo. El resultado puede ser que una investigación muy compleja, si la lleva a cabo un solo investigador en lugar de un equipo, puede contener errores metodológicos o tecnológicos que podrían afectar gravemente a los resultados.1

References

Dimitriadis, Yannis & Goodyear, Peter. 2013.design for learning: Illustrating the approach&author=Dimitriadis&publication_year= Forward-oriented design for learning: Illustrating the approach. Research in Learning Technology 21:1–13.
Roztocki, N. 2001.Using internet-based surveys for academic research: Opportunities and problems. In: of the 2001 American Society of Engineering Management (ASEM) National Conference&author=&publication_year= Proceedings of the 2001 American Society of Engineering Management (ASEM) National Conference. (pp. 290-295) Huntsville
Stake, R E. 2005.case study analysis&author=&publication_year= Multiple case study analysis.Guilford Press
Landeta, Jon. 2006.validity of the Delphi method in social sciences&author=Landeta&publication_year= Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change 73(5):467–482.
Bennett, Sue, Agostinho, Shirley & Lockyer, Lori. 2017.process of designing for learning: understanding university teachers’ design work&author=Bennett&publication_year= The process of designing for learning: understanding university teachers’ design work. Educational Technology Research and Development 65:125–145.
Dalkey, Norman & Helmer, Olaf. 1963.experimental application of the Delphi method to the use of experts&author=Dalkey&publication_year= An experimental application of the Delphi method to the use of experts. Management Science 9(3):458–467.
Mor, Yishay, Craft, Brock & Hernández-Leo, Davinia. 2013.The art and science of learning design&author=Mor&publication_year= Editorial: The art and science of learning design. Research in Learning Technology 21:1–8.
Creswell, J W. 2014.design: Qualitative, quantitative and mixed methods approaches&author=&publication_year= Research design: Qualitative, quantitative and mixed methods approaches.Sage
Hesse-Biber, Sharlene & Griffin, Amy J.. 2013.technologies and mixed methods research: Problems and prospects&author=Hesse-Biber&publication_year= Internet-mediated technologies and mixed methods research: Problems and prospects. Journal of Mixed Methods Research 7(1):43–61.
Ertmer, Peggy A. & Ottenbreit-Leftwich, Anne. 2013.obstacles to the pedagogical changes required by Jonassen's vision of authentic technology-enabled learning&author=Ertmer&publication_year= Removing obstacles to the pedagogical changes required by Jonassen's vision of authentic technology-enabled learning. Computers & Education 64:175–182.
Persico, D, Pozzi, F, Anastopoulou, S, Conole, G, Craft, B, Dimitriadis, Y, Hernández-Leo, D, Kali, Y, Mor, Y, Pérez-Sanagustín, M & Walmsley, H. 2013.design Rashomon I - Supporting the design of one lesson through different approaches&author=Persico&publication_year= Learning design Rashomon I - Supporting the design of one lesson through different approaches. Research in Learning Technology 21.
Greene, J C. 2007.methods in social inquiry&author=&publication_year= Mixed methods in social inquiry.John Wiley & Sons
Pozzi, Francesca, Asensio-Perez, Juan I., Ceregini, Andrea, Dagnino, Francesca Maria, Dimitriadis, Yannis & Earp, Jeffrey. 2020.and representing Learning Design with digital tools: In between guidance and flexibility&author=Pozzi&publication_year= Supporting and representing Learning Design with digital tools: In between guidance and flexibility. Technology, Pedagogy and Education 29(1):109–128.
Lockyer, L, Bennett, S, Agostinho, S & Harper, B. 2009.of research on learning design and learning objects: Issues applications and technologies&author=&publication_year= Handbook of research on learning design and learning objects: Issues applications and technologies.Hershey
Hernández-Leo, Davinia, Asensio-Pérez, Juan I., Derntl, Michael, Pozzi, Francesca, Chacón, Jonathan, Prieto, Luis P. & Persico, Donatella. 2018.integrated environment for learning design&author=Hernández-Leo&publication_year= An integrated environment for learning design. Frontiers in ICT 5.
Goodyear, P & Retalis, S. 2010.learning: Design patterns and pattern languages&author=&publication_year= Technology-enhanced learning: Design patterns and pattern languages.Sense Publishers
Balacheff, N, Ludvigsen, S, De-Jong, T, Lazonder, A & Barnes, S. 2009.enhanced learning: Principles and products&author=&publication_year= Technology- enhanced learning: Principles and products.Springer
Laurillard, D. 2012.as a design science. Building pedagogical patterns for learning and technology&author=&publication_year= Teaching as a design science. Building pedagogical patterns for learning and technology.Routledge
Duca, D & Metzler, K. 2019.ecosystem of technologies for social science research (White paper)&author=&publication_year= The ecosystem of technologies for social science research (White paper).Sage
Kitchenham, B & Charters, S. 2007.for performing Systematic Literature reviews in Software Engineering. EBSE Technical Report EBSE-2007-01&author=&publication_year= Guidelines for performing Systematic Literature reviews in Software Engineering. EBSE Technical Report EBSE-2007-01.University of Durham
Duval, E, Sharples, M & Sutherland, R. 2017.enhanced learning: Research themes&author=&publication_year= Technology enhanced learning: Research themes.Springer
Cole, Zachary Douglas, Donohoe, Holly M. & Stellefson, Michael L.. 2013.Delphi research: Case based discussion&author=Cole&publication_year= Internet-based Delphi research: Case based discussion. Environmental Management 51(3):511–523.
Hai-Jew, S. 2015.qualitative and mixed methods research with technology&author=&publication_year= Enhancing qualitative and mixed methods research with technology.IGI Global
Asensio-Pérez, Juan I., Dimitriadis, Yannis, Pozzi, Francesca, Hernández-Leo, Davinia, Prieto, Luis P., Persico, Donatella & Villagrá-Sobrino, Sara L.. 2017.teaching as design: Exploring the interplay between full-lifecycle learning design tooling and Teacher Professional Development&author=Asensio-Pérez&publication_year= Towards teaching as design: Exploring the interplay between full-lifecycle learning design tooling and Teacher Professional Development. Computers & Education 114:92–116.
Fielding, N G. 2012.and mixed methods designs: Data integration with new research technologies&author=Fielding&publication_year= Triangulation and mixed methods designs: Data integration with new research technologies. Journal of Mixed Methods Research 6(2):124–136.
Sugar, W, Crawley, F & Fine, B. 2004.Examining teachers’ decisions to adopt new technology. Educational Technology and Society 7(4):201–213.
Dagnino, Francesca Maria, Dimitriadis, Yannis A., Pozzi, Francesca, Asensio-Pérez, Juan I. & Rubia-Avi, Bartolomé. 2018.teachers’ needs and the existing barriers to the adoption of Learning Design methods and tools: A literature survey&author=Dagnino&publication_year= Exploring teachers’ needs and the existing barriers to the adoption of Learning Design methods and tools: A literature survey. British Journal of Educational Technology 49(6):998–1013.
Rubia-Avi, Bartolomé & Guitert-Catasús, Montse. 2014.in education: Computer support for collaborative learning. [¿La revolución de la enseñanza? El aprendizaje colaborativo en entornos virtuales (CSCL)&author=Rubia-Avi&publication_year= Revolution in education: Computer support for collaborative learning. [¿La revolución de la enseñanza? El aprendizaje colaborativo en entornos virtuales (CSCL)]]Comunicar 42:10–14.
Katsamani, Mary & Retalis, Symeon. 2013.learning activities using the CADMOS learning design tool&author=Katsamani&publication_year= Orchestrating learning activities using the CADMOS learning design tool. Research in Learning Technology 21:1–12.
Orlikowski, Wanda J. & Baroudi, Jack J.. 1991.information technology in organizations: Research approaches and assumptions&author=Orlikowski&publication_year= Studying information technology in organizations: Research approaches and assumptions. Information Systems Research 2(1):1–28.
Neumann, S, Klebl, M, Griffiths, D, Hernández-Leo, D, De-La-Fuente-Valentín, L, Hummel, H, Brouns, F, Derntl, M & Oberhuemer, P. 2010.of the results of an IMS learning design expert workshop&author=Neumann&publication_year= Report of the results of an IMS learning design expert workshop. International Journal of Emerging Technologies in Learning 5(1):58–72.
Bottino, Rosa Maria, Ott, Michela & Tavella, Mauro. 2011.pedagogical planning and the design of learning activities: An on-line system&author=Bottino&publication_year= Scaffolding pedagogical planning and the design of learning activities: An on-line system. International Journal of Knowledge Society Research 2(1):84–97.
Hernández-Leo, D, Chacón, J, Prieto, L P, Asensio-Pérez, J I & Derntl, M. 2013.an integrated learning design environment&author=Hernández-Leo&publication_year= Towards an integrated learning design environment. In: Hernández-Leo, D., Ley, T., Klamma, R. & Harrer, A., eds. up Learning for Sustained Impact. EC-TEL 2013. Lecture Notes in Computer Science&author=Hernández-Leo&publication_year= Scaling up Learning for Sustained Impact. EC-TEL 2013. Lecture Notes in Computer Science. (pp. 448-453) Springer