A web-based serious game about self-protection for COVID-19 prevention: Development and usability testing

Download the PDF version

RESUMEN

Los casos de COVID-19 siguen aumentando rápidamente en muchos países a pesar de la vacunación. La mejor forma de combatirlo es la protección personal. En este estudio desarrollamos un juego serio de la web (WSG-COVID-19.SP) para promover las estrategias de aprendizaje para protegerse contra el COVID-19. También probamos la validez y usabilidad del sistema. WSG-COVID-19.SP fue desarrollado de acuerdo a la teoría situada de aprendizaje y retroalimentación diagnóstica. Contiene seis historias con 17 objetivos de aprendizaje. Se usa un enfoque de resolución de problemas para promover el uso de mascarillas, lavado de manos y distanciamiento social. Se usó el análisis de portafolio para identificar los problemas y el proceso de aprendizaje. El índice global de validez de contenido de la escala (S-CVI) fue utilizado para evaluar su eficacia. La usabilidad fue probada mediante una encuesta de web de 71 estudiantes de una universidad para evaluar su aceptación tecnológica y la capacidad del juego para promover la protección personal. El S-CVI era 0,81. La usabilidad y aceptabilidad no correspondían con la especialización del usuario (ya sea que esté relacionada con la tecnología de la información) ni con el género. Un 84,5% de los usuarios quería continuar la práctica porque estaban motivados por los resultados diagnósticos. WSG-COVID-19.SP exhibe un contenido válido y una alta satisfacción del usuario.

Palabras clave

COVID-19, juegos serios, usabilidad, escenario interactivo, aprendizaje basado en la situación, protección personal

Keywords

COVID-19, serious game, usability, interactive scenario, situated-based learning, self-protection

ABSTRACT

The number of new COVID-19 cases continues to rise rapidly in many countries despite vaccination. The best way to counter the spread of COVID-19 is self-protection. This study documents the development of a web-based serious game (WSG-COVID-19.SP) to promote effective learning strategies for self-protection against COVID-19 and to test the game’s content validity and usability. WSG-COVID-19.SP was developed using situated learning theory and diagnostic feedback mechanism. The game includes six situation storylines with 17 learning objectives. It uses a problem-solving approach to foster practices such as wearing masks, washing hands, and social distancing. Portfolio analysis was used to diagnose learning problems and report on the learning process. An overall summary index—the scale-level content validity index (S-CVI)—was used to evaluate content validity. Usability was tested through a website survey from 71 students from one university to gauge their technological acceptance and the game’s capability to promote future self-protection behaviors. The S-CVI was 0.81. Usability and acceptability were neither related to the users’ college major (whether it is information technology-related) nor to gender. Among the respondents, 84.5% agreed to continue with the self-protection practice as they were motivated by the real-time diagnostic function. The WSG-COVID-19.SP game system has adequate content validity and a high user satisfaction rating.

Palabras clave

COVID-19, juegos serios, usabilidad, escenario interactivo, aprendizaje basado en la situación, protección personal

Keywords

COVID-19, serious game, usability, interactive scenario, situated-based learning, self-protection

Introducción

Antecedentes e importancia

La pandemia de COVID-19 ha puesto una fuerte presión y obstáculos en el sistema médico y ha impactado negativamente la economía en una escala global (Nicola et al., 2020). A pesar de las vacunas, el número de casos nuevos confirmados continúa incrementándose rápidamente en muchos países (Gardner, 2020; WHO, 2021). SARS-CoV-2 puede sobrevivir en aerosoles y varias superficies y usa las rutas de transmisiones (Santarpia et al., 2020). Además de esto, la persona infectada puede expandir la enfermedad con o sin síntomas (Liu et al., 2020). Sin embargo, si las personas siguen los procedimientos de limpieza, usar máscaras, y mantener el distanciamiento social, el riesgo de contraer estas enfermedades a través de la exposición a varias superficies, el aire u otras personas es bajo (Pitol & Julian, 2021); por tanto, estas tres medidas son la mejor manera de protegerse contra el COVID-19 (Chamola et al., 2020; WHO, 2021). Un estudio ha encontrado que el efecto combinado de adherirse a las tres medidas es más potente que usar una medida simple (Álvarez-Pomar & Rojas-Galeano, 2021). El reto para los educadores de salud, entonces, es promover la implementación de estas medidas de corrección protectoras para prevenir el COVID-19.

En 2020, la educación a distancia se convirtió en una medida común como resultado de la pandemia (Kim, 2020). El incremento en popularidad de la educación electrónica y las aplicaciones basadas en Internet han expandido las posibilidades de aprendizaje y el uso de estas iniciativas de comunicación ha sido una tendencia creciente (Chamola et al., 2020). El multimedia, incluyendo texto, imagen, vídeo y audio (TIVA), ha sido usado ampliamente para las páginas web de prevención para la educación de salud en COVID-19 (CDC, 2020; WHO, 2021) ya que los materiales basados en TIVA son fáciles de producir, fáciles de usar y baratos. Sin embargo, aún hay muchas desventajas en el uso de TIVA en la educación de salud (Nayef, 2015). Por ejemplo, solo brinda una transmisión de una vía, brinda menos diversidad y contenido irrelevante y es poco probable que motive al usuario para buscar activamente información (Garris et al., 2002). Adicionalmente, es difícil brindar simulaciones de escenario en tal ambiente de aprendizaje (Brown et al., 1989). La dificultad de conducir estudios y diagnósticos y la carencia de un correcto proceso de aprendizaje son barreras significantes (Blackburn & Hakel, 2006). Adicionalmente, es un reto diseñar un material de aprendizaje individual para compensar y sobrepasar las limitaciones de TIVA y para mejorar los resultados del aprendizaje sobre la protección personal contra la pandemia. Un juego serio que incluya tanto entretenimiento y propósito de educación, es un modelo útil para afrontar los temas mencionados anteriormente y ha sido aplicado para la prevención de COVID-19 a través del formato de prueba para analizar el desempeño (Gaspar et al., 2020; Suppan et al., 2020).

Objetivos del estudio

El presente estudio desarrolló un juego serio web interactivo basado en escenario (a partir de ahora, WSG-COVID-19.SP). El propósito del juego es que los usuarios aprendan sobre las medidas de protección personal contra el COVID-19. WSG-COVID-19.SP adopta cuatro mecanismos de aprendizaje: escenarios de juego para incrementar la motivación de aprendizaje, práctica simulada para construir habilidades de protección personal, diagnóstico de retroalimentación para aumentar entendiendo, y portafolio de análisis para identificar percepciones erróneas y comportamientos problemáticos para la prevención del COVID-19. Se espera que WSG-COVID-19.SP motive a los usuarios a implementar medidas de protección personal. También se espera que sea útil para impedir enfermedades con modelos de transmisión similar. Por tanto, la validez de contenido del juego ha sido evaluada implicando a los trabajadores de salud. Una prueba de uso fue realizada para determinar el grado al cual el juego habilitó usuarios para aprender sobre las medidas de protección personal y cómo utilizarlas continuamente.

Las preguntas de la investigación son las siguientes:

• ¿Son válidos y satisfactorios los contenidos de WSG-COVID-19.SP?
• ¿Los estudios de los usuarios universitarios (relacionados o no con la tecnología de información) y género afectan a su utilidad de sistema percibida?
• ¿Puede WSG-COVID-19.SP identificar errores de percepción de usuario y comportamientos problemáticos en la prevención del COVID-19 al analizar los registros de aprendizaje?

Revisión de la bibliografía

Aprendizaje basado en juego

La motivación es un factor crítico en el aprendizaje eficaz. El elemento de incertidumbre en los juegos puede incrementar y mantener la participación de los jugadores (Kim, 2020) y despertar su necesidad psicológica para superar los retos rápidamente logrando los objetivos (Freitas, 2018). Como método de instrucción, los juegos son una herramienta valiosa para realzar resultados de aprendizaje. Cuando los usuarios juegan un juego divertido, asimilan a menudo los puntos de vista del juego. Por lo tanto, la efectividad del aprendizaje basado en un juego digital (GBL) es una estrategia probada para aumentar el interés de aprendizaje y motivación en un rango de áreas que incluyen la matemática, los negocios, la informática, y la lengua (Park et al., 2019). Relacionados con el GBL / Dentro del GBL, los juegos serios (SG por sus siglas en inglés) ofrecen la diversión de jugar a un juego, pero son utilizados para aprender o tienen propósitos de entrenamiento (Wattanasoontorn et al., 2013). Los SG también han sido aplicados a muchos ámbitos para construir conocimiento, así como conducir una formación eficaz en el campo de salud, por ejemplo, utilizar los SG con personas ancianas para la prevención de enfermedades y rehabilitación (Wiemeyer & Kliem, 2012). Como respuesta al COVID-19, Suppan et al. (2020) desarrollaron el «Escape del COVID-19», un juego serio que promueve las prácticas seguras para los trabajadores de salud. El juego utiliza elección simple, elección múltiple, e ítems de prueba de arrastre y descarga, junto con la retroalimentación correspondiente después de responder. De modo similar, Gaspar et al. (2020) desarrollaron un juego serio móvil que utiliza un formato de prueba para evaluar el rendimiento del usuario y tarjetas de estilo de historieta para promover la motivación. Estos autores utilizaron Google Analytics para analizar la estadística del uso de juego. Su propósito fue el de educar y alcanzar a jugadores jóvenes brindando información científica sobre el cuidado personal que se relaciona con la prevención de COVID-19. No en tanto, tal escenario interactivo y experiencia práctica pueden no ser suficientes si es que un juego se interrelaciona con los jugadores solamente a través de preguntas de elección.

Teoría de aprendizaje localizado y aprendizaje basado en escenario

Los materiales multimedia (p. ej., vídeo, audio, y animación) han sido ampliamente adoptados para la enseñanza y la formación. Estos facilitan el aprendizaje personal eficazmente porque los usuarios tienden a encontrar el contenido atractivo (Chang et al., 2010). Sin embargo, para ofrecer a los usuarios una experiencia de aprendizaje auténtica, solamente el uso de la multimedia es insuficiente (Kinshuk et al., 2016). La teoría de aprendizaje situado es una teoría de cognición constructivista que pone énfasis en la necesidad de los usuarios en un contexto de aprendizaje auténtico (Brown et al., 1989). La teoría propone que los estudiantes deben ser puestos en un escenario auténtico directamente, en un marco de simulacro instalado manualmente, o en un escenario de simulacro virtual producido digitalmente para que pueden aprender las habilidades objetivo al interactuar continuamente con las personas de los escenarios.

El aprendizaje basado en escenarios (SBL) sigue los principios de la teoría de aprendizaje interactivo (Naidu et al., 2007) y utiliza escenarios interactivos de forma que habilita a los usuarios para demostrar su proceso decisión. Con tecnología y un marco de sonido, SBL puede motivar a los usuarios a la toma de iniciativa en su aprendizaje y proporcionarles entornos de aprendizaje para construir y solucionar problemas de la vida real (Vlachopoulos et al., 2017). Por ejemplo, Richardson et al. (2017) aplicaron el enfoque SBL para asistir a los estudiantes de enfermería y natalidad en adquirir las actitudes adecuadas y el conocimiento relacionado con la sostenibilidad y el cambio climático. Del mismo modo, Torkshavand et al. (2020) adoptaron el aprendizaje basado en simulacros para facilitar el conocimiento y las habilidades de los estudiantes en el cuidado de pacientes ancianos.

Análisis del portafolio de aprendizaje

Un portafolio de aprendizaje es una colección de trabajos de un estudiante, organizados en una manera que apoya el proceso instruccional y la evaluación (Alzouebi, 2020). Puede promover la regulación personal y la motivación orientada en objetivos (Šliogeriene, 2016) y documenta eficazmente y dirige los procesos de aprendizaje analizándolos en tiempo real.

Para los instructores, los portafolios de aprendizaje pueden ayudar a identificar los puntos ciegos en su instrucción, mientras que, para los estudiantes, la documentación integral y detallada de cada paso en el proceso de aprendizaje proporciona una oportunidad para la reflexión (Kim, 2020).

Los portafolios de aprendizaje pueden ser utilizados, por ejemplo, para evaluar las habilidades operativas de software (Su & Lin, 2015), investigar las diferencias en el comportamiento de estudiantes y preferencias al emplear resultados analíticos de aprendizaje de plataformas múltiples (Ruipérez-Valiente et al., 2020), o personalizar el aprendizaje externo adaptativo (Su, 2020).

En este estudio, los portafolios de aprendizaje y operacionales fueron analizados para identificar los problemas de aprendizaje que contienen y así facilitar el aprendizaje personal.

Diseño y métodos

Base teórica

Enclavado en teorías de aprendizaje y empleando mecanismos de escenario interactivo, WSG-COVID-19.SP (Figura 1) está diseñado de acuerdo a las siguientes proposiciones:

1) Un escenario interactivo es usado para incrementar la motivación del usuario para visitar nuevamente la información basada en TIVA y ser repetidamente probado usando la valoración simulada para ayudarles a comprender sus debilidades (Bardach et al., 2020).

2) Las prácticas simuladas (Torkshavand et al., 2020) pueden mejorar el conocimiento de los usuarios sobre la prevención de COVID-19 y su capacidad de aplicar tal conocimiento en sus vidas diarias.

3) La retroalimentación del diagnóstico (Su, 2020) puede promover el entendiendo de los usuarios sobre información de prevención de la epidemia y las medidas de protección personal. WSG-COVID-19.SP tiene la funcionalidad de almacenar todos los registros operacionales y de valoración, permitiendo así que los usuarios aprendan de las evaluaciones generadas por sistema.

Conceptos e indicadores de valoración de protección personal contra el COVID-19

El estudio diseñó las actividades de aprendizaje e indicadores de valoración (AI) (Tabla 1) en WSG-COVID-19.SP basados en la información sobre las medidas necesarias de protección personal contra el COVID-19 proporcionados por la OMS (2020) y CDC (2020).

Un ejemplo de AI es 1.1.a, el cual trata el concepto de «máscaras faciales», incluyendo «cómo escoger» la máscara apropiada. El indicador de aprendizaje correspondiente es una «máscara quirúrgica». Todos los AI estuvieron evaluados y confirmados por profesionales médicos en campos como control de enfermedades contagiosas, salud pública, medicina familiar y enfermería.

Definiciones de tareas de escenario en WSG-COVID-19.SP

Hay cuatro tipos de tareas de escenario en el juego, que están diseñadas para simular el conocimiento y los comportamientos relacionados a la prevención de la infección que tendrían que ser puestos en práctica en la vida diaria. Las tareas están definidas a continuación: 1) Tarea requerida: la tarea primaria relacionada a la prevención de la epidemia. 2) Tarea repentina: un hecho repentino que puede suceder en la vida diaria. 3) Tarea opcional: una tarea que está relacionada a la tarea requerida pero es opcional. 4) Tarea de pase: la tarea que va a determinar el resultado del juego. Cada tarea está asociada con los conceptos relacionados con la prevención, definidos en la Tabla 1.

Los escenarios en WSG-COVID-19.SP fueron construidos según lo mostrado en la Figura 2.I. La tarea requerida es el centro de cada escenario de juego y está apoyada en las tareas repentinas y opcionales. El rendimiento en estas tres tareas determina el resultado de la tarea de pase y el éxito del usuario para culminar tal nivel de juego.

Diseño y componentes de WSG-COVID-19.SP

El diseño de WSG-COVID-19.SP consta de seis pasos (Figura 2.II), cada uno de ellos con un objetivo puntual. Los pasos 1 y 2 crean el escenario de juego del núcleo basado en las tareas de escenario (una tarea requerida, una tarea repentina, y una tarea opcional según lo definido en la Sección 3.3). La tarea de pase utiliza la «temperatura de la frente» como la condición primaria para pasar tal nivel. Las tareas en los escenarios están conectadas a los conceptos esenciales de la prevención de la epidemia para evaluar si es que los usuarios pueden completarlos correctamente aplicando su conocimiento de prevención de la epidemia. La tarea de pase evalúa la comprensión de los usuarios sobre la prevención de la epidemia y el puntaje está representado por la barra de temperatura de la frente en la pantalla (vea, por ejemplo, Figura 3.I.c).

Durante el juego, todas las respuestas a las tareas del escenario están registradas por el sistema para así poder habilitar un análisis de la comprensión conceptual y del comportamiento. Posteriormente, el Paso 3 toma las tareas de pase de los Pasos 1 y 2 determinando el resultado del juego. Así, el Paso 4 conduce a un análisis automático del registro del sistema de respuestas del usuario con el mecanismo de retroalimentación del diagnóstico. El sistema entonces produce un informe acerca de la exactitud de las respuestas en los escenarios de prevención de la epidemia para dar apoyo a los usuarios a entender el estado actual de su aprendizaje. En el Paso 5, después de que los escenarios de juego hayan sido completados, se brinda a los usuarios una prueba de elección múltiple para analizar el conocimiento adquirido sobre la prevención de la epidemia.

En esencia, se evalúa su comprensión conceptual nuevamente utilizando un formato diferente. Además de esto, se proporciona un informe para esta segunda prueba para que los usuarios puedan reflexionar acerca de su aprendizaje. Pueden examinar sus errores y reflejar su conocimiento de prevención COVID-19 basado en los resultados diagnosticados personalizados (el informe del juego y el informe de la prueba). Ellos pueden escoger ir por WSG-COVID-19.SP de nuevo para corregir sus errores conceptuales y de comportamiento anteriores. En corto, un juego basado en escenarios con una variedad de tareas puede motivar a los usuarios a aprender para sí mismos y evaluarse repetidamente para corregir cualquier error y comportamientos problemáticos al participar en el juego nuevamente.

Este modelo de aprendizaje personal de «jugar, evaluar, retroalimentación de diagnóstico, entender el problema, practicar y la corrección» puede ayudar a los usuarios a implementar la prevención de COVID-19 y las medidas de protección personal más eficazmente.

Pruebas de utilidad y análisis de resultados

Participantes

Evaluación de validez de contenido por los trabajadores de cuidado de la salud

Seis expertos estuvieron encargados en evaluar la validez del conocimiento y el contenido relacionado con la prevención del COVID-19. Estos representaron varios campos de salud: un médico de familia, un médico de enfermedad contagiosa, dos profesionales de salud pública y dos profesores de enfermería.

Pruebas de utilidad por campo de usuarios

Como sistema basado en el juego, WSG-COVID-19.SP fue publicado en el sitio web de la universidad por el equipo de investigación. Los participantes del estudio completaron el cuestionario de utilidad en sus dispositivos móviles durante un mes al utilizar el sistema de juego. La participación fue voluntaria y los participantes podrían retirarse del estudio en cualquier etapa. Al principio de la actividad de investigación, una introducción general sobre el propósito del estudio fue proporcionada a todos los participantes, y su consentimiento fue obtenido. En total, 71 usuarios (alumnos universitarios) completaron la encuesta de sistema del juego. El número de participantes hombres y mujeres fue comparable.

Herramienta de prueba de utilidad

Los usuarios completaron el cuestionario administrado personalmente en un dispositivo móvil para proporcionar retroalimentación sobre su experiencia con el sistema. El cuestionario fue diseñado en base al Modelo de Aceptación de Tecnología (TAM) (Davis, 1989; Venkatesh & Bala, 2008). Este investiga la intención de conducta de los usuarios al usar WSG-COVID-19.SP así como la viabilidad de promover este juego. Así mismo el estudio examinó dos variables externas —la comparación percibida y el diagnóstico de los usuarios (Liaw, 2008)— para determinar el efecto de los escenarios. Además, evaluamos la carga cognitiva que el sistema ha colocado en los usuarios (Sweller et al., 1998).

La Tabla 2 define cada elemento del cuestionario. El cuestionario contiene ocho escalas de medida y utiliza una escala de 5 puntos Likert con rangos que van desde 1 (discrepa fuertemente) a 5 (está de acuerdo fuertemente). La consistencia interna del cuestionario fue fiable (alpha de Cronbach=0,903).

El proceso de aprendizaje en WSG-COVID-19.SP

Materiales de información basados en TIVA

Después de haber leído los materiales basados en TIVA relacionados con el COVID-19 en el sitio web de la investigación, los usuarios introducen WSG-COVID-19.SP para incrementar su aprendizaje personal y valoración propia a través del aprendizaje interactivo basado en escenarios, cerrando la brecha para cualquier deficiencia en los materiales basados en TIVA. El conocimiento de la prevención TIVA incluye cuatro ámbitos:

• Conocimiento del COVID-19: las tendencias de la pandemia global y el mecanismo de la enfermedad.
• Las políticas de Taiwán y los lineamientos relacionados con la prevención del COVID-19.
• Los lineamientos y principios para las medidas de protección personales básicas.
• Los factores de riesgo medioambiental relacionados con el COVID-19 y los desinfectantes apropiados.

Ingresando al WSG-COVID-19.SP

En WSG-COVID-19.SP, cada pantalla y tabla de historia muestra las herramientas interactivas e incita al aprendizaje basado en escenarios según lo mostrado en Figuras de 3 a 5. A medida que los usuarios entran en el juego, se les dan instrucciones sobre los objetivos de aprendizaje (Figura 3.I.a). Además de esto, el menú puede ser accedido en cualquier etapa (Figura 3.I.b–c), así como la tarea requerida para tal día (Figura 3.I.c). Hay tareas de escenarios de valor para dos días (vea la Figura 3.II para el Día 1 y la Figura 4.I para Día 2; también ver Pasos 1 y 2 en la Figura 2.II). Notar que los escenarios requieren que los usuarios practiquen el distanciamiento social en sitios como teatros, tiendas de departamento y clínicas.

Indicador de resultado del juego (tarea de pase)

En el juego, la temperatura de la frente está utilizada como indicador de resultado del juego. Esta refleja la exactitud de las respuestas del usuario y determina el éxito o el fracaso del mismo. Usando otras palabras, la tarea de pase es mantener la temperatura de la frente por debajo de los 37.5 °C. Si la temperatura de la frente en la pantalla es de <37.5 °C, entonces el nivel fue completado exitosamente y viceversa. Si la temperatura de frente fue mostrada entonces depende del usuario. El diseño abierto del juego deja a los usuarios utilizar su juicio y razonamiento crítico. El juego no muestra la temperatura de la frente por defecto al principio (Figura 3.I.e). Sin embargo, cada vez que los usuarios introducen un espacio interior, se les pregunta si les gustaría medir la temperatura de la frente. Para la prevención de la infección y protección personal, los elementos de valoración incluyen el uso de la máscara, el tiempo adecuado para usar la máscara, la técnica correcta de lavado de manos y el tiempo correcto para lavar manos. Tome por ejemplo usar la máscara. Lo primero que los usuarios deben hacer es entrar al juego para visitar la farmacia y seleccionar una máscara antes de afrontar cualquiera de las tareas (Figura 3.I.h). Si un usuario se olvida de comprar la máscara, él o ella estarán en riesgo de infección, y la barra de temperatura de la frente mostrará una fiebre a medida que los usuarios trabajan sobre las tareas.

Escenarios y tareas de aprendizaje en WSG-COVID-19.SP

Cinco escenarios (un hospital, un parque público, un aula, una librería y un restaurante) y una tarea repentina adicional estuvieron diseñados para el Día 1 (Figura 3.II) y Día 2 (Figura 4). Los suministros como máscaras y desinfectantes basados en alcohol están mostrados en la pantalla. Los usuarios utilizan sus dispositivos móviles para interaccionar con las personas virtuales o acontecimientos en los escenarios para completar las tareas.

En el proceso, ellos necesitan aplicar su conocimiento basado en TIVA a través del razonamiento crítico y habilidades de resolución de problemas y situaciones que encuentran. Ellos se pueden proteger llevando a cabo acciones apropiadas para prevenir la infección. Para atraer y mantener la atención de usuario, los escenarios de juego están diseñados de tal forma, que tanto la dificultad y la diversión se incrementan a medida que el nivel del reto crece. Los usuarios tienen que realizar más acciones en la tarea para conseguir los objetivos de aprendizaje. Las medidas de protección personal son repetidamente mostradas en varios escenarios para asegurar un aprendizaje más profundo. Si los usuarios no demuestran comportamientos de protección personal correctos en el juego, tienen riesgo de infección.

Escenario Día 1

Para el Día 1 del juego (Figura 3.II), los usuarios deben completar hasta dos acciones para cada tarea para alcanzar los objetivos de aprendizaje para protección personal.

• En el escenario de hospital, los objetivos de aprendizaje incluyen «tomar la temperatura de la frente» y «usar una máscara» cuando se visite pacientes en el hospital.
• En el escenario de un parque público, los objetivos de aprendizaje son «cómo» y «cuándo» para usar el desinfectante basado en alcohol para desinfectar las manos antes de tocarse los ojos y la nariz.
• En el escenario del aula, los objetivos de aprendizaje son «tomar la temperatura de la frente» y «cómo lavarse las manos» antes de comer.

Escenario Día 2

Los escenarios de juego para el Día 2 (Figura 4) son más desafiantes que aquellos para el Día 1. Los usuarios tienen que realizar más acciones para cada tarea para conseguir los objetivos de aprendizaje.

• En el escenario de la librería, los dos objetivos de aprendizaje están «utilizando el papel de tejido» y «desinfectando las manos con alcohol» después de estornudar.
• En el escenario del restaurante, las tareas están «tomando la temperatura de la frente» y «usando una máscara» al introducir el restaurante, así como lavarse las manos correctamente (Figura 4.II) antes de comer.
• Además, una tarea repentina fue adicionada para promover un aprendizaje más profundo. El objetivo de aprendizaje de la tarea repentina es una decisión que hacer al considerar el «usar una máscara» y «escogiendo un sitio más seguro».

Informe de diagnóstico personalizado

Después de que los usuarios completen los escenarios de simulación interactivos, el mecanismo de retroalimentación del diagnóstico en WSG-COVID-19.SP analiza automáticamente sus portafolios de aprendizaje para proporcionar un reporte de diagnóstico personalizado, el cual les habilita para entender sus errores y prácticas incorrectas. Basándose en los resultados del diagnóstico, el sistema entonces presenta uno de tres resultados posibles: seguro (riesgo bajo), riesgo moderado, y riesgo alto (Figura 5.a). El reporte de diagnóstico de desempeño (Figura 5.b) proporciona resultados individuales basados en los elementos listados en la Tabla 1 para ayudar a los usuarios a entender sus errores. Adicionalmente, el sistema de juego usa la elección de preguntas para probar su conocimiento de prevención de infección básico (Figura 5.c), seguido por un reporte de resultados de prueba (Figura 5.d).

Consiguientemente, los usuarios están motivados en seguir aún más el conocimiento relevante y realizar las pruebas de nuevo. En tanto, este modelo puede promover el conocimiento de prevención de COVID-19 y las medidas de protección personal.

Resultados

Validez del contenido

Los expertos definieron y evaluaron el contenido y los escenarios propuestos en el esquema WSG-COVID-19.SP desde tres perspectivas: 1) la especificidad del contenido, 2) la utilización del método y 3) la facilidad de lectura de la escritura. Estos evaluaron cada elemento en el juego utilizando una escala de 4 puntos Likert que está en el rango de 1 (no apropiado) a 4 (apropiado). La puntuación media de cada elemento va desde 2.8 a 3.4. El índice de validez del contenido (S-CVI/Ave) para la escala global fue de .81, indicando la validez del contenido adecuado.

Utilidad

Esta sección presenta los resultados del cuestionario de sitio web en la utilidad del sistema. Examinamos las diferencias medias de los elementos entre los usuarios con estudios relacionados a la tecnología de información (IT) ꟷy aquellos noꟷ relacionados, y entre hombres y mujeres (Tabla 3).

La utilidad de WSG-COVID-19.SP estuvo valorada por los 71 usuarios. Los resultados muestran que los usuarios estuvieron interesados en el juego y la diversión percibida mientras se juega (Promedio±SD: 4,16±0,77). Además, estos valoraron el sistema en la medida que proporcionó una experiencia situada mejor, y el aprendizaje conceptual mejor y valoración (4,28±0,74) comparado con materiales TIVA únicos. Ya que WSG-COVID-19.SP puede generar automáticamente un reporte de diagnóstico al final de la sesión de aprendizaje, los usuarios valoraron como altamente útil al mecanismo de retroalimentación del diagnóstico (4,28±0,74).

WSG-COVID-19.SP fue diseñado con las siguientes funciones en mente: diversión basada en juego, aprendizaje y valoración efectivas, y un reporte de diagnóstico significativo. Como era de esperarse, los usuarios percibieron el sistema de juego como útil (4,33±0,67), altamente satisfactorio (4,35±0,65), y fácil de utilizar (4,09±0,79). Ellos también indicaron una intención alta para utilizarlo en el futuro (4,28±0,68). Además de esto, excepto por la carga cognitiva, todos los indicadores de la prueba de utilidad fueron valorados por al menos 4,0 sobre 5, y los resultados no fueron afectadas por el historial del usuario. Mientras la carga cognitiva estuvo valorada como moderada (2,92±1,10), vale la pena hacer notar que los usuarios en los estudios relacionados con IT experimentaron una carga cognitiva significativamente más baja (2,26±1,13) que aquellos en unos estudios no relacionados (3,18±1,03). Además, «el usuario primario» es una variable independiente que afecta la carga cognitiva. Aun así, no puede decirse lo mismo del «género» porque mientras que las mujeres parecieron tener una carga cognitiva más baja (2,7±0,89) que los hombres (3,08±1,23), la diferencia no fue estadísticamente significativa.

Análisis de portfolio

Para investigar los errores de usuario y los problemas de aprendizaje, los índices de error de los indicadores de valoración (AI) (Tabla 1) en los registros de aprendizaje estuvieron analizados. Basados en el cambio de índices de error entre el primer y el segundo uso de sistema, los tres tipos de cambio conceptual pueden ser definidos: 1) Menos conceptos problemáticos, con el índice de error siendo ≤20% (AI-3.1.b, AI-3.1.c); 2) los conceptos que necesitan ser fortalecidos, con ambos índices de error siendo ≥ 30% (AI-2.1, AI-2.2.b, AI-2.3, y AI-3.1.a); y 3) conceptos mejorados, con el primer índice de error al ser de ≥30% y el segundo siendo ≤20% (AI-1.1, AI-1.2, AI-2.2.Un, AI-2.3.a, y AI-2.3.b). Se encontró que los conceptos para ser fortalecidos (tipo 2) fueron principalmente relacionados al «lavado de manos» y los conceptos con mejora significativa (tipo 3) que estuvieron relacionados a «¿cómo se puede lavar las manos?».

Discusión

En el estudio actual, WSG-COVID-19.SP puede ser referido como un juego serio porque fue diseñado para un propósito primario otro que la diversión pura. Su contenido se enfoca en adquisición y evaluación del conocimiento y las habilidades necesarias para la protección personal durante la pandemia de COVID-19 (Gentry et al., 2019).

En la prueba de utilidad, los 71 usuarios valoraron WSG-COVID-19.SP con una puntuación de al menos 4,0 sobre 5 en casi todos los indicadores. Excepto por el indicador de carga cognitivo, estas puntuaciones no fueron afectadas por los estudios de los universitarios, una variable que utilizamos como indicador de estimación de su competencia en IT. Las puntuaciones no fueron afectadas por su género. En general, los usuarios indicaron una alta intención para utilizarlo en el futuro. También creyeron que el diseño de sistema actual proporciona diversión basada en el juego, valoración eficaz y proceso de aprendizaje, e informes de diagnóstico significativo para reflexión y corrección personal.

El alto nivel de utilidad puede ser atribuido a los factores siguientes: 1) WSG-COVID-19.SP brinda información fiable obtenida de los materiales de COVID-19 basados en TIVA publicados por agencias públicas acerca de sitios web de información de la salud fiables (CDC, 2020; OMS, 2021). 2) Se desarrolló basándose en teorías apropiadas que incluyen la teoría de aprendizaje situado (Brown et al., 1989; Naidu et al., 2007), aprendizaje basado en problemas (Vlachopoulos, & Makri, 2017), y aprendizaje basado en juego digital (Park et al., 2019) para aplicar técnicas de análisis de portafolio (Alzouebi, 2020; Su & Lin, 2015) y producir retroalimentación de diagnóstico (Su, 2020). Las teorías adoptadas y elementos de diseño inhiben la regulación personal y la motivación orientada a objetivos (Šliogerienė, 2016) y mejorar el entendimiento de usuarios sobre la información de prevención de la epidemia y la necesidad de las medidas de protección.

En este estudio, la carga cognitiva fue la variable dependiente única afectada por la competencia de IT de los usuarios. Al utilizar el sistema, los usuarios de un estudio relacionado a IT experimentaron una carga cognitiva más baja que en aquellos que no la tenían. Se sabe que las habilidades de IT pueden afectar a las percepciones de los usuarios y la aceptación de un sistema digital (Lopez-Sintas et al., 2020). La competencia en IT puede mejorar a través de la práctica repetida. El género de los usuarios no tuvo un efecto significativo en su carga cognitiva. Con respecto a la competencia de IT y las diferencias de género, nuestros resultados son similares a aquellos de meta-estudio de análisis anteriores (Siddiq & Scherer, 2019). Específicamente, el vacío de género no puede ser tan grande como anteriormente se esperaba en el ámbito de dominio de información y tecnología de comunicación.

Un hallazgo interesante relacionado a cómo el sistema WSG-COVID-19.SP usa el análisis de portafolio para identificar los errores comunes es que el concepto de «¿Cuándo lavarse las manos?» tuvo el índice de error más alto en 51% (AI-2.1, Tabla 1), seguido por los «procedimientos para frotarse las manos» (AI-2.2, un índice de error de 26%) y «procedimientos de enjuagarse las manos» (AI-2.3, 33%). Incluso aunque el procedimiento estándar de enjuagarse las manos tiene requisitos muy restrictivos y tienen que ser seguidos rigurosamente para ser calificado como correcto, sorprendentemente, el error más común era sobre cuándo es correcto lavarse las manos, con un error valorado al 51%. Esto indica que la mayoría de personas tienden a ser negligentes con respecto a esta medida de prevención de epidemia en particular, creando así un eslabón débil en la cadena de esfuerzos de prevención contra la epidemia. Por ejemplo, para los conceptos de «Escoger una máscara» (AI-1.1, 17%), «¿Cuándo usar una máscara?» (AI-1.2, 29%), y «Monitorear su salud diariamente (tomando la temperatura de la frente)» (AI-3.1.Un, 67%), puede que los usuarios sean conocedores de la información pero se niegan a ejecutar las acciones correctas en la práctica. Así, a través del uso de escenarios de simulación, los usuarios pueden estar atentos sobre la prevención de la epidemia en sus vidas diarias. Estos hallazgos de análisis del portafolio identificaron los conceptos que necesitaban una mejor campaña de promoción, una funcionalidad que no puede ser proporcionada por los materiales basados en TIVA o juegos serios existentes para el conocimiento de COVID-19 ya que todavía no se han tomado en cuenta estos conceptos de error y comportamientos (Suppan et al., 2020; Gaspar et al., 2020).

Los resultados mencionados anteriormente responden eficazmente las preguntas de búsqueda listadas en la sección de introducción. Por tanto, se puede concluir que WSG-COVID-19.SP demuestra un diseño de juego serio válido con validez de contenido adecuada (S-CVI/Ave=.81) (Polit & Beck, 2006). Adicionalmente, es fácil de utilizar y es muy útil para aprender los conceptos y las habilidades necesarias para la protección personal contra COVID-19. Consiguientemente y de mayor importancia es que los usuarios probablemente continuarán usando este sistema de juego serio en el futuro.

Limitaciones

La presente investigación está en etapa de desarrollo para el juego serio WSG-COVID-19.SP para aprender habilidades de protección personal contra el COVID-19. La validez de contenido del juego y la utilidad están siendo continuamente probadas. Nótese que los resultados presentados en este estudio no confirman la efectividad de este juego para mejorar la protección personal en la vida real o la aplicación exitosa a otras poblaciones.

La muestra utilizada para la prueba de utilidad fue un número pequeño de estudiantes universitarios. Si se fuese a promocionar el juego en hospitales y utilizarlo como un dispositivo efectivo para los profesionales de la salud pública en el campo de la educación de salud, los usuarios potenciales en el hospital, incluyendo el público general y pacientes salientes de clínica, tendrían que ser incluidos en las muestras para las investigaciones futuras.

Conclusiones

El presente estudio proporciona evidencia de la utilidad y percepciones de los usuarios del sistema de juego WSG-COVID-19.SP, una aplicación web basada en escenario interactivo diseñada para proporcionar a las personas medidas para prevenir el COVID-19 a través de prácticas situadas. La utilidad y aceptación fueron evaluadas e informadas como adecuadas por los usuarios. Los participantes percibieron WSG-COVID-19.SP como útil para promover las medidas de protección personal contra el COVID-19 debido al diseño del escenario del juego y las características de retroalimentación del diagnóstico. Adicionalmente, el análisis de portafolio puede identificar las áreas problemáticas en la comprensión de los usuarios y las prácticas de las medidas de prevención de COVID-19. Basándose en estos hallazgos, planeamos diseñar un estudio experimental en el futuro para examinar los efectos del juego en los comportamientos de protección personal en la vida real. Este juego serio puede aplicarse para prevenir otras enfermedades contagiosas con modelos de transmisión similares, así como para probar los efectos de las campañas de prevención correspondientes.

Contribución de Autores

Idea, J.M.S., C.J.W.; Revisión de literatura, J.M.S., C.J.W.; Metodología, J.M.S., C.J.W., Y.C.Y., T.N.W.; Análisis de datos, J.M.S., M.J.L.; Resultados, J.M.S., C.J.W., Y.C.Y., T.N.W.; Discusión y conclusiones, J.M.S., C.J.W., Y.C.Y., T.N.W. M.J.L.; Redacción (borrador original), J.M.S.; Revisiones finales, C.J.W.; Diseño de Proyecto y patrocinadores, C.J.W. (1)

References

1. Alzouebi, Khadeegha. 2020.portfolio development and narrative reflections in higher education: Part and parcel of the culture?&author=Alzouebi&publication_year= Electronic portfolio development and narrative reflections in higher education: Part and parcel of the culture?Education and Information Technologies 25:997–1011.
2. S.V., Gentry,, Gauthier, Andrea, Ehrstrom, Beatrice L’Estrade, Wortley, David, Lilienthal, Anneliese, Car, Lorainne Tudor, Dauwels-Okutsu, Shoko, Nikolaou, Charoula K, Zary, Nabil, Campbell, James & Car, Josip. 2019.Gaming and Gamification Education in Health Professions: Systematic Review&author=S.V.&publication_year= Serious Gaming and Gamification Education in Health Professions: Systematic Review. Journal of Medical Internet Research 21(3):e12994.
3. Freitas, S. 2018.Are games effective learning tools? A review of educational games. Educational Technology & Society 21(2):74–84.
4. J.A., Ruipérez-Valiente,, Halawa, Sherif, Slama, Rachel & Reich, Justin. 2020.multi-platform learning analytics to compare regional and global MOOC learning in the Arab world&author=J.A.&publication_year= Using multi-platform learning analytics to compare regional and global MOOC learning in the Arab world. Computers & Education 146:103776.
5. Torkshavand, Goodarz, Khatiban, Mahnaz & Soltanian, Ali Reza. 2020.learning to enhance students’ knowledge and skills in educating older patients&author=Torkshavand&publication_year= Simulation-based learning to enhance students’ knowledge and skills in educating older patients. Nurse Education in Practice 42:102678.
6. Gardner, L. 2020.the spreading risk of 2019-nCoV&author=&publication_year= Modeling the spreading risk of 2019-nCoV.Johns Hopkins University Center for Systems Science and Engineering
7. Siddiq, Fazilat & Scherer, Ronny. 2019.there a gender gap? A meta-analysis of the gender differences in students' ICT literacy&author=Siddiq&publication_year= Is there a gender gap? A meta-analysis of the gender differences in students' ICT literacy. Educational Research Review 27:205–217.
8. Lopez-Sintas, Jordi, Lamberti, Giuseppe & Sukphan, Jakkapong. 2020.social structuring of the digital gap in a developing country. The impact of computer and internet access opportunities on internet use in Thailand&author=Lopez-Sintas&publication_year= The social structuring of the digital gap in a developing country. The impact of computer and internet access opportunities on internet use in Thailand. Technology in Society 63:101433.
9. D.F., Polit, & C.T., Beck,. 2006.content validity index: Are you sure you know what's being reported? Critique and recommendations&author=D.F.&publication_year= The content validity index: Are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health 29(5):489–497.
10. J.L., Blackburn, & Hakel, Milton D.. 2006.examination of sources of peer-review bias&author=J.L.&publication_year= An examination of sources of peer-review bias. Psychological Science 17(5):378–382.
11. Naidu, S, Menon, M, Gunawardena, C, Lekamge, D & Karunanayaka, S. 2007.How can scenario-based learning engender and promote reflective practice in online and distance education. In: M. Spector, ed. Your Online Voice: Stories Told by Experienced Online Educators&author=&publication_year= Finding Your Online Voice: Stories Told by Experienced Online Educators. (pp. 53-72) Lawrence Erlbaum
12. Liaw, S S. 2008.students’ perceived satisfaction, behavioral intention, and effectiveness of e-learning: A case study of the blackboard system&author=Liaw&publication_year= Investigating students’ perceived satisfaction, behavioral intention, and effectiveness of e-learning: A case study of the blackboard system. Computer & Education 51(2):864–873.
13. Nicola, Maria, Alsafi, Zaid, Sohrabi, Catrin, Kerwan, Ahmed, Al-Jabir, Ahmed, Iosifidis, Christos, Agha, Maliha & Agha, Riaz. 2020.socio-economic implications of the coronavirus pandemic (COVID-19): A review&author=Nicola&publication_year= The socio-economic implications of the coronavirus pandemic (COVID-19): A review. International Journal of Surgery 78:185–193.
14. C., Kinshuk,, Chen, Nian-Shing, Cheng, I-Ling & Chew, Sie Wai. 2016.is not enough: revolutionizing current learning environments to smart learning environments&author=C.&publication_year= Evolution is not enough: revolutionizing current learning environments to smart learning environments. International Journal of Artificial Intelligence in Education 26(2):561–581.
15. Pitol, Ana K. & Julian, Timothy R.. 2021.Transmission of SARS-CoV-2 by surfaces: Risks and risk reduction strategies&author=Pitol&publication_year= Community Transmission of SARS-CoV-2 by surfaces: Risks and risk reduction strategies. Environmental Science & Technology Letters 8(3):263–269.
16. Liu, Ying, Gayle, Albert A, Wilder-Smith, Annelies & Rocklöv, Joacim. 2020.reproductive number of COVID-19 is higher compared to SARS coronavirus&author=Liu&publication_year= The reproductive number of COVID-19 is higher compared to SARS coronavirus. Journal of Travel Medicine 27(2).
17. Wiemeyer, Josef & Kliem, Annika. 2012.games in prevention and rehabilitation—a new panacea for elderly people?&author=Wiemeyer&publication_year= Serious games in prevention and rehabilitation—a new panacea for elderly people?European Review of Aging and Physical Activity 9(1):41–50.
18. Nayef, B H. 2015.The advantages and disadvantages of using multimedia in education. Journal of AL-Turath University College 2:96–104.
19. Vlachopoulos, Dimitrios & Makri, Agoritsa. 2017.effect of games and simulations on higher education: a systematic literature review&author=Vlachopoulos&publication_year= The effect of games and simulations on higher education: a systematic literature review. International Journal of Educational Technology in Higher Education 14(1):1–33.
20. Garris, Rosemary, Ahlers, Robert & Driskell, James E.. 2002.motivation and learning: A research and practice model&author=Garris&publication_year= Games, motivation and learning: A research and practice model. Simulation & Gaming 33(4):441–467.
21. Sweller, J, Van Merrienboer, J J G & Paas, F G. 1998.architecture and instructional design&author=Sweller&publication_year= Cognitive architecture and instructional design. Educational Psychology Review 10:251–296.
22. J.S., Brown,, Collins, Allan & Duguid, Paul. 1989.cognition and the culture of learning&author=J.S.&publication_year= Situated cognition and the culture of learning. Educational Researcher 18:32–42.
23. Chang, C W, Lee, J H, Wang, C Y & Chen, G D. 2010.the authentic learning experience by integrating robots into the mixed-reality environment&author=Chang&publication_year= Improving the authentic learning experience by integrating robots into the mixed-reality environment. Computer & Education 55(4):1572–1578.
24. Venkatesh, Viswanath & Bala, Hillol. 2008.acceptance model 3 and a research agenda on interventions&author=Venkatesh&publication_year= Technology acceptance model 3 and a research agenda on interventions. Decision Sciences 39(2):273–315.
25. Centers for Disease Control and Prevention (CDC) (Ed.) 2019.disease 2019 (COVID-19)&author=&publication_year= Coronavirus disease 2019 (COVID-19).Protect yourself
26. Chamola, Vinay, Hassija, Vikas, Gupta, Vatsal & Guizani, Mohsen. 2020.comprehensive review of the COVID-19 pandemic and the role of IoT, Drones, AI, Blockchain, and 5G in managing its impact&author=&publication_year= A comprehensive review of the COVID-19 pandemic and the role of IoT, Drones, AI, Blockchain, and 5G in managing its impact. (Vol. 8) IEEE Access[10.1109/access.2020.2992341 10.1109/access.2020.2992341]
27. Davis, F D. 1989.usefulness, perceived ease of use, and user acceptance of information technology&author=Davis&publication_year= Perceived usefulness, perceived ease of use, and user acceptance of information technology. Management Information Systems Quarterly 13(3):319–340.
28. Kim, J. 2020.and teaching online during COVID-19: Experiences of student teachers in an early childhood education practicum&author=Kim&publication_year= Learning and teaching online during COVID-19: Experiences of student teachers in an early childhood education practicum. International Journal of Early Childhood 52:145–158.
29. Su, J M & Lin, H Y. 2015.A reconfigurable simulation-based test system for automatically assessing software operating skills, special issue technology-supported assessment in education. Educational Technology & Society 18(2):60–79.
30. J.D., Gaspar,, E.M., Lage,, F.J., Silva,, Mineiro, Érico, I.J., Oliveira,, Oliveira, Igor, R.G., Souza,, J.R., Gusmão,, C.F., De-Souza, & Z.S., Reis,. 2020.Mobile Serious Game About the Pandemic (COVID-19 - Did You Know?): Design and Evaluation Study&author=J.D.&publication_year= A Mobile Serious Game About the Pandemic (COVID-19 - Did You Know?): Design and Evaluation Study. JMIR Serious Games 8(4):e25226.
31. World Health Organization (WHO) (Ed.) 2021.disease (COVID-19) advice for the public&author=&publication_year= Coronavirus disease (COVID-19) advice for the public.
32. Su, J M. 2020.rule-based self-regulated learning assistance scheme to facilitate personalized learning with adaptive scaffoldings: A case study for learning computer software&author=Su&publication_year= A rule-based self-regulated learning assistance scheme to facilitate personalized learning with adaptive scaffoldings: A case study for learning computer software. Computer Application Engineering Education 28(3):536–555.
33. Suppan, Mélanie, Catho, Gaud, Nunes, Tomás Robalo, Sauvan, Valérie, Perez, Monique, Graf, Christophe, Pittet, Didier, Harbarth, Stephan, Abbas, Mohamed & Suppan, Laurent. 2020.Serious game designed to promote safe behaviors among health care workers during the COVID-19 pandemic: Development of "Escape COVID-19"&author=Suppan&publication_year= A Serious game designed to promote safe behaviors among health care workers during the COVID-19 pandemic: Development of "Escape COVID-19"JMIR Serious Games 8(4):e24986.
34. J., Sliogeriene,. 2016.Using portfolios to enhance self–regulated learning. Sustainable Multilingualism 9:186–204.
35. Santarpia, J L, Rivera, D N, Herrera, V L, Morwitzer, M J, Creager, H M, Santarpia, G W, Crown, K K, Brett-Major, D M, Schnaubelt, E R, Broadhurst, M J, Lawler, J V, Reid, S P & Lowe, J J. 2020.and surface contamination of SARS-CoV-2 observed in quarantine and isolation care&author=Santarpia&publication_year= Aerosol and surface contamination of SARS-CoV-2 observed in quarantine and isolation care. Scientific Report 10:12732.
36. Álvarez-Pomar, Lindsay & Rojas-Galeano, Sergio. 2021.Impact of personal protection habits on the spread of pandemics: Insights from an agent-based model&author=Álvarez-Pomar&publication_year= Impact of personal protection habits on the spread of pandemics: Insights from an agent-based model. The Scientific World Journal 2021:1–14.
37. Park, Juneyoung, Kim, Seunghyun, Kim, Auk & Yi, Mun Y.. 2019.to be better at the game: Performance vs. completion contingent reward for game-based learning&author=Park&publication_year= Learning to be better at the game: Performance vs. completion contingent reward for game-based learning. Computers & Education 139(1):1–15.
38. Bardach, L, Klassen, L R, Durksen, T L, Rushby, J V, Bostwick, K C P & Sheridan, L. 2020.The power of feedback and reflection: Testing an online scenario-based learning intervention for student teachers. Teacher Selection Project Working Paper1–21.
39. Richardson, Janet, Grose, Jane, Bradbury, Martyn & Kelsey, Janet. 2017.awareness of sustainability in nursing and midwifery using a scenario-based approach: Evidence from a pre and post educational intervention study&author=Richardson&publication_year= Developing awareness of sustainability in nursing and midwifery using a scenario-based approach: Evidence from a pre and post educational intervention study. Nurse Education Today 54:51–55.
40. Wattanasoontorn, Voravika, Boada, Imma, García, Rubén & Sbert, Mateu. 2013.games for health&author=Wattanasoontorn&publication_year= Serious games for health. Entertainment Computing 4:231–247.