Online Questionnaires Use with Automatic Feedback for e-Innovation in University Students

<span style="color:#FFFFFF; background:#ffffcc"><span id="article_es"></span>[[#article_en|Pulsa aquí para ver la versión en Español (ES)]]</span>
==== Abstract ====

Technological tools have permeated higher education programs. However, their mere introduction does not guarantee instructional quality. This article presents the results of an innovation project aimed at fostering autonomous learning among students at a Pre-School and Primary Teacher Grade. For one semester all freshmen students used a system for autonomous learning embedded in the institutional online platform (Moodle), which included automatic formative feedback. The system was part of a complex formative assessment program. We present results of the experience concerning two aspects: the students’ actual use of the system, and their final appraisal of it. The quantitative descriptive analysis focuses on the students’ perspective to evaluate the adequacy of the instructional decisions. Results indicate that students need certain limits to be able to manage their learning better if we pursue the quality of innovation. These limits refer mainly to the time of accessibility and the limitation of attempts of practice. With respect to time, an appropriate span of time (neither too long nor too short) must be chosen; with respect to the number of attempts, it is expedient to limit rather than promote free endless access.

[[Media:Draft_Content_823258174-56747.pdf|<span style="color:#0645AD; font-weight: bold">Download the PDF version</span>]]

==== 1. Introduction ====

This work presents teaching innovation results concerning the use of online questionnaires to promote autonomous learning among university students. A teaching team with a long trajectory of collaborative work at different Teacher Degrees developed the innovation project. This joint trajectory allowed elaborating a shared comprehension of teaching, learning and assessment processes, of the incorporation of new information technologies (ICT) through online learning management systems, and of the resources and materials that the team designed. This shared vision of the teaching team affords innovation which requires a high degree of dedication and would be mostly inaccessible for individual teachers. The continued teaching collaboration is one of the keys to joint professional development (Mauri, Clarà, Ginesta, & Colomina, 2013). Through this article, we want to share our experience of this innovation to contribute to the collective reflection on university teaching, towards reflective and sustainable practice (Guskey, 2002).

The innovation project focused on the search for educational strategies to foster autonomous learning in a blended context. Previous studies report results that highlight the importance of promoting an active use of ICT to support learning efficiently (Collis & Moonen, 2011). This efficient use does not only depend on technological features of the instrument, but also on pedagogical decisions which ground it and allow transforming traditional practices (Coll, Mauri, & Onrubia, 2008). One of the key transforming axes, promoted by the European Space of Higher Education, is autonomous and self-regulated learning to form competent learners for the 21st century (Cernuda, Gayo, Vinuesa, & al. 2005). In this context, assessment emerges as an essential ingredient of this desired change, and particularly, formative and continuous assessment (Coll, Mauri, & Rochera, 2012; Sánchez-Santamaría, 2011). Hence, there is also an increase of interest in seeing how ICT efficiently contributes to these assessment processes.

1.1. Innovation: autonomous learning as a goal

This study is grounded on three complementary antecedents. First, the need for teaching assistance for learning in virtual and blended contexts (Coll, Mauri, & Onrubia, 2008). Second, feedback as the nexus between learning and assessment to offer this teaching assistance (Carless, Salter, Yang, & Lam, 2011; Nicol & Mcfarlane-Dick, 2006). And third, the potential of online questionnaires with formative feedback as a situated and contextualised task (Guo, Palmer-Brown, Lee, & Cai, 2014).

Innovation implies complex and demanding processes for instructors, which need to be evaluated. When instructors observe that the changes introduced in their practice produce an improvement in learning, a shift in attitude towards innovation and beliefs about it follows, and not the other way around (Guskey, 2002). From the socio-cultural perspective of teaching and learning, propounding good practices for innovation with ICT in higher education involves the understanding that placing the student at the centre of the process leads us to take three aspects into account. First, the students need to be mentally active to learn. Second, they should participate in as “authentic” and contextualized tasks as possible. And third, they should receive the instructor's guidance (or help from classmates) in the process. Thus, placing the student at the centre is not at odds with defining the instructor's role as a “necessary guide”, beyond the role of facilitator of learning with ICT (Coll, Mauri, & Onrubia, 2008).

1.2. Formative assessment and automatic feedback

One of the challenges to improving autonomous learning lies in the resources to monitor the learning progress and offer feedback. In that sense, feedback is key according to certain conditions of implementation (Carless, Salter, Yang, & Lam, 2011).

Expectations put on ICT are not fully met because the overflow of data frequently exceeds the capacity of instructors in terms both of time and dedication. Therefore, we need to look for strategies which will make assessment, and specifically feedback, into sustainable processes for all parties. Moreover, recent studies highlight that the tasks designed to support autonomous learning and its assessment increase efficiency as they drip into the general teaching plan. The set of assessment tasks comprises then an "assessment system" or "assessment program" (Mauri, Ginesta, & Rochera, 2016). In this context, feedback on online tasks is an element of confluence to support both autonomous and self-regulated learning, and the assessment of learning results and processes (Hattie & Timperley, 2007; Hatziapostolou & Paraskakis, 2010; Shute, 2008). Thus, to enhance the effectiveness of autonomous learning, it is necessary to consider three relevant features of feedback (Carless, & al., 2011; Mauri, Ginesta, & Rochera, 2016). First, feedback must be written, specific and clear. Second, it must come at the appropriate time. And third, it must inform about reasonable steps for the student to take afterward (feed-up, feed-forward).

1.3. Online questionnaires and formative feedback

Online questionnaires have become a commonly used “ICT resource” for learning and assessment (although they are not the only resource). They are instruments requiring hard work in their preparation (Morales, 2012; Moreno, Martínez, & Muñiz, 2015; Rodríguez Garcés, Muñoz, & Castillo, 2014). Among the advantages one can count is that they offer objectivity and rigour; they also guarantee reliability for the measure of learning setting one and the same standard for all students. Also, they provide immediate results. Finally, they make the monitoring sustainable for instructors, avoiding likely errors or biases of correction, among other advantages (Morales, 2012). We used, thus, this sort of instrument to offer the students formative feedback, immediate to their use of the questionnaire. The formative feedback differs from accreditative and verifying feedback in offering the student information which goes beyond providing the right answer or a numeric result. It offers hints about the error, on how to correct it, and also metacognitive suggestions which help to reflect about their own knowledge (Jolly & Boud, 2015; Williams, Brown, & Benson, 2015). In essence, the key is utilising feedback to make learning visible (Dysthe, Lillejord, Wasson, & Vines, 2011; Havnes, Smith, Dysthe, & Ludvigsen, 2012).

1.4. General and specific goals

The general goal of this work is to share with the teaching community the reflection about the efficiency of an innovation project. For this general purpose, the following specific goals are set:

• To investigate the reported use of a support system designed to promote autonomous learning.

• To characterise the actual use of this system.

• To analyse students’ appraisal of this support system.

• To explore the differences of autonomous study behaviour and learning results, according to particular pedagogical conditions.

====2. Material and methods====

2.1. Design of the innovation experience

The Project (founded by the Universidad de Barcelona) was carried out in a compulsory course of the Teacher Degrees (Pre-School and Primary School). The instructor team, composed of 13 instructors specialized in the area of Developmental and Educational Psychology, designed a bank of multiple choice questions with four response options and the respective feedback, referring to content on child development.

With this bank of questions the instructors built a set of questionnaires in the Moodle online platform (the institutional virtual campus). The questionnaires were piloted during one semester before the final implementation to revise and improve the questions, responses, and feedback, following the standard procedure for the elaboration of automatic multiple choice tests (Moreno, Martínez, & Muñiz, 2015).

Students accessed the questionnaires as part of a complex assessment program which included a wide variety of assessment activities distributed throughout the course (Coll, Mauri, & Rochera, 2012). The assessment program included the response to a test on contents related to children's development (motor, cognitive, communicative and socio-affective). The students sat the final test after two months of practice with the online questionnaires. The practice questionnaires had the twofold goal of 1) being an instrument for support of autonomous learning of factual and conceptual contents, and 2) preparing for the final summative assessment of these topics. The practice questionnaires had 40 questions and were organised in three levels of increasing complexity, which could be accessed accomplishing minimal conditions: an average mark of at least five over 10 points, and a delay lapse of 24h between attempts. In each resolution access, the system randomized the questions as well as the items of response within each question. Level 1 comprised four questionnaires (one for each development area); level 2 comprised six questionnaires (combining contents of two areas of development) and level 3 offered a single questionnaire which emulated the final exam conditions (40 random items with a time limit of 20 minutes).

Figure 1 shows the system of questionnaires for practice, as it ran along with face to face lectures. After every attempt, students got a numeric result with merely informative value, but without accrediting value. Also, in levels 1 and 2, they received an automatic formative feedback response to each of the responses they had selected, regardless of their being right or wrong. Feedback could present the following features (Guo, Palmer-Brown, Lee, & Cai, 2014; Hatziapostolou & Paraskakis, 2010):

In the case that the answer was wrong, they received motivational comments and tips for searching for the right information in the learning materials, for reflecting on the error, or on the concept or data at hand.

In the case that the answer was right, they received endorsement of the right answer.

2.2. Context and participants

Thirteen classes took part in the project, with 687 students of the second semester of the Teacher Degrees (Pre-school and Primary School), which constituted the whole population who started the Bachelor Degree in that academic course. The sample consisted of 88% women and 12% men; 50% were aged younger than 20, 43% were between 20 and 25 years old, 7% were older than 25 years old; 49% worked part-time, 5% worked full-time, and finally 46% did not work.

In this article, we present data and results of four groups with four different instructors and a total of 224 students. The selection of these four groups responds to a search of the best possible representativeness and displays the following conditions:

• Four groups without technical problems which did not report missing data.

• Two of these groups were of Pre-School teacher students and two of them were of Primary School teacher students.

• From each section, there was both one morning and one evening group.

• One of the groups, the control-group, followed the basic design for the use of questionnaires, while instructors in the other three groups altered the pedagogical conditions concerning the limit of individual access and the total time-span of access.

Specifically, the groups are as follows:

• Group Z (n=49), the basic design for reference: Access is delayed 24h between attempts; free time for response in levels 1 and 2, and time limited to 20 minutes in level 3; system freely accessible during two months (parallel to the usual face to face lecture).

• Group A (n=57), alternative design: System accessibility “constrained”, limited to one month (in parallel to the second month of usual face to face lectures).

• Group B (n=64), alternative design: System accessibility “overexpanded” to three months (opened one month in advance to the usual face to face lectures).

• Group C (n=54), alternative design: Basic system accessibility but "limited" to three individual attempts at level 1, one single attempt at level 2 and level 3.

According to the goals, the blended characteristics of the course and the methodological requirements usual in these situations, the collection of data focused on three different, complementary axis:

• Data of reported use: final, anonymous Likert questionnaire.

• Data of actual use: frequency of access for resolution of questionnaires in level 1 during the whole time defined for autonomous learning, collected utilising the automatic tracking of the online platform Moodle.

• Appraisal of the material and its use: final, anonymous Likert questionnaire.

In all cases, the participants’ consent was attained, the data of use were anonymised, as well as the final appraisal response, conserving merely the group code.

====3. Analysis and results====

We applied several complementary techniques of analysis. After a first descriptive analysis, data were contrasted statistically with the Kruskal-Wallis test, according to the characteristics of the sample and the data, to verify the existence of significant differences between the design conditions of each group of participants and the basic instructional design. We discarded contrasting variables such as gender and age because the sample was very biased in these aspects (in natural correspondence with the course and the degrees). In the following subsections, we present the procedure and results of each of the goals of our study.

3.1. Reported use

First of all, the students' responses to the questionnaire of reported study behaviour allowed us to draw the following robot sketch of their study method:

• Combining reading the materials and direct practice with questionnaires (61% fully or mostly agree).

• Individual use (82% fully or mostly agree).

• Taking notes of errors (91% fully or mostly agree).

• Taking notes of the right answer (86% fully or mostly agree).

• Taking notes of the feedback comments (feedback) (64% fully or mostly agree).

The analysis reveals significant differences between the basic design and two of the alternative groups.

Table 1 shows these differences, which refer to two aspects:

• Reading the learning materials in anticipation of practice (less frequent in group B, with “expanded” time).

• Using the questionnaires individually (more common in group C, with "limited" access).

In summary, we interpret that the group with the widest span of time (B) for the study, did access the learning support system more frequently with a strategy of trial–and-error practice, without a previous reading of the corresponding texts. In contrast, the group with limited access (C) must ponder the attempts more carefully, and hence they proceeded with a previous, off-line reading of the learning contents to maximize results. Hence, the design affected the study behaviour of these two groups of students in opposite directions.

3.2. Actual use

The same analysis in two phases was carried out for the actual use of the questionnaires. This analysis was performed only on data of level 1 of practice since it was focused on one single topic and presented new questions. In the following levels of practice, the students found the same questions again in combined questionnaires. We assume, thus, that a single attempt of response to the questionnaire does not provide evidence of feedback use (nor of its efficiency for improvement). We rather would need at least two attempts to potentially use feedback in an efficient manner (which benefit would increase with an increasing number of attempts). Thus, we proceeded to classify the attempts of resolution as follows:

• No-use: up to four accesses of resolution altogether (one per section of topics).

• Minimal use: up to eight accesses of resolution altogether (two per section of topics).

• Moderate use: up to twelve accesses of resolution altogether (three per section of topics).

• Frequent use: up to sixteen accesses of resolution altogether (four per section of topics).

• Very frequent use: more than sixteen accesses of resolution altogether (more than four per section of topics).

Table 2 shows these result (see Table 2).

Globally speaking, one has to reckon a limited use of the questionnaires. In group Z, with the basic instructional design, over one-third of the students accessed the questionnaires less than four times altogether, showing a null use of feedback (37%). Another third showed a minimal use of the questionnaires (33%), whereas merely 16% showed frequent to very frequent use. The use of questionnaires increases slightly among the groups with an alternative design. In fact, we find some possible effects of design on the study behaviour: the group with a reduced time of access (A) increases its use of feedback significantly (26% moderate, 31% frequent or very frequent, and only 14% of no use). Thus, it is an "intensive" practice carried out by those students. In group C, in contrast, we do not find a “very frequent” use due to the instructional restriction (maximal three attempts for each questionnaire), but the other three options are balanced (around 30% for each of them), and the “frequent” use is high compared with the other groups (three times greater). This suggests that the questionnaires are used purposefully in this group.

3.3. Appraisal of the support system and learning results

The final questionnaire included questions on two different levels of detail: a) about the general conditions to access the questionnaires and thus the feedback; b) on the diverse forms of feedback designed by the instructors. The corresponding results are presented in Tables 3 and 4. Eventually, Table 5 presents the final learning results.

3.3.1. Appraisal of general conditions

In Table 3 we can observe significant differences between two of the groups with alternative designs, in contrast with the basic design concerning four aspects: 1) the possibility of identifying doubts and errors; 2) difficulty; 3) sense of repetition; 4) motivating potential. The results show that in group C with constrained access, students consider the questionnaires altogether easier and more useful to identify doubts and errors.

Table 3 shows as well that the existence of three levels of practice was more positively valued by the students in group C, due to the chance of “organising the individual study” and “reducing tension before the test”. In contrast, in group B, with expanded time, students were less positive regarding the chances of organising individual study.

The 24h delay between attempts is, generally speaking, the least valued feature of the design. However, we still find a higher appraisal by students of group C, despite being low, as an organisation aid, for motivation and lowering of tension before the test.

3.3.2. Appraisal of specific conditions of feedback

For the specific conditions of feedback (Table 4), there are sharply significant differences in group A, with reduced time, where students perceived the tips as more "repetitive". In contrast, group C stands out again for positive evaluations of multiple aspects of the feedback. Those students value more highly the help provided for the identification of errors, first; second, they value feedback as more motivating, funnier, and more useful to reflect or laugh. Moreover, their appraisal is significantly lower when indicating the feedback as “confusing”.

3.3. Learning results

Finally, the learning results were collected via the online platform, through the final exam which was administered to assess learning (Table 5).

Results show that group C, again, stands out above the other groups with significantly better results, which allows us to interpret improved effectiveness of instructional conditions in that group.

====4. Discussion and conclusions====

The results of this innovation experience show that the most favorable conditions to foster autonomous learning of students focus on a moderate time span of system accessibility (two months versus just one or up to three) and a constraint to the number of attempts (versus no limits to individual attempts). Before discussing these results, it is important to note the data of significance reported in the previous section, related to the reported use of the students, their actual use, their appraisal of the support system, and eventually their results at the final exam. Very frequently, projects presenting assessment of innovation experiences limit themselves to reported use and posthoc appraisals (Gómez-Escalonilla, Santín, & Mathieu, 2011; Zaragoza, Luis-Pascual, & Manrique, 2009). In this sense, our work offers data of complementary triangulation that we consider indispensable in evaluating the processes of innovation from its very context of complex practice, which is even more important when the implementation of ICT allows tracking of the actual use. Concerning the time of accessibility as provided by design, it is noteworthy that the access occurs parallel to the face-to-face sessions which were dedicated to working through the learning contents (Figure 1).

In face-to-face sessions, the students had the chance (if they wanted to) to share doubts about the questions, responses, and feedback in the questionnaires. This allows supporting the autonomous learning of the students outside the classroom with the instructor's guidance. Following Carless and colleagues (2011), one of the quality criteria of feedback consists in it being a dialogue process with the instructor, not only received as a unidirectional message. In blended instructional proposals, the dialogue about feedback can proceed in a particularly adjusted manner in the face-to-face sessions. In fact, the blended component added to the learning processes has been identified in recent works as a desirable option to support the students' learning, even if one departs from a pure e-learning model. On the other hand, learning, as a process, needs time, and so we can interpret that the fast response of the questionnaires during just one month (group A) was not sufficient.

Concerning the number of attempts of resolving the practice questionnaires, from a critical point of view, one could consider that the innovation experience was not successful since the students' use is certainly light overall. However, a second reading allows some important conclusions for university teaching. To begin with, one of the benefits that are usually allotted to the online context is that of complete and free accessibility; the user is free to choose the moment and the location of access. Yet, the results of our work show that this is only partially true. It is true that students do not appreciate the restriction of 24h delay to access between attempts because they perceive it as a limitation of freedom of action. Nevertheless, now we know that an unrestricted limitless access, with as much time as possible –in other words, the absence of whatsoever restrictions to access–, did not imply a greater use of the instrument, nor did it throw better learning results. It seems sensible, thus, that it is not the absence of restrictions but the presence of certain conditional constraints which favors the organization and the autonomous regulation to self-adaption to these conditions, parallel to other contexts and requirements that join in time for students (parallel courses, personal work, family life). It is also important to consider the phenomenon of “false sense of security” (Petersen, Craig, & Denny, 2016), which may evolve with the use of instruments of multiple choice, jeopardising the final results, blurring actual learning, provoking in the user a cessation of practice ahead of time, thus limiting the practice really needed.

As for the characteristics of the automatic feedback included in the online questionnaires, this work also confirms that its potential to foster learning depends on the technological conditions of use, led by pedagogical criteria (Carless, 2006; Nicol, & Mcfarlane-Dick, 2006). The results of the use of feedback and the learning results of group C (two points higher than the other groups) highlight the importance of timely feedback, provided immediately following the response to the questionnaire. Feedback also should complete the summative information about the results (marks) with information to continue learning. Also, especially, feedback should endorse the reflection on performance; it should also sustain students' motivation to overcome difficulties, which is something feedback may address by means of humor, a fact only significant in the case of students with the highest competence (Del-Rey, 2002).

Finally, e-innovation can (and ought to) put the student at the centre but only with pedagogical scaffolds that adjust to the students’ need in their learning process. Not everything “doable” with technology contributes equally to this goal. The instructor’s interventions are essential as well as the improvement of processes through professional development.

Despite the fact that current institutional conditions privilege research activity above teaching efforts, it is also true that the university community values and optimizes day by day opportunities to discuss advances to confront the most urgent challenges that we face. The research presented on the use of practice questionnaires for autonomous learning with the help of more productive e-feedback, which might also allow instructors to monitor the processes in a sustainable way, is part of this broader goal of understanding and better tackling of the complexity of the teaching action with ICT in higher education. Obviously, online questionnaires with automatic feedback are not the only resource for e-innovation, but the work we present allows using them with pedagogical criteria of improvement. Future studies should aim at a deeper understanding of possible influencing variables such as gender, prior education before accessing graduate studies, and students' age, which was beyond the reach of this study due to the natural conditions of the sample.

Funding agency

Teaching innovation project «El uso de cuestionarios con feedback como instrumentos de evaluación para la autorregulación del aprendizaje en Psicología de la Educación en los grados de maestro», founded by the University of Barcelona (2014PID-UB/046).


[[Image:Draft_Content_823258174-56747-en024.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747-en025.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747-en026.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747-en027.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747-en028.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747-en029.jpg|center|px|]]

====References====

Carless, D. (2006). Differing Perceptions in the Feedback Process. Studies in Higher Education, 31(2), 219-223. https://doi.org/10.1080/03075070600572132

Carless, D., Salter, D., Yang, M., & Lam, J. (2011). Developing Sustainable Feedback Practices. Studies in Higher Education, 36(4), 395-407. https://doi.org/10.1080/03075071003642449

Cernuda, A., Gayo, D., Vinuesa, L., Fernández, A.M., & Luengo, M.C. (2005). Análisis de los hábitos de trabajo autónomo de los alumnos de cara al sistema de créditos ECTS. Jornadas sobre la Enseñanza Universitaria de la Informática, Madrid. (https://goo.gl/Z4hze5) (2016-06-25).

Coll, C., Mauri, T., & Onrubia, J. (2008). El análisis de los procesos de enseñanza y aprendizaje mediados por las TIC: una perspectiva constructivista. In E. Barberà, T. Mauri, & J. Onrubia (Eds.), La calidad educativa de la enseñanza basada en las TIC. Pautas e instrumentos de análisis (pp. 47-62). Barcelona: Graó.

Coll, C., Mauri, T., & Rochera, M.J. (2012). La práctica de evaluación como contexto para aprender a ser un aprendiz competente. Profesorado, 16(1), 49-59.

Collis, B., & Moonen, J. (2011). Flexibilidad en la educación superior: revisión de expectativas. [Flexibility in Higher Education: Revisiting Expectations]. Comunicar, 37, 15-25. https://doi.org/10.3916/C37-2011-02-01

Del-Rey, J. (2002). La risa, una actividad de la inteligencia. CIC, 7, 329. (https://goo.gl/WLrsT4) (2016-06-14).

Dysthe, O., Lillejord, S., Wasson, B., & Vines, A. (2011). Productive e-Feedback in Higher Education. Two Models and Some Critical Issues. In T.S. Ludvigsen, A. Lund, I. Rasmussen, & R. Säljö (Eds.), Learning across Sites. New Tools Infrastructures and Practices (pp. 243-258). New York: Routledge. (https://goo.gl/8P9ufZ) (2016-07-29).

Gómez-Escalonilla, G., Santín, M., & Mathieu, G. (2011). La educación universitaria online en el Periodismo desde la visión del estudiante [Students' Perspective Online College Education in the Field of Journalism]. Comunicar, 37, 73-80. https://doi.org/10.3916/C37-2011-02-07

Guo, R., Palmer-Brown, D., Lee, S.W., & Cai, F.F. (2014). Intelligent Diagnostic Feedback for Online Multiple-choice Questions. Artificial Intelligence Review, 42, 369-383. https://doi.org/10.1007/s10462-013-9419-6

Guskey, T.R. (2002). Professional Development and Teacher Change. Teachers and Teaching, 8, 3, 381-391. https://doi.org/10.1080/135406002100000512

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77, 1, 81-112. https://doi.org/10.3102/003465430298487

Hatziapostolou, T., & Paraskakis, I. (2010). Enhancing the Impact of Formative Feedback on Student Learning Through an Online Feedback System. Electronic Journal of e-Learning, 8(2), 111-122. (https://goo.gl/4sPtbL) (2016-05-15).

Havnes, A., Smith, K., Dysthe, O., & Ludvigsen, K. (2012). Formative Assessment and Feedback: Making Learning Visible. Studies in Educational Evaluation, 38(1), 21-27. https://doi.org/10.1016/j.stueduc.2012.04.001

Jolly, B., & Boud, D. (2015). El feedback por escrito. Para qué sirve y cómo podemos hacerlo bien. In D. Boud, & E. Molloy (Eds.), El feedback en educación superior y profesional. Comprenderlo y hacerlo bien (pp. 131-152). Madrid: Narcea.

Mauri, T., Clarà, M., Ginesta, A., & Colomina, R. (2013). La contribución al aprendizaje en el lugar de trabajo de los equipos docentes universitarios. Un estudio exploratorio. Infancia y Aprendizaje, 36(3), 341-360. https://doi.org/10.1174/021037013807533025

Mauri, T., Ginesta, A., & Rochera, M.J. (2016). The Use of Feedback Systems to Improve Collaborative Text Writing: A Proposal for the Higher Education Context. Innovations in Education and Teaching International, 53(4), 411-424. (https://goo.gl/QGIO8u) (24-12-2016).

Morales, P. (2012). Análisis de ítems en las pruebas objetivas. Madrid: Universidad Pontificia Comillas.

Moreno, R., Martínez, R.J., & Muñiz, J. (2015). Guidelines based Validity Criteria for Development of Multiple-choice Items. Psicothema, 27(4), 388-394. (https://goo.gl/NyvRIi) (2016-05-20).

Nicol, D.J., & Macfarlane-Dick, D. (2006). Formative Assessment and Self-regulated Learning: a Model and Seven Principles of Good Feedback Practice. Studies in Higher Education, 31(2), 199-218. https://doi.org/10.1080/03075070600572090

Petersen, A., Craig, M., & Denny, P. (2016). Employing Multiple-Answer Multiple-choice Questions. ITiCSE '16 Proceedings of the 2016 ACM Conference on Innovation and Technology in Computer Science Education, 252-253. New York. https://doi.org/10.1145/2899415.2925503

Rodríguez-Garcés, C., Muñoz, M., & Castillo, V. (2014). Tests informatizados y su contribución a la acción evaluativa en educación. Red, 43, 1-17. (https://goo.gl/c7wkKx) (2016-12-24).

Sánchez-Santamaría, J. (2011). Evaluación de los aprendizajes universitarios: una comparación sobre sus posibilidades y limitaciones en el Espacio Europeo de Educación Superior. Revista de Formación e Innovación Educativa Universitaria, 4(1), 40-54. (https://goo.gl/ufYG3p) (2016-06-30).

Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78, 153-189. https://doi.org/10.3102/0034654307313795

Williams, B., Brown, T., & Benson, R. (2015). Feedback en entornos digitales. En D. Boud, & E. Molloy (Eds.), El feedback en educación superior y profesional. Comprenderlo y hacerlo bien (pp. 153-168). Madrid: Narcea.

Zaragoza, J., Luis-Pascual, J.C., & Manrique, J.C. (2009). Experiencias de innovación en docencia universitaria: resultados de la aplicación de sistemas de evaluación formativa. Revista de Docencia Universitaria, 4, 1-33. (https://goo.gl/O4KHqG) (2016-06-30).



<hr>
<span style="color:#FFFFFF; background:#ffffcc"><span id="article_en"></span>[[#article_es|Click to see the English version (EN)]]</span>
==== Resumen ====

Las herramientas tecnológicas han impregnado plenamente la educación superior. No obstante, el mero añadido no garantiza per se su calidad. Este artículo expone los resultados de un proyecto de innovación para fomentar el aprendizaje autónomo en los Grados de Educación Infantil y Primaria. Durante un semestre todos los alumnos de primer curso pudieron usar un sistema de aprendizaje autónomo en la plataforma online institucional (Moodle), apoyado con feedback formativo automático. El sistema se insertaba en un programa complejo de evaluación formativa. Se presentan resultados atendiendo a dos aspectos: uso real de los estudiantes y valoración final del sistema por parte de estos. El análisis cuantitativo descriptivo se centra en la perspectiva del estudiante para evaluar la adecuación de las decisiones pedagógicas tomadas. Los resultados indican que los estudiantes necesitan ciertos límites para poder organizar mejor su propio aprendizaje si queremos potenciar la calidad de la innovación planteada. Estos límites se concretan en variables tales como el tiempo de disponibilidad y la limitación de intentos de práctica. En el primer caso se debe atender a la duración adecuada de la oferta del sistema: tanto el exceso como el defecto de tiempo afectan a la cantidad y uso que realizan los estudiantes. En el segundo caso, la restricción de intentos es preferible a la práctica libre.

[[Media:Draft_Content_823258174-56747_ov.pdf|<span style="color:#0645AD; font-weight: bold">Descarga aquí la versión PDF</span>]]

==== 1. Introducción ====

Este trabajo presenta resultados de innovación docente sobre el uso de cuestionarios online para aprendizaje autónomo de estudiantes universitarios. Un equipo docente con larga trayectoria de trabajo colaborativo en distintas titulaciones de Maestro desarrolla la innovación. Ello permitió aportar una visión compartida sobre los procesos de enseñanza y aprendizaje y la evaluación, sobre la integración de las nuevas tecnologías de la información y la comunicación (TIC) a través de plataformas de aprendizaje online, y sobre los recursos y materiales que diseña el equipo. Esta visión conjunta del equipo docente permite emprender tareas de innovación que conllevan una elevada dedicación y que serían posiblemente inaccesibles para un solo profesor. La colaboración docente continuada es una de las claves para el desarrollo profesional conjunto (Mauri, Clarà, Ginesta, & Colomina, 2013). Mediante este artículo queremos compartir nuestra experiencia sobre la innovación para contribuir a la reflexión colectiva sobre la práctica docente universitaria, a fin de hacer de ella una práctica efectiva y sostenible (Guskey, 2002).

El proyecto de innovación se centra en la búsqueda de estrategias pedagógicas para el fomento del aprendizaje autónomo en un contexto semi-presencial o «blended». Resultados de estudios previos resaltan la importancia de promover un uso real y flexible de las TIC para apoyar el aprendizaje eficientemente (Collis & Moonen, 2011). Este uso eficiente no solo depende de las condiciones tecnológicas del instrumento, sino también de los planteamientos pedagógicos que lo fundamentan, que permiten transformar prácticas tradicionales (Coll, Mauri, & Onrubia, 2008). Uno de los ejes transformadores, especialmente fomentado desde el Espacio Europeo de Educación Superior (EEES), es el aprendizaje autónomo y autorregulado para formar aprendices competentes en el siglo XXI (Cernuda, Gayo, Vinuesa, Fernández, & Luengo, 2005). En este contexto surge la evaluación como ingrediente esencial del cambio deseado, y en particular, la evaluación formativa y continua (Coll, Mauri, & Rochera, 2012; Sánchez-Santamaría, 2011). Por consiguiente, también crece el interés por cómo las TIC contribuyen a estos procesos de evaluación eficientemente.

1.1. Innovación: aprendizaje autónomo como objetivo

Este estudio se apoya en tres antecedentes complementarios: 1) la necesidad de ayuda docente para el aprendizaje en contextos virtuales y semi-presenciales (Coll, Mauri, & Onrubia, 2008); 2) el feedback como nexo entre aprendizaje y evaluación para proporcionar dicha ayuda (Carless, Salter, Yang, & Lam, 2011; Nicol & Mcfarlane-Dick, 2006), y 3) el potencial de los cuestionarios online con feedback formativo como tarea situada y contextualizada (Guo, Palmer-Brown, Lee, & Cai, 2014).

La innovación comporta procesos complejos y exigentes para el profesorado que deben ser evaluados. Cuando el profesorado observa que los cambios que introduce en la práctica mejoran el aprendizaje, se produce un cambio en su actitud y creencias ante la innovación, y no al revés (Guskey, 2002). Plantear buenas prácticas en la innovación con TIC en Educación Superior, desde la perspectiva sociocultural de la enseñanza y el aprendizaje, supone entender que para ubicar al estudiante en el centro del proceso debemos tener en cuenta tres cuestiones: el estudiante necesita: 1) Ser mentalmente activo para aprender; 2) Participar en tareas lo más «auténticas» y contextualizadas posible; 3) Contar con guía docente (o de compañeros) en el proceso. Es decir, poner al estudiante en el centro no es incompatible con definir el rol docente como «guía necesaria», más allá del rol de facilitador que se le atribuye cuando los estudiantes trabajan con TIC (Coll & al., 2008).

1.2. Evaluación formativa y feedback automático

Uno de los retos para mejorar el aprendizaje autónomo está en los recursos para hacer un seguimiento y evolución de sus progresos. En este sentido, el feedback puede ser clave según unas determinadas condiciones de uso (Carless & al., 2011). Las expectativas puestas en las TIC no se cumplen plenamente porque el exceso de datos desborda con frecuencia la capacidad de dedicación y procesamiento del profesorado. Por tanto, necesitamos buscar estrategias que conviertan la evaluación, y en concreto el feedback, en procesos sostenibles para todas las partes. Además, estudios recientes señalan que las tareas diseñadas para apoyar el aprendizaje autónomo y su evaluación son más eficaces si están integradas en el plan docente. El conjunto de tareas de evaluación se pueden definir entonces como un «sistema o programa de evaluación» (Mauri, Ginesta, & Rochera, 2016).

En este contexto, el feedback en las tareas online resulta un elemento de confluencia para apoyar tanto el aprendizaje autónomo y autorregulado como la evaluación de los aprendizajes y procesos realizados (Hattie & Timperley, 2007; Hatziapostolou & Paraskakis, 2010; Shute, 2008). Así, para potenciar la efectividad del aprendizaje autónomo es necesario considerar tres características relevantes del feedback (Carless & al., 2011; Mauri & al., 2016): 1) Debe ser escrito, específico y claro; 2) Venir en el momento adecuado; 3) Informando sobre posibles siguientes pasos a dar (feed-up, feed-forward).

1.3. Cuestionarios online y feedback formativo

Los cuestionarios online se han convertido en un recurso TIC frecuente para aprender y evaluar (si bien no son la única opción). Son instrumentos cuya elaboración exige un trabajo arduo (Morales, 2012; Moreno, Martínez, & Muñiz, 2015; Rodríguez-Garcés, Muñoz, & Castillo, 2014). Entre sus ventajas se cuenta que 1) aportan objetividad y rigor, 2) garantizan fiabilidad en la medida del aprendizaje con un mismo estándar para todos los estudiantes; 3) aportan resultados inmediatos; y 4) hacen sostenible el seguimiento y corrección del profesorado, evitando posibles errores o sesgos de corrección, entre otros (Morales, 2012). Recurrimos, pues, a este instrumento para ofrecer a los estudiantes feedback formativo inmediato al uso del propio cuestionario. El feedback formativo se diferencia del feedback acreditativo o verificativo por ofrecer al alumno información que va más allá de la veracidad o rectitud de la respuesta o de un resultado numérico; ofrece indicaciones sobre el error cometido, el modo de corregirlo y sugerencias de tipo metacognitivo que ayudan a reflexionar sobre el propio conocimiento (Jolly & Boud, 2015; Williams, Brown, & Benson, 2015). En definitiva, se trata de utilizar el feedback para visibilizar el aprendizaje (Dysthe, Lillejord, Wasson, & Vines, 2011; Havnes, Smith, Dysthe, & Ludvigsen, 2012).

1.4. Finalidad y objetivos

La finalidad de este trabajo es compartir con la comunidad docente la reflexión sobre la eficacia de un proyecto de innovación. Para ello se plantean los siguientes objetivos específicos:

• Conocer el uso relatado del sistema de ayuda diseñado para promover el aprendizaje autónomo.

• Caracterizar el uso real de este sistema de ayuda.

• Analizar las valoraciones de los estudiantes sobre el sistema de ayuda.

• Explorar posibles diferencias en la conducta de aprendizaje autónomo y resultados de aprendizaje según las condiciones pedagógicas establecidas.

====2. Material y métodos ====

2.1. Diseño de la experiencia de innovación

El proyecto (subvencionado por la Universidad de Barcelona) se implementó en un curso obligatorio de los grados de Maestro de Educación Infantil y Educación Primaria. El equipo docente, formado por 13 especialistas en la materia de Psicología del Desarrollo y de la Educación elaboró un banco de preguntas de múltiple opción con cuatro opciones de respuesta y su feedback respectivo, referentes al contenido sobre desarrollo psicológico infantil.

Con este banco de preguntas se construyó un conjunto de cuestionarios en la plataforma online Moodle (campus virtual institucional), que fueron probados en un semestre previo de estudio piloto para proceder a la revisión y mejora de las preguntas, respuestas y feedback, siguiendo el procedimiento estándar para la elaboración de cuestionarios de múltiple opción automatizados (Moreno & al., 2015).

Los estudiantes accedían a los cuestionarios como parte de un programa evaluativo complejo que incluía una amplia diversidad de actividades de evaluación distribuidas a lo largo del curso académico (Coll & al., 2012). Dentro de este programa evaluativo se debía responder a un cuestionario final sobre contenidos del desarrollo infantil (desarrollo motor, cognitivo, comunicativo y socio-afectivo). Este examen final se realizaba al cabo de dos meses de práctica mediante estos mismos cuestionarios online. Los cuestionarios de práctica tenían el doble objetivo de 1) ser instrumento de apoyo al aprendizaje autónomo de contenidos de tipo factual y conceptual y 2) preparar la evaluación final sumativa de los mismos. Los cuestionarios de práctica estaban formados por 40 preguntas y organizados en tres niveles de complejidad progresiva, a los cuales se podía acceder cumpliendo requisitos mínimos: puntuación media mínima de 5 sobre 10 y tiempo de demora entre intentos de mínimo 24 horas. En cada acceso de resolución el sistema aleatorizaba tanto las preguntas como los ítems de respuesta dentro de cada pregunta. El nivel 1 consta de 4 cuestionarios (uno por cada ámbito del desarrollo); el nivel 2 comprende 6 cuestionarios (combinando contenidos de dos ámbitos) y el nivel 3 consta de un cuestionario que emula las condiciones de examen (40 preguntas aleatorias con 20 minutos de tiempo máximo).

La Figura 1 presenta el sistema de cuestionarios de práctica insertado en interconexión con las clases presenciales.

Tras cada intento de práctica los estudiantes recibían inmediatamente una calificación numérica con valor informativo, sin validez acreditativa. Recibían en los niveles 1 y 2, además, una respuesta de feedback formativo automático a cada una de las opciones elegidas, ya fueran falsas o correctas.

El feedback podía presentar las siguientes características (Guo & al., 2014; Hatziapostolou & Paraskakis, 2010): En caso de respuesta errónea recibían respuestas motivacionales y pistas para: la búsqueda de información correcta en el material de estudio; la reflexión sobre el error; la reflexión sobre el concepto o dato indagado. En caso de respuesta correcta: ratificación de la respuesta correcta.

2.2. Contexto y participantes

Participaron trece grupos-clase con 687 estudiantes de primer curso de los grados de Educación Infantil y Primaria, que constituyen el total de la población que inició un grado u otro en el año académico. La descripción demográfica de los estudiantes consiste en: un 88% de mujeres y 12% de varones; el 50% era menor de 20 años; 43% tenía entre 20 y 25 años; el 7% era mayor de 25 años; el 49% trabajaba a tiempo parcial; el 5% trabajaba a tiempo completo y, finalmente, el 46% no trabajaba.

En este artículo se utilizan los datos muestrales de cuatro grupos-clase con cuatro profesores y un total de 224 alumnos. La selección de estos grupos responde a la búsqueda de la mayor representatividad posible y presenta las siguientes condiciones:

• Cuatro grupos que no habían sufrido problemas técnicos y no reportaban pérdida de datos de uso;

• Dos de estos grupos eran del grado de Educación Infantil y dos del grado de Educación Primaria;

• De cada grupo de especialidad, un grupo era del turno de tarde y otro del turno de mañana;

• Uno de los grupos, al que se considerará grupo control, siguió el diseño base para el uso de los cuestionarios (común a nueve grupos-clase) y tres grupos con condiciones pedagógicas modificadas relativas al límite de accesos individuales y al tiempo total de accesibilidad.

Concretamente, los grupos se definen del siguiente modo:

• Grupo Z (n=49), diseño base de referencia: Acceso demorado en 24 horas entre intentos; tiempo de resolución libre en nivel 1 y 2, y limitado a 20 minutos en nivel 3; accesibilidad total durante dos meses (en paralelo al temario en el aula presencial).

• Grupo A (n=57), diseño alternativo: Accesibilidad total «reducida» a un mes (en paralelo al segundo mes dedicado al temario en el aula presencial).

• Grupo B (n=64), diseño alternativo: Accesibilidad total «ampliada» a tres meses (disponible un mes anterior al temario en el aula presencial).

• Grupo C (n=54), diseño alternativo: Accesibilidad durante dos meses pero «limitada» a tres intentos en nivel 1 y un intento en nivel 2 y en nivel 3.

Según los objetivos, la naturaleza híbrida del curso y las exigencias metodológicas que se plantean en estas situaciones, la recogida de datos se centró en tres ejes diferentes y complementarios:

• Los datos de uso relatado: cuestionario final anónimo de tipo Likert.

• Los datos de uso real: la frecuencia de acceso para resolución de los cuestionarios en nivel 1 durante el tiempo de aprendizaje autónomo; recogida mediante el registro automático en la plataforma Moodle.

• La valoración del material y de su uso: cuestionario final anónimo de tipo Likert.

En todos los casos se contó con el consentimiento de los participantes y se anonimizaron los datos de uso y la respuesta final valorativa, codificando simplemente la pertenencia al grupo clase.

====3. Análisis y resultados ====

Aplicamos diversas técnicas de análisis complementarias. Tras un primer análisis descriptivo, se han contrastado los datos estadísticamente mediante la prueba de Kruskal-Wallis, acorde a las características de la muestra y los datos, para comprobar la existencia de diferencias significativas en las condiciones del diseño de cada uno de los grupos participantes respecto al grupo de diseño base de referencia. Se ha desestimado el contraste de variables básicas de sexo y edad por tratarse de una muestra muy sesgada en cuanto a estas variables (por otro lado, totalmente acordes con el curso y la titulación). A continuación se presentan el procedimiento y resultados relativos a cada uno de los objetivos.

3.1. Uso relatado

Primeramente, las respuestas de los alumnos al cuestionario de uso relatado han permitido dibujar el siguiente retrato robot del método de estudio:

• Combinación de lectura del material y práctica directa con los cuestionarios (61% totalmente o bastante de acuerdo).

• Uso en solitario (82% totalmente o bastante de acuerdo).

• Tomar nota de errores en soporte externo (91% totalmente o bastante de acuerdo).

• Tomar nota de la respuesta correcta (86% totalmente o bastante de acuerdo).

• Tomar nota del comentario de respuesta (feedback) (64% totalmente o bastante de acuerdo).

El análisis revela diferencias significativas respecto al diseño base en la conducta típica de estudio de dos de los grupos alternativos.

La Tabla 1 muestra estas diferencias, que se refieren a dos aspectos:

• La lectura del material de estudio con antelación a la práctica (menos frecuente en grupo B, con tiempo «ampliado»).

• El uso de los cuestionarios en solitario (más frecuente en grupo C, con acceso «limitado»).

En resumen, se puede interpretar que el grupo con mayor disponibilidad de tiempo (B) para el estudio accede al sistema de ayuda más frecuentemente con una estrategia de práctica directa o de ensayo y error, sin lectura previa de los textos sobre los contenidos correspondientes. En cambio, el grupo con accesos limitados (C) debe sopesar mejor los intentos y procede a una lectura previa del contenido de aprendizaje offline para maximizar el rendimiento. Por tanto, el diseño afectó a la conducta de estudio en estos dos casos en sentidos opuestos.

3.2. Uso real

El mismo análisis en dos fases se llevó a cabo sobre el uso real. Este análisis se realizó únicamente sobre los datos del primer nivel de práctica, por ser monotemático y presentar las preguntas novedosas. En los siguientes niveles de práctica se repetían las mismas preguntas anteriores en cuestionarios combinados. Asumimos, pues, que un único intento de respuesta de los cuestionarios no evidencia uso del feedback (ni de su eficacia para la mejora), sino que necesitaríamos al menos dos intentos para hacer un uso potencialmente efectivo del feedback (cuyo beneficio aumentaría con la cantidad de intentos). Por consiguiente, se procedió a clasificar los datos según el siguiente baremo:

• Sin uso: hasta cuatro accesos de resolución (uno por cada ámbito de contenido).

• Uso mínimo: hasta ocho accesos de resolución (dos por cada ámbito de contenido).

• Uso moderado: hasta doce accesos de resolución en total (tres por cada ámbito de contenido).

• Uso alto: hasta dieciséis accesos de resolución en total (cuatro por cada ámbito de contenido).

• Uso muy alto: más de dieciséis accesos de resolución en total (más de cuatro por cada ámbito de contenido).

La Tabla 2 muestra los resultados correspondientes:

Globalmente, se constata que el uso de los cuestionarios es escaso. En el grupo Z, con diseño base, más de un tercio de alumnos acceden menos de cuatro veces en total, evidenciando un uso nulo del feedback (37%); otro tercio hace un uso mínimo (33%), mientras que solo un 16% hace un uso alto o muy alto. El uso se incrementa ligeramente en los grupos con diseño alternativo. De hecho, constatamos algunos posibles efectos del diseño sobre la conducta de estudio: el grupo de tiempo reducido (A) incrementa significativamente el uso del feedback (26% moderado, 31% alto o muy alto, y solo 14% sin uso); se trata de una práctica «intensiva» por parte de estos alumnos. En el grupo C, en cambio, no se da acceso «muy alto» por la propia restricción (máximo tres intentos por cada cuestionario) pero las otras tres opciones se equilibran (alrededor de un 30% en cada una de ellas) y el uso «alto» es elevado comparado con todos los otros grupos (tres veces más); cabría pensar que en este grupo el uso es muy intencional.

3.3. Valoración del sistema y resultados de aprendizaje

En el cuestionario final se incluían preguntas en dos niveles de detalle diferentes: a) acerca de las condiciones generales de acceso a los cuestionarios y por ende al feedback; b) acerca de las formas diversas que adoptó el feedback diseñado por los docentes. Los resultados respectivos están recogidos en las Tablas 3 y 4. Finalmente, la Tabla 5 presenta los resultados de aprendizaje.

3.3.1. Valoración de las condiciones generales

En la Tabla 3 se constatan diferencias significativas entre dos de los grupos de diseño alternativo respecto al grupo control en relación con cuatro aspectos: 1) Posibilidad de identificación de dudas y errores; 2) Dificultad; 3) Sensación de repetición; 4) Potencial motivador. Los resultados muestran que en el grupo C, con accesos limitados, se consideran los cuestionarios de práctica, globalmente, más sencillos y más útiles para identificar dudas y errores.

La Tabla 3 muestra asimismo que la existencia de tres niveles de práctica también se valora más positivamente por parte del grupo C en cuanto a la posibilidad de organizar el estudio y reducir la tensión previa al examen. Por el contrario, en el grupo B, con tiempo ampliado, encontramos la mayor crítica respecto a las posibilidades de organización del estudio.

La demora de 24 horas entre intentos es, en general, el aspecto peor valorado del diseño. Aun así volvemos a encontrar una valoración que, aun siendo baja, es significativamente más alta en el grupo C, como ayuda organizativa, de motivación y de reducción de ansiedad previa al examen.

3.3.2. Valoración de condiciones específicas del «feedback»

En cuanto a las condiciones específicas del feedback (Tabla 4) (página siguiente), hay diferencias significativas puntuales en el grupo A, con tiempo reducido, donde los estudiantes perciben las orientaciones más «repetitivas». En cambio, el grupo C destaca nuevamente en la valoración positiva del feedback en múltiples aspectos. Valora más positivamente la ayuda aportada para la identificación de errores, primero; después, valora el feedback como más motivador, más divertido, y más útil cuando hace reflexionar o reír. En cambio, su valoración es significativamente menor al indicar el feedback como (poco) confuso.

3.3. Resultados de aprendizaje

Por último, se recogieron a través de la plataforma los resultados del cuestionario final realizado para el examen de los contenidos aprendidos (Tabla 5) (página siguiente).

Los resultados muestran que nuevamente destaca el grupo C con resultados significativamente más altos que el resto de los grupos, de lo cual podemos interpretar la efectividad mayor de las condiciones pedagógicas de este grupo.

====4. Discusión y conclusiones====

Los resultados de esta innovación muestran que las condiciones más favorables para fomentar el aprendizaje autónomo de los estudiantes se centraron en un tiempo medio de accesibilidad del sistema (dos meses, frente a solo uno o tres meses) y una restricción en el número de intentos (frente a la no-limitación). Antes de discutir estos resultados cabe señalar que se basan en los datos de significatividad reportados en la sección anterior, respecto al uso relatado y real de los propios alumnos, su valoración del sistema de apoyo y, por último, sus resultados en el examen final. Con gran frecuencia, los trabajos que presentan evaluaciones de experiencias innovadoras se limitan a datos de uso relatado o valoraciones post-facto (Gómez-Escalonilla & al., 2011; Zaragoza, Luis-Pascual, & Manrique, 2009). En este sentido, este informe aporta datos de triangulación complementarios que se consideran indispensables para poder valorar los procesos de innovación desde el propio contexto de la práctica compleja. Tanto más cuando la implementación de las TIC permite el acceso a los datos de uso real.

En cuanto al tiempo de accesibilidad a los cuestionarios previsto en el diseño, cabe recordar que este transcurre en paralelo a las sesiones de clase presencial dedicadas a tratar estos contenidos en el aula (Figura 1). En las clases los estudiantes tienen la oportunidad (si lo necesitan) de plantear dudas sobre las preguntas, respuestas y feedback de los cuestionarios. Ello permite apoyar el trabajo autónomo del estudiante fuera del aula con la ayuda del profesorado. Como señalan Carless y otros (2011), una de las mejoras para la efectividad del feedback consiste en que sea un proceso dialogado con el docente, no solo recibido de modo unidireccional. En las propuestas docentes semi-presenciales el diálogo sobre el feedback puede realizarse de modo especialmente ajustado en las sesiones presenciales. De hecho, el componente semi-presencial, añadido a los procesos formativos, ha sido identificado en trabajos recientes como una opción deseable para sostener el aprendizaje de los estudiantes, incluso si se parte de un modelo inicial de enseñanza en entorno virtual. Por otra parte, el aprendizaje, en tanto que proceso, necesita de un tiempo, y se puede interpretar que el uso intensivo de los cuestionarios durante un mes (grupo A) no fue suficiente.

En cuanto al número de intentos en los cuestionarios de práctica, desde un ángulo crítico se podría considerar que la experiencia de innovación no resultó exitosa, puesto que el uso por parte de los estudiantes es, ciertamente, escaso en su conjunto. Sin embargo, una segunda lectura permite extraer también conclusiones importantes para la docencia universitaria. Para empezar, uno de los beneficios que habitualmente se atribuyen al entorno online es el de accesibilidad completa y libre; el usuario es libre de escoger momento y lugar de acceso. Ahora bien, los resultados de este trabajo demuestran que esto es cierto solo parcialmente. Es cierto que los estudiantes no valoran positivamente la restricción de 24 horas antes de hacer un nuevo intento porque perciben que coarta su libertad de acción. Sin embargo, ahora se sabe que un acceso completamente libre, durante el mayor tiempo posible –en otras palabras, la ausencia de restricciones de acceso–, no comportó mayor uso, ni obtuvo tampoco mejores resultados en el aprendizaje. Cabe pensar, pues, que no es la ausencia de restricciones sino la presencia de algunas limitaciones condicionantes lo que favorece la organización y gestión autónoma para la adaptación a estas condiciones, en paralelo a otros contextos y exigencias que confluyen en el tiempo para los estudiantes (materias paralelas, trabajo personal, vida familiar).

Cabe llamar también la atención sobre el fenómeno de la «falsa sensación de seguridad» (Petersen, Craig, & Denny, 2016) que se puede generar con instrumentos de múltiple opción, sintiendo que el azar puede afectar al resultado final, enturbiándolo respecto al aprendizaje real, provocando que el usuario cese la práctica antes de tiempo, ergo limitando la práctica realmente necesaria.

En cuanto a las características del feedback automático en los cuestionarios online, este estudio confirma también que su potencialidad para el aprendizaje depende de las condiciones tecnológicas de uso dirigidas por los criterios pedagógicos (Carless, 2006; Nicol & Mcfarlane-Dick, 2006). Los resultados de uso del feedback y de aprendizaje del grupo C (dos puntos superiores a los otros grupos) coinciden en la importancia de que el feedback: se proporcione en el momento de la ejecución del cuestionario; complete la información sumativa sobre el resultado (la calificación) con información para seguir aprendiendo, destacando especialmente el feedback para reflexionar sobre la ejecución realizada; y mantenga la motivación para superar las dificultades, a lo que contribuye recibir feedback sobre los errores cometidos con humor, dato únicamente significativo en el caso de los estudiantes con mayor competencia (Del-Rey, 2002).

Para finalizar, la e-innovación puede (y debe) poner en el centro al estudiante pero con apoyos pedagógicos que se ajusten a las necesidades de su proceso de aprendizaje. No todo lo «realizable» con la tecnología contribuye de igual modo a este objetivo. Las actuaciones docentes y los procesos de mejora del desarrollo profesional resultan imprescindibles. Si bien es cierto que las condiciones institucionales actuales privilegian la tarea investigadora frente a la docente, también lo es que la comunidad universitaria valora y optimiza cada vez más la oportunidad de discutir avances sobre las dificultades más urgentes que tenemos planteadas. La investigación presentada sobre el uso de cuestionarios de práctica para el aprendizaje autónomo del estudiante mediante un e-feedback más productivo, que permita a su vez al profesorado realizar un seguimiento sostenible del proceso, forma parte de este objetivo para comprender y abordar mejor la complejidad de la acción docente con TIC en la educación superior. Obviamente, los cuestionarios de feedback automático no son el único recurso de e-innovación, pero el estudio que presentamos permite usarlos con criterios pedagógicos de mejora. Futuros estudios deberían dirigirse hacia una más profunda comprensión de variables tales como el género, la formación previa de acceso a los estudios universitarios y la edad del alumnado, que en este estudio quedaban fuera del alcance de análisis debido a las características naturales de la muestra.

Apoyos

Proyecto de innovación docente «El uso de cuestionarios con feedback como instrumentos de evaluación para la autorregulación del aprendizaje en Psicología de la Educación en los grados de maestro» financiado por la Universidad de Barcelona (2014PID-UB/046).


[[Image:Draft_Content_823258174-56747_ov-es024.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747_ov-es025.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747_ov-es026.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747_ov-es027.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747_ov-es028.jpg|center|px|]]


[[Image:Draft_Content_823258174-56747_ov-es029.jpg|center|px|]]

====Referencias====

Carless, D. (2006). Differing Perceptions in the Feedback Process. Studies in Higher Education, 31(2), 219-223. https://doi.org/10.1080/03075070600572132

Carless, D., Salter, D., Yang, M., & Lam, J. (2011). Developing Sustainable Feedback Practices. Studies in Higher Education, 36(4), 395-407. https://doi.org/10.1080/03075071003642449

Cernuda, A., Gayo, D., Vinuesa, L., Fernández, A.M., & Luengo, M.C. (2005). Análisis de los hábitos de trabajo autónomo de los alumnos de cara al sistema de créditos ECTS. Jornadas sobre la Enseñanza Universitaria de la Informática, Madrid. (https://goo.gl/Z4hze5) (2016-06-25).

Coll, C., Mauri, T., & Onrubia, J. (2008). El análisis de los procesos de enseñanza y aprendizaje mediados por las TIC: una perspectiva constructivista. In E. Barberà, T. Mauri, & J. Onrubia (Eds.), La calidad educativa de la enseñanza basada en las TIC. Pautas e instrumentos de análisis (pp. 47-62). Barcelona: Graó.

Coll, C., Mauri, T., & Rochera, M.J. (2012). La práctica de evaluación como contexto para aprender a ser un aprendiz competente. Profesorado, 16(1), 49-59.

Collis, B., & Moonen, J. (2011). Flexibilidad en la educación superior: revisión de expectativas. [Flexibility in Higher Education: Revisiting Expectations]. Comunicar, 37, 15-25. https://doi.org/10.3916/C37-2011-02-01

Del-Rey, J. (2002). La risa, una actividad de la inteligencia. CIC, 7, 329. (https://goo.gl/WLrsT4) (2016-06-14).

Dysthe, O., Lillejord, S., Wasson, B., & Vines, A. (2011). Productive e-Feedback in Higher Education. Two Models and Some Critical Issues. In T.S. Ludvigsen, A. Lund, I. Rasmussen, & R. Säljö (Eds.), Learning across Sites. New Tools Infrastructures and Practices (pp. 243-258). New York: Routledge. (https://goo.gl/8P9ufZ) (2016-07-29).

Gómez-Escalonilla, G., Santín, M., & Mathieu, G. (2011). La educación universitaria online en el Periodismo desde la visión del estudiante [Students' Perspective Online College Education in the Field of Journalism]. Comunicar, 37, 73-80. https://doi.org/10.3916/C37-2011-02-07

Guo, R., Palmer-Brown, D., Lee, S.W., & Cai, F.F. (2014). Intelligent Diagnostic Feedback for Online Multiple-choice Questions. Artificial Intelligence Review, 42, 369-383. https://doi.org/10.1007/s10462-013-9419-6

Guskey, T.R. (2002). Professional Development and Teacher Change. Teachers and Teaching, 8, 3, 381-391. https://doi.org/10.1080/135406002100000512

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77, 1, 81-112. https://doi.org/10.3102/003465430298487

Hatziapostolou, T., & Paraskakis, I. (2010). Enhancing the Impact of Formative Feedback on Student Learning Through an Online Feedback System. Electronic Journal of e-Learning, 8(2), 111-122. (https://goo.gl/4sPtbL) (2016-05-15).

Havnes, A., Smith, K., Dysthe, O., & Ludvigsen, K. (2012). Formative Assessment and Feedback: Making Learning Visible. Studies in Educational Evaluation, 38(1), 21-27. https://doi.org/10.1016/j.stueduc.2012.04.001

Jolly, B., & Boud, D. (2015). El feedback por escrito. Para qué sirve y cómo podemos hacerlo bien. In D. Boud, & E. Molloy (Eds.), El feedback en educación superior y profesional. Comprenderlo y hacerlo bien (pp. 131-152). Madrid: Narcea.

Mauri, T., Clarà, M., Ginesta, A., & Colomina, R. (2013). La contribución al aprendizaje en el lugar de trabajo de los equipos docentes universitarios. Un estudio exploratorio. Infancia y Aprendizaje, 36(3), 341-360. https://doi.org/10.1174/021037013807533025

Mauri, T., Ginesta, A., & Rochera, M.J. (2016). The Use of Feedback Systems to Improve Collaborative Text Writing: A Proposal for the Higher Education Context. Innovations in Education and Teaching International, 53(4), 411-424. (https://goo.gl/QGIO8u) (24-12-2016).

Morales, P. (2012). Análisis de ítems en las pruebas objetivas. Madrid: Universidad Pontificia Comillas.

Moreno, R., Martínez, R.J., & Muñiz, J. (2015). Guidelines based Validity Criteria for Development of Multiple-choice Items. Psicothema, 27(4), 388-394. (https://goo.gl/NyvRIi) (2016-05-20).

Nicol, D.J., & Macfarlane-Dick, D. (2006). Formative Assessment and Self-regulated Learning: a Model and Seven Principles of Good Feedback Practice. Studies in Higher Education, 31(2), 199-218. https://doi.org/10.1080/03075070600572090

Petersen, A., Craig, M., & Denny, P. (2016). Employing Multiple-Answer Multiple-choice Questions. ITiCSE '16 Proceedings of the 2016 ACM Conference on Innovation and Technology in Computer Science Education, 252-253. New York. https://doi.org/10.1145/2899415.2925503

Rodríguez-Garcés, C., Muñoz, M., & Castillo, V. (2014). Tests informatizados y su contribución a la acción evaluativa en educación. Red, 43, 1-17. (https://goo.gl/c7wkKx) (2016-12-24).

Sánchez-Santamaría, J. (2011). Evaluación de los aprendizajes universitarios: una comparación sobre sus posibilidades y limitaciones en el Espacio Europeo de Educación Superior. Revista de Formación e Innovación Educativa Universitaria, 4(1), 40-54. (https://goo.gl/ufYG3p) (2016-06-30).

Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78, 153-189. https://doi.org/10.3102/0034654307313795

Williams, B., Brown, T., & Benson, R. (2015). Feedback en entornos digitales. En D. Boud, & E. Molloy (Eds.), El feedback en educación superior y profesional. Comprenderlo y hacerlo bien (pp. 153-168). Madrid: Narcea.

Zaragoza, J., Luis-Pascual, J.C., & Manrique, J.C. (2009). Experiencias de innovación en docencia universitaria: resultados de la aplicación de sistemas de evaluación formativa. Revista de Docencia Universitaria, 4, 1-33. (https://goo.gl/O4KHqG) (2016-06-30).