Índice de volúmenes - Índice de revistas - Índice de artículos - Mapa ---- Atrás


Revista Comunicar 51: E-innovación en la educación superior (Vol. 25 - 2017)

Uso de cuestionarios online con feedback automático para la e-innovación en el alumnado universitario

Online Questionnaires Use with Automatic Feedback for e-Innovation in University Students

https://doi.org/10.3916/C51-2017-05

Ana Remesal

Rosa M. Colomina

Teresa Mauri

M. José Rochera

Abstract

Las herramientas tecnológicas han impregnado plenamente la educación superior. No obstante, el mero añadido no garantiza per se su calidad. Este artículo expone los resultados de un proyecto de innovación para fomentar el aprendizaje autónomo en los Grados de Educación Infantil y Primaria. Durante un semestre todos los alumnos de primer curso pudieron usar un sistema de aprendizaje autónomo en la plataforma online institucional (Moodle), apoyado con feedback formativo automático. El sistema se insertaba en un programa complejo de evaluación formativa. Se presentan resultados atendiendo a dos aspectos: uso real de los estudiantes y valoración final del sistema por parte de estos. El análisis cuantitativo descriptivo se centra en la perspectiva del estudiante para evaluar la adecuación de las decisiones pedagógicas tomadas. Los resultados indican que los estudiantes necesitan ciertos límites para poder organizar mejor su propio aprendizaje si queremos potenciar la calidad de la innovación planteada. Estos límites se concretan en variables tales como el tiempo de disponibilidad y la limitación de intentos de práctica. En el primer caso se debe atender a la duración adecuada de la oferta del sistema: tanto el exceso como el defecto de tiempo afectan a la cantidad y uso que realizan los estudiantes. En el segundo caso, la restricción de intentos es preferible a la práctica libre.

Technological tools have permeated higher education programs. However, their mere introduction does not guarantee instructional quality. This article presents the results of an innovation project aimed at fostering autonomous learning among students at a Pre-School and Primary Teacher Grade. For one semester all freshmen students used a system for autonomous learning embedded in the institutional online platform (Moodle), which included automatic formative feedback. The system was part of a complex formative assessment program. We present results of the experience concerning two aspects: the students’ actual use of the system, and their final appraisal of it. The quantitative descriptive analysis focuses on the students’ perspective to evaluate the adequacy of the instructional decisions. Results indicate that students need certain limits to be able to manage their learning better if we pursue the quality of innovation. These limits refer mainly to the time of accessibility and the limitation of attempts of practice. With respect to time, an appropriate span of time (neither too long nor too short) must be chosen; with respect to the number of attempts, it is expedient to limit rather than promote free endless access.

Keywords

Aprendizaje autónomo, evaluación formativa, feedback automático, educación superior, cuestionarios «online», blended learning, innovación, perspectiva estudiantil

Autonomous learning, formative evaluation, automatic feedback, higher education, online questionnaires, blended learning, innovation, students’ perspective

Archivo PDF español

Archivo PDF inglés

1. Introducción

Este trabajo presenta resultados de innovación docente sobre el uso de cuestionarios online para aprendizaje autónomo de estudiantes universitarios. Un equipo docente con larga trayectoria de trabajo colaborativo en distintas titulaciones de Maestro desarrolla la innovación. Ello permitió aportar una visión compartida sobre los procesos de enseñanza y aprendizaje y la evaluación, sobre la integración de las nuevas tecnologías de la información y la comunicación (TIC) a través de plataformas de aprendizaje online, y sobre los recursos y materiales que diseña el equipo. Esta visión conjunta del equipo docente permite emprender tareas de innovación que conllevan una elevada dedicación y que serían posiblemente inaccesibles para un solo profesor. La colaboración docente continuada es una de las claves para el desarrollo profesional conjunto (Mauri, Clarà, Ginesta, & Colomina, 2013). Mediante este artículo queremos compartir nuestra experiencia sobre la innovación para contribuir a la reflexión colectiva sobre la práctica docente universitaria, a fin de hacer de ella una práctica efectiva y sostenible (Guskey, 2002).

El proyecto de innovación se centra en la búsqueda de estrategias pedagógicas para el fomento del aprendizaje autónomo en un contexto semi-presencial o «blended». Resultados de estudios previos resaltan la importancia de promover un uso real y flexible de las TIC para apoyar el aprendizaje eficientemente (Collis & Moonen, 2011). Este uso eficiente no solo depende de las condiciones tecnológicas del instrumento, sino también de los planteamientos pedagógicos que lo fundamentan, que permiten transformar prácticas tradicionales (Coll, Mauri, & Onrubia, 2008). Uno de los ejes transformadores, especialmente fomentado desde el Espacio Europeo de Educación Superior (EEES), es el aprendizaje autónomo y autorregulado para formar aprendices competentes en el siglo XXI (Cernuda, Gayo, Vinuesa, Fernández, & Luengo, 2005). En este contexto surge la evaluación como ingrediente esencial del cambio deseado, y en particular, la evaluación formativa y continua (Coll, Mauri, & Rochera, 2012; Sánchez-Santamaría, 2011). Por consiguiente, también crece el interés por cómo las TIC contribuyen a estos procesos de evaluación eficientemente.

1.1. Innovación: aprendizaje autónomo como objetivo

Este estudio se apoya en tres antecedentes complementarios: 1) la necesidad de ayuda docente para el aprendizaje en contextos virtuales y semi-presenciales (Coll, Mauri, & Onrubia, 2008); 2) el feedback como nexo entre aprendizaje y evaluación para proporcionar dicha ayuda (Carless, Salter, Yang, & Lam, 2011; Nicol & Mcfarlane-Dick, 2006), y 3) el potencial de los cuestionarios online con feedback formativo como tarea situada y contextualizada (Guo, Palmer-Brown, Lee, & Cai, 2014).

La innovación comporta procesos complejos y exigentes para el profesorado que deben ser evaluados. Cuando el profesorado observa que los cambios que introduce en la práctica mejoran el aprendizaje, se produce un cambio en su actitud y creencias ante la innovación, y no al revés (Guskey, 2002). Plantear buenas prácticas en la innovación con TIC en Educación Superior, desde la perspectiva sociocultural de la enseñanza y el aprendizaje, supone entender que para ubicar al estudiante en el centro del proceso debemos tener en cuenta tres cuestiones: el estudiante necesita: 1) Ser mentalmente activo para aprender; 2) Participar en tareas lo más «auténticas» y contextualizadas posible; 3) Contar con guía docente (o de compañeros) en el proceso. Es decir, poner al estudiante en el centro no es incompatible con definir el rol docente como «guía necesaria», más allá del rol de facilitador que se le atribuye cuando los estudiantes trabajan con TIC (Coll & al., 2008).

1.2. Evaluación formativa y feedback automático

Uno de los retos para mejorar el aprendizaje autónomo está en los recursos para hacer un seguimiento y evolución de sus progresos. En este sentido, el feedback puede ser clave según unas determinadas condiciones de uso (Carless & al., 2011). Las expectativas puestas en las TIC no se cumplen plenamente porque el exceso de datos desborda con frecuencia la capacidad de dedicación y procesamiento del profesorado. Por tanto, necesitamos buscar estrategias que conviertan la evaluación, y en concreto el feedback, en procesos sostenibles para todas las partes. Además, estudios recientes señalan que las tareas diseñadas para apoyar el aprendizaje autónomo y su evaluación son más eficaces si están integradas en el plan docente. El conjunto de tareas de evaluación se pueden definir entonces como un «sistema o programa de evaluación» (Mauri, Ginesta, & Rochera, 2016).

En este contexto, el feedback en las tareas online resulta un elemento de confluencia para apoyar tanto el aprendizaje autónomo y autorregulado como la evaluación de los aprendizajes y procesos realizados (Hattie & Timperley, 2007; Hatziapostolou & Paraskakis, 2010; Shute, 2008). Así, para potenciar la efectividad del aprendizaje autónomo es necesario considerar tres características relevantes del feedback (Carless & al., 2011; Mauri & al., 2016): 1) Debe ser escrito, específico y claro; 2) Venir en el momento adecuado; 3) Informando sobre posibles siguientes pasos a dar (feed-up, feed-forward).

1.3. Cuestionarios online y feedback formativo

Los cuestionarios online se han convertido en un recurso TIC frecuente para aprender y evaluar (si bien no son la única opción). Son instrumentos cuya elaboración exige un trabajo arduo (Morales, 2012; Moreno, Martínez, & Muñiz, 2015; Rodríguez-Garcés, Muñoz, & Castillo, 2014). Entre sus ventajas se cuenta que 1) aportan objetividad y rigor, 2) garantizan fiabilidad en la medida del aprendizaje con un mismo estándar para todos los estudiantes; 3) aportan resultados inmediatos; y 4) hacen sostenible el seguimiento y corrección del profesorado, evitando posibles errores o sesgos de corrección, entre otros (Morales, 2012). Recurrimos, pues, a este instrumento para ofrecer a los estudiantes feedback formativo inmediato al uso del propio cuestionario. El feedback formativo se diferencia del feedback acreditativo o verificativo por ofrecer al alumno información que va más allá de la veracidad o rectitud de la respuesta o de un resultado numérico; ofrece indicaciones sobre el error cometido, el modo de corregirlo y sugerencias de tipo metacognitivo que ayudan a reflexionar sobre el propio conocimiento (Jolly & Boud, 2015; Williams, Brown, & Benson, 2015). En definitiva, se trata de utilizar el feedback para visibilizar el aprendizaje (Dysthe, Lillejord, Wasson, & Vines, 2011; Havnes, Smith, Dysthe, & Ludvigsen, 2012).

1.4. Finalidad y objetivos

La finalidad de este trabajo es compartir con la comunidad docente la reflexión sobre la eficacia de un proyecto de innovación. Para ello se plantean los siguientes objetivos específicos:

• Conocer el uso relatado del sistema de ayuda diseñado para promover el aprendizaje autónomo.

• Caracterizar el uso real de este sistema de ayuda.

• Analizar las valoraciones de los estudiantes sobre el sistema de ayuda.

• Explorar posibles diferencias en la conducta de aprendizaje autónomo y resultados de aprendizaje según las condiciones pedagógicas establecidas.

2. Material y métodos

2.1. Diseño de la experiencia de innovación

El proyecto (subvencionado por la Universidad de Barcelona) se implementó en un curso obligatorio de los grados de Maestro de Educación Infantil y Educación Primaria. El equipo docente, formado por 13 especialistas en la materia de Psicología del Desarrollo y de la Educación elaboró un banco de preguntas de múltiple opción con cuatro opciones de respuesta y su feedback respectivo, referentes al contenido sobre desarrollo psicológico infantil.

Con este banco de preguntas se construyó un conjunto de cuestionarios en la plataforma online Moodle (campus virtual institucional), que fueron probados en un semestre previo de estudio piloto para proceder a la revisión y mejora de las preguntas, respuestas y feedback, siguiendo el procedimiento estándar para la elaboración de cuestionarios de múltiple opción automatizados (Moreno & al., 2015).

Los estudiantes accedían a los cuestionarios como parte de un programa evaluativo complejo que incluía una amplia diversidad de actividades de evaluación distribuidas a lo largo del curso académico (Coll & al., 2012). Dentro de este programa evaluativo se debía responder a un cuestionario final sobre contenidos del desarrollo infantil (desarrollo motor, cognitivo, comunicativo y socio-afectivo). Este examen final se realizaba al cabo de dos meses de práctica mediante estos mismos cuestionarios online. Los cuestionarios de práctica tenían el doble objetivo de 1) ser instrumento de apoyo al aprendizaje autónomo de contenidos de tipo factual y conceptual y 2) preparar la evaluación final sumativa de los mismos. Los cuestionarios de práctica estaban formados por 40 preguntas y organizados en tres niveles de complejidad progresiva, a los cuales se podía acceder cumpliendo requisitos mínimos: puntuación media mínima de 5 sobre 10 y tiempo de demora entre intentos de mínimo 24 horas. En cada acceso de resolución el sistema aleatorizaba tanto las preguntas como los ítems de respuesta dentro de cada pregunta. El nivel 1 consta de 4 cuestionarios (uno por cada ámbito del desarrollo); el nivel 2 comprende 6 cuestionarios (combinando contenidos de dos ámbitos) y el nivel 3 consta de un cuestionario que emula las condiciones de examen (40 preguntas aleatorias con 20 minutos de tiempo máximo).

La Figura 1 presenta el sistema de cuestionarios de práctica insertado en interconexión con las clases presenciales.

Tras cada intento de práctica los estudiantes recibían inmediatamente una calificación numérica con valor informativo, sin validez acreditativa. Recibían en los niveles 1 y 2, además, una respuesta de feedback formativo automático a cada una de las opciones elegidas, ya fueran falsas o correctas.

El feedback podía presentar las siguientes características (Guo & al., 2014; Hatziapostolou & Paraskakis, 2010): En caso de respuesta errónea recibían respuestas motivacionales y pistas para: la búsqueda de información correcta en el material de estudio; la reflexión sobre el error; la reflexión sobre el concepto o dato indagado. En caso de respuesta correcta: ratificación de la respuesta correcta.

2.2. Contexto y participantes

Participaron trece grupos-clase con 687 estudiantes de primer curso de los grados de Educación Infantil y Primaria, que constituyen el total de la población que inició un grado u otro en el año académico. La descripción demográfica de los estudiantes consiste en: un 88% de mujeres y 12% de varones; el 50% era menor de 20 años; 43% tenía entre 20 y 25 años; el 7% era mayor de 25 años; el 49% trabajaba a tiempo parcial; el 5% trabajaba a tiempo completo y, finalmente, el 46% no trabajaba.

En este artículo se utilizan los datos muestrales de cuatro grupos-clase con cuatro profesores y un total de 224 alumnos. La selección de estos grupos responde a la búsqueda de la mayor representatividad posible y presenta las siguientes condiciones:

• Cuatro grupos que no habían sufrido problemas técnicos y no reportaban pérdida de datos de uso;

• Dos de estos grupos eran del grado de Educación Infantil y dos del grado de Educación Primaria;

• De cada grupo de especialidad, un grupo era del turno de tarde y otro del turno de mañana;

• Uno de los grupos, al que se considerará grupo control, siguió el diseño base para el uso de los cuestionarios (común a nueve grupos-clase) y tres grupos con condiciones pedagógicas modificadas relativas al límite de accesos individuales y al tiempo total de accesibilidad.

Concretamente, los grupos se definen del siguiente modo:

• Grupo Z (n=49), diseño base de referencia: Acceso demorado en 24 horas entre intentos; tiempo de resolución libre en nivel 1 y 2, y limitado a 20 minutos en nivel 3; accesibilidad total durante dos meses (en paralelo al temario en el aula presencial).

• Grupo A (n=57), diseño alternativo: Accesibilidad total «reducida» a un mes (en paralelo al segundo mes dedicado al temario en el aula presencial).

• Grupo B (n=64), diseño alternativo: Accesibilidad total «ampliada» a tres meses (disponible un mes anterior al temario en el aula presencial).

• Grupo C (n=54), diseño alternativo: Accesibilidad durante dos meses pero «limitada» a tres intentos en nivel 1 y un intento en nivel 2 y en nivel 3.

Según los objetivos, la naturaleza híbrida del curso y las exigencias metodológicas que se plantean en estas situaciones, la recogida de datos se centró en tres ejes diferentes y complementarios:

• Los datos de uso relatado: cuestionario final anónimo de tipo Likert.

• Los datos de uso real: la frecuencia de acceso para resolución de los cuestionarios en nivel 1 durante el tiempo de aprendizaje autónomo; recogida mediante el registro automático en la plataforma Moodle.

• La valoración del material y de su uso: cuestionario final anónimo de tipo Likert.

En todos los casos se contó con el consentimiento de los participantes y se anonimizaron los datos de uso y la respuesta final valorativa, codificando simplemente la pertenencia al grupo clase.

3. Análisis y resultados

Aplicamos diversas técnicas de análisis complementarias. Tras un primer análisis descriptivo, se han contrastado los datos estadísticamente mediante la prueba de Kruskal-Wallis, acorde a las características de la muestra y los datos, para comprobar la existencia de diferencias significativas en las condiciones del diseño de cada uno de los grupos participantes respecto al grupo de diseño base de referencia. Se ha desestimado el contraste de variables básicas de sexo y edad por tratarse de una muestra muy sesgada en cuanto a estas variables (por otro lado, totalmente acordes con el curso y la titulación). A continuación se presentan el procedimiento y resultados relativos a cada uno de los objetivos.

3.1. Uso relatado

Primeramente, las respuestas de los alumnos al cuestionario de uso relatado han permitido dibujar el siguiente retrato robot del método de estudio:

• Combinación de lectura del material y práctica directa con los cuestionarios (61% totalmente o bastante de acuerdo).

• Uso en solitario (82% totalmente o bastante de acuerdo).

• Tomar nota de errores en soporte externo (91% totalmente o bastante de acuerdo).

• Tomar nota de la respuesta correcta (86% totalmente o bastante de acuerdo).

• Tomar nota del comentario de respuesta (feedback) (64% totalmente o bastante de acuerdo).

El análisis revela diferencias significativas respecto al diseño base en la conducta típica de estudio de dos de los grupos alternativos.

La Tabla 1 muestra estas diferencias, que se refieren a dos aspectos:

• La lectura del material de estudio con antelación a la práctica (menos frecuente en grupo B, con tiempo «ampliado»).

• El uso de los cuestionarios en solitario (más frecuente en grupo C, con acceso «limitado»).

En resumen, se puede interpretar que el grupo con mayor disponibilidad de tiempo (B) para el estudio accede al sistema de ayuda más frecuentemente con una estrategia de práctica directa o de ensayo y error, sin lectura previa de los textos sobre los contenidos correspondientes. En cambio, el grupo con accesos limitados (C) debe sopesar mejor los intentos y procede a una lectura previa del contenido de aprendizaje offline para maximizar el rendimiento. Por tanto, el diseño afectó a la conducta de estudio en estos dos casos en sentidos opuestos.

3.2. Uso real

El mismo análisis en dos fases se llevó a cabo sobre el uso real. Este análisis se realizó únicamente sobre los datos del primer nivel de práctica, por ser monotemático y presentar las preguntas novedosas. En los siguientes niveles de práctica se repetían las mismas preguntas anteriores en cuestionarios combinados. Asumimos, pues, que un único intento de respuesta de los cuestionarios no evidencia uso del feedback (ni de su eficacia para la mejora), sino que necesitaríamos al menos dos intentos para hacer un uso potencialmente efectivo del feedback (cuyo beneficio aumentaría con la cantidad de intentos). Por consiguiente, se procedió a clasificar los datos según el siguiente baremo:

• Sin uso: hasta cuatro accesos de resolución (uno por cada ámbito de contenido).

• Uso mínimo: hasta ocho accesos de resolución (dos por cada ámbito de contenido).

• Uso moderado: hasta doce accesos de resolución en total (tres por cada ámbito de contenido).

• Uso alto: hasta dieciséis accesos de resolución en total (cuatro por cada ámbito de contenido).

• Uso muy alto: más de dieciséis accesos de resolución en total (más de cuatro por cada ámbito de contenido).

La Tabla 2 muestra los resultados correspondientes:

Globalmente, se constata que el uso de los cuestionarios es escaso. En el grupo Z, con diseño base, más de un tercio de alumnos acceden menos de cuatro veces en total, evidenciando un uso nulo del feedback (37%); otro tercio hace un uso mínimo (33%), mientras que solo un 16% hace un uso alto o muy alto. El uso se incrementa ligeramente en los grupos con diseño alternativo. De hecho, constatamos algunos posibles efectos del diseño sobre la conducta de estudio: el grupo de tiempo reducido (A) incrementa significativamente el uso del feedback (26% moderado, 31% alto o muy alto, y solo 14% sin uso); se trata de una práctica «intensiva» por parte de estos alumnos. En el grupo C, en cambio, no se da acceso «muy alto» por la propia restricción (máximo tres intentos por cada cuestionario) pero las otras tres opciones se equilibran (alrededor de un 30% en cada una de ellas) y el uso «alto» es elevado comparado con todos los otros grupos (tres veces más); cabría pensar que en este grupo el uso es muy intencional.

3.3. Valoración del sistema y resultados de aprendizaje

En el cuestionario final se incluían preguntas en dos niveles de detalle diferentes: a) acerca de las condiciones generales de acceso a los cuestionarios y por ende al feedback; b) acerca de las formas diversas que adoptó el feedback diseñado por los docentes. Los resultados respectivos están recogidos en las Tablas 3 y 4. Finalmente, la Tabla 5 presenta los resultados de aprendizaje.

3.3.1. Valoración de las condiciones generales

En la Tabla 3 se constatan diferencias significativas entre dos de los grupos de diseño alternativo respecto al grupo control en relación con cuatro aspectos: 1) Posibilidad de identificación de dudas y errores; 2) Dificultad; 3) Sensación de repetición; 4) Potencial motivador. Los resultados muestran que en el grupo C, con accesos limitados, se consideran los cuestionarios de práctica, globalmente, más sencillos y más útiles para identificar dudas y errores.

La Tabla 3 muestra asimismo que la existencia de tres niveles de práctica también se valora más positivamente por parte del grupo C en cuanto a la posibilidad de organizar el estudio y reducir la tensión previa al examen. Por el contrario, en el grupo B, con tiempo ampliado, encontramos la mayor crítica respecto a las posibilidades de organización del estudio.

La demora de 24 horas entre intentos es, en general, el aspecto peor valorado del diseño. Aun así volvemos a encontrar una valoración que, aun siendo baja, es significativamente más alta en el grupo C, como ayuda organizativa, de motivación y de reducción de ansiedad previa al examen.

3.3.2. Valoración de condiciones específicas del «feedback»

En cuanto a las condiciones específicas del feedback (Tabla 4) (página siguiente), hay diferencias significativas puntuales en el grupo A, con tiempo reducido, donde los estudiantes perciben las orientaciones más «repetitivas». En cambio, el grupo C destaca nuevamente en la valoración positiva del feedback en múltiples aspectos. Valora más positivamente la ayuda aportada para la identificación de errores, primero; después, valora el feedback como más motivador, más divertido, y más útil cuando hace reflexionar o reír. En cambio, su valoración es significativamente menor al indicar el feedback como (poco) confuso.

3.3. Resultados de aprendizaje

Por último, se recogieron a través de la plataforma los resultados del cuestionario final realizado para el examen de los contenidos aprendidos (Tabla 5) (página siguiente).

Los resultados muestran que nuevamente destaca el grupo C con resultados significativamente más altos que el resto de los grupos, de lo cual podemos interpretar la efectividad mayor de las condiciones pedagógicas de este grupo.

4. Discusión y conclusiones

Los resultados de esta innovación muestran que las condiciones más favorables para fomentar el aprendizaje autónomo de los estudiantes se centraron en un tiempo medio de accesibilidad del sistema (dos meses, frente a solo uno o tres meses) y una restricción en el número de intentos (frente a la no-limitación). Antes de discutir estos resultados cabe señalar que se basan en los datos de significatividad reportados en la sección anterior, respecto al uso relatado y real de los propios alumnos, su valoración del sistema de apoyo y, por último, sus resultados en el examen final. Con gran frecuencia, los trabajos que presentan evaluaciones de experiencias innovadoras se limitan a datos de uso relatado o valoraciones post-facto (Gómez-Escalonilla & al., 2011; Zaragoza, Luis-Pascual, & Manrique, 2009). En este sentido, este informe aporta datos de triangulación complementarios que se consideran indispensables para poder valorar los procesos de innovación desde el propio contexto de la práctica compleja. Tanto más cuando la implementación de las TIC permite el acceso a los datos de uso real.

En cuanto al tiempo de accesibilidad a los cuestionarios previsto en el diseño, cabe recordar que este transcurre en paralelo a las sesiones de clase presencial dedicadas a tratar estos contenidos en el aula (Figura 1). En las clases los estudiantes tienen la oportunidad (si lo necesitan) de plantear dudas sobre las preguntas, respuestas y feedback de los cuestionarios. Ello permite apoyar el trabajo autónomo del estudiante fuera del aula con la ayuda del profesorado. Como señalan Carless y otros (2011), una de las mejoras para la efectividad del feedback consiste en que sea un proceso dialogado con el docente, no solo recibido de modo unidireccional. En las propuestas docentes semi-presenciales el diálogo sobre el feedback puede realizarse de modo especialmente ajustado en las sesiones presenciales. De hecho, el componente semi-presencial, añadido a los procesos formativos, ha sido identificado en trabajos recientes como una opción deseable para sostener el aprendizaje de los estudiantes, incluso si se parte de un modelo inicial de enseñanza en entorno virtual. Por otra parte, el aprendizaje, en tanto que proceso, necesita de un tiempo, y se puede interpretar que el uso intensivo de los cuestionarios durante un mes (grupo A) no fue suficiente.

En cuanto al número de intentos en los cuestionarios de práctica, desde un ángulo crítico se podría considerar que la experiencia de innovación no resultó exitosa, puesto que el uso por parte de los estudiantes es, ciertamente, escaso en su conjunto. Sin embargo, una segunda lectura permite extraer también conclusiones importantes para la docencia universitaria. Para empezar, uno de los beneficios que habitualmente se atribuyen al entorno online es el de accesibilidad completa y libre; el usuario es libre de escoger momento y lugar de acceso. Ahora bien, los resultados de este trabajo demuestran que esto es cierto solo parcialmente. Es cierto que los estudiantes no valoran positivamente la restricción de 24 horas antes de hacer un nuevo intento porque perciben que coarta su libertad de acción. Sin embargo, ahora se sabe que un acceso completamente libre, durante el mayor tiempo posible –en otras palabras, la ausencia de restricciones de acceso–, no comportó mayor uso, ni obtuvo tampoco mejores resultados en el aprendizaje. Cabe pensar, pues, que no es la ausencia de restricciones sino la presencia de algunas limitaciones condicionantes lo que favorece la organización y gestión autónoma para la adaptación a estas condiciones, en paralelo a otros contextos y exigencias que confluyen en el tiempo para los estudiantes (materias paralelas, trabajo personal, vida familiar).

Cabe llamar también la atención sobre el fenómeno de la «falsa sensación de seguridad» (Petersen, Craig, & Denny, 2016) que se puede generar con instrumentos de múltiple opción, sintiendo que el azar puede afectar al resultado final, enturbiándolo respecto al aprendizaje real, provocando que el usuario cese la práctica antes de tiempo, ergo limitando la práctica realmente necesaria.

En cuanto a las características del feedback automático en los cuestionarios online, este estudio confirma también que su potencialidad para el aprendizaje depende de las condiciones tecnológicas de uso dirigidas por los criterios pedagógicos (Carless, 2006; Nicol & Mcfarlane-Dick, 2006). Los resultados de uso del feedback y de aprendizaje del grupo C (dos puntos superiores a los otros grupos) coinciden en la importancia de que el feedback: se proporcione en el momento de la ejecución del cuestionario; complete la información sumativa sobre el resultado (la calificación) con información para seguir aprendiendo, destacando especialmente el feedback para reflexionar sobre la ejecución realizada; y mantenga la motivación para superar las dificultades, a lo que contribuye recibir feedback sobre los errores cometidos con humor, dato únicamente significativo en el caso de los estudiantes con mayor competencia (Del-Rey, 2002).

Para finalizar, la e-innovación puede (y debe) poner en el centro al estudiante pero con apoyos pedagógicos que se ajusten a las necesidades de su proceso de aprendizaje. No todo lo «realizable» con la tecnología contribuye de igual modo a este objetivo. Las actuaciones docentes y los procesos de mejora del desarrollo profesional resultan imprescindibles. Si bien es cierto que las condiciones institucionales actuales privilegian la tarea investigadora frente a la docente, también lo es que la comunidad universitaria valora y optimiza cada vez más la oportunidad de discutir avances sobre las dificultades más urgentes que tenemos planteadas. La investigación presentada sobre el uso de cuestionarios de práctica para el aprendizaje autónomo del estudiante mediante un e-feedback más productivo, que permita a su vez al profesorado realizar un seguimiento sostenible del proceso, forma parte de este objetivo para comprender y abordar mejor la complejidad de la acción docente con TIC en la educación superior. Obviamente, los cuestionarios de feedback automático no son el único recurso de e-innovación, pero el estudio que presentamos permite usarlos con criterios pedagógicos de mejora. Futuros estudios deberían dirigirse hacia una más profunda comprensión de variables tales como el género, la formación previa de acceso a los estudios universitarios y la edad del alumnado, que en este estudio quedaban fuera del alcance de análisis debido a las características naturales de la muestra.

Apoyos

Proyecto de innovación docente «El uso de cuestionarios con feedback como instrumentos de evaluación para la autorregulación del aprendizaje en Psicología de la Educación en los grados de maestro» financiado por la Universidad de Barcelona (2014PID-UB/046).

Referencias

Carless, D. (2006). Differing Perceptions in the Feedback Process. Studies in Higher Education, 31(2), 219-223. https://doi.org/10.1080/03075070600572132

Carless, D., Salter, D., Yang, M., & Lam, J. (2011). Developing Sustainable Feedback Practices. Studies in Higher Education, 36(4), 395-407. https://doi.org/10.1080/03075071003642449

Cernuda, A., Gayo, D., Vinuesa, L., Fernández, A.M., & Luengo, M.C. (2005). Análisis de los hábitos de trabajo autónomo de los alumnos de cara al sistema de créditos ECTS. Jornadas sobre la Enseñanza Universitaria de la Informática, Madrid. (https://goo.gl/Z4hze5) (2016-06-25).

Coll, C., Mauri, T., & Onrubia, J. (2008). El análisis de los procesos de enseñanza y aprendizaje mediados por las TIC: una perspectiva constructivista. In E. Barberà, T. Mauri, & J. Onrubia (Eds.), La calidad educativa de la enseñanza basada en las TIC. Pautas e instrumentos de análisis (pp. 47-62). Barcelona: Graó.

Coll, C., Mauri, T., & Rochera, M.J. (2012). La práctica de evaluación como contexto para aprender a ser un aprendiz competente. Profesorado, 16(1), 49-59.

Collis, B., & Moonen, J. (2011). Flexibilidad en la educación superior: revisión de expectativas. [Flexibility in Higher Education: Revisiting Expectations]. Comunicar, 37, 15-25. https://doi.org/10.3916/C37-2011-02-01

Del-Rey, J. (2002). La risa, una actividad de la inteligencia. CIC, 7, 329. (https://goo.gl/WLrsT4) (2016-06-14).

Dysthe, O., Lillejord, S., Wasson, B., & Vines, A. (2011). Productive e-Feedback in Higher Education. Two Models and Some Critical Issues. In T.S. Ludvigsen, A. Lund, I. Rasmussen, & R. Säljö (Eds.), Learning across Sites. New Tools Infrastructures and Practices (pp. 243-258). New York: Routledge. (https://goo.gl/8P9ufZ) (2016-07-29).

Gómez-Escalonilla, G., Santín, M., & Mathieu, G. (2011). La educación universitaria online en el Periodismo desde la visión del estudiante [Students' Perspective Online College Education in the Field of Journalism]. Comunicar, 37, 73-80. https://doi.org/10.3916/C37-2011-02-07

Guo, R., Palmer-Brown, D., Lee, S.W., & Cai, F.F. (2014). Intelligent Diagnostic Feedback for Online Multiple-choice Questions. Artificial Intelligence Review, 42, 369-383. https://doi.org/10.1007/s10462-013-9419-6

Guskey, T.R. (2002). Professional Development and Teacher Change. Teachers and Teaching, 8, 3, 381-391. https://doi.org/10.1080/135406002100000512

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77, 1, 81-112. https://doi.org/10.3102/003465430298487

Hatziapostolou, T., & Paraskakis, I. (2010). Enhancing the Impact of Formative Feedback on Student Learning Through an Online Feedback System. Electronic Journal of e-Learning, 8(2), 111-122. (https://goo.gl/4sPtbL) (2016-05-15).

Havnes, A., Smith, K., Dysthe, O., & Ludvigsen, K. (2012). Formative Assessment and Feedback: Making Learning Visible. Studies in Educational Evaluation, 38(1), 21-27. https://doi.org/10.1016/j.stueduc.2012.04.001

Jolly, B., & Boud, D. (2015). El feedback por escrito. Para qué sirve y cómo podemos hacerlo bien. In D. Boud, & E. Molloy (Eds.), El feedback en educación superior y profesional. Comprenderlo y hacerlo bien (pp. 131-152). Madrid: Narcea.

Mauri, T., Clarà, M., Ginesta, A., & Colomina, R. (2013). La contribución al aprendizaje en el lugar de trabajo de los equipos docentes universitarios. Un estudio exploratorio. Infancia y Aprendizaje, 36(3), 341-360. https://doi.org/10.1174/021037013807533025

Mauri, T., Ginesta, A., & Rochera, M.J. (2016). The Use of Feedback Systems to Improve Collaborative Text Writing: A Proposal for the Higher Education Context. Innovations in Education and Teaching International, 53(4), 411-424. (https://goo.gl/QGIO8u) (24-12-2016).

Morales, P. (2012). Análisis de ítems en las pruebas objetivas. Madrid: Universidad Pontificia Comillas.

Moreno, R., Martínez, R.J., & Muñiz, J. (2015). Guidelines based Validity Criteria for Development of Multiple-choice Items. Psicothema, 27(4), 388-394. (https://goo.gl/NyvRIi) (2016-05-20).

Nicol, D.J., & Macfarlane-Dick, D. (2006). Formative Assessment and Self-regulated Learning: a Model and Seven Principles of Good Feedback Practice. Studies in Higher Education, 31(2), 199-218. https://doi.org/10.1080/03075070600572090

Petersen, A., Craig, M., & Denny, P. (2016). Employing Multiple-Answer Multiple-choice Questions. ITiCSE '16 Proceedings of the 2016 ACM Conference on Innovation and Technology in Computer Science Education, 252-253. New York. https://doi.org/10.1145/2899415.2925503

Rodríguez-Garcés, C., Muñoz, M., & Castillo, V. (2014). Tests informatizados y su contribución a la acción evaluativa en educación. Red, 43, 1-17. (https://goo.gl/c7wkKx) (2016-12-24).

Sánchez-Santamaría, J. (2011). Evaluación de los aprendizajes universitarios: una comparación sobre sus posibilidades y limitaciones en el Espacio Europeo de Educación Superior. Revista de Formación e Innovación Educativa Universitaria, 4(1), 40-54. (https://goo.gl/ufYG3p) (2016-06-30).

Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78, 153-189. https://doi.org/10.3102/0034654307313795

Williams, B., Brown, T., & Benson, R. (2015). Feedback en entornos digitales. En D. Boud, & E. Molloy (Eds.), El feedback en educación superior y profesional. Comprenderlo y hacerlo bien (pp. 153-168). Madrid: Narcea.

Zaragoza, J., Luis-Pascual, J.C., & Manrique, J.C. (2009). Experiencias de innovación en docencia universitaria: resultados de la aplicación de sistemas de evaluación formativa. Revista de Docencia Universitaria, 4, 1-33. (https://goo.gl/O4KHqG) (2016-06-30).