Esta propuesta de Proyecto de Innovación Educativa se centra en dinamizar el trabajo en el aula, incrementar el compromiso de los alumnos y mejorar la percepción de los alumnos sobre el seguimiento de las asignaturas. En términos generales la pregunta 12 de los cuestionarios "La asignatura ofrece recursos didácticos adecuados para el seguimiento de la misma (plataformas de enseñanza, material docente, material de laboratorio, etc.)" presenta unos valores significativamente bajos, independientemente de si se usan plataformas de tele-enseñanza o no. En realidad muchos alumnos perciben estas palataformas como un un mecanismo de diseminación unidireccional de información, esencialmente estática (PDFs).

Si bien algunos experimentos individuales realizados en el pasado por algunos docentes a nivel de asignatura parecen mostrar que se contribuye a mejorar la motivación o incluso a controlar la asistencia de los estudiantes, es preciso explorar las potenciales virtudes y limitaciones que la gamificación puede proporcionar de un modo más estructurado y transversal.

Así pues, la iniciativa explora la utilidad y limitaciones de algunos escenarios de gamificación bajo una metodología común en diferentes tipos de contextos educativos caracterizados por:

1. Diferente nivel formativo: Grado y Máster;
2. Tamaño de grupo variable: pequeño, grande y multigrupo.
3. Diferente naturaleza de las materias (Gestión e Ingeniería en diferentes porcentajes)
4. Diferente metodología docente subyacente (Aula invertida; PrBL; Magistral, etc.)
5. Comparación con otra universidad (titulaciones similares pero diferente operativa y organización)

Para ello implementará en asignaturas con las características antedichas un esquema de gamificación basado en una herramienta de terceros (https://kahoot.it) que permitirá, junto a la implementación en la propia herramienta Moodle:

• Estimular la competitividad entre los participantes
• Valorar el grado de asimilación de los contenidos trabajados
• Obtener una idea de la trayectoria temporal de rendimiento de los participantes

Esta información será proporcionada, si la metodología docente implementada así lo considera, como realimentación a los propios participantes, para explorar el efecto que ello tiene en términos de variación de la motivación y de los resultados de aprendizaje por parte de los estudiantes.

En concreto, la propuesta de experiencia promueve a nuestro juicio una mejora del diseño curricular basado en la adquisición de competencias, dado que en concreto se dirige a los apartados específicos de la convocatoria 2,3 5 y 8:

• 2: Contribuir a la mejora de resultados de aprendizaje de los estudiantes, y muy especialmente a los mecanismos para facilitar la atención de los estudiantes, mediante la retroalimentación continuada.
• 3: Promover a la incorporación de sistemas de tutoría de los estudiantes, en todas las fases de sus recorrido académico, en modalidad telemática y cooperativa a través de moodle, dado que la modalidad de aprendizaje cooperativo y aula invertida requieren tener ese sistema implantado y operativo antes de las sesiones presenciales.
• 5: Promover la utilización de recursos tecnológicos de carácter innovador que permitan mejorar la diversidad y carácter de los materiales educativos. Lo que permite proporcionar realimentación sobre el progreso del alumno de modo continuado en el curso a través de la gamificación. Esto servirá para incorporar esos juegos como parte de los materiales educativos.
• 8: Promover un enfoque didáctico interdisciplinar y multidisciplinar, pues se abarcan 10 materias de dos grados y dos másters, todos ellos oficiales, lo permite estudiar los efectos de la estandarización y el efecto también según la propia metodología docente en cada materia.

Como se ha indicado en los apartados anteriores, pretende implantar una estrategia de gamificación sobre la misma base metodológica, y que por tanto tenga ventajas en su implementación y soporte para incentivar la participación del alumno y ayudar al contexto de evaluación continua.

Como objetivos de la iniciativa se pueden mencionar:

• Implantación de una metodología común basada en Kahoot(r) / herramienta cuestionarios de Moodle que permita una cierta estandarización del seguimiento del curso, con posible aplicación a la mejor asimilación por parte de los alumnos y reducir así la percepción del item 12 de la encuesta. A la vista de las incidencias y de la gestión que se implementen se espera elaborar una guía de buenas prácticas de implementación.
• Probar la implementación en los diferentes grupos y asignaturas implicados, de modo concordante con la metodología docente específica.
• Elaboración de herramientas para procesar de un modo automatizado los resultados de los test gamificados que faciliten su gestión.
• Estudiar el efecto de la provisión de información regular de información a los alumnos en su rendimiento. Este efecto se considera muy relevante a la hora de cambiar la percepción de los alumnos sobre las plataformas de blended-learning.
• Analizar la escalabilidad función del tamaño del grupo, y la efectividad función de la metodología docente empleada.
• Diseminación en Conferencia Internacional de los resultados de la experiencia atendiendo a criterios de nivel formativo previo del alumnado, tamaño de grupo, materia cursada, metodología docentes subyacentes y contexto universitario.

A partir de esta identificación de objetivos queda clara la necesidad de formalizar un proyecto de IE, pues proporciona un contexto de esfuerzo coordinado entre los profesores involucrados (7) y las materias (10) que permitirán sacar consecuencias que serían casi imposible de obtener a nivel de experiencia individual, por no hablar de los recursos que se proporcionan y que son esenciales para una propuesta de esta envergadura. Los productos obtenidos también se beneficiarán de la dimensión de la experiencia (tanto la guía como las herramientas de tratamiento de información).

Es necesario destacar que esta iniciativa se propone cubrir tanto titulaciones de grado como de máster, tanto algunas más tecnológicas como otras con mayor contenido de gestión, con diferentes metodologías docentes (magistral, aula invertida, aprendizaje basado en casos, etc.). Por ello el caracter interdiciplinar y multidiciplinar es, de hecho, muy intenso. Por esa misma razón la fase inicial de configuración general es muy relevante, para acordar la visión común, los estándares a proporcionar, la forma de evaluar el seguimiento, etc. Es evidente que el uso de la información que proporciona el resultado del juego podrá ser empleada de modos muy diferentes según sea la metodología docente empleada y según sea el escenario de uso de la misma en la calificación de la evaluación contínua, pero ello debe ser analizado cuidadosamente, pues según cómo se presente puede afectar a la percepción que se obtenga. 

También,  en este contexto, las necesidades y los plazos para disponer de información procesada a diferentes niveles es distinta, pero resulta esencial la preparación previa de los escenarios de gamificación y las herramientas de gestión de la información. Todo esto permitirá un despliegue efectivo y un análisis consistente de su desarrollo. Así, las fases de este proyecto son:

Configuración Inicial.- En esta etapa se estudiará el despliegue de la metodología en función de las características particulares de cada asignatura y su método docente adoptado. Se acordará también el mecanismo de seguimiento y de valoración. Por tanto las acciones específicas son:

• Ajuste de la metodología de despliegue. Reuniones entre docentes para discutir actuaciones de valor, tanto en el mecanismo de la gamificación como su explotación. El resultado será un informe con los pasos específicos a realizar y que será distribuído entre todos los participantes, para su propia guía,
• Diseño del sistema de valoración de la satisfacción entre los diferentes agentes,
• Diseño del sistema de valoración y comunicación de los resultados. En este caso serán posibles varias alternativas función de la estrategia adoptada en el primer paso,
• Inicio del plan formativo de los becarios.

Elaboración de los escenarios gamificados por tema.- A partir de lo establecido en la fase anterior cada docente en cada asignatura (2º Semestre del 17/18 y 1º Semestre del 18/19) elabora los materiales de soporte a la gamificación para cada uno de los temas o sesiones de interés. Las acciones implicadas son:

• Diseño de las cuestiones y alternativas para la gamificación,
• Creación de una cuenta en la herramienta de gamificación,
• Implementación de cada escenario en la herramienta adoptada. En esta tarea, que de hecho se extenderá bastante en el tiempo, pues correrá en paralelo con la implementación, con un cierto despazamiento anticipado (unas dos semanas) respecto de su despliegue efectivo la colaboración de los becarios será clave, dado el esfuerzo en implementación requerido. Se prevé que un becario atienda las implementaciones en la plataforma kahoot(r) y otro en la plataforma de Moodle.

Elaboración de las herramientas de información.- Se implementarán diferentes herramientas, representadas cada una por una acción:

• Herramienta de control de asistencia. Basado en la presencia / ausencia de respuestas de alumnos,
• Herramienta de extracción de resultados a nivel individual,
• Herramienta de valoración a nivel individual y global de las respuestas,
• Herramienta de reporte individual de progreso,
• Migración de las herramientas a entorno python para automatizar su explotación. Aquí también la contribución de los becarios será esencial y se ha escalado temporalmente para hacerla compatible con su participación en la fase anterior. Esta tarea incluye la formación de los becarios en el SO linux y python.

En este proyecto estas herramientas desarrolladas por un docente del equipo serán facilitadas en R (http://www.r-project.org ) al comienzo del semestre y serán posteriormente traducidas a python por parte de los becarios incluyendo una gestión de una base de datos (o conexión LDAP con los sistemas de la UPM si fuese posible), para poder permitir una gestión a nivel de servicio REST. Es preciso destacar que en este proyecto, debido a la limitación de tiempo no se prevé desarrollar el prototipo REST, que se prevé ubicar en otro proyecto de Innovación a solciitar en el futuro próximo.

Desarrollo en el aula.- Habrá una acción de gamificación por sesión en cada asignatura de las consideradas. Se considera también otra acción de recogida de opiniones, tanto al inicio como al fin del período docente. 

Análisis de Resultados.- Tratamiento estadístico de los resultados por asignatura, así como de los datos de satisfacción y mejora en motivación y participación. La acción en esta fase será la del análisis (analíticas de aprendizaje-Learning analytics).

Difusión.- Esta fase se concentra en la elaboración y presentación como mínimo de los productos comprometidos. Las acciones a modo resumen serían:

• Elaboración de los diferentes elementos para la difusión,
• Presentación de cada uno de ellos en los foros establecidos.

La temporalización de las diferentes fases y acciones se presenta en el diagrama PERT con vista GANTT descrito en la figura siguiente, donde también se muestran las dependencias entre tareas, que son relevantes para la coordinación:

Para no introducir más hitos que dificulten la interpretación del diagrama, se indica que el proceso de cierre de cada fase implica una reunión de tres horas dedicadas a realizar un balance de los logros de la misma. 

En primer lugar se describe el impacto en términos de materias afectadas en Grado (Tabla 1) y en Máster (Tabla 2):

Tabla 1

Tabla 2:

Los siete profesores implicados emplearán una cantidad de tiempo significativa en el desarrollo de esta iniciativa. Adicionalmente es necesaria la contribución de dos becarios que permitan dar de alta los juegos serios en las plataformas seleccionadas (kahoot y Moodle). Recordemos a este efecto la cantidad de sesiones por semana de cada asignatura y el volumen de cuestiones y sesiones a gestionar.

Se requerirán también recursos informáticos para procesar los datos de resultados, tanto de participación como de evolución de los resultados. A este fin se prevé tener acceso a un servicio de VPS externo (incluído en el presupuesto como acceso a servidor VPS) dado que los VPS del Cesvima sólo se ofrecen a GI y no es este nuestro caso.

Para preparar escenarios de gamificación se requerirá el manejo de recursos documentales y gráficos, que es preciso localizar e incorporar, junto a la citación apropiada de los mismos. De nuevo la colaboración de los becarios será esencial aquí.

La verificación del problema original planteado requiere un marco temporal que excede el de la convocatoria del PIE, por lo que se ha trasladado el seguimiento y evaluación del proyecto hacia la consecución de los productos identificados como resultados del mismo. Así se han configurado los procesos de cierre de fase con eventos específicos (ver el bloque de fases y acciones) para valorar el grado de cumplimiento de la misma. Ese evento específico significa que se realizará una reunión al final de cada fase prevista en la planificación con un acta que resuma lo previsto en la fase y lo finalmente conseguido, así como lo pendiente y la fecha de entrega prevista. Esto no significa que se renuncie a mejorar las tasas ni la opinión del item 12 de las encuestas, sino que para poder monitorizar el progreso se traslada a criterios medibles en el contexto intraproyecto. En realidad, dado que el plan de trabajo previsto se complementa con iniciativas temporales más globales (proyecto del PN y otras convocatorias PIE), el equipo participante seguiría con la monitorización de esos indicadores para valorar los resultados en una ventana temporal mayor y esta comprobación será el elemento decisor para la presentación planificada en el DIOAEyE.

Volviendo al contexto de este PIE, al final de cada fase existirá un mecanismo lógico si/no para comprobar si se ha conseguido cada uno de los productos previstos.

Para gestionar adecuadamente las acciones en curso entre reuniones finales de fase, se ha preparado también un procedimiento de gestión de riesgos. Esto permitirá gestionar las incidencias que pudieran ocurrir. El procedimiento prevé la identificación/actualización de los riesgos, el establecimiento de umbrales, las posibles acciones de mitigación y el responsable de implementarlas. La frecuencia de revisión del plan de riesgos será responsabilidad del coordinador y será de dos semanas (dos veces al mes), considerando las aportaciones de los participantes.

A la fecha el registro de riesgos contempla de modo preliminar

A modo de resumen se puede decir que la medición de resultados se realizará de modo analítico sobre la base de la consecución de cada uno de los productos descritos.

Adicionalmente serán consideradas también las opiniones de los alumnos y de los profesores, especialmente para valorar la transferibilidad.

Los productos resultantes serán:

1. Kit de herramientas de procesado de la información elaboradas junto a la documentación que facilite su ajuste a otros contextos. Este producto junto a la guía de implementación (punto 4) asegurarán la transferibilidad a otras materias.
2. Material divulgativo elaborado. Lo que podrá facilitar que otros docentes conozcan la experiencia y los productos disponibles. Esto incluye también la divulgación específicamente científica.
3. Informe sobre los resultados obtenidos e información para la intercomparación de los mismos según los diferentes factores considerados.
4. Guía de implantación de la metodología de gamificación desarrollada, considerando los diversos escenarios de metodologías docente cubiertas. Este producto pretende servir para facilitar la transferencia fuera del equipo que lo ha desarrollado.

En realidad este PIE se plantea un Plan de Difusión, que implica diferentes elementos y distribución temporal, como:

• Artículo para conferencia internacional que describa la iniciativa, el contexto y la metodología, así como los instrumentos de seguimiento de la misma. Se prevé la participación de todos los docentes y el envío a conferencias a celebrarse en el verano de 2018, para poder valorar las experiencias del 2º semestre del curso 2017/18.
• Contribuciones en blogs de iniciativas especializadas en educación (como ejemplo srivan https://www.theguardian.com/higher-education-network/series/academics-anonymous o https://www.theflippedclassroom.es/). Se prevé una contribución regular mensual relativa a los temas que se desarrollan.
• Presentación para la UPM en las jornadas de seguimiento y en su caso para el DIOAEyE. Estas presentaciones serían eventos específicos en fechas concretas a determinar, dependiendo de los organizadores)
• Elaboración de material específico para comunicación a los alumnos pre y post experiencia. Se prevén varias versiones según se procesen los semestres que cubren el período del PIE.
• A la vista de los resultados de la experiencia se considerará la conveniencia de profundizar en el despliegue de la misma de un modo más formal, mediante una presentación al Departamento de Ing de Organización, Administración de Empresas y Estadística, que tiene un carácter transversal a las escuelas de la UPM, de sus resultados y beneficios, para valorar el interés de una adopción integrada como estrategia del mismo. Esta acción se realizaría tras estudiar los indicadores de eficiencia y el impacto sobre el item 12 de la encuesta de percepción del alumnado.
• Se prevén futuras publicaciones en revistas indexadas en JCR en el ámbito de la educación, pero fuera del marco temporal estricto del PIE, pues se estará aún en desarrollo en esa fecha. Este objetivo parece alcanzable dada la experiencia previa en el campo de algunos de los participantes (An analytical method for measuring competence in project management. British Journal of Educational Technology, 47:1324–1339, 2016[Q1]; Student evaluation of a virtual experience for project management learning: An empirical study for learning improvement. Computers & Education, 102:172 – 187, 2016[Q1]; Learning project management skills in engineering through a transversal coordination model. International Journal of Engineering Education, 32(2):894–904, 2016 [Q3] )

Se ha previsto la colaboración con el departamento de Ingeniería Mecánica de la Universidad de la Rioja, con los profesores Ana González Marcos y Fernando Alba Elías, que poseen una acreditada experiencia en publicaciones internacionales sobre mejora de las competencias en contextos de educación superior.

Se prevé la comparación de modelos y resultados entre estudiantes de las diferentes instituciones, así como el efecto de la influencia organizativa.

Esta colaboración se enmarca en el contexto del Plan Nacional solicitado (EDU2017-82268-C2), pero tiene también relevancia específica pues permite la consideración de variables adicionales relativas al contexto organizativo que de otro modo no podrían valorarse.