Tras el proceso de adaptación al Espacio Europeo de Educación Superior, la evaluación del aprendizaje de todos los alumnos universitarios debe soportarse en tres componentes básicos: evaluación inicial, evaluación participativa y evaluación sumativa. La evaluación sumativa (aquella que al finalizar el proceso educativo analiza la eventual adquisición de las competencias por parte de los estudiantes) tiene una amplia implantación y forma parte de la cultura de la enseñanza superior, ya que se trata del enfoque de evaluación más tradicional, y en el que se encuadran las técnicas más extendidas y comunes como las pruebas escritas, las pruebas objetivas (coloquialmente “exámenes tipo test”), etc. La evaluación inicial, muy común en contextos educativos anglosajones y del norte de Europa (por la que se analizan las expectativas de los alumnos, su nivel formativo, la fuente de su motivación, etc.), es poco usual en las universidades del arco mediterráneo. No obstante, es una práctica en claro auge (incluyendo en la Universidad Politécnica de Madrid), y que cuenta con escasas barreras técnicas para su implantación, ya que las técnicas son sencillas (tormenta de ideas, encuestas, debates, …), no requieren gran esfuerzo ni dedicación del profesorado, y apenas necesitan de mayor consenso que la sola decisión de realizar dicha evaluación por parte de los docentes. Sin embargo, tal y como recogían fuentes oficiales tras la declaración de Bolonia [1], el componente que mayor atención debe recibir dentro de la evaluación del aprendizaje en la educación superior es la evaluación participativa (aquella que se realiza a lo largo de todo el proceso de aprendizaje, coloquialmente llamada “evaluación continua”), y, lamentablemente, es el componente que más comúnmente se ignora o malinterpreta.

El impacto de la evaluación participativa en el proceso de aprendizaje es inmenso. Por un lado, un seguimiento constante del proceso educativo permite a los docentes actuar sobre aquellos estudiantes y/o aspectos que mayores dificultades tienen o causan. De esta manera, se pueden diseñar acciones de tutoría con impacto real, totalmente dirigidas a acompañar y auxiliar a los alumnos en los momentos más difíciles de su aprendizaje. Sesiones grupales de refuerzo, diseño de itinerarios personalizados, propuesta y discusión de recursos adicionales, … son solo algunas de las acciones que se podrían desplegar (con éxito demostrado en la literatura científica) gracias a un ágil diagnóstico mediante la evaluación participativa. Además, este seguimiento cercano y continuo (más si cabe si se emplea para desplegar mejores acciones tutoriales) ha demostrado generar resultados académicos de mayor impacto, gracias al sucesivo proceso de medida y corrección y, por tanto, al inherente grado de personalización que esto supone.

Sin embargo, a pesar de su gran y positivo impacto, la evaluación participativa se enfrenta a diversos retos. Por un lado, exige el rediseño completo de los currículos de las asignaturas para adaptarlos a un esquema basado en competencias: sin un listado exhaustivo y concreto de las habilidades que los alumnos deben adquirir, el proceso de medida y mejora continua propio de la evaluación participativa resulta imposible de implementar. Aunque existen competencias generales y técnicas asociadas a todas las materias en los planes de estudio, éstas no son los suficientemente concretas para permitir trabajar a nivel de asignatura. Por otro lado, es imprescindible una asistencia asidua de los alumnos a las aulas para poder monitorizar su progreso y trabajo diario. Éste es un reto de enorme calado, ya que incluso con técnicas innovadoras donde las sesiones presenciales se ponen en valor (como en el aula invertida), se ha observado una escasa motivación del alumno por acudir y participar de forma activa, comprobando siempre una progresiva pero inexorable reducción de la tasa de asistencia a medida que las semanas avanzan. La unión de estas dos situaciones causa un enorme daño a la evaluación participativa, de tal manera que tiende a degenerar en una serie de pruebas sumativas distribuidas a lo largo de toda la duración del proceso de enseñanza (las comúnmente llamadas “pruebas de evaluación continua” o “exámenes parciales”). Este esquema de evaluación sumativa distribuida, sin embargo, no sustituye jamás a los componentes de la evaluación participativa, y carece de sus múltiples beneficios. De hecho, algunos autores han probado como el aumento incontrolado en el número de pruebas lleva a una situación de evaluación sumativa permanente, que daña gravemente el proceso educativo [2].          

En conclusión, es necesario revitalizar y poner en valor mediante innovadoras técnicas los procesos de evaluación participativa aumentando la motivación de los alumnos hacia las sesiones presenciales, implementando procesos de medida y mejora constantes (acompañados de acciones tutoriales adecuadas), y adaptando las asignaturas a currículos basados en competencias.

Durante el pasado curso 2019-20 y, tras la prórroga motivada por la crisis de la COVID-19, en las Escuelas E.T.S.I. Sistemas Informáticos, Telecomunicación y Topografía, Geodesia y Cartografía, se adaptaron las asignaturas del área de ciberseguridad (en grado y máster) a un diseño curricular basado en competencias, donde se lograba un enfoque transversal y vertical mediante la creación de una colección de micro-contenidos y la implementación de técnicas de aula invertida. Aunque el diseño basado en competencias se logró con éxito, tras la finalización del Proyecto de innovación educativa que dio soporte y financiación a dichos trabajos (“Creación de un itinerario formativo en el área de la ciberprotección, mediante el uso de micro-contenidos y aula invertida en asignaturas de grado y máster” - IE1920.6101), los resultados demostraron (de nuevo) la necesidad de aumentar la escasa tasa de asistencia para lograr mecanismos de evaluación participativa realmente efectivos [3].

Para abordar esta situación, este proyecto tiene por principal objetivo continuar la labor iniciada durante el anterior Proyecto de Innovación Educativa (arriba citado) mediante el despliegue una nueva experiencia piloto (que se extenderá durante, al menos, tres cursos académicos). Dicha experiencia consistirá en el diseño y despliegue de una competición educativa en el área de la ciberseguridad, donde podrán participar alumnos de varias asignaturas de grado y máster de la Universidad Politécnica de Madrid. Además, y a través del proyecto EELISA, la proto-comunidad “Data4Good” (de la que los profesores participantes forman parte) y la colaboración docente con la Universidad Politécnica de Bucarest y el profesor Alexandru Vulpe, podrán también participar en dicha competición estudiantes internacionales actualmente cursando materias relacionadas con la ciberseguridad.

La competencia se basará en una serie de retos creativos, tales como el diseño de malware, de dispositivos para la seguridad física (como los Rubber Ducky), etc. que se ajustarán al currículo basado en competencias previamente diseñado (que podría ser matizado y mejorado tras ponerlo en común con los profesores de la Universidad de Bucarest). Los retos se presentarán durante las sesiones presenciales, en las cuales se realizarán pequeños ejemplos y demostraciones para activar el proceso creativo de los alumnos. Al menos, por cada competencia identificada en el currículo, se incluirán dos retos en la competición. La competición tendrá, además, un diseño basado en personajes de animación, de cine, etc. de tal manera que los equipos sean representados por un avatar en el juego. Para dar mayor entidad a la propuesta, se crearán identificadores para los participante y equipos y una entidad gráfica y corporativa. Cada uno de los retos tendrá un valor en puntos, determinado por el profesorado y anunciado a los alumnos de forma presencial en la presentación de cada una de las pruebas.

La competición podrá afrontarse en equipos (transversales y/o internacionales) de entre 3 y 6 alumnos. Se promoverá entre los alumnos que los equipos incluyan alumnos de diferentes áreas del conocimiento como lenguajes informáticos, sistemas de información geográfica o ingeniería telemática, provenientes de las diferentes asignaturas participantes. Esto se logrará haciendo que los retos tengan un claro enfoque multidisciplinar, incluyendo aspectos de todos los temarios y todos los enfoques. Se podrá especial atención a que los equipos incluyan alumnos de titulaciones de grado y máster. Se valorará, también, de forma especial que los alumnos formen equipos internacionales a través del proyecto EELISA y la proto-comunidad “Data4Good”.

Los estudiantes dispondrán de tiempo de trabajo en el aula, durante el cual los docentes estudiarán su evolución, dudas, problemas encontrados, etc. permitiendo de esta manera construir la evaluación participativa. Además, los retos consistirán en el uso de infraestructuras o tecnologías que no sean convencionales, y motiven e incentiven la participación y la asistencia. En ese mismo sentido, el programa de la competición no será público, sino que los profesores introducirán en cada momento de forma sorpresiva cada una de las pruebas, y las normas que la regulan.

Para garantizar que, además de las competencias técnicas, se puedan trabajar las competencias transversales de la Universidad Politécnica de Madrid, los estudiantes deberán presentar brevemente la solución que plantean a cada uno de los retos. En general, gracias a este proyecto, se trabajarán las siguientes competencias transversales:

• Creatividad: Los retos y pruebas que compongan la competición serán abiertos y admitirán múltiples propuestas, para fomentar su creatividad. Se animará a los estudiantes a ser atrevidos y apostar por soluciones que sorprendan a la audiencia.
• Expresión oral y escrita: Gracias a la realización de las presentaciones donde cada equipo muestre a todo el resto de los participantes su solución, y discuta con ellos sobre su calidad y diseño
• Trabajo en equipo:  Los alumnos podrán afrontar la competición en grupos transversales y/o internacionales de entre 3 y 6 personas, lo que favorecerá su aprendizaje y la comprensión de diferentes realidades y entornos.  

Los asistentes podrán intervenir, preguntar, discutir sobre aspectos técnicos, etc. Además, gracias a esta presentación, los docentes podrán construir la evaluación participativa e incorporar un nuevo mecanismo de seguimiento, analizando cómo está siendo el proceso de aprendizaje, identificando carencias en la adquisición de algunas competencias, etc. Lo cual permitirá a los docentes enfocar y diseñar acciones de tutoría personalizadas y dirigidas a resolver los déficits detectados. Entre las posibles acciones destacan dinámicas de aprendizaje colaborativo donde los retos o pruebas planteadas se resuelvan de forma colectiva y guiada por el profesor.

En este mismo sentido, para entornos donde haya alumnos con diversos niveles formativos (además de contar con los micro-contenidos desarrollados con anterioridad), se podrán diseñar itinerarios personalizados dentro de la competición, que les permitan trabajar a los estudiantes con dificultades aquellos aspectos donde presentan más déficit. Podrán hacerlo, además, sin existir ninguna segregación o significación especial en el aula.  Todo ello favorecerá y facilitará la atención al alumnado con mayores dificultes. Esto es especialmente importante en máster, y en aquellos alumnos de grado con diversidad funcional. 

Con el objetivo de gamificar más la experiencia y garantizar que los estudiantes se sienten completamente involucrados en el proceso, así como incentivar más la motivación, participación y asistencia, la puntuación que reciba cada grupo participante no será asignada por el equipo docente en solitario, sino por votación popular presencial tras escuchar la presentación de las soluciones y el posterior debate. La votación se podrá realizar de forma anónima, a través de algún sistema o aplicación como Flinga o Mentimeter.

El desempeño de los alumnos durante la competición, o su posición en el ranking final, no determinará su evaluación, sino su actitud, trabajo, participación y mejora continua; de acuerdo con los esquemas de gamificación de éxito reportados en la literatura. No obstante, para motivar la autosuperación y la motivación, por cada titulación involucrada se entregará, al finalizar la competición y en un acto conjunto, un premio al equipo ganador. Este refuerzo positivo, esperamos que estimule todavía más la motivación de los alumnos. De igual manera, con el aumento considerable del contenido práctico que supone el despliegue de esta competición, prevemos que los resultados académicos asociados a competencias de alto nivel (según la taxonomía de Bloom) mejoren de forma considerable. Además de promover, de forma tangencial, algunos paradigmas de gran interés como el “aprender haciendo”.

La evaluación global de las asignaturas participantes se realizará mediante rúbricas, públicas y diseñadas para ajustarse a los parámetros de la experiencia. En las mismas se reflejarán aspectos como la participación en equipos multidisciplinares o internacionales, el apoyo a otros equipos en dificultades, la participación, etc. 

[1] MINISTERIO DE EDUCACIÓN, CULTURA Y DEPORTE (2010). La integración del sistema universitario español en el espacio europeo de educación superior. www.eees.es/pdf/Documento-Marco_10_Febrero.pdf

[2] Sánchez, B. B., Alcarria, R., & Calimanut-Ionut, C. (2020). IMPACT OF TEACHING PLANNING IN THE ACADEMIC RESULTS OF STUDENTS: A STUDY CASE. In INTED2020 Proceedings (pp. 7336-7340). IATED.

[3] B. Bordel, R. Alcarria, T. Robles, D. Martin (2021) FLIPPED CLASSROOM AND EDUCATIONAL VIDEOS TO IMPROVE THE CYBERSECURITY COMPETENCIES IN FUTURE COMPUTER ENGINEERS, EDULEARN21 Proceedings, pp. 221-225.

• Mejorar los sistemas de evaluación mediante nuevas aproximaciones de “evaluación continua”, que promuevan un aprendizaje activo
• Mejorar los sistemas de seguimiento y tutoría, para implantar un esquema de monitorización, mejora y adaptación continuas, que permita tomar acciones mucho más dirigidas y obtener una imagen mucho más fiel del proceso de aprendizaje.
• Mejorar la motivación de los alumnos y su implicación en el proceso de aprendizaje, promoviendo su asistencia regular y continuada a las sesiones presenciales de las diferentes asignaturas participantes, gracias a nuevos mecanismos que doten de valor e interés a dichas sesiones
• Mejorar la adquisición de competencias y resultados de aprendizaje en el área de ciberseguridad gracias a la personalización de la enseñanza, especialmente en alumnos con diversidad funcional o formativa que presenten dificultades.
• Promover un aprendizaje y trabajo transversal, que permita a los alumnos analizar retos o problemas desde diferentes puntos de vista
• Mejorar la adquisición de competencias transversales por parte de los alumnos (creatividad, trabajo en equipo, etc.)
• Promover la participación de los estudiantes en el proyecto EELISA, así como su internacionalización, gracias al contacto con estudiantes de otras universidades europeas.

Con este proyecto se pretende, en general, mejorar los sistemas de evaluación continua, incorporando nuevas metodologías activas de aprendizaje que mejoren la motivación, la tutoría y los resultados obtenidos. De forma más concreta, evaluaremos nuestra contribución a este objetivo y a la mejora de la calidad mediante las siguientes métricas:

• Mejorar los indicadores de las asignaturas de ciberseguridad, especialmente en programas de grado y con muy especial atención a la tasa de asistencia y a la tasa de abandono.
• Mejorar los resultados académicos de los estudiantes en los temas relativos a la ciberseguridad en las diferentes asignaturas involucradas
• Mejorar la satisfacción de los estudiantes en las asignaturas afectadas, según las encuestas semestrales llevadas a cabo por la Universidad Politécnica de Madrid. En especial con la acción tutorial y el desempeño en las sesiones presenciales.
• Reducir la dispersión de los resultados académicos y de logro en las asignaturas, especialmente de máster y entre los alumnos con diversidad funcional, como síntoma de una mayor homogeneidad y una mejor atención personalizada al estudiantado con mayores dificultades
• Aumentar el nivel de adquisición de competencias de alto nivel según la taxonomía de Bloom. Para ello, durante la competición, se realizarán pruebas y retos prácticos y presentaciones técnicas, en un ambiente de debate
• Mejorar el aprendizaje transversal de los estudiantes, medido como su capacidad para aplicar las competencias adquiridas en diferentes escenarios y de forma colaborativa con alumnos con diferente formación, e incluso con alumnos internacionales. Para implementar esta mejora, se promoverá que la competición se aborde en equipo multidisciplinares y/o internacionales.
• Profundizar el trabajo de las competencias transversales propuestas por la Universidad Politécnicas de Madrid.

Las fases de desarrollo y sus acciones son las siguientes:

Fase 1: Diseño de la experiencia educativa piloto. Selección de las pruebas y retos que compondrán la competición, diseño de la temporización, mecanismos de evaluación y encaje en la planificación de las diferentes asignaturas (1 meses). Durante esta fase, los docentes involucrados y los responsables de las diferentes asignaturas seleccionarán las pruebas y retos que deben componer la competición, de acuerdo al itinerario formativo propuesto en cursos anteriores. Además, se adaptará la programación de las asignaturas, su evaluación y su guía de aprendizaje, a las propuestas de esta experiencia; como pueda ser el aumento del contenido práctico o las sesiones de discusión y evaluación. Adicionalmente, durante esta fase el itinerario formativo propuesto en cursos anteriores será discutido y mejorado con profesores de la Universidad de Bucares a través del proyecto EELISA. 

Fase 2: Creación de los materiales de trabajo (2 meses). Durante el tiempo que se extienda esta fase, el equipo docente involucrado creará los materiales docentes necesarios (enunciados, videos demostrativos, etc.) para que los alumnos comprendan los retos y pruebas de la competición y puedan desarrollar sus propuestas. Durante esta fase, también, se realizará la provisión del material de laboratorio necesario.

Fase 3: Construcción de la competición, diseño de la identidad corporativa y demás elementos técnicos de gamificación (1 mes). Durante esta fase se desplegarán los mecanismos tecnológicos y de identidad corporativa necesarios para el desarrollo de la experiencia. Por ejemplo, se adaptarán los espacios Moodle de las asignaturas, se dispondrá de las soluciones de comunicación necesarias (foros, chats, etc.), se generarán los marcadores, herramientas de votación, logotipos, nombres de los equipos, se seleccionará el tema que enmarcará la competición (temática), etc.

Fase 4: Desarrollo de la actividad docente, acorde a la planificación prevista (4 meses).  Llegados a este punto, se prevé el comienzo de la actividad docente en el segundo semestre del curso 2021/22, durante el cual se impartirán los contenidos, mediante la metodología de aula invertida, y se introducirán de forma periódica pero no anunciada los diferentes pruebas y retos de la competición. Esto incluye una jornada de presentación inicial sobre la actividad, al comienzo del semestre y una jornada de entrega de premios y cierre (conjunta), al finalizar el periodo lectivo.  

Fase 5: Evaluación y conclusiones (1 mes). Al final del proceso se realizarán las labores de medida y valoración de los indicadores de logro, y la consecución de objetivos y la mejora en la calidad prevista. No obstante, se prevé realizar la experiencia durante al menos tres cursos académicos consecutivos para valorar de manera más adecuada los resultados obtenidos. Se generarán las publicaciones correspondientes para difundir la experiencia.

Para realizar el seguimiento del proyecto se van a implementar ciclos de trabajo de duración semanal o quincenal (según la fase de ejecución en la que nos encontremos), en las que cada participante debe describir los avances realizados desde la última reunión, los posibles inconvenientes encontrados, las correcciones planteadas y una previsión de avances para el periodo siguiente. Se buscará que, al menos una vez al mes, la reunión cuente con personal de la Universidad de Bucarest en el contexto del proyecto EELISA. A fin de poder coordinar las acciones de todo el personal docente involucrado, se emplearán herramientas de gestión como gestión como paneles Kanban. 

Una vez finalizada la experiencia docente piloto, se prevé una fase de evaluación final en la que se evalúe la consecución de objetivos mediante encuestas a profesores y alumnos sobre el desarrollo de la misma. Este último mecanismo de evaluación se desarrollará de forma adicional y al margen de todos los mecanismos de medida ya considerados y descritos anteriormente; y que básicamente consisten en métricas y evidencias de logro oficiales (establecidas por la propia universidad), y por tanto no sesgadas por el propio equipo docente. A saber:

• Encuestas oficiales de la Universidad Politécnica de Madrid
• Resultados académicos del alumnado
• Resultados de pruebas de evaluación transversal, entre pares, etc.
• Resultados de adquisición de competencias

De esta manera, se proporcionarán como evidencias de logro los resultados estadísticos de las encuestas realizadas por los alumnos, así como el resumen estadístico de sus resultados académicos, y los diferentes indicadores de asignatura oficialmente establecidos (tasa de asistencia, abandono, etc.). Se adjuntará, si la legislación lo permite, los resultados particulares de pruebas sobre las competencias adquiridas.

• Materiales de prácticas (guiones, video tutoriales, etc.) asociados a cada una de las pruebas o retos de la competición.
• Plataforma para la realización de las competiciones (marcador, espacios de comunicación, etc.)
• Guías de conclusiones, buenas prácticas, recomendaciones, etc. sobre las sesiones conjuntas para fomentar el aprendizaje transversal de los alumnos
• Informes sobre la experiencia realizada, en formato de artículo científico, resumiendo los resultados obtenidos y las principales conclusiones; así como las líneas de acción futura
• Guiones de práctica para experiencias de gamificación y competiciones educativas en la enseñanza de ingeniería.

Tal y como anteriormente se dijo, todos estos materiales, previa autorización de todos los autores involucrados, podrán ser transferidos, primero a todos los docentes de la UPM que deseen unirse a la experiencia; y posteriormente se valorará una transferencia externa de carácter divulgativo. El objetivo final será que la competición crezca y se enriquezca de forma progresiva con las aportaciones de otros docentes que también trabajen temario relativo a la ciberseguridad, que tenga casos de uso de interés, etc.

Todos los productos obtenidos en el proyecto podrán (llegado el caso) ser distribuidos como material divulgativo si todos los autores involucrados así lo autorizan.

Por otro lado, los resultados del proyecto serán difundidos a través de la realización de comunicaciones en congresos y revistas de prestigio, de ámbito nacional e internacional. La selección particular de las mismas dependerá, mayormente, de la situación editorial que se configure al final de la ejecución del proyecto, buscando siempre el mayor impacto. A modo de ejemplo, se han revisado las siguientes conferencias y revistas:

• International Journal of Emerging Technologies in Learning (iJET): http://www.online-journals.org/index.php/i-jet/
• IEEE Global Engineering Education Conference (EDUCON): http://www.educon-conference.org/current/cfp_educon.php
• ASEE/IEEE Frontiers in Education Conference: http://fie2016.org/ 
• IEEE International Conference on Advanced Learning Technologies: http://lttf.ieee.org/node/59
• WorldCIST: http://www.worldcist.org/

Se realizarán colaboraciones con varios grupos de investigación de la Universidad Politécnica de Madrid, como el “Grupo de Ingeniería de Redes y Servicios Avanzados de Telecomunicación” (ETSI. Sistemas Informáticos) o el grupo “MERCATOR: Tecnologías de la GeoInformación y Sistemas Inteligentes” (ETSI. Topografía, Geodesia y Cartografía)

Se realizarán colaboraciones con diferentes escuelas de la UPM (entre las que destacan ETSI. Topografía, Geodesia y Cartografía, ETSI. Telecomunicación y ETSI. Sistemas Informáticos), a fin de poder abordar un aprendizaje y proyecto transversales. Dicha colaboración se sustentará igualmente, en la colaboración de dos Grupos Consolidados de Innovación Educativa (Redes y Servicios de Comunicaciones e INNGEO). Así como de profesores pertenecientes hasta a tres áreas de conocimiento diferentes.

No obstante, la colaboración más importante prevista en el contexto de este proyecto es la participación de la Universidad de Bucarest (a través del profesor Alexandru Vulpe y su equipo) mediante el proyecto EELISA y la proto-comunidad Data4Good. Con esta colaboración, mejoraremos el itinerario formativo anteriormente desarrollado, y contribuiremos a la internacionalización de los alumnos, profesores y enseñanzas de la Universidad Politécnica de Madrid.