Adversarial Learning: Aprendizaje y evaluación mediante batallas creativas entre estudiantes y chatbots basados en Inteligencia Artificial
memoria >>
Nombre y apellidos | Centro | Plaza * |
ALEJANDRO LEO RAMIREZ | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. AYUDANTE |
BORJA BORDEL SANCHEZ | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.CONTR.DOCT. |
GUSTAVO ADOLFO HERNANDEZ PEÑALOZA | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.AYUD.DOCTOR |
CALIMANUT-IONUT CIRA | E.T.S.I. TOPOGRAFIA GEODESIA CARTOGRAFIA | L.D. PRF.AYUD.DOCTOR |
JAVIER SERRANO ROMERO | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. AYUDANTE |
Jesús Campoy Fernández | Centro fuera de la UPM | OTROS DOCENTES NO UPM |
MIGUEL ANGEL MANSO CALLEJO | E.T.S.I. TOPOGRAFIA GEODESIA CARTOGRAFIA | TITULAR UNIVERSIDAD |
RAMON PABLO ALCARRIA GARRIDO | E.T.S.I. TOPOGRAFIA GEODESIA CARTOGRAFIA | TITULAR UNIVERSIDAD |
SILVIA ALBA URIBE MAYORAL | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.AYUD.DOCTOR |
TOMAS ENRIQUE ROBLES VALLADARES | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | CATEDRÁTICO UNIVERSIDAD |
(para PDI/PAS de la UPM, en el resto de casos no se especifica).
El uso de modelos de inteligencia artificial (IA) para facilitar algunas actividades profesionales (como por ejemplo el seguimiento de personas) o acciones comunes (como la conducción o la búsqueda en la web), es un fenómeno que ha ido avanzando lenta pero incansablemente en los últimos cinco años [1]. Aunque, desde el mismo comienzo, se plantearon dudas o preocupaciones al respecto del impacto que el uso de este tipo modelos pudiera tener en el comportamiento y vida general de los ciudadanos (posibles afecciones de la privacidad individual, baja motivación o interés por la investigación proactiva, falta de capacidad de abstracción, etc.); la falta de una interfaz que permitiera un acceso masivo y transversal de los ciudadanos a este tipo de servicio o modelos inteligentes, daba a estas preocupaciones una prioridad y relevancia escasas [2]. La complejidad de los modelos de IA era tal, que un uso intensivo de los mismo en la vida diaria requería de una formación especializada en ingeniería de datos (algo completamente descartado en el grueso de la población).
No obstante de lo anterior, en el ámbito docente universitario, desde hace más de una década se vislumbraba y sentía un cambio entre el estudiantado [3]. Debido a su cualificación relativamente elevada (comparada con la media de la población), y a un uso y relación con la información y los servicios digitales que se ha construido desde su nacimiento de una manera orgánica y no pautada, los nuevos nativos digitales han tomado una conciencia elevada sobre las posibilidades que ofrece el conocimiento en la red (en muchas ocasiones sobreestimándolo y sin ser capaces de ofrecer una visión crítica del mismo). Se ha generado una sensación de escaso valor, para todo aquello que puede “encontrarse en Internet” [4]. En consecuencia, estos nuevos estudiantes son alumnos con una escasísima motivación por el contenido teórico o abstracto. Una tasa de absentismo elevadísima en sesiones basadas en clase magistral es uno de los síntomas principales de este hecho. También un desinterés creciente por todas aquellas competencias o resultados de aprendizaje que no estuvieran asociados a tecnologías o habilidades con una aplicación directa, inmediata y evidente en algún entorno profesional o doméstico que les resultase familiar [5].
Para aquellas asignaturas que trabajan competencias de mayor nivel en la taxonomía de Bloom [6] (crear, evaluar, etc.) ha sido más sencillo paliar este fenómeno, debido a que su enfoque ya era (previamente) más aplicado y tecnológico. De esta manera, metodologías como el “Aprendizaje Basado en Proyectos” o el “Aprendizaje Basado en Retos” han sido cada vez más comunes, y han obtenidos muy buenos resultados [7]. Lamentablemente las asignaturas con este perfil, por la propia construcción del conocimiento y los planes de estudios, suelen situarse en tercer o cuarto curso de grado o en nivel de máster. Donde la motivación de los estudiantes ya es de por sí más elevada, y los alumnos poseen mayor una conciencia sobre su propio aprendizaje que empuja y facilita el éxito de este tipo de acciones de innovación educativa.
Por otro lado, aquellas asignaturas con una carga teórica y abstracta elevada, normalmente de carácter básico y situadas en primer o segundo curso de grado, han enfrentado una situación más compleja [8]. La necesidad de trabajar competencias de la zona inferior de la taxonomía de Bloom (por ejemplo, conocer) pone a los docentes contra el reto de “competir” contra las herramientas digitales que ponen a disposición del alumno el conocimiento de una manera más rápida y con un muchísimo menor esfuerzo [9]. La respuesta ha sido la implementación de metodologías dirigidas a promover el entusiasmo de los alumnos durante las sesiones presenciales: gamificación, aula invertida, etc. Pero sobre todo prácticas didácticas de una envergadura pequeña o media (con una duración entre 30 y 90 minutos) que permitan conectar a los estudiantes con otras competencias o habilidades hacia las que sienten un mayor interés [10]. Los resultados, aunque favorables, han comenzado a mostrar cierto agotamiento a medida que estas metodologías pierden novedad, se implantan de manera masiva más allá de pruebas piloto y el efecto diferencial se diluye (dándose por descontado, en ocasiones, su implementación) [11].
Sin embargo, el avance de los modelos basados en IA que cada vez permitía búsquedas más precisas, en fuentes de mayor calidad y el acceso a mayores recursos didácticos (videos, dossiers, dioramas, fotografías…), ha ido empujando el avance hacia métodos de evaluación y aprendizaje cada vez más aplicados y concretos (menos abstractos): los proyectos y retos se realizan en entornos inmersivos [12], la gamificación se basa en ecosistemas en el metaverso con scape rooms o videojuegos, se implementan proyectos de Aprendizaje-Servicio para atraer la colaboración de los usuarios finales y empresas, etc. En este escenario, las pequeñas prácticas didácticas empleadas en muchas asignaturas empezaban a mostrar signos de agotamiento [13]. En muchas ocasiones era posible encontrar soluciones en línea de alta calidad, parciales o totales, que permitían a los alumnos superar la evaluación sin haber obtenido un progreso real de su aprendizaje o haber adquirido las competencias esperadas. Como reacción, se han ido complicando cada vez más los mecanismos de evaluación con presentaciones, prácticas creativas, exámenes de práctica, etc. [14]
Pero todo este ecosistema académico, ya muy presionado, sufre una revolución sin precedentes hace menos de un año (noviembre 2022) con la presentación y difusión pública de los chatbots basados en IA (comenzando por el conocido ChatGPT) [15]. Este tipo de herramientas ofrecen una interfaz dialogada, que permite a los usuarios obtener respuestas elaboradas, incluso antes preguntas abiertas y formuladas acorde al lenguaje oral. Si bien es un mecanismo de gran utilidad, y transformador a nivel social, económico y profesional; genera un reto de gran calado en las instituciones de educación superior. Por un lado, incide y consuma la pérdida completa del valor de aquellas metodologías y materiales docentes que se basan en el despliegue de información (clase magistral, diapositivas o manuales, etc.) [16]. Pero, por otro lado, y este es el más preocupante, destruye de una manera total y súbita el catálogo de mecanismos y soluciones que hasta el momento se habían empleado para mejorar el interés y motivación de los alumnos al trabajar competencias de bajo nivel en la taxonomía de Bloom (conocer, etc.) [17]. Las prácticas educativas de envergadura pequeña o media son resueltas de manera sencilla por estos chatbots, que incluso pueden generar soluciones completas y correctas cuando son interrogados con el mismo enunciado de la práctica. Además, técnicas como las presentaciones o los exámenes de prácticas tampoco permiten ya medir el aprendizaje de manera fidedigna, ya que los propios chatbots son capaces de generar discursos y razonamientos complejos y correctos sobre las mencionadas prácticas. De la misma forma, durante el curso 2022-23, en la ETSI. Sistemas Informáticos, pudimos comprobar como actividades de gamificación (como scape room) perdían también el interés de los alumnos, al ser posible resolver los retos planteados de forma rápida gracias a los chatbots. Incluso, iniciativas de innovación educativa muy satisfactorias y consolidadas, como la construida a través del PIE “Competiciones educativas internacionales para promover la mejora de los resultados, la motivación, la acción tutorial y la evaluación continua, en currículos basados en la adquisición de competencias” (IE22.6101) [18] han visto como en el último año sus resultados han sufrido un deterioro debido al uso creciente de chatbots basados en IA por parte de los estudiantes.
Un breve estudio informal al finalizar el curso 2022-23 entre los estudiantes de diversas titulaciones de la ETSI. Sistemas Informáticos y ETSI. Topografía, Geodesia y Cartografía, arrojó algunas conclusiones sobre el estudiantado:
- Creencia completa en la corrección y capacidad de los chatbot para resolver problemas o preguntas de carácter teórico, abstracto, mecánico o algorítmico
- Incomprensión hacia la necesidad de emplear técnicas de trabajo personal, en tareas que puede resolverse mediante herramientas automáticas
- Baja motivación y negación del aprendizaje asociado con actividades prácticas didácticas sin relación directa con la actividad profesional, en especial con aquellas cuya resolución puede ser completada con chatbots
Para abordar esta situación, tan compleja y crítica por la altísima velocidad a la que se ha desarrollado, proponemos el desarrollo de una liga de batallas entre los estudiantes y los chatbots, en la que participarán hasta ocho titulaciones distintas, pertenecientes a tres Escuelas UPM diferentes. Se prevé que la experiencia se desarrolle durante al menos dos años consecutivos, contando para su implementación con el asesoramiento de colaboradores externos con experiencia en iniciativas de aprendizaje basadas en chatbots. Principalmente nos asistirán compañeros de las Universidad Alfonso X el Sabio, que ha desplegado con éxito el Hospital Virtual de Simulación para el aprendizaje en el área de Ciencias de la Salud, y donde las herramientas de IA ocupan también un lugar relevante.
La experiencia se basará en una liga, en la que deberán participar equipos transversales de estudiantes. Cada equipo contará con entre cuatro y seis miembros pertenecientes a distintas asignaturas y niveles formativos. La liga estará formada por una secuencia de batallas en las que los estudiantes se enfrentarán contra los chatbots basados en IA, en el diseño de una solución informática (normalmente un software). En esta experiencia piloto, participarán asignaturas del área de redes y ciberseguridad. Cada batalla será a su vez una actividad evaluable y versará sobre los contenidos de una asignatura distinta, y los productos resultantes serán objeto de evaluación en la correspondiente asignatura. En cada batalla se presentará un reto, cuya resolución consista (en la mayoría de los casos) en el desarrollo de un software. Cada equipo deberá librar las batallas de acuerdo al siguiente procedimiento. Primero, los estudiantes podrán cuestionar a varios chatbots sobre el reto planteado. Se podrán realizan diversas consultas, realizar iterativos refinamientos, etc. En un segundo paso, los estudiantes deberán analizar las soluciones aportadas por los chatbots y proponer una solución alternativa que las mejore de manera objetiva en algún indicador relevante para la asignatura. Pueden ser ejemplos la velocidad de ejecución, la legibilidad o la capacidad del software para esquivar un determinado antivirus. Los estudiantes deberán argumentar y probar el motivo por el que su software mejora las soluciones aportadas por los chatbots, y describir el proceso creativo que los ha llevado a alcanzar su diseño y propuesta. En un tercer paso, los estudiantes presentarán su solución en una sesión grupal en el aula (en el horario de cada asignatura). Otros grupos podrán entonces tratar de cuestionar los chatbots para obtener de ellos una solución que mejore la presentada por los compañeros. Si no lo logran, el equipo que presenta gana la batalla. Si algún chatbot generase alguna solución con mejor comportamiento, el equipo podrá reintentar o refinar su diseño sin límite de intentos hasta el final del periodo docente.
Cada batalla ganada permitirá obtener al equipo una puntuación. Al finalizar el periodo docente, el equipo que haya obtenido una mayor puntuación y/o ganado un mayor número de batallas recibirá un premio.
Los docentes diseñarán rúbricas de evaluación que relacionen las mejoras alcanzadas por el software de cada batalla con la calificación de la actividad de evaluación. Elementos como el trabajo continuo y la calidad de la presentación realizada también serán evaluables.
Se promoverá entre los alumnos que los equipos incluyan estudiantes de diferentes áreas del conocimiento como lenguajes informáticos, sistemas de información geográfica o arquitectura de computadores, provenientes de las diferentes titulaciones participantes. Esto se logrará haciendo que la liga incluya batallas multidisciplinares, incluyendo aspectos de todos los temarios y todos los enfoques. Se pondrá especial atención a que los equipos incluyan alumnos de titulaciones de grado y máster.
Las presentaciones realizadas por los alumnos serán abiertas y colaborativas. Los asistentes podrán intervenir, preguntar, discutir sobre aspectos técnicos, etc. Además, los docentes usarán estas presentaciones para incorporar un nuevo mecanismo de seguimiento, analizando cómo está siendo el proceso de aprendizaje, identificando carencias en la adquisición de algunas competencias, etc.
Los docentes asistirán a los equipos durante el desarrollo de las batallas, empleando herramientas digitales como Miro o Teams, o pizarras en soporte físico serán proporcionadas para que los estudiantes puedan desarrollar sus soluciones con un soporte visual. El profesor enriquecerá este pensamiento visual con infografías y esquemas que resuman y sinteticen los contenidos presentados sobre los que versan las distintas batallas.
Este enfoque que denominamos “adversarial learning”, promueve una desmitificación de las capacidades reales de los chatbots, que los estudiantes deberán analizar en las distintas batallas; promoviendo así un manejo crítico de la herramienta. En este proceso de estudio y mejora, los estudiantes trabajarán los contenidos de cada asignatura, logrando un aprendizaje equivalente al que se obtenía en la realización tradicional de las prácticas de laboratorio, pero garantizando una mayor motivación y proactividad por parte del alumnado.
El “adversarial learning” garantiza la adquisición de las competencias técnicas, pero gracias al esfuerzo crítico y creativo que requiere una “batalla” contra los chatbots basados en IA, se trabajan también las competencias transversales de la Universidad Politécnica de Madrid. En general, gracias a este proyecto, se trabajarán las siguientes competencias transversales:
- Creatividad: Las batallas, en las que los alumnos deben proponer una solución que mejore la aportada por los chatbots, son abiertas por naturaleza y admiten múltiples propuestas. Se animará a los estudiantes a ser atrevidos y apostar por soluciones que sorprendan a la audiencia. En caso de que la solución no se desempeñe como esperaban, podrán refinarla de manera indefinida
- Razonamiento crítico: El refuerzo positivo que supone “vencer” a una herramienta como ChatGPT o Dalle-e, mejora la confianza del alumno en su propio pensamiento, y potencia las habilidades y capacidades para aprender, comprender y aplicar los conocimientos y favorecer la autonomía intelectual.
- Expresión oral y escrita: Gracias a la realización de las presentaciones donde cada equipo muestre a todo el resto de los participantes su solución, y discuta con ellos sobre su calidad y diseño.
- Trabajo en equipo: Los alumnos podrán afrontar la competición en grupos transversales de entre cuatro y 6 personas, lo que favorecerá su aprendizaje y la comprensión de diferentes realidades y entornos.
[1] Li, R. (2020). Artificial intelligence revolution: How AI will change our society, economy, and culture. Simon and Schuster.
[2] Popkova, E. G., & Gulzat, K. (2020). Technological revolution in the 21 st century: digital society vs. artificial intelligence. In The 21st century from the positions of modern science: Intellectual, digital and innovative aspects (pp. 339-345). Springer International Publishing.
[3] Ghnemat, R., Shaout, A., & Al-Sowi, A. M. (2022). Higher Education Transformation for Artificial Intelligence Revolution: Transformation Framework. International Journal of Emerging Technologies in Learning, 17(19).
[4] Roll, I., & Wylie, R. (2016). Evolution and revolution in artificial intelligence in education. International Journal of Artificial Intelligence in Education, 26, 582-599.
[5] Triado-Ivern, X., Guardia-Olmos, J., Presas, P., Bernardo, M., Aparicio-Chueca, P., Elasri-Ejjaberi, A., ... & Roca, B. (2018). STUDENTS’ABSENTEEISM IN HIGHER EDUCATION: AN EXPLORATORY QUALITATIVE STUDY. In EDULEARN18 Proceedings (pp. 4580-4585). IATED.
[6] Chandio, M. T., Zafar, N., & Solangi, G. M. (2021). Bloom's Taxonomy: Reforming Pedagogy through Assessment. Journal of Education and Educational Development, 8(1), 109-140.
[7] Mareca, M. P., & Bordel, B. (2019). The educative model is changing: toward a student participative learning framework 3.0—editing Wikipedia in the higher education. Universal Access in the Information Society, 18(3), 689-701.
[8] Triado-Ivern, X., Aparicio-Chueca, P., Elasri-Ejjaberi, A., Maestro-Yarza, I., Bernardo, M., & Presas Maynegre, P. (2020). A factorial structure of university absenteeism in higher education: A student perspective. Innovations in Education and Teaching International, 57(2), 136-147.
[9] Cleary-Holdforth, J. (2007). Student non-attendence in higher education: a phenomenon of student apathy or poor pedagogy. Level 3, 5(1), 2.
[10] Walker, J. P., Sampson, V., Southerland, S., & Enderle, P. J. (2016). Using the laboratory to engage all students in science practices. Chemistry Education Research and Practice, 17(4), 1098-1113.
[11] Rodrigues, L., Pereira, F. D., Toda, A. M., Palomino, P. T., Pessoa, M., Carvalho, L. S. G., ... & Isotani, S. (2022). Gamification suffers from the novelty effect but benefits from the familiarization effect: Findings from a longitudinal study. International Journal of Educational Technology in Higher Education, 19(1), 1-25.
[12] Pagano, K. O. (2013). Immersive learning. American Society for Training and Development.
[13] Abdelrahman, S. M., & Abdelkader, A. M. (2017). The influencing factors of absenteeism among nursing students. Journal of Nursing Education and Practice, 7(10), 64-69.
[14] Coghlan, S., Miller, T., & Paterson, J. (2020). Good proctor or" Big Brother"? AI Ethics and Online Exam Supervision Technologies. arXiv preprint arXiv:2011.07647.
[15] Adeshola, I., & Adepoju, A. P. (2023). The opportunities and challenges of ChatGPT in education. Interactive Learning Environments, 1-14.
[16] Lo, C. K. (2023). What is the impact of ChatGPT on education? A rapid review of the literature. Education Sciences, 13(4), 410.
[17] Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., ... & Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and individual differences, 103, 102274.
[18] Bordel, B., Alcarria, R., & Robles, T. (2022, March). A cybersecurity competition to support the autonomous, collaborative, and personalized learning in computer engineering. In 2022 IEEE Global Engineering Education Conference (EDUCON) (pp. 1346-1354). IEEE.
- Mejorar la motivación, proactividad y satisfacción de los alumnos y su implicación en el proceso de aprendizaje, promoviendo su asistencia regular y continuada a las sesiones presenciales de las diferentes asignaturas participantes, gracias a nuevos mecanismos que doten de valor e interés a dichas sesiones
- Mejorar el interés de los estudiantes por las asignaturas, contenidos y conocimientos más abstractos, integrando elementos propios de las metodologías de gamificación (que tan buenos resultados han reportado en contextos similares)
- Mejorar los resultados académicos de los estudiantes, animándolos a alcanzar la excelencia mediante un sistema de “evaluación continua” innovador, que promueva un aprendizaje activo, la creatividad y el espíritu crítico.
- Mejorar la adquisición de competencias y resultados de aprendizaje pertenecientes a los niveles inferiores de la taxonomía de Bloom, gracias a la introducción de elementos innovadores en el proceso de evaluación (como chatGPT) hacia los que los estudiantes sienten un interés natural, y por los que existe una curiosidad y un deseo de exploración proactivo.
- Promover un aprendizaje y trabajo transversal, que permita a los alumnos analizar retos o problemas desde diferentes puntos de vista
- Mejorar la adquisición de competencias transversales por parte de los alumnos (creatividad, trabajo en equipo, pensamiento crítico, etc.)
Con este proyecto se pretende, en general, mejorar el desempeño de la evaluación en asignaturas cuyo temario y contenido no permite la implementación sencilla de metodologías más próximas al “Learning by Doing” (como el Aprendizaje Basado en Proyectos). Este nuevo esquema de evaluación esperamos que responda a las demandas y visión de los alumnos, satisfaga sus expectativas y necesidades, y les permita mejorar sus resultados. De forma más concreta, evaluaremos nuestra contribución a este objetivo y a la mejora de la calidad mediante las siguientes métricas:
- Mejorar los indicadores de las asignaturas implicadas (del área de redes y seguridad en esta primera experiencia piloto), especialmente en programas de grado y con muy especial atención a la tasa de éxito, tasa de asistencia y a la tasa de abandono (ahora mismo, bastante deterioradas).
- Mejorar los resultados académicos de los estudiantes en las diferentes asignaturas involucradas, con especial atención a la calificación media y máxima (buscando que los estudiantes luchen por la excelencia y no alcanzar la calificación mínima exigida)
- Mejorar la satisfacción de los estudiantes en las asignaturas afectadas, según las encuestas semestrales llevadas a cabo por la Universidad Politécnica de Madrid. En especial el desempeño en las sesiones presenciales y la utilidad de los conocimientos adquiridos.
- Reducir la dispersión de los resultados académicos y de logro en las asignaturas como síntoma de una mayor homogeneidad y una mejor atención general al estudiantado acorde a su perfil e intereses.
- Aumentar el nivel de adquisición de las competencias y resultados de aprendizaje de las distintas asignaturas. Para ello, se utilizarán batallas con iteraciones continuas de análisis, diseño, prototipado y validación, en las que los alumnos deben emplear de forma sucesiva todas las competencias de la asignatura.
- Mejorar el aprendizaje transversal de los estudiantes, medido como su capacidad para aplicar las competencias adquiridas en diferentes escenarios y de forma colaborativa con alumnos con diferente formación. Para implementar esta mejora, se promoverá que los batallas se puedan trabajar en equipos multidisciplinares (donde participen alumnos de distintas titulaciones donde se imparten asignaturas equivalentes)
- Profundizar el trabajo de las competencias transversales propuestas por la Universidad Politécnicas de Madrid
Las fases de desarrollo y sus acciones son las siguientes:
Fase 1: Diseño del entorno de aprendizaje inmersivo y la liga de batallas (6 meses). Durante esta fase, los docentes involucrados y los responsables de las diferentes asignaturas utilizarán este periodo para diseñar las batallas; seleccionarán las pruebas y retos más apropiados para cada asignatura, de acuerdo con el itinerario formativo, perfil y nivel de cada grupo de alumnos. Además, se adaptará la programación de las asignaturas, su evaluación y su guía de aprendizaje, a las propuestas de esta experiencia; como pueda ser el aumento del contenido práctico o las sesiones de discusión y evaluación.
Fase 2: Creación de los materiales de trabajo (2 meses). Durante el tiempo que se extienda esta fase, el equipo docente involucrado creará los materiales docentes necesarios (enunciados, infografías, cuadros sinópticos, videos demostrativos, etc.) para que los alumnos comprendan el funcionamiento de esta nueva modalidad de aprendizaje y evaluación, el formato de las batallas y la manera en que deben analizar, prototipar y validar sus soluciones. También para enriquecer su proceso de pensamiento visual. Durante esta fase, también, se realizará la provisión del material fungible necesario, para el que se solicita financiación (descrito más adelante).
Fase 3: Construcción de los espacios y sistemas de comunicación, pensamiento visual, sistemas de acceso a espacios de trabajo fuera de horario lectivo, y demás logística asociada (1 mes). Durante esta fase se desplegarán los mecanismos logísticos necesarios para dar cabida a la nueva experiencia. Por ejemplo, se adaptarán los espacios Moodle de las asignaturas, se dispondrá de las soluciones de comunicación necesarias (foros, chats, etc.), se generarán sistemas o mecanismos para la reserva de tiempo de trabajo autónomo en el laboratorio, se proveerán pizarras y material para permitir a los alumnos desarrollar y preservar su pensamiento visual (que no sea sobrescrito por otros alumnos, por ejemplo), y (en general) se desplegará toda la logística necesaria para llevar a cabo la experiencia.
Fase 4: Desarrollo de la actividad docente, acorde a la planificación prevista (4 meses). Llegados a este punto, se prevé el comienzo de la actividad docente en el primer semestre del curso 2024/25. Aunque la experiencia piloto continuará durante un periodo mucho más largo (de dos cursos académicos al menos), obtendremos unos resultados preliminares tras los primeros meses de la experiencia con los que poder presentar evidencias y conclusiones a la finalización de este Proyecto de Innovación Educativa. Durante esta fase se desplegarán los mecanismos de seguimiento (ver a continuación), y se aplicarán las medidas correctivas necesarias sobre el diseño inicial previsto durante la Fase 1.
Fase 5: Evaluación y conclusiones (1 mes). Al final del proceso se realizarán las labores de medida y valoración de los indicadores de logro, y la consecución de objetivos y la mejora en la calidad prevista. No obstante, se prevé realizar la experiencia durante al menos dos cursos académicos consecutivos para valorar de manera más adecuada los resultados obtenidos. Se generarán las publicaciones correspondientes para difundir la experiencia.
Para realizar el seguimiento del proyecto se van a implementar ciclos de trabajo de duración semanal o quincenal (según la fase de ejecución en la que nos encontremos), en las que cada profesor participante debe describir los avances realizados desde la última reunión, los posibles inconvenientes encontrados, las correcciones planteadas y una previsión de avances para el periodo siguiente. A fin de poder coordinar las acciones de todo el personal docente involucrado, se emplearán herramientas de gestión como gestión como paneles Kanban, principalmente en formato digital ya que profesores de distintos Centros participan en este proyecto.
Una vez finalizada la experiencia docente piloto, se prevé una fase de evaluación final en la que se evalúe la consecución de objetivos mediante encuestas a profesores y alumnos sobre el desarrollo de la misma. Este último mecanismo de evaluación se desarrollará de forma adicional y al margen de todos los mecanismos, métricas y evidencias de logro oficiales (establecidas por la propia universidad), y por tanto no sesgadas por el propio equipo docente. A saber:
- Encuestas oficiales de la Universidad Politécnica de Madrid
- Resultados académicos del alumnado
- Tasas de éxito, abandono y asistencia
- Resultados de adquisición de competencias
De esta manera, se proporcionarán como evidencias de logro los resultados estadísticos de las encuestas realizadas por los alumnos, así como el resumen estadístico de sus resultados académicos, y los diferentes indicadores de asignatura oficialmente establecidos (tasa de asistencia, abandono, etc.). Se adjuntará, si la legislación lo permite, los resultados particulares de pruebas sobre las competencias adquiridas.
- Materiales de prácticas (guiones, video tutoriales, etc.) asociados a cada una de las prácticas, retos o batallas en cada una de las asignaturas.
- Guiones de práctica para experiencias de “adversarial learning” en la enseñanza de ingeniería.
- Guías de conclusiones, buenas prácticas, recomendaciones, etc. sobre el aprendizaje transversal de los alumnos, la mejora en su satisfacción y el aumento de la percepción de utilidad del aprendizaje
- Informes sobre la experiencia realizada, en formato de artículo científico, resumiendo los resultados obtenidos y las principales conclusiones; así como las líneas de acción futura
Siguiendo con la filosofía abierta y colaborativa propia de la difusión de la innovación (open innovation), todos estos materiales, previa autorización de todos los autores involucrados, podrán ser transferidos, primero a todos los docentes de la UPM que deseen unirse a la experiencia; y posteriormente se valorará una transferencia externa de carácter divulgativo. El objetivo final será que los distintos retos y batallas se enriquezcan de forma progresiva con las aportaciones de otros docentes, empresas, etc.
Todos los productos obtenidos en el proyecto podrán (llegado el caso) ser distribuidos como material divulgativo si todos los autores involucrados así lo autorizan. Además, el equipo docente está abierto a participar en eventos de difusión interna, elaboración de noticias, etc. que se puedan organizar por parte del servicio de Innovación Educativa.
Por otro lado, los resultados del proyecto serán difundidos a través de la realización de comunicaciones en congresos y revistas de prestigio, de ámbito nacional e internacional. La selección particular de las mismas dependerá, mayormente, de la situación editorial que se configure al final de la ejecución del proyecto, buscando siempre el mayor impacto. A modo de ejemplo, se han revisado las siguientes conferencias y revistas:
- International Journal of Emerging Technologies in Learning (iJET): http://www.online-journals.org/index.php/i-jet/
- International Conference of Education, Research and Innovation (INTED): https://iated.org/inted/
- Iberian Conference on Information Systems and Technologies (CISTI): http://cisti.eu/index.php/en/
- International Journal of Engineering Education (IJEE): https://www.ijee.ie/
- Journal of Engineering Pedagogy (iJEP): https://online-journals.org/index.php/i-jep
Se realizarán colaboraciones con varios grupos de investigación de la Universidad Politécnica de Madrid, como el “Grupo de Ingeniería de Redes y Servicios Avanzados de Telecomunicación” (ETSI. Sistemas Informáticos), “Grupo de Aplicación de Telecomunicaciones Visuales” (ETSI. Telecomunicación) o el grupo “MERCATOR: Tecnologías de la GeoInformación y Sistemas Inteligentes” (ETSI. Topografía, Geodesia y Cartografía)
Se realizarán colaboraciones con diferentes escuelas de la UPM (entre las que destacan ETSI. Topografía, Geodesia y Cartografía, ETSI. Telecomunicación y ETSI. Sistemas Informáticos), a fin de poder abordar un aprendizaje y proyecto transversales. Dicha colaboración se sustentará igualmente, en la colaboración de dos Grupos Consolidados de Innovación Educativa (Redes y Servicios de Comunicaciones e INNGEO). Así como de profesores pertenecientes hasta a tres áreas de conocimiento diferentes.
Se colaborará finalmente con personal de la Universidad Alfonso X el Sabio, que también forma parte del equipo docente de este PIE. Esta colaboración es esencial, dado que en esta universidad han desplegado con éxito previamente experiencias de aprendizaje basado en IA (como el Hospital Virtual de Simulación). El asesoramiento y consejos de estos profesores será de utilidad en la Fase 1 de nuestro proyecto.