Este Proyecto de Innovación Educativa (PIE) busca transformar la experiencia de evaluación en nuestras aulas, ofreciendo a los estudiantes un enfoque más dinámico y personalizado para medir y progresar en su comprensión y dominio de los contenidos impartidos en una asignatura. Nuestra propuesta se centra en la implementación de una solución innovadora para la creación automatizada de cuestionarios educativos a partir del material docente, haciendo uso de técnicas avanzadas de Inteligencia Artificial basadas en el Procesamiento de Lenguaje Natural (PLN) y Aprendizaje Automático (AA). El sistema de evaluación no solo permite aumentar la frecuencia de las evaluaciones, sino que también adapta la dificultad de las preguntas en función de los resultados obtenidos por los estudiantes, logrando así implementar un aprendizaje adaptativo que está personalizado a la situación en el proceso de aprendizaje de cada estudiante.

En este contexto, los estudiantes tendrán la posibilidad de realizar evaluaciones más frecuentes, proporcionándoles no solo una herramienta de medición, sino también una oportunidad continua para reflexionar sobre su aprendizaje, ya que junto con los resultados se proporcionan extractos de contenido con la respuesta correcta. El aspecto más innovador radica en la adaptabilidad del sistema, que analizará detalladamente los resultados para identificar aquellos conceptos que necesitan más atención.

El sistema no se limitará a proporcionar calificaciones; irá más allá al ajustar la dificultad de las siguientes evaluaciones según las áreas específicas que hayan presentado desafíos. Aquellos conceptos que hayan demostrado estar sólidamente asimilados se incorporarán a evaluaciones con menor dificultad, permitiendo a los estudiantes enfocarse en consolidar su comprensión en áreas que lo requieran.

Además, el sistema se distingue por su capacidad para identificar y corregir posibles deficiencias en el aprendizaje de los estudiantes. Al proporcionar retroalimentación instantánea y detallada sobre cada respuesta, el sistema no solo evalúa el desempeño del estudiante, sino que también señala específicamente los conceptos que podrían necesitar una revisión adicional. Este enfoque proactivo hacia la identificación de deficiencias permite a los educadores y estudiantes abordar las áreas problemáticas de manera inmediata, facilitando un proceso de aprendizaje más eficiente y personalizado.

Este enfoque innovador no solo enriquecerá la práctica docente, sino que también empoderará a los estudiantes al proporcionarles un papel activo en su proceso de aprendizaje. Al integrar este sistema en nuestras prácticas educativas, aspiramos a crear un entorno más dinámico, centrado en el estudiante y adaptable, que fomente el crecimiento continuo y la comprensión profunda de los contenidos.

1. Automatización de la Generación de Cuestionarios: Implementar un sistema que pueda analizar el material docente, identificar conceptos clave y generar cuestionarios que evalúen de manera efectiva la comprensión del estudiante.
2. Adaptabilidad y Personalización: Desarrollar algoritmos de Aprendizaje Automático que se adapten al nivel de aprendizaje de cada estudiante, generando cuestionarios que se ajusten a sus necesidades específicas, fomentando así un aprendizaje más personalizado.
3. Retroalimentación Instantánea: Integrar un sistema de retroalimentación automática que proporcione explicaciones detalladas sobre las respuestas correctas e incorrectas, facilitando el aprendizaje continuo y la corrección de conceptos erróneos.
4. Validación: Evaluar la efectividad y aplicabilidad del sistema desarrollado a través de experiencias prácticas con estudiantes de diversas asignaturas de Grado y Máster ( aproximadamente 600 estudiantes). Esta validación multidisciplinaria permitirá no solo evaluar la efectividad del sistema, sino también identificar posibles deficiencias en el aprendizaje de los estudiantes.

Este nuevo sistema de evaluación fomenta evaluaciones más frecuentes y adaptativas al estudiantado. Al permitir evaluaciones más frecuentes, los estudiantes tienen la oportunidad de identificar y abordar rápidamente áreas de dificultad, facilitando una corrección proactiva antes de las evaluaciones formales. La adaptabilidad del sistema, ajustando la dificultad según los resultados, permite una focalización precisa en los conceptos que presentan desafíos, fortaleciendo la comprensión y reduciendo las deficiencias (aprendizaje adaptativo). Este enfoque centrado en el estudiante contribuye a un aprendizaje más personalizado y autónomo, lo que, en última instancia, esperamos que se traduzca en una mejora significativa de los resultados académicos y en la superación de las deficiencias identificadas.

El proyecto está compuesto por las siguientes fases, acciones, y duración estimada en meses (la colaboración de becarios no está incluida a priori en esta planificación).

Fase 1: Planificación (Meses 1-2)

• Definición de Objetivos Detallados: Refinar y detallar los objetivos del proyecto, identificando métricas específicas de éxito.
• Revisión de Literatura y Tecnologías: Investigar y revisar las últimas tendencias en Procesamiento del Lenguaje Natural (PLN) y Aprendizaje Automático (AA)    , identificando las herramientas y tecnologías más adecuadas para el proyecto.
• Formación del Equipo: Proporcionar capacitación a los miembros del equipo en las tecnologías seleccionadas y los conceptos clave de PLN y AA.

Fase 2: Preparación de Datos (Meses 3-4)

• Recopilación y Estructuración de Datos: Recolectar el material docente necesario y estructurarlo en un formato adecuado para el análisis.
• Limpieza de Datos: Eliminar posibles ruido o inconsistencias en el material docente para garantizar la calidad de los resultados.
• División de Conjuntos de Datos: Separar el conjunto de datos en conjuntos de entrenamiento y prueba para evaluar el rendimiento del modelo.

Fase 3: Desarrollo de Modelos (Meses 5-6)

• Entrenamiento de Modelos de Lenguaje: Implementar y entrenar modelos de lenguaje, como GPT, en el conjunto de datos preparado.
• Desarrollo de Algoritmos de Generación de Preguntas: Crear algoritmos que utilicen los modelos de lenguaje para generar preguntas relevantes y desafiantes.
• Integración de Aprendizaje Automático: Implementar algoritmos de AA para personalizar la dificultad de las preguntas y adaptarse al rendimiento del estudiante.

Fase 4: Implementación del Sistema (Meses 7-8)

• Integración de Componentes: Unir los diversos componentes del sistema, asegurando una comunicación eficiente entre ellos.
• Desarrollo de Interfaz de Usuario (UI): Diseñar y desarrollar una interfaz de usuario intuitiva para educadores y estudiantes.
• Pruebas y Ajustes: Realizar pruebas exhaustivas del sistema, ajustando los parámetros según sea necesario para mejorar el rendimiento.

Fase 5: Evaluación y Documentación (Mes 9)

• Validación del Sistema: Realizar una validación integral del sistema mediante experiencias prácticas con estudiantes de diversas asignaturas de Grado y Máster. Recopilar datos de rendimiento y retroalimentación directa de los usuarios para evaluar la efectividad y la adaptabilidad del sistema en entornos académicos reales.
• Identificación de Deficiencias: Analizar los resultados obtenidos de la validación para identificar posibles deficiencias en el aprendizaje de los estudiantes.
• Documentación Completa: Preparar documentación detallada del proyecto, incluyendo manuales de usuario y informes técnicos.
• Presentación de Resultados: Presentar los resultados y hallazgos del proyecto a interesados y partes interesadas.

Esta planificación se ha estructurado considerando una aproximación iterativa, permitiendo ajustes según los hallazgos y cambios en las necesidades del proyecto a lo largo del tiempo.

Procedimiento de Seguimiento del Proyecto:

1. Reuniones de Seguimiento Semanales: Mantener reuniones breves y regulares con el becario para revisar el progreso, discutir posibles desafíos y proporcionar orientación.
2. Bitácora de Progreso: Utilizar una bitácora compartida para documentar diariamente las tareas realizadas, los obstáculos encontrados y cualquier pregunta o inquietud del becario.
3. Revisión Continua del Código: Realizar revisiones periódicas del código desarrollado por el becario para garantizar buenas prácticas de programación y alineación con los objetivos del proyecto.

Medición de Resultados:

1. Desarrollo de Prototipos: Evaluar la calidad y funcionalidad de los prototipos generados por el becario, enfocándose en la capacidad del sistema para generar preguntas relevantes.
2. Iteraciones y Mejoras Continuas: Medir la eficacia de las iteraciones y mejoras implementadas en el proyecto, observando cualquier cambio positivo en las métricas y resultados.
3. Autoevaluación del Becario: Solicitar al becario que realice una autoevaluación regular sobre su comprensión del proyecto, los desafíos enfrentados y las lecciones aprendidas.

Evidencias de Logro en la Memoria Final del Proyecto:

1. Informe de Progreso: Detallar el progreso semanal del becario, resaltando los logros, desafíos y las soluciones implementadas.
2. Demostración de Prototipos: Incluir capturas de pantalla o videos que muestren la funcionalidad de los prototipos desarrollados por el becario.
3. Autoevaluación del Becario: Incluir la autoevaluación del becario, destacando sus contribuciones al proyecto, habilidades adquiridas y áreas de desarrollo.

Esta adaptación simplificada del seguimiento y evaluación refleja la naturaleza más individual del proyecto con un becario y la falta de un cliente externo. La clave sigue siendo garantizar un progreso continuo y la mejora constante a lo largo de las fases del proyecto.

1. Guía Metodológica de Implementación:
   • Descripción detallada de la metodología utilizada en la generación automatizada de cuestionarios, incluyendo pasos, herramientas y consideraciones técnicas.
   • Potencial de Transferencia: Puede ser utilizada como recurso interno para proyectos similares en la UPM y compartida externamente como guía de buenas prácticas en el ámbito de la innovación educativa.
2. Informe Técnico del Proyecto:
   • Documento técnico que presenta los modelos de lenguaje utilizados, los algoritmos de aprendizaje automático implementados y los resultados obtenidos.
   • Potencial de Transferencia: Brinda a otros investigadores y desarrolladores de la UPM una visión detallada de la implementación y resultados, facilitando la replicación y la mejora continua.
3. Prototipo de Sistema:
   • Versión funcional del sistema de generación automatizada de cuestionarios, demostrando la aplicabilidad de la solución propuesta.
   • Potencial de Transferencia: Puede ser utilizado como punto de partida para proyectos futuros o servir como base para el desarrollo de herramientas similares en otras instituciones educativas.
4. Base de Datos Curada:
   • Conjunto de datos preparado y limpio, utilizado para entrenar los modelos de lenguaje y algoritmos de aprendizaje automático.
   • Potencial de Transferencia: Puede ser utilizado como recurso para proyectos relacionados en la UPM y compartido con la comunidad académica como un conjunto de datos valioso para investigaciones similares.

El enfoque estratégico en la documentación y la creación de recursos educativos garantiza que los productos tangibles del proyecto sean accesibles, reproducibles, comprensibles y valiosos tanto para la comunidad interna como para la externa en la UPM.

1. Ámbito Científico:
   • Se pretende publicar un artículo académico detallando la metodología, resultados y conclusiones del proyecto, siguiendo el formato estándar para su posible publicación en revistas especializadas.
   • Dirigido a: Comunidad académica, investigadores y profesionales del ámbito de la educación y la tecnología.
2. Ámbito UPM:
   • Se pretende presentar los resultados obtenidos en el proyecto tanto en las jornadas de innovación educativa que posiblemente organice la UPM, como en otras jornadas de innovación docente a las que sean invitados miembros de este GIE.
   • Dirigido a: Comunidad académica, personal administrativo y estudiantes de la UPM.
3. Ámbito General:
   • Se publicará en la página web del Grupo GIETEMA (implementada mediante el servicio blogs UPM) información sobre los objetivos, metodología, resultados y recursos disponibles para la comuni. Esta documentación tendrá un carácter informativo y estará dirigida tanto a estudiantes como a profesores.
   • Dirigido a: Público general, investigadores, educadores y estudiantes interesados en obtener detalles más amplios sobre el proyecto.

Colaboraciones Específicas y Potencial de Transferencia Interna y Externa:

1. Transferencia Interna (UPM):
   • Otros departamentos y proyectos dentro de la UPM pueden beneficiarse del conocimiento y los recursos generados, particularmente aquellos centrados en la mejora de procesos educativos y la aplicación de tecnologías emergentes.
   • Facilita la colaboración interdisciplinaria, permitiendo a otros investigadores y educadores de la UPM explorar y adaptar la tecnología para sus propios contextos.
2. Colaboración con el GIE de Redes y Servicios de Comunicaciones (UPM):
   • En colaboración con el GIE de Redes y Servicios de Comunicaciones de la ETSISI de la UPM, y más concretamente con Dª. Silvia Uribe Mayoral, se ampliará el alcance del proyecto a un mayor número de asignaturas.
3. Colaboración con el GIE de Desarrollo de nuevas Metodologías de Aprendizaje/Evaluación del Departamento de Informática Aplicada:
   • En colaboración con el GIE de “Desarrollo de nuevas Metodologías de Aprendizaje/Evaluación del Departamento de
     Informática Aplicada” de la ETSISI de la UPM, y más concretamente con D. José Carlos Gamazo Real, se ampliará el alcance del
     proyecto a un mayor número de asignaturas.
4. Colaboración con el Centro de Información y Comunicaciones de la ETSISI (UPM):
   • El Centro de Información y Comunicaciones de la ETSISI jugará un papel fundamental al proporcionar el servidor necesario para alojar la herramienta desarrollada, asegurando así la infraestructura tecnológica necesaria.
5. Colaboración con la ETSISI (UPM):
   • La propia ETSISI se posiciona como un colaborador esencial del proyecto al proporcionar el espacio de trabajo y el equipamiento necesario. Este apoyo institucional garantiza un entorno propicio para que los becarios del proyecto trabajen en el desarrollo de la herramienta.
6. Transferencia Externa:
   • Instituciones educativas externas pueden beneficiarse de la guía metodológica, el informe técnico y los recursos educativos, utilizando el conocimiento y la experiencia de la UPM como referencia.

Posibilita la colaboración y el intercambio de buenas prácticas con otras universidades y organizaciones interesadas en la implementación de soluciones similares en el ámbito de la educación.