El proyecto de innovación educativa tiene como objetivo la implementación de asistentes virtuales basados en Inteligencia Artificial (IA) en el ámbito de las asignaturas de Fundamentos de Programación en la Escuela Técnica Superior de Ingenieros Industriales (ETSII) de la Universidad Politécnica de Madrid (UPM). A través de esta experiencia, se aplicarán tecnologías de IA avanzadas, en concreto Modelos de Lenguaje Grandes (LLMs), para proporcionar una evaluación automatizada, personalizada y rápida de las prácticas de programación de los estudiantes de tres grados: Ingeniería de Organización, Ingeniería Química e Ingeniería de Tecnologías Industriales.

La experiencia constará de seis sesiones de laboratorio de programación en las que los estudiantes trabajarán en la resolución de ejercicios prácticos. Durante las primeras prácticas, el proceso de evaluación seguirá los métodos tradicionales, es decir, sin intervención de IA. A partir de la tercera práctica, se introducirá un asistente virtual que evaluará automáticamente las entregas de código de los estudiantes, proporcionando feedback personalizado en tiempo real. Este feedback incluirá tanto una puntuación cuantitativa como comentarios cualitativos sobre los errores, sugiriendo mejoras y corrigiendo posibles errores lógicos, de sintaxis y de buenas prácticas en el código.

El feedback automatizado se diseñará para que se perciba como si proviniera de un asistente humano, con el fin de ofrecer una experiencia más cercana y empática para los estudiantes, ayudándoles a identificar áreas de mejora en sus soluciones de programación. Además, los estudiantes recibirán el feedback en un periodo de tiempo muy corto tras cada entrega, lo que les permitirá corregir y mejorar su código de forma más eficiente durante el desarrollo de las prácticas.

La finalidad principal de esta experiencia es mejorar la calidad del aprendizaje de los estudiantes al proporcionarles una retroalimentación inmediata y personalizada, reduciendo la carga de trabajo del profesorado en el proceso de corrección y evaluación. Con ello se busca:

1. Optimizar el proceso de evaluación: Gracias al uso de IA, el proyecto persigue crear un sistema escalable y eficiente para evaluar las entregas de código, permitiendo una retroalimentación oportuna sin depender de los tiempos de corrección manual por parte de los profesores.
2. Mejorar el rendimiento académico: Al recibir un feedback inmediato y personalizado sobre sus errores, los estudiantes podrán corregir sus soluciones de programación y mejorar su comprensión de los conceptos de programación a lo largo del curso. Esto permitirá un aprendizaje más profundo y una mayor retención de los contenidos.
3. Evaluar el impacto de la IA en el aprendizaje: Se realizará una comparación entre las primeras prácticas (sin feedback automatizado) y las últimas (con feedback basado en IA), mediante una encuesta final que medirá el impacto percibido por los estudiantes en su aprendizaje y en la calidad del feedback recibido.

En última instancia, este proyecto busca demostrar cómo la aplicación de la IA en la educación puede transformar el proceso de enseñanza-aprendizaje en áreas técnicas como la programación, haciéndolo más efectivo, accesible y personalizado para cada estudiante.

El proyecto tiene como propósito principal mejorar el proceso de enseñanza-aprendizaje en las asignaturas de Fundamentos de Programación mediante la incorporación de Inteligencia Artificial (IA) para la evaluación automatizada y personalizada. Los objetivos específicos que se pretenden alcanzar son los siguientes:

1. Implementar un sistema de evaluación automatizada basado en IA:

Desarrollar e integrar un asistente virtual que utilice Modelos de Lenguaje Grandes (LLMs) para evaluar las entregas de código de los estudiantes, proporcionando una puntuación cuantitativa y comentarios cualitativos de forma rápida y precisa.

2. Proporcionar feedback personalizado y en tiempo real:

Garantizar que los estudiantes reciban una retroalimentación inmediata y ajustada a sus errores específicos en cada práctica, lo que les permitirá corregir y mejorar sus soluciones de programación de manera más eficiente durante el proceso de aprendizaje.

3. Reducir la carga de trabajo del profesorado en la evaluación:

Disminuir el tiempo y esfuerzo dedicados a la corrección manual de ejercicios de programación, optimizando los recursos docentes al permitir que los profesores se enfoquen en tareas más estratégicas y pedagógicas, como el diseño de actividades o el apoyo a estudiantes con dificultades particulares.

4. Evaluar el impacto del feedback automatizado en el rendimiento de los estudiantes:

Medir, a través de encuestas y análisis comparativos, el impacto que tiene la introducción del feedback automatizado en el rendimiento académico y la experiencia de los estudiantes, comparando los resultados de las prácticas sin IA con aquellas donde se implementa el asistente virtual.

5. Fomentar la mejora continua en el aprendizaje de la programación:

Facilitar que los estudiantes puedan aprender de sus errores de manera más efectiva, proporcionando orientaciones claras y detalladas que les ayuden a comprender mejor los conceptos de programación y mejorar sus habilidades prácticas.

6. Explorar el potencial de la IA para mejorar la enseñanza de la programación:

Investigar cómo las nuevas tecnologías de IA pueden aplicarse de manera efectiva en el contexto educativo, abriendo el camino a futuras aplicaciones en la automatización de tareas educativas y evaluando su viabilidad y eficacia en entornos académicos técnicos.

7. Promover un aprendizaje más autónomo y autodirigido:

Fomentar que los estudiantes se responsabilicen de su propio proceso de aprendizaje, ya que el feedback rápido y detallado les permitirá identificar áreas de mejora y avanzar en su aprendizaje sin depender exclusivamente de la intervención del profesor.

8. Garantizar la equidad en la evaluación:

Asegurar que todos los estudiantes sean evaluados de manera justa y uniforme mediante un sistema automatizado, minimizando posibles sesgos subjetivos y asegurando una evaluación objetiva y consistente para cada entrega de código.

En resumen, el proyecto pretende combinar las ventajas de la IA y los modelos de lenguaje con los procesos educativos tradicionales para mejorar la calidad de la enseñanza de la programación, promoviendo un aprendizaje más personalizado, eficaz y eficiente.

La propuesta de implementación de asistentes virtuales basados en IA para la evaluación automatizada y personalizada en las asignaturas de Fundamentos de Programación tiene el potencial de contribuir significativamente a la mejora de los resultados académicos de los estudiantes, así como a la resolución de varias deficiencias comunes en el proceso de enseñanza-aprendizaje. A continuación, se detallan los aspectos clave en los que la propuesta puede generar impacto:

1. Feedback inmediato y continuo: Una de las principales deficiencias en los entornos educativos tradicionales es la falta de retroalimentación rápida. En muchos casos, los estudiantes reciben sus correcciones y comentarios varios días (o incluso semanas) después de la entrega, lo que ralentiza su capacidad de aprender de sus errores y mejorar de manera oportuna. Con el sistema propuesto, los estudiantes recibirán feedback en tiempo real, lo que les permitirá ajustar sus soluciones rápidamente, consolidar conceptos y mejorar progresivamente a lo largo del curso.
2. Mejora en la comprensión de conceptos: El asistente virtual proporcionará comentarios personalizados que no solo se limitarán a identificar errores, sino que ofrecerán explicaciones claras sobre los fallos cometidos y sugerencias de mejora. Esto fomentará una mejora continua en la comprensión de los conceptos de programación, permitiendo que los estudiantes corrijan malos hábitos o errores recurrentes desde el inicio del curso.
3. Reducción de la carga del profesorado: La corrección manual de ejercicios de programación puede ser muy demandante en términos de tiempo, especialmente en grupos grandes. Esto puede llevar a retrasos en la devolución de las evaluaciones y limitaciones en la calidad del feedback proporcionado. Al automatizar este proceso, el profesorado podrá dedicar más tiempo a actividades de mayor valor añadido, como ofrecer apoyo personalizado a los estudiantes que lo requieran o diseñar actividades de mayor complejidad, mejorando así la calidad global de la enseñanza.
4. Personalización del aprendizaje: El feedback generado por el asistente virtual se ajustará a cada estudiante, proporcionándole orientaciones específicas según su nivel de competencia y los errores que cometa. Esta personalización del proceso de aprendizaje permitirá que los estudiantes con diferentes niveles de conocimiento y habilidades reciban un apoyo adecuado a sus necesidades, promoviendo un avance académico más equilibrado y efectivo.
5. Fomento de la autonomía en el aprendizaje: Al recibir retroalimentación rápida y detallada, los estudiantes tendrán la posibilidad de aprender de manera autónoma y tomar el control de su propio progreso. Esto favorecerá el desarrollo de habilidades de autoevaluación y autogestión, competencias clave en el entorno educativo moderno, que a menudo están poco desarrolladas en los enfoques tradicionales.
6. Identificación temprana de dificultades: El sistema automatizado permitirá identificar rápidamente a los estudiantes que presenten dificultades persistentes en sus prácticas de programación. Esta detección temprana permitirá a los profesores intervenir de manera más rápida y efectiva, proporcionando ayuda adicional a aquellos estudiantes que lo necesiten, lo que puede evitar que acumulen retrasos y mejorar su rendimiento académico general.
7. Incremento de la motivación y la satisfacción de los estudiantes:La capacidad de recibir feedback inmediato y ver una mejora tangible en sus resultados puede aumentar la motivación de los estudiantes. Al sentirse apoyados por un sistema que responde a sus necesidades y que les proporciona orientación constante, es probable que experimenten una mayor satisfacción con el proceso de aprendizaje, lo que podría traducirse en mayores tasas de éxito y retención.
8. Mejora en la evaluación de habilidades prácticas: Al proporcionar un sistema de evaluación automatizada que se centra en aspectos como la corrección lógica, buenas prácticas de codificación y la eficiencia del código, se mejorará la evaluación de las habilidades prácticas de los estudiantes. El sistema no solo evaluará la capacidad de resolver un problema, sino también cómo lo hacen, lo que fomentará un enfoque más integral y profesional en el aprendizaje de la programación.

Resolución de Deficiencias:

• Lentitud en la retroalimentación tradicional: Al proporcionar feedback casi inmediato, el sistema soluciona la problemática de la retroalimentación tardía que a menudo impide que los estudiantes mejoren en el tiempo necesario para una evaluación acumulativa.
• Falta de personalización en la enseñanza: El asistente virtual permitirá ofrecer comentarios específicos y personalizados, adaptando el apoyo a las necesidades individuales de los estudiantes.
• Sobrecarga de los docentes: La automatización de tareas repetitivas como la corrección de ejercicios liberará tiempo para que los profesores se concentren en aspectos más importantes del proceso educativo, mejorando la calidad general de la enseñanza.
• Desigualdad en la evaluación: El uso de IA garantizará una evaluación objetiva y coherente para todos los estudiantes, evitando sesgos involuntarios que pueden surgir en las correcciones manuales.

En resumen, esta propuesta no solo contribuye a la mejora directa de los resultados académicos de los estudiantes al optimizar el feedback y la evaluación, sino que también resuelve deficiencias estructurales del sistema educativo tradicional, particularmente en la enseñanza de habilidades prácticas como la programación.

FASES:

1. Estudio de tecnologías: Análisis detallado del artículo y sus tecnologías.
2. Revisión bibliográfica: Investigación pedagógica y experiencias similares.
3. Preparación de la plataforma: Ajustes, pruebas y testeo de la plataforma.
4. Implementación: Desarrollo de prácticas, mejoras continuas y recolección de datos.
5. Análisis y discusión: Evaluación de resultados con alumnos y profesores.

Fases del Proyecto y Acciones en Orden Cronológico

1. Estudio en Profundidad de las Tecnologías a Emplear

• Acción: Análisis detallado de las tecnologías disponibles, así como de la bibliografía citada en el mismo.
• Objetivo: Comprender el funcionamiento de los Modelos de Lenguaje Grandes (LLMs) y su aplicación en la evaluación automatizada de código, con el fin de adaptar estos avances a la asignatura de Fundamentos de Programación.

2. Revisión Bibliográfica en Innovación Docente y Retroalimentación

• Acción: Realizar una búsqueda exhaustiva de literatura relacionada con la didáctica y innovación docente en torno a la provisión de feedback educativo eficaz. Examinar estudios sobre los requisitos para un buen feedback, su impacto en el alumnado y analizar experiencias similares si es que existieran en otros centros o universidades.
• Objetivo: Asegurar que la implementación tecnológica esté alineada con las mejores prácticas pedagógicas en cuanto a la retroalimentación personalizada y su impacto positivo en el proceso de aprendizaje.

3. Preparación de la Plataforma y Fase de Pruebas

• Acción: Ajustar y preparar la plataforma digital que se usará para la realización masiva de las prácticas de programación, basada en el prototipo diseñado en un Trabajo de Fin de Grado (TFG) desarrollado por un estudiante del Grado en Ingeniería de Organización durante el curso 2023/24. Esta plataforma fue evaluada con una calificación de 9,8. Se realizarán pruebas técnicas y tests piloto con un grupo reducido de alumnos para asegurar su correcto funcionamiento.
• Objetivo: Garantizar que la plataforma esté preparada para soportar la carga de trabajo de todos los estudiantes matriculados en la asignatura, proporcionando un entorno robusto y funcional.

4. Implementación en el Periodo Académico

• Acción: Implementar el uso de la plataforma en las prácticas de programación a lo largo del curso académico. Las prácticas se desarrollarán dentro de la plataforma, y se realizarán mejoras continúas basadas en la retroalimentación de los estudiantes y los resultados obtenidos en las diferentes sesiones de laboratorio. Se recopilarán datos tanto sobre el rendimiento de la plataforma como sobre la experiencia de los alumnos con la herramienta.
• Objetivo: Asegurar una implementación efectiva de la herramienta, obteniendo resultados iniciales que permitan ajustar la experiencia en tiempo real.

5. Análisis de Resultados y Discusión

• Acción: Analizar los resultados obtenidos durante la implementación. Este análisis se complementará con la realización de focus groups con alumnos para obtener su retroalimentación cualitativa, así como con reuniones de discusión con los profesores encargados de la asignatura teórica.
• Objetivo: Evaluar el impacto de la herramienta en el rendimiento académico, la calidad del feedback percibido por los alumnos y su efecto en el proceso de aprendizaje. Asimismo, recoger recomendaciones para posibles mejoras.

6. Conclusiones y Difusión

• Acción: Elaborar un informe final con los resultados obtenidos, las conclusiones del estudio y propuestas de futuro desarrollo. Además, se procederá a la difusión de los resultados mediante la redacción de dos artículos científicos: uno centrado en las mejoras tecnológicas empleadas en la plataforma, y otro sobre la innovación educativa y las valoraciones de los alumnos. Asimismo, se promoverá la asistencia a congresos tanto tecnológicos como educativos para compartir los resultados.
• Objetivo: Dar a conocer los hallazgos del proyecto, contribuyendo al avance de la tecnología educativa y promoviendo el debate sobre el impacto de la inteligencia artificial en la enseñanza de programación.

El seguimiento del proyecto y la medición de los resultados se realizarán mediante los siguientes procedimientos:

1. Implementación y Desarrollo de la Plataforma

• Seguimiento: Pruebas técnicas continuas y revisiones del funcionamiento de la plataforma. Registro de incidencias y mejoras implementadas.
• Evidencias: Informes de funcionamiento y documentación de pruebas realizadas.

2. Recopilación de Datos durante las Prácticas

• Seguimiento: Monitoreo del uso de la plataforma, número de entregas, tiempos de feedback y rendimiento de los estudiantes.
• Evidencias: Datos sobre entregas, evaluaciones automatizadas, y resultados académicos antes y después de implementar el asistente.

3. Encuestas y Focus Groups

• Seguimiento: Encuestas de satisfacción y focus groups con estudiantes y profesores para recoger sus impresiones y sugerencias.
• Evidencias: Resultados de encuestas y análisis cualitativo de los focus groups.

4. Análisis Comparativo de Resultados Académicos

• Seguimiento: Comparación de notas y análisis de la evolución del rendimiento en las prácticas con y sin el asistente virtual.
• Evidencias: Gráficos comparativos y análisis de resultados académicos.

5. Reuniones con el Equipo Docente

• Seguimiento: Reuniones periódicas con los profesores para evaluar el impacto del proyecto y ajustar la estrategia.
• Evidencias: Actas de reuniones y recomendaciones de mejora.

6. Evaluación Final y Elaboración del Informe

• Seguimiento: Evaluación global de los resultados y redacción de un informe final con conclusiones y propuestas de futuro.
• Evidencias: Informe final con conclusiones, análisis de impacto y artículos científicos para difusión en congresos y publicaciones.

Evidencias de Logro:

1. Informes de pruebas y funcionamiento de la plataforma.
2. Datos cuantitativos sobre entregas, evaluaciones y rendimiento académico.
3. Resultados de encuestas y focus groups.
4. Análisis comparativo de resultados académicos.
5. Informe final y artículos científicos para la difusión de los resultados.

Aunque es ambicioso, pero los posibles productos que se pueden obtener del proyecto son:

1. Plataforma de Evaluación Automatizada con IA
   • Descripción: Plataforma tecnológica basada en IA para la corrección automática de ejercicios de programación, capaz de generar feedback personalizado en tiempo real. La plataforma estará diseñada para su uso masivo en entornos educativos.
   • Potencial de Transferencia:
     • Interna UPM: Se puede expandir a otras facultades de la UPM, aplicándola en más asignaturas de programación o en cualquier materia que requiera evaluación de tareas prácticas.
     • Externa: Instituciones educativas podrán adaptar o replicar la plataforma para sus propios contextos formativos, con posibles colaboraciones interuniversitarias para su implementación.
2. Informe Final con Resultados y Análisis
   • Descripción: Documento detallado que incluirá los resultados del proyecto, análisis del impacto en el rendimiento académico, mejoras detectadas y recomendaciones de uso futuro. Este informe servirá como referencia para el uso de IA en la educación.
   • Potencial de Transferencia:
     • Interna UPM: El informe permitirá que otras asignaturas en la UPM exploren el uso de la IA para mejorar sus procesos de enseñanza y evaluación.
     • Externa: Podrá ser utilizado como referencia para la creación de proyectos similares en otras universidades o como base para la colaboración en congresos educativos.
3. Recursos Educativos para Estudiantes
   • Descripción: Materiales didácticos generados por la plataforma (feedback personalizado, explicaciones de errores, guías de corrección) que podrán servir como recursos para el aprendizaje autónomo de los estudiantes.
   • Potencial de Transferencia:
     • Interna UPM: Estos recursos pueden ser reutilizados en diversas asignaturas, facilitando el aprendizaje personalizado de los estudiantes en distintas áreas.
     • Externa: Instituciones interesadas en implementar prácticas de aprendizaje autónomo y personalizado podrán utilizar estos recursos como modelo.
4. Artículos Científicos y de Innovación Educativa
   • Descripción: Publicación de artículos que presenten los avances tecnológicos del proyecto, así como el impacto pedagógico de la IA en la enseñanza de la programación. Estos artículos estarán orientados a difundir los resultados en la comunidad académica.
   • Potencial de Transferencia:
     • Interna UPM: Los artículos podrían inspirar otros proyectos de innovación educativa en la UPM.
     • Externa: La publicación en revistas científicas y la presentación en congresos permitirá que otras universidades adopten o adapten las tecnologías y metodologías descritas.

Potencial de Transferencia Interna y Externa

• Interna UPM: Los productos tangibles resultantes del proyecto podrán ser integrados en diversas asignaturas y grados de la UPM, extendiendo la aplicación de la IA en otras áreas de conocimiento, potenciando el aprendizaje autónomo y optimizando las tareas de evaluación.
• Externa: La metodología, plataforma e informes podrán ser replicados en otras universidades e instituciones educativas que busquen implementar soluciones similares, fomentando la colaboración interuniversitaria y la expansión del uso de la IA en la educación.

Se podrá llegar a elaborar el siguiente material divulgativo para difundir los resultados del proyecto:

1. Artículo Científico: Publicación en revistas especializadas sobre el impacto del uso de IA en la evaluación educativa y mejoras tecnológicas implementadas.
2. Noticia para la UPM: Nota informativa para la página web de la UPM y boletines internos, destacando los logros del proyecto y su impacto en la enseñanza.
3. Vídeo Divulgativo: Vídeo corto explicativo sobre el funcionamiento de la plataforma de evaluación automatizada y los beneficios del feedback personalizado.
4. Página Web del Proyecto y del de la unidad docente o la UPM: Plataforma online que incluirá detalles del proyecto, resultados obtenidos, y acceso a recursos educativos y guías metodológicas.

Este material estará dirigido tanto a la comunidad educativa de la UPM como a otras instituciones interesadas en la innovación docente.