AI4Teaching: Modelos avanzados de lenguaje para la mejora de la enseñanza universitaria
Co-coordinador(a): JAVIER HUERTAS TATO
memoria >>
Nombre y apellidos | Centro | Plaza * |
ALEJANDRO MARTIN GARCIA | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.CONTR.DOCT. |
ALVARO HUERTAS GARCIA | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | OTROS UPM |
ANGEL PANIZO LLEDOT | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. AYUDANTE |
DAVID CAMACHO FERNANDEZ | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | CATEDRÁTICO UNIVERSIDAD |
JAVIER HUERTAS TATO | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.AYUD.DOCTOR |
María Valero Redondo | Centro fuera de la UPM | OTROS DOCENTES NO UPM |
SERGIO ALEJANDRO D ANTONIO MACEIRAS | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.AYUD.DOCTOR |
VICTOR RODRIGUEZ FERNANDEZ | E.T.S DE ING. DE SISTEMAS INFORMÁTICOS | L.D. PRF.AYUD.DOCTOR |
(para PDI/PAS de la UPM, en el resto de casos no se especifica).
En los últimos años se ha vivido un gran avance en la generación de modelos de Inteligencia Artificial. Generación automática de texto, resumen de largos textos, traducción, clasificación de texto, descripción de imágenes o extracción de palabras son solo algunos ejemplos de las tareas que estos modelos son capaces de realizar hoy en día con gran precisión, generando respuestas coherentes y de gran calidad. Modelos como BERT o GPT-3, capaz de entablar conversaciones realistas con un humano, demuestran el grado de avance ante el que nos encontramos. Sus aplicaciones son prácticamente infinitas y en multitud de dominios: medicina, asistentes inteligentes, coches…
La enseñanza es un terreno más donde estos modelos tendrán un fuerte impacto. Estos modelos se están ya introduciendo en el aula de forma gradual, y provocarán importantes cambios, así como nuevos retos, tanto para el estudiante como para el docente. Su efecto de hecho ya se empieza a notar. Herramientas como GitHub Copilot permiten generar código en base a un comentario con instrucciones de lo que se espera que realice, otros modelos permiten la tarea opuesta, generar documentación a partir de código. Otros modelos trabajan únicamente con lenguaje escrito natural, como Pegasus permiten resumir un gran texto en tan sólo unas pocas líneas. Y no sólo eso, son modelos que trabajan con decenas de idiomas de forma simultánea.
El objetivo principal de este proyecto es profundizar en el uso de estos modelos y analizar el impacto en la enseñanza, así como evaluar las posibilidades existentes para mejorar la calidad de la enseñanza. Lejos de evitar estos modelos, el profesorado debe estar preparado y ser conocedor de las ventajas que aportan. Por ello, es necesario generar nuevos recursos que permitan distinguir las ventajas del uso de estos modelos, así como las posibles vías para su integración en el aula.
Durante el desarrollo del proyecto AI4TEACHING, se realizará todo un conjunto de actividades para poder traer luz a la integración de estos nuevos modelos de Inteligencia Artificial en el aula. Se realizará un análisis de los enfoques existentes, se implementarán nuevos modelos para demostrar su utilidad en casos concretos y se trabajará en divulgar y publicar los resultados obtenidos para ayudar a otros docentes a entender las capacidades que brindan estas nuevas tecnologías, así como para ayudar a integrarlos en el aula.
El desarrollo del proyecto AI4TEACHING persigue los siguientes objetivos
- Análisis del uso actual de modelos de lenguaje en la enseñanza. Se realizará un análisis de los modelos existentes de lenguaje, sus diferentes versiones, las modalidades de la información que tratan (texto, código, imagen, audio, vídeo…) y así como las implicaciones que conllevan en la docencia. El objetivo es conocer hasta qué punto los avances realizados hasta el momento tienen importancia dentro del aula y es importante tenerlos en consideración a la hora de impartir docencia, preparar exámenes, prácticas u otro de tipo de actividades.
- Análisis de las posibilidades actuales y futuras de los modelos de lenguaje. Uno de los objetivos más importantes de este proyecto es observar nuevas posibilidades y opciones de integración de estos nuevos modelos en el aula, analizando las mejoras y beneficios que se podrían obtener. Se analizarán las posibilidades en función del tipo de asignatura, del tipo de resultados esperados de los alumnos y prestando atención a aquellos aspectos docentes donde sea más evidente una mejora, como puede ser la captación de la atención de los estudiantes y aumentar su motivación.
- Implementación de modelos para la ayuda al docente. En función de aquellas tareas donde se observe un mayor beneficio de la aplicación de modelos de lenguaje, se realizará una aproximación mediante la aplicación de modelos existentes, observando los resultados obtenidos. El objetivo principal es poder recuperar información directa sobre los beneficios de la integración y uso de estos modelos en la enseñanza.
- Elaboración de guías para adoptar modelos de lenguaje en la enseñanza. El principal resultado del proyecto AI4TEACHING será desarrollar y aportar conocimiento para la comunidad docente con el fin de facilitar el uso de estas tecnologías, fomentar su interés en las mismas, así como para concienciar de las implicaciones que tienen estos modelos.
- Elaboración de guías de buenas prácticas para la utilización responsable de la IA. Por último, el proyecto generará un conjunto de buenas prácticas a la hora de la utilización de estos modelos por parte de los profesores, el profesor debe ser consciente de los posibles sesgos que estos modelos pueden tener y conocer tanto los riesgos como las limitaciones de los mismos.
Los objetivos del proyecto AI4TEACHING persiguen obtener un mayor conocimiento de tecnologías muy recientes y sobre cómo se pueden integrar en el aula para lograr una mejora en los resultados obtenidos por los estudiantes, un mayor conocimiento de tecnologías actuales por parte de ellos y de cómo pueden ser utilizadas de forma ética y responsable. El proyecto intentará arrojar luz sobre cómo tendrán que adaptarse los mecanismos de evaluación en los próximos años para poder evaluar de forma justa y adecuada los conocimientos y habilidades adquiridas por parte de los alumnos.
De forma más concreta, el uso de modelos de lenguaje traerá importantes beneficios en la docencia, como puede ser la generación de un mayor número de recursos de forma más eficiente, la mejora en la autoevaluación por parte de los alumnos de sus conocimientos o mejoras para el profesorado, como ayudas a la hora de evaluar trabajos.
Debido al enfoque de este proyecto, la contribución esperada no se centrará únicamente en las asignaturas en las que participa el profesorado de este proyecto. Lo que se persigue es generar conocimiento amplio y útil para el profesorado en general.
Por último, y dada la proliferación de este tipo de algoritmos y modelos en los sistemas de información actuales, los usuarios finales podrán ser conscientes del riesgo potencial (en forma de sesgos inesperados) que este tipo de modelos tiene, permitiéndoles una mejor utilización de esta tecnología.
Titulación/es Grado: | GRADO EN INGENIERIA DE COMPUTADORES |
Titulación/es Máster: |
MASTER UNIVERSITARIO EN CIBERSEGURIDAD |
Nº de Asignatura/s: | 10 |
Centro/s de la UPM: |
|
El trabajo a realizar en el proyecto se ha dividido en 3 fases principales:
- Fase I: Análisis de tecnología existente y sus implicaciones y posibilidades en el aula.
En la actualidad, el desarrollo de modelos de lenguaje basados en tecnología de Inteligencia Artificial se encuentra muy avanzado. Existen modelos disponibles para realizar una gran cantidad de tareas. Por ello, el primer paso consistirá en hacer una evaluación de toda la tecnología existente en esta línea. Se analizarán cuáles de estas tecnologías juegan o pueden jugar un papel importante en la enseñanza, ya sea para la ayuda al docente a la hora de realizar sus actividades o como ayuda al estudiante para realizar determinadas tareas (evaluando si es una ayuda legítima y sus efectos en la evaluación del alumnado). Además, también será necesario evaluar la posibilidad de incluir el uso de estos modelos como una nueva capacidad del estudiante. Así, en asignaturas de programación o la Inteligencia Artificial, el papel de estos modelos es cada vez más importante, resultado evidente la necesidad de los alumnos de conocer estas nuevas tecnologías y ser capaces de utilizarlas.
- Fase II: Implementación y evaluación de enfoques basados en el uso de modelos de lenguaje.
En esta segunda fase el objetivo es realizar tareas concretas para obtener información de primera mano de las capacidades de estos modelos, sus posibilidades en el aula, sus limitaciones, así como los posibles problemas que puedan surgir debido a su uso.
Esta implementación se llevará a cabo siguiendo dos vías de trabajo fundamentalmente. En una de ellas, el objetivo es observar y evaluar el papel de este tipo de modelos en asignaturas de programación y relacionadas a estas, así como en otras donde también sean de aplicación este tipo de modelos de lenguaje. Esto permitirá conocer hasta qué punto estos nuevos modelos pueden ser utilizados por parte de los estudiantes para automatizar la realización de ciertas tareas, lo cual supone un elemento de gran importancia y que debe ser tenido en cuenta. En segundo lugar, la implementación de estos modelos también se realizará para evaluar su impacto en la evaluación de tareas de forma automática.
- Fase III: Generación de contenido y divulgación.
El objetivo más importante de este proyecto es arrojar luz sobre el uso de estos nuevos modelos de lenguaje y su papel en la enseñanza. Se realizarán distintas publicaciones encaminadas a ofrecer a docentes de muy diversas áreas nuevo conocimiento acerca del uso de estos modelos, sobre su uso, las posibilidades para el docente y el alumno, así como de los riesgos que deben ser tenidos en consideración. También se generarán guías de buenas prácticas y recomendaciones responsables sobre la utilización de esta tecnología.
El seguimiento del proyecto se realizará fundamentalmente mediante la evaluación de los resultados de cada una de las fases. Así, se espera un completo análisis de la literatura tras finalizar la Fase I, donde se muestren las posibilidades ya estudiadas del uso de estos modelos y sus posibilidades futuras dentro del aula. Posteriormente, y como resultado de la Fase II, se evaluarán los enfoques implementados, destinados a mostrar ejemplos concretos de la aplicación de estos enfoques dentro del aula. Finalmente, en la Fase III se analizarán todas las publicaciones y guías generadas, encaminadas a ofrecer a los docentes un mayor conocimiento relacionado con las aplicaciones, posibilidades y riesgos del uso de modelos de lenguaje en aula.
- Publicación de artículos en revistas de investigación educativa. Se intentará maximizar la publicidad del proyecto mediante publicaciones en revistas importantes del ámbito de la investigación educativa mostrando los resultados obtenidos.
- Se atenderán y enviarán resultados a congresos especializados del área. Además de revistas, también se propondrán ponencias y se enviarán artículos a congresos del área de la investigación educativa.
- Publicación de los modelos y enfoques implementados durante el proyecto. Se publicarán aquellos resultados derivados de la implementación de enfoques concretos para mostrar la aplicación de modelos de lenguaje en la enseñanza.
- Publicación de una guía de buenas prácticas y utilización responsable de la IA. Se publicarán un conjunto de recomendaciones, basadas en la experiencia, relativa a los riesgos de la mala praxis o utilización de la IA, así como de la utilización responsable de esta tecnología.
- Se trabajará tanto con el departamento de comunicación de la Universidad Politécnica de Madrid y también con la propia Escuela Técnica Superior de Ingeniería de Sistemas Informáticos para dar publicidad al proyecto
- Se construirá una página web mostrando todos los resultados del proyecto y para dar publicidad al mismo.
- Se elaborará una memoria final
Se realizarán colaboraciones con la Universidad de Córdoba para analizar el uso de modelos de lenguaje en asignaturas de carreras de distintas áreas.