INTRODUCCIÓN

La metodología didáctica basada en evaluación continua y aprendizaje activo que se está desarrollando en los nuevos planes de estudio, conlleva la no disociación entre el profesor y el alumno en el proceso de enseñanza-aprendizaje. Para llevar a cabo esta metodología, el profesor debería estar continuamente al lado de cada alumno guiándole, ayudándole, motivándole y, además, evaluando este proceso para que, en todo momento, el alumno conozca si está o no alcanzando sus objetivos. Esto conlleva una carga de trabajo difícil de asumir por el profesor, dado el tamaño de los grupos de alumnos. Además, en este tipo de metodología, es importante la evaluación formativa, que, no solo dé como respuesta una calificación numérica, sino un informe de evaluación que subraye las fortalezas y las debilidades del alumno en cada uno de los objetivos de aprendizaje evaluados. Por otra parte, también es importante que el alumno reciba el feedback de su evaluación en el menor tiempo posible, por lo que la generación de estos informes debería ser automática.

Algunos de los miembros solicitantes de este proyecto hemos desarrollado un modelo teórico de representación del aprendizaje con el fin de simular, mediante sistemas expertos, la evaluación de dicho aprendizaje realizada por un profesor en base a sus criterios [1], generalmente más complejos que lo que se puede obtener mediante medias ponderadas de las calificaciones parciales. Dicho modelo se basa en el modelo granular lingüístico de un fenómeno (GLMP), que utiliza la computación con palabras y percepciones de Zadeh para implementar sistemas de inferencia basados en lógica fuzzy.

Hasta el momento, y basándonos en este paradigma, hemos desarrollado algunos sistemas expertos (GLMPs) que producen informes en lenguaje natural sobre el nivel de consecución de los objetivos de aprendizaje, además de una nota numérica. Estos sistemas han sido diseñados, usando técnicas fuzzy, para simular el proceso de evaluación de un profesor en base a criterios. En la Figura 1 se muestra el esquema de un GLMP diseñado para evaluar un cuestionario Moodle de aritmética entera. La idea de aplicar esta técnica a la evaluación de cuestionarios de Moodle surgió de la participación de uno de los miembros del proyecto en el Working Group “Adapting Moodle to Better Support CS Education” dentro de ITiCSE 2010 [2]. En la actualidad, tenemos en prueba una versión preliminar de un plug-in que se puede integrar en una instalación de Moodle y que permite implementar los sistemas expertos mencionados anteriormente [3].

El plug-in agrega los datos obtenidos en un test de Moodle mediante un sistema experto basado en inferencia fuzzy. Este sistema híbrido produce informes de evaluación formativa, en lenguaje natural, que incluyen, además, una nota numérica que representa la evaluación del profesor, en base a sus criterios, del test completo. De esta manera se aprovechan los resultados que proporciona un LMS (Learning Management System) como Moodle para implementar una evaluación formativa en base a los criterios de un profesor. Como los LMS generan los resultados automáticamente, el proceso de evaluación está completamente automatizado, proporcionando el resultado al alumno rápidamente, lo cual influye positivamente en su aprendizaje, sin sobrecargar el trabajo del profesor. Además estos sistemas también proporcionan actividades online que facilitan la experimentación, así como el aprendizaje autónomo.

El objetivo principal de este proyecto es mejorar los sistemas de evaluación continua mediante el diseño, prueba y utilización de GLMPs evaluadores de prácticas y test de Moodle de las asignaturas impartidas por los profesores integrantes de este proyecto. En particular esperamos desarrollar evaluadores para las asignaturas de Matemática Discreta I y Matemática Discreta I en inglés, Matemática Discreta II, Álgebra Lineal y Cálculo de la titulación de Grado en Ingeniería Informática, Matemática Discreta II, Álgebra Lineal, Cálculo I y Cálculo II de la titulación de Grado en Matemáticas e Informática, lo que afecta a una gran cantidad de alumnos. En este contexto, este proyecto se coordinará con el proyecto titulado “Nuevas experiencias docentes y actividades coordinadas en el grado en matemáticas e informática” (GIE NMA+D).

Por último, nos proponemos realizar un estudio de la utilización e impacto en la evaluación continua de los sistemas desarrollados en este proyecto.

OBJETIVOS

El objetivo principal de este proyecto es la mejora de los sistemas de evaluación continua. Para ello pretendemos aplicar la metodología (refrendada internacionalmente [1, 3]), explicada en la introducción, para desarrollar sistemas expertos (GLMPs) particularizados para cada una de las partes de las asignaturas que se especifican a continuación. Los objetivos específicos del proyecto de innovación educativa que se propone son los siguientes:

1.      Disponer de sistemas expertos para la evaluación automática, en base a criterios, de las prácticas de la asignatura de Matemática Discreta II.

2.      Disponer de sistemas expertos para la evaluación automática, en base a criterios, de partes de las asignaturas de los profesores miembros de este proyecto, tratando temas de Matemática Discreta, Álgebra Lineal y Cálculo de las dos titulaciones de grado de la ETSIInf. Estos sistemas serán aplicables a los resultados de los test de Moodle que se utilicen en estas asignaturas.

3.      Asegurar, mediante simulaciones y superficies de comportamiento, la adecuación de los sistemas que se desarrollen para cumplir los dos objetivos anteriores.

4.      Utilizar los sistemas desarrollados en la evaluación continua de los alumnos de estas asignaturas.

5.      Publicar cuestionarios de entrenamiento para los alumnos que proporcionen actividades online para facilitar la experimentación, así como el aprendizaje autónomo (OBJ 8).

6.      Conocer su utilización e impacto en la evaluación continua.

En cuanto a los objetivos de centro de la Escuela Técnica Superior de Ingenieros Informáticos, este proyecto va a trabajar sobre los siguientes:

• OBJ 1: Mejorar la eficiencia en los procesos de adquisición de los resultados de aprendizaje por parte de los estudiantes, con especial atención a la incorporación de metodologías activas para el aprendizaje, y aquellas acciones que favorezcan la interdisciplinariedad y la coordinación curricular de tipo horizontal y vertical.
  • Act 1: Diseño y puesta en marcha de nuevas aproximaciones docentes en las asignaturas para mejorar el rendimiento de aprendizaje del alumno.
  • Act 2: Desarrollar acciones para mejorar la tasa de eficiencia de las asignaturas, priorizando aquellas con bajas tasas de eficiencia o con elevado número de alumnos matriculados.

Los sistemas expertos que nos proponemos construir ofrecen un feedback automático de evaluación formativa que incluye un informe de consecución de los objetivos de aprendizaje dando información sobre los aspectos que ha conseguido y sobre los que debe mejorar el alumno, todo ello generado simulando la evaluación en base a criterios del profesor. Por tanto, el desarrollo de estos sistemas supone una nueva aproximación docente que esperamos mejore el rendimiento de aprendizaje de los alumnos (Act 1), ya que aplica una metodología activa que involucra al alumno en su proceso de aprendizaje. Además, las actuaciones que, como acabamos de mencionar, esperamos mejoren las tasas de eficiencia, irán dirigidas a los dos primeros cursos de ambos grados de la ETSIInf que presentan, a nuestro entender, bajas tasas de eficiencia y/o un elevado número de alumnos (Act 2).

• OBJ2: Mejorar los sistemas de evaluación continua y calificación, con especial atención a los sistemas de evaluación integral de competencias
  • Act 1: Diseño y puesta en marcha de nuevos enfoques para la evaluación continua y calificación en las asignaturas, de modo que se potencie que la propia evaluación sea parte del proceso de aprendizaje del alumno y no sólo la cuantificación del éxito obtenido.

La evaluación automática se hace imprescindible en la evaluación continua, especialmente cuando se trabaja con grupos numerosos, como son los de primero y segundo. El objetivo fundamental de este proyecto es el desarrollo de sistemas que mejoren los sistemas de evaluación continua, tanto desde el punto de vista de la generación de las calificaciones, ya que se generan de forma automática y emulan la evaluación del profesor en base a sus criterios, como desde el punto de vista pedagógico, ya que generan informes de evaluación formativa que ayudan al alumno a comprender cuáles son sus puntos débiles y cuáles representan objetivos ya conseguidos. De esta manera se potencia que la propia evaluación sea parte del proceso de aprendizaje del alumno y no sólo la cuantificación del éxito obtenido (Act 1).

Referencias

1.      M. G. Sanchez-Torrubia, C. Torres-Blanc and G. Trivino, “An approach to automatic learning assessment based on the computational theory of perceptions,” Expert Syst. Appl., vol. 39, no. 15, pp. 12177-12191, November 2012.

2.      Rößling, G., McNally, M., Crescenzi, P., Radenski, A., Ihantola, P., and Sánchez-Torrubia, M. G. (2010). “Adapting moodle to better support CS education”. In A. Clear, & L. R. Dag (Ed.), Proc. 2010 ITiCSE, Work. group rep. (ITiCSE-WGR '10) (pp. 15-27). Ankara (Turkey) 26-30 April: ACM, New York, NY, USA

3.      M.G. Sanchez-Torrubia, C. Torres-Blanc and G. Trivino, "Formative criterion-based assessment for Moodle quizzes using intelligent computing," Global Engineering Education Conference (EDUCON), 2013 IEEE , vol., no., pp.940,946, 13-15 March 2013

Las fases de realización del proyecto son las siguientes:

1.      Septiembre 2014. Breve introducción a la metodología aplicada en el diseño de los sistemas expertos (GLIMPs) para los integrantes del proyecto que no han participado en el desarrollo teórico del modelo.
Se espera que estos profesores adquieran las nociones básicas de esta metodología.

2.      Septiembre 2014. Formación del becario en la metodología aplicada en el diseño de los sistemas expertos (GLIMPs).
Se espera que el becario adquiera la habilidad suficiente para crear nuevos diseños.

3.      Septiembre - octubre 2014. Reuniones del becario con los expertos (profesor o grupo de profesores), para recabar información sobre la primera de las partes de la asignatura de ese experto, cuya evaluación se va a desarrollar.
Se espera que el becario, a través de las reuniones con el experto, sea capaz de emular su razonamiento al evaluar.

4.      Octubre - noviembre 2014. Diseños preliminares, por parte del becario, de los GLMPs correspondientes a la información recabada en 3.
Se espera que el becario presente simulaciones de los GLMPs en proceso de diseño.

5.      Noviembre - diciembre 2014. Revisión, por parte del becario y con supervisión de los correspondientes expertos, de los GLMPs diseñados, mediante simulación en Maple y estudio de superficies de comportamiento.
Se espera que, utilizando las simulaciones creadas en la fase anterior, se perfeccionen los diseños realizados.

6.      Noviembre - diciembre 2014. Iteración de las fases 2 a 5 con el fin de desarrollar GLMPs para otras partes de las asignaturas.

7.      Diciembre 2014. Introducción, por parte del becario, de los sistemas probados en el aula virtual Moodle (condicionado a que el servicio informático instale el correspondiente plug-in).
Se espera que el servicio informático instale el software necesario y los datos que configuran los sistemas expertos sean introducidos en Moodle, con lo que éste quedará preparado para realizar de manera automática los informes de evaluación a partir de los cuestionarios.

8.      Diciembre 2014 – mayo 2015. Toma de datos provenientes de alumnos y profesores de las distintas asignaturas.

9.      Enero – junio 2015. Tratamiento de los datos para la obtención de conclusiones sobre satisfacción e impacto en la evaluación continua (profesores).
Se espera obtener conclusiones sobre la utilización de los sistemas y la mejora de la evaluación continua.

10.   Julio 2015. Transferencia de resultados.
Se espera publicar los resultados en los foros adecuados.

El principal resultado esperado es la creación de sistemas expertos (GLMPs) con evaluación inteligente que mejore los resultados de aprendizaje en las asignaturas mencionadas y se adecue mejor a la evaluación continua (metodología necesaria en las titulaciones de grado adaptadas al EEES). Los indicadores para la evaluación de resultados del proyecto son:

• Aprobación de los GLMPs que se hayan desarrollado. Se medirá mediante estudio de los resultados por los expertos en la metodología.
• Puesta en servicio de los GLMPs desarrollados en el aula virtual Moodle (condicionado a que el servicio informático instale el correspondiente plug-in).
• Satisfacción de los usuarios. Se medirá mediante encuesta.
• Impacto en la evaluación continua. Se medirá mediante encuestas a los profesores.

El grado de difusión de los resultados se considera también un indicador de logro. Los resultados del proyecto se difundirán a través de las siguientes vías:

• Presentación de ponencias y/o publicación de artículos en congresos y/o revistas internacionales especializados, como, por ejemplo:
  • IFSA-EUSFLAT 15. 16th World Congress of the International Fuzzy Systems Association (IFSA) and the 9th Conference of the European Society for Fuzzy Logic and Technology (EUSFLAT), Mieres, 30/6 – 3/7 de 2015.
  • ITiCSE 2015. 20th Annual Conference on Innovation and Technology in Computer Science Education. Vlinius, Lithuania. 4 - 8 de julio de 2015

Las acciones de difusión están condicionadas a la cuantía de los fondos obtenidos del propio proyecto y de la cofinanciación (mediante abono de inscripciones) por parte del Departamento.