Back to top

Ficha Proyecto I.E. 2018-2019



Mejora del seguimiento y evaluación del aprendizaje colaborativo en plataformas Moodle

Coordinador(a): ANGEL HERNANDEZ GARCIA
Centro: E.T.S.I. DE TELECOMUNICACION
Nivel: Nivel 1. Proyectos promovidos por los Grupos de Innovación Educativa (GIEs)
Código: IE1819.0904
memoria >>
Línea: E6. Aprendizaje en entornos colaborativos
Palabras clave:
  • Analíticas de aprendizaje-Learning analytics
  • Aprendizaje Colaborativo
  • Aprendizaje Orientado a Proyectos
  • Coevaluación
  • Desarrollo de TIC's
  • Evaluación de competencias transversales
  • Evaluación del aprendizaje
  • Grado
  • Sistemas de gestión del aprendizaje (LMS)
  • Trabajo en Equipo/Grupo
Miembros de la comunidad UPM que lo componen
Nombre y apellidos Centro Plaza *
ANGEL HERNANDEZ GARCIA E.T.S.I. DE TELECOMUNICACION L.D. PRF.CONTR.DOCT.
JOSE JULIAN CHAPARRO PELAEZ E.T.S.I. DE TELECOMUNICACION TITULAR UNIVERSIDAD
SANTIAGO IGLESIAS PRADAS E.T.S.I. DE TELECOMUNICACION L.D. PRF.CONTR.DOCT.
ANTONIO LUIS GARCIA-ROJO DUEÑAS E.T.S.I. DE TELECOMUNICACION GRUPO C
LUIS SALGADO ALVAREZ DE SOTOMAYOR E.T.S.I. DE TELECOMUNICACION CATEDRÁTICO UNIVERSIDAD
EMILIANO ACQUILA NATALE E.T.S.I. DE TELECOMUNICACION L.D. AYUDANTE
Oriol Borras Gene RECTORADO U.P.M. OTROS NO UPM
* La plaza que se muestra corresponde a la ocupada en el momento de la convocatoria
(para PDI/PAS de la UPM, en el resto de casos no se especifica).
DESCRIPCIÓN DEL PROYECTO

La experiencia que se propone en este Proyecto de Innovación Educativa está orientada a solucionar dos importantes deficiencias detectadas por los profesores participantes dentro de las diferentes experiencias de aprendizaje colaborativo desarrolladas a lo largo de los últimos años: la dificultad de establecer mecanismos de evaluación por pares eficiente y la dificultad de realizar el seguimiento de los alumnos que trabajan en equipo (principalmente en asignaturas que utilizan metodologías de aprendizaje basado en problemas/proyectos) en plataformas de teleformación como Moodle.

Con respecto a la primera de ellas, la evaluación entre pares se refiere a la evaluación por parte de los alumnos del trabajo de sus compañeros siguiendo unos criterios de evaluación definidos por el docente, siendo por tanto una herramienta adecuada en entornos de aprendizaje colaborativo. Este tipo de evaluación favorece el desarrollo de la elaboración de juicios por parte de los alumnos, a la vez que fomenta una revisión crítica del propio trabajo realizado, y tiene dos vertientes: la evaluación del trabajo desarrollado por los miembros del propio equipo y la evaluación del trabajo realizado por el resto de equipos. Adicionalmente, este tipo de evaluación va acompañado de la autoevaluación por parte del alumno, reforzando el carácter de autocrítica sobre el propio trabajo realizado.

Los beneficios de este tipo de evaluación están asociados con una experiencia más profunda de aprendizaje a través de la reflexión y autocrítica, un mayor grado de involucración en el curso y dentro del propio equipo al ser incluidos como parte activa del proceso de evaluación, una mejor comprensión de los criterios de evaluación exigibles y una mayor percepción de equidad a través del empoderamiento del alumnado.

Actualmente existen tres herramientas principales dentro de Moodle para la realización de actividades que requieren evaluación entre pares: talleres, foros y bases de datos. Cada uno de estos tipos de actividades presenta una serie de ventajas e inconvenientes (Atlassian, 2018), si bien el más empleado es el de tipo taller, debido a que presenta un mayor número de funcionalidades. Este tipo de actividad está siendo activamente utilizado por gran parte del profesorado de la Universidad Politécnica de Madrid en la plataforma de Titulaciones Oficiales en general, y por los profesores participantes en este proyecto en particular (más concretamente en las asignaturas Desarrollo Personal y Gestión de Carrera y Gestión Eficaz de Equipos de Trabajo del Grado en Ingeniería de Tecnologías y Servicios de Telecomunicación (Escuela Técnica Superior de Ingenieros de Telecomunicación). Como se ha señalado en los diferentes informes de asignatura realizados en las diferentes imparticiones (las asignaturas se imparten en ambos semestres), uno de los principales problemas del uso de las actividades de tipo Taller en Moodle es la imposibilidad de exportar los datos, actividad imprescindible para poder ofrecer un informe detallado a los alumnos en el caso de evaluación de diferentes competencias o aspectos de las competencias (en este caso transversales) siguiendo una rúbrica de evaluación. Existen dos soluciones a este problema. La primera de ellas consiste en la realización de consultas SQL personalizadas a la base de datos de Moodle y el posterior tratamiento del conjunto de datos, que proporciona una solución temporal y con elevada dependencia de la actividad concreta de la que se desean extraer los datos. La segunda de ellas, que es la propuesta en este proyecto, consiste en el desarrollo de una capa intermedia de aplicación que, mediante el uso de los servicios web de Moodle, permita el acceso a estos datos a través de una interfaz simple e intuitiva. Este modo de actuación es similar al ya realizado por el equipo del proyecto en otros ámbitos de funcionalidad de Moodle (e.g. la aplicación GraphFES [https://github.com/TIGE-UPM/GraphFES] para la extracción de datos de actividad de foros y creación de grafos de redes sociales para el análisis y estudio de interacciones en foros).

Con respecto a la segunda vertiente del proyecto, la evaluación del trabajo en equipo, además de la nota final del trabajo entregado, requiere seguimiento y evaluación. La principal dificultad que presentan las funciones de seguimiento y evaluación del trabajo en equipo durante la actividad colaborativa es la gran cantidad de tiempo que éstas requieren (Fidalgo-Blanco et al., 2015), ya que algunos de los métodos empleados incluyen la observación o presencia de evaluadores expertos, o bien la elaboración de laboriosos cuestionarios que introducen elementos de subjetividad.

La realización de actividades colaborativas soportadas por plataformas de teleformación presenta nuevas oportunidades a partir del registro de las acciones individuales de los alumnos, lo que permite la obtención de evidencias objetivas de comportamientos que facilitan la tarea de seguimiento y evaluación del trabajo de equipo. Sin embargo, la presentación de esta información no suele adecuarse a las necesidades del docente y requiere de un tratamiento previo a su visualización. Este problema es tratado por la disciplina de las analíticas del aprendizaje, consistentes en la captura, selección, análisis e interpretación de la información que contienen estos registros (Long & Siemens, 2011), y en la que el equipo del proyecto tiene amplia experiencia tanto en el desarrollo de proyectos de investigación como a través de su participación en la red temática de excelencia SNOLA (Spanish Network Of Learning Analytics).

Una de las principales líneas de investigación de los profesores participantes es la definición de indicadores de trabajo en equipo, aspecto en el que se ha avanzado mediante el desarrollo de procedimientos y herramientas de extracción, transformación y carga de datos (Hernández-García et al., 2018). Uno de los aspectos más interesantes para las tareas del seguimiento del trabajo en equipo en espacios colaborativos como foros y wikis es la visualización en tiempo real de información relativa a la distribución de los esfuerzos por parte de los cada uno de los miembros del equipo, que permite detectar de forma rápida y sencilla descompensaciones de trabajo por parte de los diferentes integrantes, lo que a su vez facilita la intervención temprana por parte del docente. 

Basado en el trabajo previo de los profesores participantes, este proyecto plantea la elaboración de estas visualizaciones y su puesta a disposición de los docentes a través de una capa de presentación de datos.

REFERENCIAS:

Atlassian (2018). Peer Assessment Guide. Recurso en línea: https://sleguidance.atlassian.net/wiki/spaces/Moodle/pages/65307026/Peer+Assessment+Guide (fecha de consulta: 9 de noviembre de 2018).

Fidalgo-Blanco, Á., Lerís, D., Sein-Echaluce, M. L., & García-Peñalvo, F. J. (2015). Monitoring indicators for CTMTC: Comprehensive training model of the teamwork competence in engineering domain. International Journal of Engineering Education, 31(3), 829-838.

Hernández-García, Á., Acquila-Natale, E., Chaparro-Peláez, J., & Conde, M. Á. (2018). Predicting teamwork group assessment using log data-based learning analytics. Computers in Human Behavior, 89, 373-384.

Long, P. D., & Siemens, G. (2011). Penetrating the Fog: Analytics in learning and education. Educause Review, 46(5), 31–40.

OBJETIVOS DEL PROYECTO

Teniendo en cuenta los aspectos indicados en la descripción del proyecto en el apartado anterior, este proyecto propone dos objetivos fundamentales:

  1. Desarrollo de una capa intermedia de aplicación que, mediante el uso de los servicios web de Moodle, permita el acceso a estos datos a través de una interfaz gráfica sencilla e intuitiva.
  2. Creación de una capa de visualización que permita, a través de la extracción, transformación y carga de datos, obtener información sobre la compensación de aportes de los diferentes miembros de equipos que trabajan en foros y wikis en Moodle.
CONTRIBUCIÓN A LA MEJORA DE LA CALIDAD

La primera parte de la propuesta pretende dar solución a los problemas detectados en diferentes asignaturas de grado a la hora de integrar los procesos de evaluación por pares y autoevaluación. Por otra parte, si bien se trata de dar respuesta a un problema aparentemente específico, su aplicación en cualquier instalación de Moodle amplía el potencial ámbito de aplicación al conjunto de la comunidad docente de la Universidad Politécnica de Madrid, e incluso a cualquier otra institución educativa que utilice las actividades taller Moodle como parte de su diseño instruccional. Se aspira por tanto a dar solución a un problema docente, disminuyendo la carga de trabajo del profesorado y mejorando la eficiencia de los procesos de evaluación.

La segunda parte de la propuesta permitirá la mejora del seguimiento del alumnado en asignaturas que requieran trabajar en equipo colaborando a través de elementos de la plataforma de teleformación Moodle. Con ello se pretende facilitar la detección de problemas de coordinación de equipos de forma temprana, de forma que los docentes puedan aplicar las intervenciones necesarias para mejorar el trabajo en equipo desarrollado por los alumnos.

ALCANCE Y PÚBLICO OBJETIVO AL QUE SE DIRIGE

Titulación/es Grado:
Titulación/es Máster:
Nº de Asignatura/s: 2
Centro/s de la UPM:
  • Otro centro de la UPM
    E.T.S. DE INGENIEROS DE TELECOMUNICACION y [Potencialmente] Gabinete de Tele-Educación (GATE) de la Universidad Politécnica de Madrid (y por extensión, todos los centros de la UPM)
  • FASES DEL PROYECTO Y ACCIONES QUE SE VAN A DESARROLLAR

    Debido a que no existe interdependencia entre ambas, las dos partes del proyecto podrán ser desarrolladas de manera concurrente o secuencial, en función de la disponibilidad de los recursos necesarios para la realización del proyecto, fundamentalmente en las tareas de desarrollo de código necesarias para una ejecución exitosa del mismo.

    La primera parte del proyecto constará de las siguientes fases:

    1. Estudio del módulo taller de Moodle, estructura de base de datos correspondiente y capas de acceso a datos a través de servicios web de Moodle estándar.
    2. (Tarea opcional) En caso de ser necesario, se desarrollará una capa de aplicación intermedia como plug-in local para la habilitación de servicios web no estándar de Moodle.
    3. Desarrollo de la capa de aplicación que consumirá el servicio web para la extracción y procesado de datos de la actividad de tipo taller. Esta fase se desarrollará en un entorno de desarrollo local, no expuesto a acceso externo.
    4. Desarrollo de la capa de exportación de datos (a formato MS Excel o CSV).
    5. Pruebas y validación del sistema.
    6. En colaboración con GATE, estudio de integración de la aplicación en el Moodle UPM.
    7. Despliegue y puesta en servicio de la aplicación.

    La segunda parte del proyecto comprende las siguientes fases:

    1. Despliegue de servicio web de extracción, carga y transformación (ETL) de datos (RapidMiner).
    2. Desarrollo de capa de acceso a datos de actividades en espacios colaborativos en Moodle (foros, wikis).
    3. Desarrollo de interconexión sistema ETL-Moodle.
    4. En caso de ser necesario, adaptación de los procesos ETL correspondientes.
    5. Desarrollo de interfaz gráfica de usuario para visualización de datos.
    6. Pruebas y validación del sistema.
    7. Despliegue y puesta en marcha del servicio.
    RECURSOS Y MATERIALES DOCENTES

    Para la realización del proyecto y la ejecución del plan de pruebas inicial se emplearán datos reales (anonimizados) de cursos existentes impartidos por los profesores participantes.

    Como resultado del proyecto, se publicarán el código y los manuales de instalación y uso de las diferentes aplicaciones desarrolladas en formato electrónico a través de los canales más adecuados a la naturaleza de cada uno de los recursos elaborados (el código se publicará preferentemente con licencia GPL o MIT en la plataforma GitHub, mientras que los manuales correspondientes se publicarán con licencia Creative Commons en el Archivo Digital UPM, así como en otros repositorios de acceso abierto que se estimen convenientes).

    Asimismo, se planteará la adecuación del catálogo oficial de aplicaciones en Moodle.net como potencial canal de distribución del código desarrollado en la primera parte del proyecto (se excluye en este caso la segunda parte al requerir de herramientas ETL ajenas a Moodle).

    SEGUIMIENTO Y EVALUACION

    Debido a la importante componente de diseño y desarrollo software del proyecto, el seguimiento del proyecto está directamente asociado a los resultados de cada una de las fases del proyecto y acciones detallados en la sección “Fases del proyecto y acciones que se van a desarrollar en orden cronológico”.

    De esta forma, a lo largo de cada una de las fases se procederá a la validación del correcto funcionamiento de cada uno de los componentes desarrollados.

    Las evidencias de logro a detallar en la memoria final del proyecto estarán constituidas por tanto por el propio funcionamiento correcto de las aplicaciones, así como por la elaboración de los manuales correspondientes.

    En un sentido más amplio, existen otros dos indicadores de éxito del presente proyecto. En primer lugar, el número de accesos y descargas del código desarrollado en la plataforma GitHub. En segundo lugar, la incorporación de las aplicaciones desarrolladas a la plataforma Moodle oficial de la UPM.

    PRODUCTOS RESULTANTES

    Como se ha indicado anteriormente, los dos principales resultados serán las aplicaciones software desarrolladas (y el código fuente asociado) y los diferentes manuales de instalación, uso y configuración de dichas aplicaciones.

    Debido a la ausencia de soluciones similares o alternativas en estos momentos, el potencial de transferencia de los resultados del proyecto es muy alto, tanto desde una perspectiva interna (la ejecución exitosa del proyecto permitiría extender y mejorar la oferta de servicios y funcionalidades de la plataforma Moodle institucional de la Universidad Politécnica de Madrid, permitiendo a docentes que empleen metodologías de aprendizaje colaborativo y trabajo en equipo la mejora de los procesos de enseñanza, seguimiento y evaluación docente) como desde una perspectiva externa (las aplicaciones desarrolladas podrían ser implementadas en cualquier otra institución educativa nacional e internacional que emplee la plataforma Moodle como herramienta de soporte a los procesos de enseñanza).

    MATERIAL DIVULGATIVO

    Aparte de los recursos publicados, el material divulgativo a elaborar durante la realización del proyecto consistirá fundamentalmente en actualizaciones del estado y avance del proyecto en redes sociales (principalmente Twitter). A la conclusión del proyecto se redactará una nota informativa que será publicada en la página web del Grupo de Tecnologías de la Información para la Gestión Empresarial. Dicha nota será remitida al servicio de Innovación Educativa de la UPM para su difusión.

    Adicionalmente, se plantea dentro de este proyecto la difusión de y la puesta en conocimiento de los resultados del proyecto en foros especializados, como forma de amplificar el alcance del proyecto y favorecer los mecanismos de transferencia externa. Para ello, se plantea presentar el proyecto y los resultados del mismo en dos congresos de carácter internacional celebrados en España a lo largo de 2019: Learning Analytics Summer Institute Spain 2019 (LASI Spain 2019) en junio/julio y en los tracks de Innovación Educativa o Learning Analytics del Seventh Technological Ecosystems for Enhancing Multiculturality (TEEM’19) en el mes de octubre.

    COLABORACIONES

    Como se ha indicado con anterioridad, una vez completado el desarrollo de las aplicaciones y el plan de pruebas de las aplicaciones a desarrollar, se plantea la colaboración con el Gabinete de Tele-Educación de la Universidad Politécnica de Madrid (GATE-UPM) para incorporar las herramientas desarrolladas en la plataforma Moodle institucional.