Back to top

Ficha Proyecto I.E. 2014-2015



CONSOLIDACIÓN Y DESARROLLO DE NUEVAS TÉCNICAS DE EVALUACIÓN INTENSIVAS ON-LINE YA IMPLEMENTADAS POR EL GIE E4. II

Coordinador(a): JOSE IGNACIO HERNANDO GARCIA
Centro: E.T.S. DE ARQUITECTURA
Nivel: Proyecto de GIE coordinado con el Proyecto de Centro
Palabras clave:
  • Elaboracion material docente
  • Evaluación del aprendizaje
  • Guías de aprendizaje
Miembros de la comunidad UPM que lo componen
Nombre y apellidos Centro Plaza
JAIME CERVERA BRAVO E.T.S. DE ARQUITECTURA CATEDRÁTICO UNIVERSIDAD
JESUS MARIA ORTIZ HERRERA E.T.S. DE ARQUITECTURA CATEDRÁTICO UNIVERSIDAD
JOSE IGNACIO HERNANDO GARCIA E.T.S. DE ARQUITECTURA TITULAR UNIVERSIDAD
JUAN FRANCISCO TORRE CALVO E.T.S. DE ARQUITECTURA L.D. PROF. ASOCIADO
LUIS VEGA CATALAN E.T.S. DE ARQUITECTURA L.D. PROF. ASOCIADO
ANTONIO AZNAR LOPEZ E.T.S. DE ARQUITECTURA BECARIO
Lineas de trabajo principales en las que incide
  • ETS Arquitectura
    • OBJ1: Mejorar la eficiencia en los resultados de aprendizaje de los estudiantes, incorporar metodologías activas de aprendizaje y acciones que favorezcan la interdisciplinariedad y la coordinación curricular de tipo horizontal y vertical…
    • OBJ8: Desarrollar repositorios de prácticas, recursos docentes, y actividades online, que faciliten la experimentación así como el aprendizaje autónomo.
Descripción del desarrollo y las fases
OBJETIVOS DEL PROYECTO

El primer objetivo que motivó la formación del GIE fue incorporar nuevos métodos experimentales de evaluación y docencia en el desarrollo de varias asignaturas del extinto DEE, consecuencia necesaria de la implantación de un nuevo Plan de Estudios y la adaptación al Espacio Europeo de Educación Superior (EEES). Cuando se participó en la convocatoria de los PIEs de 2012 se iniciaba la docencia de la asignatura “Estructuras 2” (E2), asignatura que es la continuación natural de la asignatura “Análisis de Estructuras” del antiguo plan en la cual hasta entonces se había desarrollado la práctica totalidad del trabajo del GIE.

 

El primer objetivo del PIE de 2012 era trasladar la experiencia docente contrastada de evaluación intensiva on-line a la implantación de la asignatura del nuevo Plan de Estudios, a la vez que se trataba de facilitar la extinción del Plan de Estudios anterior.

Para alcanzar los dos objetivos primeros que motivaron la creación del GIE y la participación en el PIE de 2012 se estableció que debían alcanzarse varios resultados:

  1. Desarrollo de las prácticas de las asignaturas Estructuras 2 y Análisis de Estructuras como herramienta de evaluación.
  2. Creación de un repositorio de prácticas y cuestionarios de Moodle

  3. Desarrollo de colecciones de prácticas/cuestionarios en otras asignaturas

  4. Traducción” del material disponible de la versión 1.9 de Moodle a la versión 2.2 de Moodle.

  5. Actualización del software propio

  6. Tareas de difusión

Resultados que se han alcanzado y en uno de los puntos sobrepasado con creces:

  • El resultados de los puntos 1, 2 y 4 puede comprobarse en http://moodle.upm.es/formacion/course/view.php?id=2182 (usuario : estructuras, password: estruc), o más específicamente en http://moodle.upm.es/formacion/mod/quiz/view.php?id=34987 (usuario : estructuras, password: estruc). Se dispone de un repositorio de 155 cuestionarios con 5662 preguntas.

  • Los resultados del punto 6 se han materializado en las siguientes ponencias, donde se exponen los resultados del PIE de 2012.
    ·
    "A NEW AUTOMATIC ON-LINE EVALUATION FOR GRAPHICS APPLIED TO BUILDING STRUCTURES"
    Antonio Aznar, Jose I. Hernando, Jesús Ortiz, Miguel Martinez, Jaime Cervera. Congreso EDULEARN14 (6th International Conference on Education and New Learning Technologies). Barcelona, 7th-9th of July, 2014·
    ·
    "Learning analytics for intensive use of moodle: a case study of  b-learning". Jesús Ortiz, José I. Hernando, Antonio Aznar, Miguel Martínez & Jaime Cervera. Congreso ICEILT (International Congress on Education, Innovation and Learning Technologies). Barcelona, from 23 to 25 July 2014.
    ·"Toward the possibility of automatic evaluation of on-line graphics". José I. Hernando, Antonio Aznar, Miguel Martínez, Jesús Ortiz & Jaime Cervera. Congreso ICEILT (International Congress on Education, Innovation and Learning Technologies). Barcelona, from 23 to 25 July 2014.

  • Pero donde los resultados han superado la mejor de las previsiones son en la actualización del software propio. En 2012 se escribió: “Para poder realizar los objetivos anteriores será necesario actualizar el software propio con el cual se han creado los cuestionarios de Moodle de cursos anteriores (...)”

    No sólo se ha alcanzado este resultado, la actualización del software propio se ha traducido en el diseño de una nueva pregunta gráfica de Moodle que permite valorar tanto cualitativa como cuantitativamente diagramas de esfuerzos (momento flectores, esfuerzos cortantes y esfuerzos axiles). Es una pregunta gráfica pues el estudiante la responde on-line con ayuda de una aplicación de CAD diseñada por GIE. De los muchos tipos de preguntas que pueden encontrarse en la página oficial de Moodle la desarrollada por el GIE es la primera con estas características. La pregunta está plenamente operativa en el Moodle del rectorado.


Ya en 2012 se había identificado una grave deficiencia en las prestaciones de los Learning Content Management System (LCMS) y de Moodle en particular. No tenían posibilidad de incluir uno de los objetivos docentes prioritarios de la asignatura E2: el deber del estudiante de saber dibujar los GRIFOS (Graphs of Internal FOrceS). Esta dificultad se evitaba como se indica a continuación:

 

  • Completando las cuestionarios de Moodle con entregas clásicas "en papel" de los GRIFOS, o
  • preparando unos extensos cuestionarios de Moodle en los cuales se pedía el valor de los GRIFOS en un número suficiente de puntos para que dichos diagramas quedasen inequívocamente definidos, para lo cual se disponía, como se indicaba en la memoria de 2012, de una herramienta sumamente eficaz para generar preguntas númericas.

Los inconvenientes de los dos planteamientos propuestos en el punto anterior eran patentes:

  • Las entregas clásicas limitaban la mayoría de los beneficios del b-learnig: posibilidad de autocorrección, corrección automática, corrección continua, libertad de horarios, etc.

  • Los cuestionarios resultantes eran laboriosos y tediosos de cumplimentar. Aunque, curiosamente, esto nunca fue una fuente de quejas por parte de los sufridos estudiantes, en los registros del sistema podía comprobarse que esta tarea mecánica podía llevarles un tiempo desproporcionado; a pesar de que los promotores de las TIC no lo reconozcan y sus detractores sobredimensionen el problema, la ergonomía de estas aplicaciones aún debe mejorarse sustancialmente.

  • Conocer el valor de los GRIFOS en un número suficiente de puntos como para que éste quede matemáticamente definido no presupone que el estudiante sea capaz de dibujar correctamente dicho diagrama. Más bien ocurre lo contrario: los caminos para violar las leyes más básicas de la mecánica y las matemáticas son inescrutables

Alcanzados los objetivos del PIE de 2012, ampliada la duración del mismo e identificada una grave deficiencia de la LCMS se  desarrolló, de forma altruista, un nuevo tipo de pregunta específico dentro de este entorno, Moodle, para dar respuesta a las necesidades de E2. A este nuevo tipo de pregunta se le bautizo “graph of internal forces”, "diagrams" en versión reducida.

La pregunta  ya desarrollada ha heredado todas las prestaciones de las preguntas estándar de Moodle que se han estado utilizando con tanto provecho, entre otras:

  1. Libertad para incluir en el enunciado de la pregunta cualquier texto, formato u objeto HTML. Este requisito era prioritario pues es casi inviable definir una buena pregunta de E2 sin apoyo de información gráfica.

  2. La nueva pregunta incluye todas las posibilidad de autocorrección, corrección automática, corrección continua, libertad de horarios, etc. de las preguntas estándar.

  3. Asimismo, permite la misma libertad para evaluar la respuesta de los estudiantes que las preguntas tipo. Se pueden asignar distintas puntuaciones a varias respuestas posibles, modificar dicha puntuación en función del número de intentos necesarios para encontrar la respuesta correcta, etc.

Prestaciones a las que se suman las siguiente propias de “diagrams”

  1. El alumno puede introducir los resultados gráficamente con ayuda de una pequeña aplicación de CAD. Es decir, sobre un esquema del modelo estructural representado en la pantalla (figura 1) puede trazar el dibujo de los GRIFOS con movimientos y otros eventos simples del ratón (figura 3).

  2. El uso de esta aplicación es similar al de los sistemas de CAD utilizados por los estudiantes de la ETSAM en otras asignaturas.

  3. Se facilita al estudiante el auto corrección  de resultados intermedios, incluso la auto evaluación de estos resultados intermedios (figura 3).

  4. Las leyes de cargas de las barras del modelo pueden admitir cualquier combinación de cargas puntuales y cargas uniformemente distribuidas. Otras tipologías de cargas son poco frecuentes en las estructuras de edificación, por lo que no se han incluido en las primeras versiones de “diagrams”

  5. El profesor introduce la topología y geometría del modelo estructural en un formato similar al de un programa estándar de cálculo de estructuras

  6. El profesor define las respuestas correctas de los GRIFOS de cada barra del modelo proporcionado los valores de dichos diagramas en puntos significativos, pero no preestablecidos por “diagrams”, de cada barra.

  7. El profesor puede ver la solución gráfica y las respuestas gráficas de los estudantes (figura 2).

  8. La evaluación es tanto cualitativa como cuantitativa.

  9. Se pueden valorar resultados parciales de los GRIFOS.

  10. El profesor puede definir el criterio de signo de los diagramas. 

Como se ha indicado una primera versión de la pregunta está operativa en el Moodle del rectorado y se ha incorporado a varios de los cuestionarios de los repositorios ya elaborados. Si en 2012 se disponía de una herramienta que permitía generar de forma muy eficiente preguntas numéricas en moodle lo cual permitía establecer como objetivo del PIE continuar utilizando intensamente las Tecnologías del Aprendizaje y el Conocimiento, TAC, para lo cual se trataba de “gestionar y evaluar decenas de miles de pregunta mediante Moodle con objeto de promover una evaluación intensiva on-line, no simplemente de crear algunos cuestionarios en Moodle”, en 2014 el GIE dispone de una herramienta contrastada y sumamente eficaz para evaluar numéricamente y lo que es absolutamente novedoso también cualitativamente y de forma objetiva uno de los objetivos principales de E2. La mejora del sistema de evaluación y calificación es manifiesta.

El uso de “diagrams” permite reducir el tamaño de los cuestionarios de AE. Para definir “por puntos” completamente un GRIFO del modelo de la figura 1 (el de momentos flectores), se necesitan 14 valores numéricos. Las aproximadamente 50 preguntas numéricas que se necesitarían para definir completamente el comportamiento de la estructura se reducen a 3 del tipo “diagrams” (aunque actualmente se siguen incluyendo las preguntas numéricas pero como mera herramienta auxiliar para los estudiantes, por lo cual, su peso en la evaluación total del cuestionario es 0, es decir no responderlas no penaliza el resultado final). Súmese a esto las ventajas de las respuestas gráficas respecto de las meramente numéricas ya comentadas, y que las respuestas gráficas deben estar razonablemente proporcionadas para que “diagrams” las considere válidas.


En suma:

  1. El   primer o  bjetivo del nuevo PIE es consolidar la experienca docente contrastada durante los dos últimos semestres consitente en evaluar on-line preguntas gráficas tanto cualitativa como cuantitativamente, merced a la utilización de un tipo nuevo de pregunta incorporado Moodle,  LCMS adoptada institucionalmente por la UPM.
  2. El segundo objetivo sería concluir el desarrollo de la pregunta de Moodle “diagrams”.
    · La aplicación CAD en la que se basa es sumamente simple comparada con las que utilizan los estudiantes de la ETSAM. Incluir todos los eventos del ratón a los que están habituados los estudiantes de la ETSAM en el uso de programas CAD es prioritario, a la vez que muy sencillo pero también muy laborioso.
    · La aplicación CAD funciona correctamente en los navegadores
    Opera, Firefox, Safari, Crome y Konqueror, pero se sabe que en algunas versiones de Explorer no dibuja correctamente los GRIFOS. Puesto que es éste uno de los navegadores más utilizados es prioritario resolver este problema.
    · Se ha subido a la página ofical de Moodleuna versión para su evaluación por los desarrolladores de Moodle, los cuales han realizado varias observaciones sobre el diseño de la pregunta que habría que atender: necesidad de adaptar el código a l
    a biblioteca YUI, de adaptar la notación de la base de datos al de las versiones de Moodle posteriores a la 2.6, etc.
    · Si se alcanzan los objetivos anteriores con los medios y tiempo disponible habría que adecuar la pregunta a los dispositivos táctiles. Los beneficios de esta extensión son obvios. Incluir en la aplicación los eventos de los dispositivos táctiles es nuevamente muy sencillo pero laborioso.
  3. Actualizar el repositorio de ejercicios de E2 sería el tercer objetivo del nuevo PIE. Se ha indicado que actualmente se dispone de un repositorio de 155 ejercicios distintos. De ellos sólo 41 están adaptados a la pregunta tipo “diagrams”. De los 114 restantes 89 podrían reescribirse de un modo mucho más eficiente utilizando la nueva pregunta “diagrams”.
  4. Finalmente, como cuarto objetivo se establece la necesaria tarea de difusión del trabajo realizado.
FASES DEL PROYECTO

 

Fase 1: Desarrollo de "diagrams"

  1. Identificación de "eventos de ratón" comunes a las aplicaciones de CAD utilizadas por los estudiantes de la ETSAM
    Con ayuda de un becario se estudiará el comportamiento básico de los CAD utilizados por los estudiantes de la ETSAM, con objeto de simularlos en el elementos <CANVAS> de HTML utilizado por "diagrams" (tiempo estimado 1 semana)
  2. Programación de los "eventos" básicos identificados en el punto anterior. El objetivo es que la respuesta de "diagrams" a los "eventos del ratón" sea la esperada por los estudiantes de la ETSAM. La posibilidad de "personalizar" este comportamiento, como se puede hacer en los programas de CAD actuales excede los objetivos de "diagrams" en estas fases iniciales de desarrollo (tiempo estimado 2 meses)
  3. Identificación de eventos propios de los "dispositivos táctiles" utilies para "diagrams"
    Se trata de repetir el proceso del punto 1 pero orientado a los dispositivos táctiles (tiempo estimado 1 semana)
  4. Programación de los "eventos" propios de los dispositivos táctiles identificados en el punto anterior. El objetivo es adaptar el uso de "diagrams" a los dispositivos táctiles, con los evidentes beneficios que esto supondría (tiempo estimado 3 meses)

Fase 2: Desarrollo del repositorio de prácticas

  1. Desarrollo de los nuevos ejercicios de curso de los dos próximos semestres e inclusión de los mismos en el repositorio de prácticas ya existentes (el tiempo para desarrollar esta tarea coincide con el curso escolar, y se realizará independientemente de la aprobación de el pesente PIE).
  2. Actualización de los 89 cuestionarios ya disponibles en el repositorio susceptibles de mejora mediante el uso de "diagrams". En estos cuestionarios los GRIFOS se evaluaban comprobando los valores numéricos de  los mismos en un número ingente de puntos. Se trataría simplemente de sustituir estas preguntas por las del tipo "diagrams". Los beneficios para la autoevaluación ya se han comentado. Puesto que actualmente se escribe un ejercicio de E2 por semana, es de suponer que entre los dos becarios solicitados puedan actualizar la totalidad de los 89 cuestionarios indicados durante el próximo curso escolar, simultaneando esta actividad con las indicadas en puntos anteriores
EVALUACION DEL PROYECTO

Por la experiencia recabada hasta hoy, la utilización de la herramienta por parte de los alumnos se presupone, por tanto, no se considera, por si sola, relevante para evaluar los resultados del proyecto.

Se describen a continuación una serie de hitos cuya consecución permitirá evaluar si se han alcanzado los objetivos del proyecto.

  1. Desarrollo de "diagrams":
    Al finalizar el curso próximo debe estar concluida una versión actualizada de la pregunta "diagram".
    Septiembre de 2014: deben estar identificados los requisitos de la aplicación CAD.
    Diciembre de 2014: nueva versión de "diagrams" incluyendo los requisitos anteriores.
    Enero 2015: identificación de los requisitos de "diagrams" para su uso en "dispositivos táctiles"
    Junion 2015: nueva versión de "diagrams" incluyendo los requisitos anteriores.
  2. Difusión:
    Como continuación la labor ya realizada antes de agosto de 2015 se presentarán los resultados de la experiencia docente en uno o varios congresos especializados.
    Agosto 2014: se subirá a la página oficial de Moodle la pregunta "diagrams" en su estado actual (desde hace un año está subida a un lugar oficial de Moodle destinado a desarrolladores para su evaluación).
    Enero 2015: se subirá a la página oficial de Moodle la nueva versión de "diagrams".
    Enero 2015: se subirá a la página oficial de Moodle los manuales de uso de "diagrams" del profesor y del alumno (inglés y español). 
    Junio 2015: Según se avance en el desarrollo de la pregunta se iran haciendo públicas las nuevas versiones. En junio de 2015 debe estar concluida la nueva versión adaptada al uso de dispositivos táctiles y subida a página oficial de Moodle.
    Junio 2015: Versión "en video" de los manuales de uso del profesor y del alumno (inglés y español). 
  3. Los resultados de los examen ordinarios de la asignatura Estructuras 2 (enero 2015, junio 2015) servirán para la evaluación del seguimiento y aprovechamiento de la herramienta.
  4. Repositorio de prácticas y cuestionarios de Moodle
    Al finalizar el curso próximo deben estar actualizados los 89 cuestionarios de Moodle que, según se ha indicado, son susceptibles de mejorarse mediante "diagrams.
    Puesto que se solicitan dos becarios, 45 de los cuestionarios antedicho deben estar actualizados en enero de 2015 para su uso durante el segundo semestre del póximo curso.