Ficha Proyecto I.E. 2010-2011



Evaluación de la efectividad de metodologías docentes en cuanto al desarrollo de competencias transversales en asignaturas de grado y master

Coordinador(a): Felipe Jiménez Alonso
Centro: ETSI INDUSTRIALES
Nivel: Proyectos coordinados con el Proyecto de Centro de Otros
Palabras clave:
  • Competencias transversales
  • Créditos ECTS
  • Evaluación de competencias transversales
  • Tutoría
Miembros de la comunidad UPM que lo componen
Nombre y apellidos Centro Plaza
Felipe Jiménez Alonso ETSI INDUSTRIALES TITULAR UNIVERS. INTERINO
Francisco Javier Páez Ayuso ETSI INDUSTRIALES TITULAR UNIVERSIDAD
Luis Martínez Sáez ETSI INDUSTRIALES TITULAR UNIVERSIDAD
Jose Eugenio Naranjo Hernández E.T.S DE ING. DE SISTEMAS INFORMÁTICOS TITULAR UNIVERS. INTERINO
Francisco Serradilla García E.T.S DE ING. DE SISTEMAS INFORMÁTICOS TITULAR UNIVERSIDAD
Lineas de trabajo principales en las que incide
2.1. El desarrollo de metodologías docentes que permitan evaluar el grado de adquisión de las competencias por parte de los alumnos mediante el desarrollo de indicadores, rúbricas, encuestas, etc.
2.2. Los cambios metodológicos en la impartición de asignaturas orientados a la adquisición de competencias transversales por parte de los alumnos.
2.3.1. La capacidad para diseñar y llevar a cabo experimentos, así como para analizar e interpretar los datos.
2.3.2. La capacidad para trabajar en equipos multidisciplinares.
Descripción del desarrollo y las fases
OBJETIVOS DEL PROYECTO

Motivación y marco del proyecto:

Este proyecto se plantea a partir de otras actividades de innovación educativa llevadas a cabo por el grupo de profesores durante los últimos cursos académicos. En concreto, se enmarca en un conjunto de asignaturas en las que se han incorporado diferentes metodologías de docencia-aprendizaje. Así, desde el curso 2007-08, se ha introducido la docencia basada en objetos de aprendizaje en la asignatura “Diseño de asignaturas para su impartición en modalidad semipresencial o a distancia: Vehículos Extraviarios y Maquinaria de Construcción (ETSI Industriales)”. Además, se han planteado experiencias de trabajo en grupo y cooperación cruzada entre grupos con estructura de “subcontratación” de tareas. Por otra parte, el proyecto financiado “Desarrollo y puesta en práctica de un plan de prácticas comunes para asignaturas impartidas en centros diferentes” (curso 2008-09) marcó el comienzo de la colaboración con un grupo de profesores de la EU Informática para la introducción en la asignatura de “Tecnología del Transporte” de sesiones de prácticas multidisciplinares con alumnos de ambas Escuelas, con el fin de promover un enfoque más amplio en una secuencia de prácticas encaminadas a desarrollar sistemas que abarcasen diferentes puntos de la materia y para los que resulta necesaria la colaboración de perfiles de alumnos diferentes en cuanto a formación. Por último, esta última experiencia fue extendida en el curso 2009-10 a la asignatura de master “Avances en seguridad integrada de vehículos” en el proyecto “Planteamiento de un plan de prácticas comunes en asignaturas de grado y master impartidas en diferentes Escuelas para promover un enfoque multidisciplinar”. En estas últimas dos asignaturas, además, se incluyen actividades de documentación y presentación de trabajos en público, así como ejercicios de simulación con programas informáticos, cuyos resultados deben ser contrastados con los teóricos.

La introducción de las nuevas metodologías activas en las 3 asignaturas anteriores ha perseguido el desarrollo de diferentes competencias transversales en los alumnos como trabajo en equipo, trabajo en grupos multidisciplinares, aplicación práctica de los conocimientos adquiridos, presentación en público de soluciones, toma de decisiones, etc. La acogida por parte de los alumnos ha sido, en general, muy satisfactoria y los resultados académicos han mejorado. Sin embargo, no se ha acometido hasta el momento una acción sistemática de evaluación de la efectividad de dichas medidas en el desarrollo de esas competencias más allá de la percepción de los alumnos y los profesores. Por ello, en el presente proyecto, se pretende evaluar:

  • Grado de consecución de competencias transversales, donde se incluyen tanto competencias como trabajo en equipo, capacidad de síntesis y análisis, resolución de problemas, etc, como otras más específicas de la Ingeniería, aunque no de las asignaturas concretas, como son la preparación de ensayos y el contraste con datos teóricos, manejo adecuado de órdenes de magnitud, etc. Si bien, en muchos casos, se da por supuesto que la implantación de metodologías orientadas a la adquisición de competencias transversales son efectivas, esto puede no ser cierto y, en todo caso, ciertas medidas pueden ser más efectivas que otras. Sin embargo, este estudio, cuando se realiza, se suele limitar a cuestionarios a los alumnos sobre su percepción, método, que, sin ser incorrecto, es incompleto. Por ello, dentro del proyecto se pretenden diseñar y aplicar pruebas que permitan medir el grado de consecución de dichas competencias.

Adicionalmente, se analizará:

  • Carga de trabajo para el alumno: Este aspecto resulta crucial en la cuantificación de créditos ECTS. La medida pretende realizarse de tres formas, con el fin de apreciar las posibles divergencias entre los resultados arrojados por los métodos. El método más usual consiste en preguntar a los alumnos al finalizar el curso, de forma global, cuántas horas ha empleado para el estudio de la materia. Sin embargo, experiencias previas han mostrado que los resultados no son completamente coherentes con los que se obtendrían preguntando por dicha carga de trabajo semanalmente o al finalizar ciertas tareas. Por ello, se compararán estos tres enfoques.

El proyecto se aplicará sobre las asignaturas “Vehículos Extraviarios y Maquinaria de Construcción” y “Tecnología del Transporte” (optativas de quinto curso) y “Avances en seguridad integrada de vehículos” (master de Ingeniería Mecánica). Sobre ellas, se aplicarán las metodologías ya desarrolladas durante cursos precedentes. A partir de ese punto, se elaborarán pruebas que permitan evaluar hasta qué punto los alumnos han adquirido o perfeccionado las competencias transversales que se habían previsto en un inicio. Los resultados deberán ser comparados con las opiniones subjetivas de los alumnos sobre dicho aspecto.

Debe hacerse notar que la ayuda solicitada en el marco de esta convocatoria de proyectos de innovación educativa no se enfoca al propio mantenimiento de las experiencias ya implantadas en cursos académicos precedentes en las asignaturas, sino al establecimiento de un método de evaluación de la consecución de competencias transversales y de evaluación de la carga de trabajo de los alumnos.

 

Objetivos de la propuesta

El objetivo principal del proyecto consiste en la elaboración y aplicación de métodos que permitan medir el grado de adquisición de competencias transversales por parte de los alumnos ante diferentes acciones de enseñanza-aprendizaje activas. Estos métodos se diseñarán para tres asignaturas concretas con unas metodologías docentes específicas, pero pretenden ser más generales y fácilmente extensibles a otras asignaturas, una vez probada su efectividad en las implicadas en esta experiencia. La evaluación de competencias se planteará en los siguientes planos:

  • Comparación entre asignaturas de grado y de master
  • Comparación de los resultados con las pruebas diseñadas con los declarados por los alumnos (apreciaciones subjetivas)
  • Comparación de las apreciaciones de alumnos entre las metodologías tradicionales, las nuevas aplicadas y el nivel general en las materias de la Escuela.

En este sentido, se estima fundamental diseñar un sistema de evaluación de competencias que permita identificar los aspectos fuertes y débiles de las metodologías docentes aplicadas, y su mayor o menor eficacia para el desarrollo de las competencias para las que, inicialmente, habían sido implantados. Estos métodos de evaluación deben ajustarse a las características de cada metodología docente, su carácter individual o grupal, los objetivos perseguidos, etc.

Así, se cubrirán de forma simultánea dos objetivos:

  • Diseñar métodos para la evaluación del grado de adquisición de competencias transversales
  • Analizar la efectividad para fomentar el desarrollo de dichas competencias de un conjunto de metodologías de enseñanza-aprendizaje que se vienen empleando en diferentes asignaturas

Adicionalmente, se analizará la carga de trabajo de los alumnos en la línea de cuantificación de créditos ECTS. Para ello, se compararán 3 métodos:

  • Cuestionario a los alumnos al finalizar el curso (usualmente empleado, véase cuestionario para el plan de evaluación de la calidad)
  • Cuestionario semanal
  • Cuestionario tras actividades concretas como trabajos, prácticas, etc

 

Justificación del proyecto

La justificación de este proyecto radica en el hecho de que, actualmente, es muy común la implantación de acciones para promover competencias transversales en los alumnos, pero la evaluación de su efectividad se suele limitar a cuestionarios a los estudiantes sobre sus apreciaciones. Sin embargo, resulta necesario establecer métodos rigurosos que permitan realizar tal evaluación, con el fin de conocer las medidas docentes que son realmente efectivas o qué aspectos deben ser reformulados para mejorar su efectividad. A su vez, los resultados que se obtengan por estos métodos pueden ser comparados con los de los cuestionarios más clásicos.

La propuesta se integra en el objetivo siguiente fijado en la convocatoria de estas ayudas:

B) El desarrollo de métodos docentes que refuercen la adquisición de competencias transversales. En particular, son de especial interés:

  • El desarrollo de metodologías docentes que permitan evaluar el grado de adquisición de las competencias por parte de los alumnos mediante el desarrollo de indicadores, rúbricas, encuestas, etc.
  • Los cambios metodológicos en la impartición de asignaturas orientados a la adquisición de competencias transversales por parte de los alumnos.
  • Los cambios metodológicos en la impartición de las asignaturas que permitan reforzar en los alumnos la adquisición de las siguientes competencias:
    1. La capacidad para diseñar y llevar a cabo experimentos, así como para analizar e interpretar los datos.
    2. La capacidad para trabajar en equipos multidisciplinares.
    3. La responsabilidad ética y profesional.
    4. El conocimiento de aspectos relacionados con la actualidad dentro y fuera del ámbito de la ingeniería.

En concreto, se focaliza sobre el primero de los puntos reseñados, aplicando los métodos de evaluación a cambios metodológicos orientados a la adquisición de competencias transversales y propias de la Ingeniería (indicadas en los puntos 2 y 3) ya puestos en marcha en algunas asignaturas en cursos precedentes.

 

Asignaturas

Las asignaturas de la ETSII que estarán involucradas en esta experiencia son las siguientes:

  1. Vehículos extraviarios y maquinaria de construcción, optativa de 5º curso en la ETS Ingenieros Industriales, pretende que los alumnos alcancen conozcan la dinámica de los vehículos extraviarios cuando circulan por un suelo no preparados, los órganos mecánicos principales de dichos vehículos y saber aplicar técnicas básicas de diseño, la maquinaria existente para tareas de excavación, transporte en obra, elevación, etc, y saber aplicar criterios de selección de maquinaria
  2. Tecnología del Transporte, optativa de 5º curso en la ETS Ingenieros Industriales, que trata de los principales avances que se están introduciendo en los vehículos de carretera en la actualidad. Se tratan, además de aspectos descriptivos de sistemas y componentes en los vehículos, sistemas de seguridad, sistemas de propulsión avanzados, etc, temas más aplicados como son la realización de mapas electrónicos de carreteras por medio de vehículos instrumentados y el posicionamiento GPS de los vehículos en dichos mapas para aplicaciones avanzadas de alerta al conductor. Su orientación se focaliza más en el vehículo y las aplicaciones en un plano más global, sin profundizar en exceso en la arquitectura de hardware y software.
  3. Avances en seguridad integrada de vehículos, impartida actualmente en el master oficial de Ingeniería Mecánica y Fabricación y que tendrá su reflejo en el master de especialización en una parte de la asignatura “Tecnologías de vehículos industriales y especiales”. En ella se abordan, entre otros aspectos, los principales avances en sistemas de seguridad integrados en el vehículo, sistemas de ayuda a la conducción y sistemas de ayuda a la operación.

Adicionalmente, en la experiencia de trabajo multidisciplinar planteado en las dos últimas asignaturas, están implicadas las asignaturas “Cartografía Digital y Navegación con GPS” y “Agentes Inteligentes” impartidas en la EU Informática. La evaluación de la efectividad en cuanto a la consecución de competencias transversales se diseñará desde las asignaturas de la ETSII, si bien se aplicará también a los alumnos de estas asignaturas dado que cooperan en las sesiones prácticas. Es decir, a efectos de encuadrar este proyecto debe diferenciarse las propias experiencias de innovación educativa ya puestas en marcha para las que no se solicita ayuda dentro de la presente convocatoria, y la evaluación de las competencias transversales (para la que se solicita la ayuda) que, si bien se aplica a todos los alumnos implicados, será un trabajo propio del grupo de la ETSII.

 

Herramientas empleadas

En este punto, debe distinguirse entre los materiales de apoyo para la aplicación de las metodologías que se mantienen de cursos precedentes y el que debe diseñarse para la evaluación de la adquisición de competencias. Así, a lo largo del proyecto se desarrollarán las pruebas para dicha evaluación.

Aunque la definición de las herramientas para la evaluación de competencias constituye una de las primeras fases del proyecto, se contará con las siguientes:

  • Cuestionario de conocimientos previos
  • Cuestionario de expectativas y satisfacción
  • Cuestionario de incidencias críticas
  • Cuestionarios de carga de trabajo
  • Herramientas para la evaluación del trabajo en grupos (incluyendo diferentes formas de autoevaluación y coevaluación, tanto para el proceso como para el resultado, aplicando herramientas de evaluación individual dentro de la nota grupal)
  • Herramientas para el diagnóstico de problemas de aprendizaje
  • Empleo de rúbricas. Herramientas de evaluación de rúbricas
  • Desarrollo de guías de observación sistemática para captar el progreso en sesiones prácticas, sesiones de discusión en grupo, etc.

La conveniencia de emplear éstas y la posibilidad de incluir otras será valorada al principio del proyecto, así como su adecuación a cada una de las materias y metodologías empleadas.

También se analizará la conveniencia de incluir estos cuestionarios en la plataforma de teleapredizaje Aulaweb para un más fácil procesamiento de los resultados.

Por otra parte, aunque las guías docentes de las asignaturas ya se realizaron en cursos precedentes, la introducción estas pruebas implica la revisión de éstas o, según los casos, la redacción de una guía específica de evaluación.

Por último, se planteará la evaluación del propio proceso de evaluación, la cual se realizará en dos planos:

  • Visión de los alumnos a los que se les ha sometido a la evaluación del grado de adquisición de competencias
  • Análisis de la coherencia y la utilidad de los resultados obtenidos de las diferentes pruebas y cuestionarios.

 

Sistema de tutorías

Un elemento fundamental en las metodologías aplicadas en las diferentes asignaturas es un sistema tutorial más intensivo que el habitualmente empleado, con lo que se ha reforzado el seguimiento de los alumnos, resultando clave la retroalimentación que se les proporciona. Así, además de las tutorías petición de los alumnos, se establecen acciones de seguimiento personalizado (o, al menos, grupal) de ciertas tareas encomendadas. Dentro de este proyecto, se emplearán estas tutorías también para la evaluación de la adquisición de competencias.

 

Carga de trabajo del profesorado

De igual forma al apartado anterior, se distingue la carga propia de la aplicación de las metodologías docentes y la carga derivada de la evaluación de competencias.

Para la aplicación de la metodología basada en objetos de aprendizaje:

  • Revisión de la guía de estudio y los OAs
  • Seguimiento de los alumnos

Para la aplicación de la metodología basada en trabajos grupales con colaboración entre ellos con la “subcontratación” de tareas:

  • Planteamiento de los trabajos
  • Coordinación de grupos
  • Seguimiento de los trabajos y tutorización en momentos concretos

Para la aplicación de la metodología basada en sesiones de prácticas multidisciplinares involucrando asignaturas de dos Escuelas (en estas tareas están involucrados también profesores de la EUI):

  • Impartición de sesiones presenciales combinadas para los dos grupos de alumnos
  • Preparación de prácticas
  • Organización y seguimiento de los grupos de alumnos
  • Tutorización de los alumnos de ambas Escuelas
  • Seguimiento de trabajo no presencial

Para la tarea de evaluación de consecución de las competencias transversales, el trabajo del profesor comprende, entre otras, las siguientes tareas principales:

  • Análisis de las acciones docentes que pueden promover cada competencia
  • Análisis de posibilidades para ser implantadas para la evaluación de competencias
  • Desarrollo de las pruebas para la evolución de la consecución de competencias
  • Aplicación de las pruebas y cuestionarios
  • Análisis de resultados
  • Propuesta de mejora en las metodologías docentes aplicadas

El becario solicitado centraría su tarea principalmente en dar apoyo en la preparación de los materiales de las pruebas y en el análisis de los resultados.  

 

Carga de trabajo del alumno

La experiencia planteada en este proyecto no supone una carga adicional relevante para los alumnos respecto a los cursos precedentes ya que las metodologías docentes no se ven modificadas. Sí se puede estimar un ligero incremento por la necesidad de realizar algunas pruebas adicionales enfocadas a la evaluación de las competencias. Adicionalmente, debe recordarse que un objetivo secundario planteado en el proyecto es precisamente la evaluación de la carga de trabajo del alumnado ante diferentes actuaciones docentes, empleando diferentes métodos de medida para poder comparar los resultados.

FASES DEL PROYECTO

Dos de las asignaturas se imparten en el primer cuatrimestre mientras que la tercera es de segundo cuatrimestre. La distribución de tareas queda como sigue:

Primer cuatrimestre (1)

  1. Análisis de antecedentes y búsqueda de soluciones para la evaluación de competencias
  2. Preparación de pruebas específicas para la evaluación de competencias
  3. Implantación de las metodologías de enseñanza-aprendizaje activas ya planteadas en cursos precedentes (fase no específicamente incluida en el proyecto)
  4. Aplicación de las pruebas en las asignaturas impartidas en el primer cuatrimestre para la medición de competencias transversales.
  5. Medida del tiempo de trabajo del alumno (según los métodos, distribuidas a lo largo del cuatrimestre)
  6. Análisis de resultados
  7. Propuesta de mejora sobre las metodologías docentes para una mejor adquisición de competencias por parte de los alumnos

Segundo cuatrimestre (2)

  1. Implantación de las metodologías de enseñanza-aprendizaje activas ya planteadas en cursos precedentes (fase no específicamente incluida en el proyecto). Consideración de las conclusiones obtenidas del estudio en el primer cuatrimestre.
  2. Aplicación de las pruebas en la asignatura impartida en el segundo cuatrimestre para la medición de competencias transversales.
  3. Medida del tiempo de trabajo del alumno (según los métodos, distribuidas a lo largo del cuatrimestre)
  4. Análisis de resultados

Tareas finales (3)

  1. Propuesta de acciones de mejora en las metodologías docentes (aplicadas a los casos concretos estudiados)
  2. Propuesta de herramientas probadas para la evaluación de la adquisición de competencias
  3. Difusión
  4. Informe final

Nota: Se hace notar que la asignatura de segundo cuatrimestre aplica una de las metodologías de prácticas multidisciplinares como otra de primer cuatrimestre, de manera que los resultados recabados en ésta pueden ser empleados para la revisión de aquella (relación entre las fases 1.7, 2.1 y 2.2).

EVALUACION DEL PROYECTO

Evaluación de resultados

Como resultados principales del proyecto se pretende tener:

  • Métodos para la evaluación del grado de adquisición de competencias probados en situaciones reales. De forma preferente, se intentará definir herramientas extrapolables a otras asignaturas.
  • Conclusiones sobre la efectividad en la formación en competencias de algunas acciones metodológicas aplicadas en asignaturas de la ETSII, de grado y master
  • Comparación de resultados al emplear diferentes métodos de cuantificación del trabajo del alumno

Se analizará la bondad y la eficacia, tanto de los métodos para fomentar el desarrollo de competencias transversales en los alumnos, como los métodos para medir el grado de adquisición de las mismas. En este sentido, se compararán los resultados objetivos obtenidos por medio de las pruebas diseñadas con las apreciaciones subjetivas de profesores y alumnos.

 

Plan de difusión de resultados

El tema planteado en este proyecto se estima que resulta de interés para su difusión en congresos y revistas especializadas, dado que la evaluación de competencias resulta crucial para la correcta aplicación de las metodologías docentes que se están proponiendo introducir. Así, la evaluación de los métodos para medir la adquisición de competencias como los propios resultados de su aplicación a metodologías docentes concretas suponen líneas de difusión de interés para la comunidad docente.

En este sentido, se han identificado diferentes foros para la difusión, entre los que se pueden citar:

  • Congreso de Innovación Educativa en las Enseñanzas Técnicas
  • Jornadas Nacionales de  Intercambio de Experiencias Piloto de  Implantación de Metodologías ECTS
  • Congreso de Ingeniería Mecánica
  • Jornadas de Redes de Investigación en Docencia Universitaria
  • International conference on education and new learning technologies
  • Congreso Internacional de Docencia Universitaria e Innovación

Además, se plantea la difusión a través de revistas especializadas, preferentemente incluidas en el SCI-JCR como, por ejemplo, Internacional Journal of Engineering Education, donde ya se han publicado resultados de experiencias previas de las metodologías que ahora van a ser evaluadas de forma rigurosa dentro de este proyecto.

 

Material docente para la red informática

Las guías de estudio y material de apoyo de las asignaturas necesario serán colgados de la plataforma de teleaprendizaje Aulaweb. Gran parte de este material fue desarrollado en cursos precedentes y, durante esta experiencia se incorporará aquel necesario para la evaluación de competencias.

Se analizará la posibilidad de incluir los cuestionarios y pruebas en la plataforma para facilitar la recogida y tratamiento de los datos.