Hasta el día de hoy hay poca evidencia sobre la mejora de rendimiento de los estudiantes cuando se les instruye con la metodología research-based teaching. Esta experiencia, conducida por el GIE DMAE-DIA,  introducirá a los estudiantes dentro de una investigación en la que participan tres miembros del equipo que subscriben esta propuesta (Jessica Díaz, Jorge Pérez y Agustín Yagüe) en el dominio de devOps. DevOps es una de las líneas de investigación del grupo de investigación SYST (https://www.citsem.upm.es/es/quienes-somos/grupos-de-investigacion/grupo-de-tecnologia-software-y-sistemas-syst) al que pertenecen cinco miembros del equipo que subscriben esta propuesta (Jessica Díaz, Javier García, Norberto Cañas, Jenifer Pérez y Agustín Yagüe).

Dentro de la titulación Ingeniería del Software, impartida en la ETSI de Sistemas Informáticos, en el 6º semestre se imparte la asignatura de Evolución y Mantenimiento del Software en la que están matriculados cerca de 130 estudiantes, divididos en dos grupos. En esta experiencia se pretende realizar un experimento para contrastar el rendimiento de los estudiantes  cuando son instruidos con una metodología tradicional de enseñanza-aprendizaje (grupo de contraste) y cuando lo son con la metodología research-based teaching (grupo experimental). La experiencia propuesta consiste en que los estudiantes del grupo experimental analicen contenido de entrevistas realizadas a grandes empresas sobre su estado de adopción de la cultura DevOps, siendo esta una de las fases de un proyecto de investigación que lidera la Dra. Díaz (https://blogs.upm.es/devopsinpractice/) en colaboración con itSMF España.

Esta propuesta persigue un triple objetivo:

- Medir experimentalmente si se observan mejoras o no en el rendimiento de los estudiantes cuando estos se someten a la metodología research-based teaching

- Medir el grado de satisfacción de los estudiantes sometidos a la metodología research-based teaching frente a una tradicional de enseñanza aprendizaje

- Mejorar el desempeño de los estudiantes en las competencias transversales: trabajo en equipo, liderazgo, análisis y síntesis, organización y planificación

Con esta propuesta se pretende poner de relieve si la metodología research-based teaching mejora el rendimiento académicos de nuestros estudiantes. Es una experiencia piloto que, de confirmarse la hipótesis planteada, se extenderá al resto de la asignatura y a otras asignaturas. La contribución a la calidad tiene varias facetas:

- Se mejora el rendimiento académico de los estudiantes (hipótesis)

- Se mejora el nivel de desempeño de los estudiantes en competencias transversales tales como el trabajo en equipo, liderazgo, análisis y síntesis, organización y planificación. Las tareas realizadas en el ámbito research-based teaching implican trabajar en grupo para analizar y sintetizar (etiquetar) información procedente de entrevistas a empresas. El material es muy amplio lo que implica un esfuerzo inicial de planificación

- El estudiante estará inmerso en el desarrollo de un proyecto real de investigación, lo que implica que mejorará aspectos como la actitud crítica, humildad (los investigadores deben aceptar que no existe “la verdad”), pensamiento independiente, curiosidad intelectual, razonamiento crítico, etc. a la par que conocerá cuáles son los procesos/procedimientos en un proyecto real de investigación

- Conocerá de primera mano cómo las empresas, las que se encontrará cuando ingrese en el mercado laboral, están abordando el siguiente paso en desarrollo y operación del software (devOps)

El proyecto contempla las siguientes actividades:

Fase I: febrero 2020. Se realizarán las siguientes acciones:

I.1 Se informará a los estudiantes del grupo experimental, que la parte de la asignatura relacionada con devOps se impartirá con la metodología research-based teaching

I.2 Elaboración y realización de un test sobre los conocimiento que los estudiantes de ambos grupos tienen sobre devOps. Su calificación no afecta a la nota de la asignatura y su único objetivo es establecer que entre ambos grupos (el experimental y el de contraste -estamos frente a un diseño cuasi-experimental-) no hay diferencias importantes y, por tanto, verificar la comparabilidad inicial de ambos grupos.

I.3 Corrección de los test y análisis de resultados. Verificación del atributo de comparabilidad de los grupos de contraste y experimental

I.4 Los estudiantes analizan y etiquetan el material con el contenido de las entrevistas a grandes  empresas.

Fase II: marzo-abril 2020. Se realizarán las siguientes acciones:

II.1 Elaboración de la encuesta sobre el grado de satisfacción de los estudiantes con la metodología research-based teaching

II.2  Introducción del análisis/etiquetado realizado sobre las entrevistas por los estudiantes sobre herramientas de análisis de etiquetado (Atlas.ti) para su posterior tratamiento y explotación

Fase III: mayo-junio 2020. Se realizarán las siguientes acciones:

III.1 Redacción de los resultados de los análisis/etiquetado y presentación de los mismos a los estudiantes con la posterior discusión sobre los mismos

III.2. Realización de pruebas/exámenes (de ambos grupos) y análisis estadísticos sobre los resultados en la parte de la asignatura relacionada con devOps

III.3 Cumplimentación de la encuesta de satisfacción por parte de los estudiantes del grupo experimental sobre el grado de satisfacción con la metodología research-based teaching y análisis de los resultados

Fase IV: julio-octubre 2020. Difusión de resultados

IV.1 Elaboración de un artículo para enviar a una revista de impacto y/o congreso

IV.2 Elaboración de la memoria final para enviar al Servicio de Innovación Educativa (tal y como establecen las bases de la convocatoria)

Se elaborará una guía con los mecanismos para implementar la metodología research-based teaching en la asignatura de Evolución y Mantenimiento del Software y, en concreto, en la parte dedicada a devOps. Dicha guía tendrá la forma de guiones (uno por sesión) en los que se indican las actividades a realizar tanto dentro del aula (pormenorizadas al minuto) como fuera del aula (con un grano más grueso de tiempo: expresadas en horas). Esta guía se espera que se pueda reutilizar en próximas experiencias

- Febrero: documentación para explicar a los estudiantes la metodología research-based teaching y cómo se implementará en la asignatura

- Febrero: Calificaciones del pre-test para verificar la comparabilidad de los grupos contraste y experimental

- Marzo-abril. Elaboración de la encuesta sobre el grado de satisfacción de los estudiantes con la metodología research-based teaching 

- Mayo-junio: Resultados de los análisis/etiquetado y presentación de los mismos a los estudiantes

- Mayo-junio: Realización de pruebas/exámenes (de ambos grupos) y análisis estadísticos sobre los resultados en la parte de la asignatura relacionada con devOps. Dicho análisis incluirá, entre otros, la potencia estadística así como el effect size

- Mayo-junio: Cumplimentación de la encuesta de satisfacción por parte de los estudiantes del grupo experimental sobre el grado de satisfacción con la metodología search-based teaching y análisis descriptivo de los resultados

- Octubre: elaboración de un artículo para la difusión de resultados así como la memoria final del proyecto

- Guía con buenas prácticas sobre como implementar la metodología research-based teaching, reutilizable en otros ámbitos y materias

- Análisis estadístico que confirma/rechaza la hipótesis de partida: los estudiantes obtienen mejores resultados académicos con la metodología research-based teaching que con una tradicional

- Análisis sobre el grado de satisfacción de los estudiantes con la metodología research-based teaching 

- Resultados del trabajo de los estudiantes en cuanto al análisis de las entrevistas a las empresas

- Artículo para la difusión de los resultados del proyecto

-  En el portal del proyecto de investigación figurará la identificación de los estudiantes del grupo experimental que han participado en la experiencia con la indicación del trabajo realizado y su filiación a la UPM

itSMF es gran comunidad mundial de conocimiento para compartir prácticas sobre el gobierno y la gestión del servicio de las Tecnologías de la Información (TI). itSMF España forma parte de la comunidad mundial de prácticas. Su actividad también gira entorno a la creación y difusión de las buenas prácticas y las experiencias relativas a la gestión de los servicios y el gobierno de las TI. Está centrada en intercambiar puntos de vista, compartir experiencias y participar en el desarrollo continuo de mejores prácticas y estándares (https://itsmf.es/index.php?option=com_content&view=article&id=45&Itemid=189).

La doctora Díaz ha sido designada como "Team Leader of the Working Group itSMF 4 DevOps" y la investigación en la que participarán los estudiantes forma parte de los intereses de esa organización