Este proyecto producirá material para el aprendizaje basado en aula invertida en las asignaturas de Inteligencia Artificial (asignatura obligatoria de segundo curso en los Grados de Ingeniería del Software, Ingeniería de Computadores e Ingeniería de Sistemas), Agentes Inteligentes (optativa en estos mismos grados) y Tendencias en Inteligencia Artificial, obligatoria en el Máster Universitario en Ciencias y Tecnologías de la Computación.

Dentro de estas asignaturas, uno de los temas tratados es el de Redes de Neuronas,
considerada actualmente como una de las técnicas de mayor utilidad para modelado de sistemas. Este tipo de técnicas pueden ser expuestas en clase magistral, pero la verdadera comprensión de sus posibilidades y utilización pasan por la utilización real y la experimentación.

Aunque el área temática básica de este proyecto es el Aula Invertida, también está muy relacionado con el concepto de aprendizaje experiencial, ya que permitiría que los estudiantes esudiasen en casa los fundamentos y funcionamiento básico de un sistema basado en Redes de Neuronas para que después en el laboratorio y en presencia del profesor se experimentara com aplicaciones reales de estas técnicas.

Material de partida

El director del proyecto ya ha desarrollado previamente parte del software que se utilizará. Este software se denomina SALMON (System for Automatic Learning: Modelling Optimized Networks) y está probado con éxito en diversos proyectos reales.

El proyecto solicitado consiste, por tanto, en adaptar SALMON para la resolución de una colección de casos de uso específicos para el aprendizaje en aula invertida, junto con la documentación necesaria para que los estudiantes puedan experimentar en problemas reales o cuasi-reales.

Casos de uso:

Básicos

Los problemas básicos están pensados para que los alumnos experimenten con diversas arquitecturas de Redes de Neuronas y con los parámetros esenciales que rigen el entrenamiento de las mismas. Son problemas académicos y no se corresponden con datos reales de la industria.

• XOR: problema clásico que requiere el uso del percetrón multicapa para porder resolverlo, ya que es un problema no lineal.
• Círculo: Problema clásico en el que la red de Neuronas debe aprender a discriminar tres regiones concéntricas.
• Encoder: Problema clásico en el que se aprende a codificar información. Es interesante porque origina una de las primeras arquitecturas de Deep Learning, el método de los auto-correladores.
• Seno: Problema de regresión en el que la red de Neuronas tiene que aproximar una función seno a partir de datos.

Avanzados

Los problemas avanzados están pensados para que los alumnos descubran la aplicabilidad de estos métodos a problemas reales. Se les suministrará un juego de datos real obtenido del proceso a modelar o categorizar y los alumnos podrán experimentar modificando la arquitectura de la red y los parámetros de configuración para ver cómo afectan al proceso de obtención de la solución.

• Morosos: Datos obtenidos de devolución de préctamos bancarios de un banco. El objetivo es predecir si el cliente devolverá el préstamo.
• Quinielas: Datos obtenidos de un sistema de predicción de apuestas deportivas. El objetivo es predecir el resultado de partidos.
• H2: Datos obtenidos de una planta de Steam Reforming de Cepsa; el objetivo es modelar el comportamiento de la planta.
• Sensores: Datos obtenidos de sensores de la M-30. El objetivo es predecir la velocidad media en puntos intermedios en los que no hay sensor.

El sistema permitirá su uso a tres niveles de especilización:

1. Cargar los ejemplos y entrenar un perceptrón multicapa.
2. Analizar el impacto de la arquitectura de la red y los parámetros de entrenamiento en el sistema en explotación.
3. Encontrar la arquitectura adecuada para qye la generalización de la Red de Neuronas sea máxima.

Dotar a los aumnos de las asignaturas citadas, pertenecientes a la materia de Inteligencia Artificial, de material para que puedan tomar conocimiento de los conceptos básicos teóricos necesarios para la comprensión de las actividades de laboratorio. El Aula Invertida no es posible si los estudiantes no disponen de material previo para adquirir por su cuenta estos contenidos teóricos. Para ello se parte de las transparencias de la asignatura, pero habrá que elaborar un texto explicativo y una exposición en vídeo del profesor sobre dichos contenidos.

Dotar a los alumnos de una plataforma de experimentación real abierta a cualquier tipo de problema de optimización y de un conjunto de problemas ya resueltos para que puedan experimentar con ellos y conocer el alcance de la tecnología.

El sistema resultante debe permitir que los estudiantes experimenten en el laboratorio con distintos juegos de datos para que asimilen los conocimiento teóricos que han debido preparar previamente en casa, dentro de la metodología propuesta en el concepto de Aula Invertida. Las dudas que hayan originado los materiales didácticos suministrado para la parte teórica de la materia quedarán clarificadas en la sesión de laboratorio, así como las posibles dudas de aplicabilidad de la técnica cuando se utiliza en problemas reales.

Con ello se prentende alcanzar una la mejora de la motivación de los estudiantes promoviendo el aprendizaje en laboratorio y sus aplicaciones al desempeño profesional y promover la utilización de recursos tecnológicos de carácter innovador que permitan mejorar la diversidad y carácter de los materiales educativos.

Fase 0: Elaboración de documentación para el aprendizaje autónomo del estudiante previo a las sesiones de laboratorio.

En un proyecto de aula invertida es imprescindible que el estudiante disponga de materiales docentes apropiados para la adquisición de los contenidos teóricos previos a las sesiones de laboratorio. Para ello se preparará una clase virtual sobre redes de neuronas que los estudiantes podrán descargarse desde el aula virtual de las asignaturas qeu formen parte del proyecto piloto.

Entregable 0 (enero 2018): Manual de instrucciones del sistema SALGA.

Fase 1: Mejora de la documentación del sistema SALMON para su uso por parte de estudiantes.

Aunque actualmente existe un manual de uso del sistema, este contiene algunas deficiencias y desactualizaciones debido a la evolución y modificación del software durante varios proyectos. Habría que revisar cada opción del sistema y comprobar que esté correctamente descrita, añadiendo algunos ejemplos y relacionándola con los apectos teóricos de las asignaturas.

Entregable 1 (diciembre 2018): Manual de instrucciones del sistema SALGA.

Fase 2: Recopilación de datos para los casos de uso básicos.

Se construirá un conjunto de entrenamiento y un conjunto de test para cada uno de los problemas básicos enumerados en la descripción del proyecto. Estos datos estarán convenientemente comentados describiendo cuál es el objeto cada uno y cómo se han obtenido. Los alumnos podrán así entender las fases previas de desarrollo de proyectos reales, tales como recopilación de datos, filtrado de outlayers y normalización, y experimentar modificando parámetros del programa y la arquitectura de la red, para comprobar cómo afectan al resultado encontrado por el sistema.

Entregable 2 (enero 2018): Componentes de casos de uso básicos, debidamente documentados y probados.

Fase 3: Implementación de componentes para los casos de uso avanzados.

Se construirá un conjunto de entrenamiento y un conjunto de test para cada uno de los problemas avanzados enumerados en la descripción del proyecto. Estos datos estarán convenientemente comentados describiendo cuál es el objeto cada uno y cómo se han obtenido. Los alumnos podrán así entender las fases previas de desarrollo de proyectos reales, tales como recopilación de datos, filtrado de outliers y normalización, y experimentar modificando parámetros del programa y la arquitectura de la red, para comprobar cómo afectan al resultado encontrado por el sistema.

Entregable 3 (febrero 2018): Componentes de casos de uso avanzados, debidamente documentados y probados.

Fase 4: Elaboración de documentación de utilización y guías de prácticas.

Se elaborará una colección de guías de prácticas de laboratorio que especificará para cada problema de ajuste de Redes de Neuronas los pasos a dar para que el estudiante adquiera las competencias de la asignatura, apoyándose en el aprendizaje basado en Aula Invertida y a través de la resolución práctica de problemas reales. Las prácticas comenzarán por los aspectos más básicos de funcionamiento de una Red de Neuronas, continuando por el ajuste de parámetros para analizar cómo éstos afectan a la solución encontrada y finalmente estudiarán el prendizaje realizado por la red en términos de regiones de clasificación, forma de las conexiones aprendidas y error RMS sobre los conjuntos de test, matrices de confusión, etc. Estás guías básicas serán adaptadas a cada una de las asignaturas en las que se va a utilizar el sistema, ya que, por ejemplo, en asignaturas de grado se hará más hincapié en el funcionamiento global de los métodos de Redes de Neuronas y en la influencia de los parámetros de aprendizaje, mientras que en las asignaturas de máster son más importantes las conclusiones sobre capacidad de generalización de las redes obtenidas, métodos de regularización y procesos de diseño de una solución para un problema determinado.

Entregable 4 (marzo 2018): Documentación completa de los componentes, incluyendo manual de implementación de nuevos componentes y modificación de los desarrollados. Guía de prácticas sobre cada componente.

Fase 5: Utilización del sistema en prácticas reales: prueba piloto en la asignatura de Agentes Inteligentes (grado) y en la asignatura de Tendencias en Inteligencia Artificial (Máster).

La asignatura de Agentes Inteligentes comienza en febrero, pero el piloto no se realizará hasta abril, momento en que ya se dispondrá de todos los conjuntos de ejemplo desarrollados y documentados, así como de las guías de prácticas. Se escogerá a un grupo de estudiantes para una experiencia piloto de aprendizaje basado en aula invertida con el sistema desarrollado. A la finalización de la experiencia se realizará una encuesta para comprobar si la adquisición de competencias mejora con respecto a la realización de la práctica tradicional de la signatura, que será realizada por el resto de los estudiantes. En caso de que la experiencia sea positiva, al curso siguiente todos los estudiantes realizarán la práctica basada en aula invertida.

Entregable 5 (junio 2018): Resultados de encuestas de satisfacción de los estudiantes que hayan cursado la prueba piloto.

Fase 6: Difusión de resultados.

El análisis comparativo de la adquisición de competencias de los estudiantes que hayan realizado aprendizaje experiencial se confrontará con la adquisición de competencias de los estudiantes que hayan cursado las prácticas tradicionales de la asignatura. Dicho análisis se publicará en forma de artículo en un congreso de innovación educativa. Adicionalmente, previo registro del software, se contemplará la posible difusión del sistema a través de una página web para que pueda ser descargado y utilizado por cualquier universidad.

Entregable 6 (noviembre 2018): Artículo de difusión de los resultados del proyecto. Sistema completo registrado descargable en la web. Página web de descripción del proyecto. 

Recursos resultado del proyecto:

1) Sistema base y manual de uso del sistema SALMON preparados para su distribución a los estudiantes. Registro en propiedad intelectual del software desarrollado.

2) Componentes necesarios para los casos de uso básicos y avanzados, incluyendo una documentación pormenorizada sobre los pasos a dar para el entrenamiento con nuevos juegos de datos.

3) Guías de práctica para cada uno de los componentes desarrollados, tanto los básicos como los avanzados.

Recursos que se utilizarán:

La implementación del software base y de los componentes se realizarán en lenguaje de programación python, disponible de modo gratuito para los sistemas operativos más importantes: linux, MacOSX y Windows. Sistema SALMON ya desarrollado y probado en diversos proyectos. 

En las etapas de desarrollo se realizarán pruebas unitarias de cada caso de uso.

Una vez desarrollados todos los casos de uso, se elaborará una práctica para cada una de las asignaturas implicadas y se realizará una encuesta a los estudiantes para contrastar en qué medida el aprendizaje basado en aula invertida ha mejorado su comprensión de la disciplina de las Redes de Neuronas frente a la mera exposición en clase magistral.

Se comprobarán los entregables de cada una de las fases de desarrollo descritas en el apartado de fases y acciones:

Entregable 0 (enero 2018): Materiales educativos para el apredizaje autónomo previo a las clases de laboratorio.
Entregable 1 (diciembre 2017): Artículo de difusión de los resultados del
Entregable 2 (enero 2018): Componentes de casos de uso básicos, debidamente documentados y probados.
Entregable 3 (febrero 2018): Componentes de casos de uso avanzados, debidamente documentados y probados.
Entregable 4 (marzo 2018): Documentación completa de los conjuntos de entrenamiento, incluyendo descripción del proceso de obtención. Guía de prácticas sobre cada componente.
Entregable 5 (junio 2018): Resultados de encuestas de satisfacción de los estudiantes que hayan cursado la prueba piloto.
Entregable 6 (noviembre 2018): Artículo de difusión de los resultados del proyecto.

En lo que se refiere a los estudiantes, se valorarán los logros alcanzados en la mejora de las siguientes competencias:

1. Capacidad para desarrollar y dirigir proyectos de investigación en campos específicos de la ingeniería informática: modelos de computación, sistemas inteligentes o sistemas avanzados software, competencia E2 en el Máster de Ciencias y Tecnologías de la Computación.

2. Conocer y aplicar los fundamentos, paradigmas y técnicas propias de los sistemas inteligentes y analizar, diseñar y construir sistemas, servicios y aplicaciones informáticas que utilicen dichas técnicas en cualquier ámbito de aplicación, competencia E9 en el Máster de Ciencias y Tecnologías de la Computación.

3. Conocer y desarrollar técnicas de aprendizaje computacional y diseñar e implementar aplicaciones y sistemas que las utilicen, incluyendo las dedicadas a extracción automática de información y conocimiento a partir de grandes volúmenes de datos, competencia C1 en el Máster de Ciencias y Tecnologías de la Computación.

4. Conocimiento y aplicación de los principios fundamentales y técnicas básicas de los sistemas inteligentes y su aplicación práctica, competencia CC15 del Grado en Ingeniería del Software, el Grado en Ingeniería de los Computadores y el Grado en Sistemas de Información.

Aunque se tendrán en cuenta los aspectos más cuantitativos relativos a calificaciones obtenidos y tasa de éxito, el análisis de la consecución de estas competencias se realizará de forma más profunda, intentando detectar las carencias fundamentales y más frecuentes en el desempeño de los alumnos. Este análisis permitirá readaptar la metodología docente si es necesario, y en el futuro incluir nuevos tópicos en las prácticas basadas en aula invertida.

1) Un conjunto de colecciones de datos para su usilización en SALMON, junto con su documentación y enunciados de prácticas asociadas:

Básicos:

• XOR: problema clásico que requiere el uso del percetrón multicapa para porder resolverlo, ya que es un problema no lineal.
• Círculo: Problema clásico en el que la red de Neuronas debe aprender a discriminar tres regiones concéntricas.
• Encoder: Problema clásico en el que se aprende a codificar información. Es interesante porque origina una de las primeras arquitecturas de Deep Learning, el método de los auto-correladores.
• Seno: Problema de regresión en el que la red de Neuronas tiene que aproximar una función seno a partir de datos.

Avanzados:

• Morosos: Datos obtenidos de devolución de préctamos bancarios de un banco. El objetivo es predecir si el cliente devolverá el préstamo.
• Quinielas: Datos obtenidos de un sistema de predicción de apuestas deportivas. El objetivo es predecir el resultado de partidos.
• H2: Datos obtenidos de una planta de Steam Reforming de Cepsa; el objetivo es modelar el comportamiento de la planta.
• Sensores: Datos obtenidos de sensores de la M-30. El objetivo es predecir la velocidad media en puntos intermedios en los que no hay sensor.
• Explotación: componente en python que cargue la red entrenada, pida datos por consola y escriba las salidas obtenidas por la red.

2) Documentación y guías de uso de cada colección de datos.

3) Enunciados de posibles prácticas a realizar con cada componente. 

A la finalización del proyecto, se elaborarán uno o varios artículos para su publicación en congresos o revistas de innovación educativa. Estos artículos se centrarán en el impacto de la intruducción de las nuevas metodologías en las asignaturas objeto del desarrollo, y en los resultados obtenidos en términos de adquisición de competencias por parte de los estudiantes.

Junto con el artículo, se estudiará la posibilidad de registrar y distribuir el código generado para que otras universidades puedan implantar las prácticas en sus materias de Inteligencia Artificial. Para ello se pondrá en marcha una página web explicando el sistema y sus casos básicos de uso. 

• Instituto Universidario de Investigación del Automóvil (INSIA).
• Departamento de Metodología de las Ciencias del Comportamiento de la Universidad Complutense de Madrid, que ayudará en el análisis de los resultados.