Back to top

Ficha Proyecto I.E. 2025-2026



QuimerIA: Competición y Evaluación Automatizada en Métodos Generativos

Coordinador(a): EDGAR TALAVERA MUÑOZ
Centro: E.T.S DE ING. DE SISTEMAS INFORMÁTICOS
Nivel: Nivel 2. Proyectos promovidos por otros colectivos de profesores de la UPM
Código: IE26.6113
... memoria no disponible
Línea: E3. Aprendizaje Basado en Retos
Miembros de la comunidad UPM que lo componen
Nombre y apellidos Centro
EDGAR TALAVERA MUÑOZ E.T.S DE ING. DE SISTEMAS INFORMÁTICOS
GUILLERMO IGLESIAS HERNANDEZ E.T.S DE ING. DE SISTEMAS INFORMÁTICOS
RAUL LARA CABRERA E.T.S DE ING. DE SISTEMAS INFORMÁTICOS
DESCRIPCIÓN DEL PROYECTO

La evaluación del aprendizaje en áreas innovadoras, como los métodos generativos, representa uno de los mayores retos para los profesores universitarios. Las metodologías de evaluación tradicionales tienen dificultades para medir de manera objetiva la calidad, la creatividad y la precisión técnica de los modelos de Inteligencia Artificial (IA) generativa. Esta situación puede desmotivar a los estudiantes y no refleja la alta competitividad que se vive en el desarrollo de IA en el mundo real. El proyecto de innovación educativa busca abordar este desafío al proponer un nuevo enfoque para la asignatura de "Métodos Generativos", fundamentado en el Aprendizaje Orientado a Retos (Challenge-Based Learning) y la gamificación. Tomando inspiración de las competiciones de ciencia de datos, el objetivo es crear un ecosistema de aprendizaje dinámico donde los estudiantes puedan aplicar la teoría en un entorno práctico, medible y motivador.

El proyecto se desarrolla como una competición que abarca toda la duración de la asignatura. A los estudiantes se les plantea un reto claro: reciben un conjunto de datos de alta calidad (este año, imágenes de anime) y deben diseñar, entrenar y optimizar sus propios modelos generativos con el fin de crear nuevas imágenes que sean indistinguibles del conjunto de datos original. La innovación más destacada de este proyecto radica en su sistema de evaluación, que reemplaza la corrección subjetiva manual por un sistema automatizado donde una IA evalúa el trabajo de los modelos del estudiante. La métrica utilizada es una similar a la distancia  Fréchet Inception Distance (FID), una medida robusta que compara la distribución estadística de las imágenes generadas por el alumno con la de las imágenes reales del conjunto de datos real, utilizando un modelo de IA preentrenado para evaluar la similitud perceptiva. Un FID más bajo indica que las imágenes generadas son de alta calidad y muy similares a las originales.

Este flujo de trabajo ofrece a los estudiantes un ciclo de iteración rápida: pueden entrenar un modelo, generar imágenes, enviarlas a un sistema de evaluación automatizado y recibir su puntuación FID casi al instante. Este feedback constante y objetivo impulsa la experimentación y el aprendizaje profundo. Un aspecto clave del proyecto es su capacidad para transformar la motivación del estudiante. Al introducir un componente competitivo claro, con un ranking público basado en la métrica FID, la asignatura se convierte de una obligación académica en un reto personal y colectivo, transformando a los estudiantes en ingenieros de IA que compiten por la excelencia técnica.

Esta gamificación culmina en una recompensa que va más allá de la simple calificación académica. Al finalizar la competición, los tres mejores modelos (los que tienen el FID más bajo) reciben un reconocimiento especial. Los estudiantes o equipos ganadores eligen una de las imágenes generadas por su propio modelo, y el proyecto convierte esa creación digital en un premio físico: un modelo 3D impreso de la imagen generada. Este premio tangible completa el ciclo del aprendizaje, ya que el estudiante no solo ha dominado un concepto abstracto de IA, sino que ha creado un artefacto digital de alta calidad, validado objetivamente por otra IA, que finalmente se convierte en un trofeo que celebra su logro. En conjunto, el proyecto representa un compromiso integral con la transformación de la enseñanza técnica, combinando la eficacia del Aprendizaje Basado en Retos, el rigor de la evaluación mediante IA y el poder motivacional de la gamificación, alineando la formación universitaria con las prácticas reales del sector tecnológico.

OBJETIVOS DEL PROYECTO

Diseñar e implementar una propuesta innovadora de Aprendizaje Orientado a Retos (AOR) en la asignatura Métodos Generativos, mediante el desarrollo de una competición de generación de imágenes con IA, que promueva la evaluación entre pares, la automatización del proceso de valoración y la prevención del fraude académico.

- Proponer una competición de generación de contenido, evaluada por pares de alumnos, en el marco de la asignatura Métodos Generativos. Esta competición permitirá evaluar los resultados de los alumnos en la creación de modelos de IA capaces de generar imágenes realistas. En concreto, cada estudiante deberá entrenar un modelo completo que replique una base de datos proporcionada previamente.

- Implementar un sistema de evaluación automática de los resultados, desarrollando desde cero una métrica de evaluación adecuada al marco del proyecto. Esta métrica deberá valorar el realismo, la diversidad y la originalidad de las imágenes generadas. Se considerarán como referencia las métricas Inception Score (IS), Fréchet Inception Distance (FID) y Kernel Inception Distance (KID), empleadas en el estado del arte para este tipo de tareas.

- Estudiar las métricas de evaluación (IS, FID y KID), analizando sus fortalezas y debilidades con el fin de seleccionar la que permita evaluar de manera más justa los resultados obtenidos por los estudiantes.

- Analizar posibles casos de fraude o resultados erróneos, considerando la limitada robustez de las métricas ante modelos poco originales. Para ello, se implementará una medida de prevención de fraude académico que compare las imágenes generadas con la base de datos original y notifique automáticamente a los docentes en caso de detección de posibles copias.

CONTRIBUCIÓN A LA MEJORA DE LA CALIDAD

El proyecto contribuye significativamente a la mejora de la calidad de la enseñanza al incorporar una metodología activa basada en el Aprendizaje Orientado a Retos (AOR), que sitúa al estudiante en el centro del proceso formativo y promueve el desarrollo de competencias técnicas, analíticas y colaborativas.

En primer lugar, la competición de generación de contenido con IA fomenta el aprendizaje autónomo y la motivación del alumnado, al enfrentar a los estudiantes con un problema real y actual de alta complejidad: el entrenamiento de modelos generativos. Este enfoque permite que los participantes adquieran una comprensión práctica y profunda de los métodos aprendidos en clase, al tiempo que aplican los conocimientos teóricos en un contexto experimental y competitivo.

En segundo lugar, la evaluación entre pares y la implementación de métricas automáticas promueven una cultura de evaluación formativa, objetiva y transparente. Este sistema no solo favorece la retroalimentación continua, sino que también impulsa el pensamiento crítico y la capacidad de análisis al evaluar el trabajo de otros compañeros mediante criterios técnicos bien definidos.

Asimismo, el estudio y la aplicación de métricas de evaluación del estado del arte (IS, FID y KID) vinculan directamente el aprendizaje con la investigación, exponiendo al alumnado a herramientas y metodologías utilizadas en entornos profesionales y científicos.

Finalmente, la integración de mecanismos de detección de fraude académico refuerza la integridad del proceso educativo, garantizando la fiabilidad de los resultados y fomentando la honestidad y la responsabilidad en el trabajo individual.

En conjunto, el proyecto promueve una enseñanza más participativa, práctica, rigurosa y alineada con las demandas tecnológicas actuales, mejorando la adquisición de competencias y la preparación del alumnado para entornos profesionales e investigadores en el ámbito de la inteligencia artificial y el aprendizaje automático.

FASES DEL PROYECTO Y ACCIONES QUE SE VAN A DESARROLLAR

Para gestionar la ejecución del proyecto, se ha establecido un cronograma detallado de 12 meses, visualizado en el diagrama de Gantt adjunto (ver Figura \ref{fig:gantt}). El plan de trabajo se estructura en cinco fases principales que gestionan la consecución de los objetivos de forma eficiente, permitiendo la paralelización de tareas y asegurando la correcta integración de los componentes.

Fase 1. Diseño pedagógico y planificación del reto (Meses 1–2)

En esta primera etapa se definen los fundamentos metodológicos del proyecto, basados en el Aprendizaje Orientado a Retos (AOR), y se diseña la estructura de la competición que servirá como eje del proceso formativo. Se establecen los objetivos, criterios de participación y sistema de evaluación entre pares. Además, se selecciona y prepara la base de datos de imágenes que los estudiantes utilizarán para entrenar sus modelos, y se elaboran los materiales docentes y guías de trabajo que orientarán tanto a los alumnos como al profesorado.

Hito-1: Diseño completo del marco pedagógico y documentación del reto lista para su implementación.

Fase 2. Desarrollo técnico de la plataforma y las métricas (Meses 3–5)

Durante esta fase se implementa la plataforma que albergará la competición y se desarrollan las métricas automáticas de evaluación. Estas métricas permitirán medir de forma objetiva el realismo, la diversidad y la originalidad de las imágenes generadas por los estudiantes. Se analizan y adaptan las métricas de referencia más relevantes en el estado del arte —Inception Score (IS), Fréchet Inception Distance (FID) y Kernel Inception Distance (KID)—, comprobando su funcionamiento mediante pruebas y ajustándolas al contexto educativo.

Hito-2: Plataforma funcional con métricas automáticas implementadas y validadas.

Fase 3. Pilotaje y puesta en marcha de la competición (Meses 6–7)

Una vez desarrollada la infraestructura técnica, se pone en marcha la competición dentro de la asignatura Métodos Generativos. Los estudiantes entrenan sus propios modelos de generación de imágenes y presentan sus resultados a la evaluación. Se lleva a cabo el proceso de evaluación entre pares, aplicando las métricas automáticas diseñadas, y se recopilan observaciones y datos que permitirán analizar el funcionamiento general del sistema y realizar los ajustes necesarios.

Hito-3: Competición completada con participación estudiantil y resultados recopilados.

Fase 4. Análisis de resultados y prevención de fraude (Meses 8–9)

En esta etapa se estudian los resultados obtenidos durante la competición, tanto en términos de desempeño de los estudiantes como de eficacia de las métricas empleadas. Se implementan mecanismos de detección de fraude académico que comparan las imágenes generadas con la base de datos original para identificar posibles copias o falta de originalidad. A partir de este análisis, se realizan mejoras en las métricas y se consolidan los criterios de evaluación más robustos.

Hito-4: Sistema de detección de fraude operativo y análisis de resultados finalizado.

Fase 5. Evaluación del impacto y difusión (Meses 10–12)

Finalmente, el proyecto culmina con la evaluación del impacto pedagógico y la difusión de los resultados. Se analizan los efectos del proyecto sobre la motivación, el aprendizaje y las competencias adquiridas por los estudiantes. Además, se elaboran informes de resultados y se difunden las conclusiones en jornadas de innovación docente, congresos o publicaciones especializadas. Esta fase también incluye la propuesta de mejoras y la planificación de futuras ediciones, garantizando la sostenibilidad y evolución del proyecto a largo plazo.

Hito-5: Informe final de resultados y propuestas de mejora presentadas y difundidas.

SEGUIMIENTO Y EVALUACION

El seguimiento del proyecto se llevará a cabo con un enfoque de gestión que se basa en hitos, todo alineado con un cronograma de 12 meses (Diagrama de Gantt) y las cinco fases clave del proyecto. En lugar de medir el progreso por horas o tareas pequeñas, nos enfocaremos en la finalización y validación de los entregables esenciales que forman cada hito.

Tendremos reuniones de revisión al final de los meses 2, 5, 7, 9 y 12, justo cuando se complete cada hito (Hito-1 a Hito-5). Durante estas reuniones, el equipo del proyecto presentará las pruebas de que se ha alcanzado cada hito al responsable del proyecto. El Diagrama de Gantt será nuestra herramienta visual principal para identificar cualquier desviación en los plazos, lo que nos permitirá tomar medidas correctivas a tiempo y asegurar que las fases siguientes se mantengan en buen camino.

La evaluación de los resultados del proyecto y la medición de su éxito se basarán en la entrega y validación de los entregables clave relacionados con cada hito. Para la memoria final, estas evidencias incluirán:

  • El documento de diseño pedagógico que define el Aprendizaje Orientado a Retos y las especificaciones de la competición (Hito-1). 
  • El acceso a la plataforma de competición funcional y los scripts validados de las métricas automáticas (FID, KID, IS) (Hito-2).
  • Un informe de resultados del seguimiento que incluirá los datos brutos de participación, las puntuaciones obtenidas y un análisis preliminar (Hito-3).
  • El informe de análisis de fraude y la versión consolidada de los criterios de evaluación robustos (Hito-4).
  • El informe final de impacto pedagógico, que recopilará los resultados de las encuestas a estudiantes, el análisis de competencias y los materiales de difusión generados (Hito-5).

Estos entregables serán la evidencia clave y tangible de que hemos alcanzado los objetivos del proyecto.

PRODUCTOS RESULTANTES
  1. Módulo de Evaluación Generativa y Anti-fraude (Kaggle-Ready): Este es un conjunto de scripts de software que han sido validados y están listos para ser integrados como métricas personalizadas en plataformas de competición como Kaggle (Hito-2). Este módulo es el corazón técnico del proyecto e incluye las implementaciones del Coeficiente FID, IS y KID adaptadas específicamente para el reto. También cuenta con un sistema de detección de fraude (Hito-4) que funciona de manera independiente sobre las entregas para asegurar la originalidad. Su capacidad de transferencia es muy alta, ya que actúa como una "IA que corrige" y puede ser reutilizada en cualquier competición similar.
  2. Guía Metodológica y Técnica de Replicación en Kaggle: Este es un paquete documental completo que sirve como un "manual de replicación" para el proyecto "QuimerIA". Incluye: (a) un diseño pedagógico detallado del Aprendizaje Orientado a Retos (Hito-1), y (b) una guía técnica paso a paso sobre cómo configurar la competición en la plataforma Kaggle (o en una similar), cómo preparar el dataset y cómo integrar el módulo de evaluación generativa. Es un recurso clave para la transferencia interna autónoma y se publicará como Recurso Educativo Abierto (REA).
  3. Dataset de Referencia: Este es un conjunto de datos de imágenes (por ejemplo, anime) que ha sido seleccionado, procesado, limpiado y formateado específicamente para servir como referencia en la competición (Hito-1). Este dataset, junto con sus particiones público/privado para Kaggle, es un producto en sí mismo y se publicará como REA para que otros docentes e investigadores puedan replicar el reto o compararlo.
  4. Informe de Impacto Pedagógico y Caso de Éxito: Este es un informe final que documenta los resultados cuantitativos y cualitativos del pilotaje (Hito-3 y Hito-5). Incluirá un análisis de la correlación entre las métricas objetivas (FID) y el aprendizaje percibido por los estudiantes, los resultados de las encuestas de motivación y los artefactos finales (imágenes de los modelos 3D premiados). 
MATERIAL DIVULGATIVO

La difusión del proyecto se enfocará en dos acciones clave y alcanzables. En primer lugar, se preparará una ponencia para un congreso o jornada dedicada a la innovación docente, donde se presentará la metodología de Aprendizaje Orientado a Retos (AOR) que hemos implementado, el uso de una métrica obtenida con un modelo de IA, como es el FID, como herramienta de evaluación objetiva en Kaggle, y los resultados del impacto pedagógico que hemos logrado. En segundo lugar, se publicará un Recurso Educativo Abierto (REA) en un repositorio digital, que incluirá la guía metodológica de replicación (Producto 8.2) y los scripts de evaluación (Producto 8.1), asegurando así que otros docentes puedan acceder a esta innovación y replicarla.

COLABORACIONES

No procede