Una de las principales dificultades que enfrentan los alumnos de la asignatura Interacción Persona-Ordenador es la elaboración de las tareas e hitos correspondientes al Análisis del Contexto de Uso de los usuarios. Concretamente, en sus proyectos se aprecia la creación de perfiles de usuario imprecisos o incompletos, un problema que a menudo se origina en la ineficacia de sus habilidades de recopilación y análisis de datos de usuarios reales, principalmente obtenidos a través de actividades de tipo entrevista y cuestionarios. La habilidad para realizar entrevistas significativas y valiosas es crucial para entender las necesidades, deseos y comportamientos de los usuarios, y condiciona fuertemente el correcto desarrollo del diseño centrado en el usuario en sus proyectos dentro de la asignatura. Sin embargo, muchos estudiantes luchan con esta competencia, y cuando realizan sus entrevistas a usuarios plantean preguntas frecuentemente irrelevantes o excesivamente cerradas, llevando a un resultado de poca utilidad para extraer perfiles de usuario correctos, así como a interpretaciones erróneas o superficiales de la información recabada. Esto se añade al hecho de que frecuentemente no pueden permitirse un proceso de entrevistas y posterior recopilación de información con plena disponibilidad y/o disposición de los usuarios reales en una ventana de tiempo lo suficientemente amplia para garantizar el tamaño y calidad de los datos recopilados.

Esta deficiencia en la recopilación y análisis de datos puede resultar en perfiles de usuario que no reflejan fielmente las expectativas y experiencias del usuario final. Tal situación no sólo limita la capacidad de los estudiantes para diseñar soluciones centradas en el usuario, sino que también puede tener un impacto negativo en la usabilidad y aceptación de los sistemas o productos diseñados. En la actualidad, en la asignatura Interacción Persona-Ordenador los alumnos adquieren y practican estas destrezas en su primera interacción con los usuarios reales. De los resultados de esta tarea dependen muchas decisiones posteriores en el proyecto que llevan a cabo. Sin embargo, al no haber practicado previamente estas técnicas por la dificultad de acceder a materiales de entrenamiento de calidad, los perfiles de usuario que obtienen no son suficientemente ricos, lo que afecta negativamente a su proyecto y, por extensión, a su aprendizaje. Por lo tanto, es esencial que los alumnos entrenen previamente sus técnicas en cierta medida para poder construir perfiles de usuario relevantes y precisos, lo que a su vez mejorará significativamente la calidad de sus proyectos en la asignatura.

La propuesta se centra en el uso práctico de Grandes Modelos de Lenguaje (Large Language Models, LLM) como ChatGPT para preparar y entrenar a los estudiantes de primero matriculados en Interacción Persona-Ordenador en el grado de Ingeniería Informática. El objetivo de la propuesta es entrenar a los estudiantes en la construcción de perfiles de usuario en un entorno controlado a partir de materiales de calidad (entrevistas generadas por el profesorado de la asignatura usando ChatGPT como usuarios ficticios), para que puedan alcanzar un dominio de las técnicas que les permita, en etapas posteriores, desarrollar el correcto diseño, prototipado y evaluación de sus proyectos, desde un enfoque centrado en el humano. Como un efecto lateral, el disponer de modelos de calidad para la realización de entrevistas debería mejorar también sus capacidades para la realización de entrevistas que aplicarán posteriormente con sus usuarios reales cuando afronten su proyecto.

Actualmente la asignatura requiere que los alumnos realicen las siguientes fases o etapas en sus proyectos donde el objetivo final es elaborar y validar un prototipo de alta fidelidad siguiendo un diseño centrado en el humano:

1. Elección del tema de proyecto
2. Análisis del Contexto de Uso.
3. Identificar Problema-Oportunidad-Solución
4. Prototipado de baja fidelidad de 2 soluciones alternativas
5. Evaluación con usuarios y selección de la solución adecuada.
6. Prototipado de alta fidelidad de la solución elegida.
7. Evaluación con usuarios, análisis y conclusiones.

A su vez, la etapa de Análisis del Contexto de uso consiste en las siguientes actividades (destacando en negrita los más relevantes para la presente propuesta):

1. Planificación de la observación y entrevistas a usuarios
   1. Descripción inicial de usuarios
   2. Propuesta de fechas, lugares y número de usuarios observados y entrevistados
   3. Proceso de entrevistas, incluyendo las preguntas y su propósito para la obtención de datos del usuario:
      1. Introducción para el buen ambiente entre entrevistador y entrevistado.
      2. Comprensión y modelado del usuario.
      3. Comprensión y modelado de las tareas del usuario.
      4. Comprensión y modelado del entorno donde se llevan a cabo las tareas.
   4. Proceso de Observación
   5. Plantillas de entrevista y observación.
2. Realización de la observación y entrevistas
3. Resultados del análisis del Contexto de uso
   1. Detalles del trabajo realizado y desviaciones respecto a la planificación
   2. Resumen de observaciones
   3. Resumen de entrevistas
   4. Análisis de usuarios: Perfiles de usuario identificados
   5. Análisis de tareas: Lista, descripción y modelo de organización de tareas
   6. Análisis de entorno: Riesgos de operación, restricciones de dispositivos y factores físicos.

La intención de incorporar LLMs como ChatGPT en la fase de Análisis de Contexto de uso tiene como objetivo el ensayo y práctica previa a la realización del proceso de extracción de perfiles de usuario a partir de entrevistas reales. Esta herramienta servirá como un simulador con usuarios ficticios. Lo más destacado de esta metodología es la capacidad de ChatGPT para generar contenido adaptativo, personalizando las respuestas en función del tema específico del proyectoelegido. Es importante destacar que el contenido generado con LLMs no es sustitutivo de entrevistas reales, e incluso se da por hecho que la información generada no será acorde a la realidad del usuario. Sin embargo, las entrevistas generadas pueden cumplir los mínimos para poder simular una variedad de situaciones y comportamientos ficticios pero posibles que reflejan en mayor o menor medida el contexto y las peculiaridades de un proyecto en particular.

Adicionalmente, al observar entrevistas generadas con un sistema que responde dinámicamente a preguntas en base a escenarios concretos, los alumnos pueden desarrollar una comprensión más profunda de cómo formular preguntas efectivas, interpretar respuestas y, en última instancia, crear perfiles de usuario más precisos y detallados. Esta preparación práctica basada en ChatGPT está diseñada para mejorar significativamente la calidad y eficacia de las entrevistas reales que realizarán posteriormente, y la calidad de los perfiles de usuario elaborados.

Este proyecto de innovación educativa tiene los siguientes objetivos principales:

1. Desarrollar Habilidades de Análisis de Usuarios efectivas: Capacitar a los estudiantes en la elaboración de entrevistas y su capacidad para recopilar datos precisos y relevantes sobre los usuarios.
2. Mejora de la calidad en la Creación de Perfiles de Usuario: Asegurar que los estudiantes puedan crear perfiles de usuario relevantes y precisos, basados en la información recopilada a través de entrevistas posteriores con usuarios reales.
3. Desarrollo de Pensamiento Crítico y Analítico: Estimular a los estudiantes a evaluar críticamente las respuestas obtenidas en las entrevistas (comparando reales con ficticias) y a utilizar esta información para tomar decisiones informadas en el diseño centrado en el humano.
4. Preparación para el diseño centrado en el humano: Preparar a los estudiantes para aplicar sus habilidades en las etapas posteriores del proyecto, mejorando así su toma de decisiones en el diseño y evaluación de sus prototipos.

La propuesta pretende contribuir a la mejora de resultados académicos, así como contribuir a la satisfacción de los alumnos con la asignatura. Concretamente, la asignatura de Interacción Persona-Ordenador contribuye a la adquisición de las siguientes competencias en el grado de Ingeniería Informática:

• CG-5 - Capacidad de gestión de la información.
• CE 21 - Educir, analizar y especificar las necesidades de los clientes (empresas o usuarios individuales).
• CE 23 - Modelizar y diseñar la interacción humana-ordenador adoptando un enfoque centrado en el usuario, y siendo capaz de diseñar, desarrollar, evaluar y asegurar la accesibilidad, ergonomía, usabilidad y seguridad de estos.
• RA253 - Comprensión del procesamiento de la información y las limitaciones y diversidad de los seres humanos en su interacción con sistemas informáticos

Los objetivos y metodología planteados en la presente propuesta permiten a los alumnos adquirir y reforzar estas competencias de una forma más robusta.

En paralelo, la elaboración de este PIE permite a los profesores de la asignatura impartir el temario relevante con ejemplos y herramientas prácticas que permitan mejorar el seguimiento y evaluación de las prácticas de los alumnos. Todo esto asumiendo una situación de un gran número de matriculados en la asignatura evitando el detrimento de restringirles en su proceso creativo de sus propuestas de tema del proyecto.

FASE 1: PREPARACIÓN DE MATERIALES Y RECURSOS

DURACIÓN: enero-marzo 2024

DESCRIPCIÓN: Para que el proyecto pueda llevarse a cabo durante el segundo semestre del curso 2023-2024, será necesario desarrollar previamente una serie de materiales y recursos que se facilitarán a los alumnos.

ACCIONES:

1. Formación de grupos y recopilación de temas de proyecto.
2. Desarrollo de perfiles LLM para la generación de entrevistas.
3. Generación y simulación de entrevistas.
4. Preparación de un entorno de pruebas y evaluación para los proyectos de los alumnos
5. Diseño de la intervención 1: Actividad/taller de Análisis de Contexto de Uso con las entrevistas simuladas: Planificación y diseño de preguntas.
6. Diseño de la intervención 2: Actividad/taller de Análisis de Contexto de Uso con las entrevistas simuladas: Perfiles de Usuario.

FASE 2: EJECUCIÓN

DURACIÓN: marzo 2024

DESCRIPCIÓN: Durante esta fase los alumnos matriculados en la asignatura realizarán el ensayo y entrenamiento, utilizando los materiales y recursos proporcionados, y guiados por el profesorado de la asignatura.

ACCIONES:

1. Intervención: Realización de las actividades/talleres de Análisis de Contexto de Uso.
2. Evaluación de la intervención y feedback a los alumnos
3. Planificación de la observación y entrevistas a usuarios reales.
4. Ejecución de la planificación.
5. Análisis de Usuarios reales por parte de los alumnos y presentación de resultados

FASE 3: ANÁLISIS DE LOS RESULTADOS Y DIFUSIÓN

DURACIÓN: abril-junio 2024

DESCRIPCIÓN: Una vez finalizada la fase de Análisis de Contexto de Uso, el profesorado de la asignatura realizará un análisis de los resultados obtenidos, y se elaborarán artículos para la difusión de dichos resultados.

ACCIONES:

1. Análisis del proceso, identificación de dificultades y propuesta de mejoras futuras
2. Análisis de los resultados, impacto sobre el aprendizaje y satisfacción
3. Redacción de artículos e informes para difusión de la experiencia

Durante la fase de preparación de materiales y recursos, el seguimiento del proyecto se llevará a cabo mediante reuniones semanales de los integrantes del PIE y el alumno becado en las que se planteará la metodología de generación de contenido, se analizará el material generado en base a los temas seleccionados por los alumnos, y se planificará el trabajo subsiguiente. El proceso será cíclico en base a una metodología revisada por pares, hasta conseguir que los recursos y materiales elaborados tengan un nivel de calidad satisfactorio.

Durante la fase de ejecución del proyecto, se recogerán datos y evidencias que nos permitan después hacer un buen análisis de los resultados. En concreto, se recogerá:

• Toda la información relevante a la fase 1 correspondiente a la planificación de la observación y entrevistas a usuarios.
• Los resultados obtenidos de las actividades de entrevistas, obtención de datos y generación de perfiles con los datos generados con LLM (preferentemente ChatGPT).
• Los resultados obtenidos de las actividades de entrevistas, obtención de datos y generación de perfiles con los datos obtenidos de usuarios reales objetivo.

Las evidencias de logro que se aportarán en la memoria final del proyecto son las siguientes:

• Recursos y materiales elaborados durante la primera fase.
• Proceso/metodología de generación de contenido para el entrenamiento de técnicas en el Análisis de Usuarios.
• Informe preliminar de análisis del proceso.

Otros resultados previstos posteriores a la finalización del PIE son los siguientes:

• Informes que reportan la experimentación realizada por los estudiantes.
• Análisis final del proceso y resultados.
• Cuestionarios de satisfacción completados por los estudiantes.
• Artículos e informes para difusión de la experiencia.

El producto resultante de esta propuesta de innovación educativa será la propuesta de una metodología concreta y práctica para integrar el uso de LLMs en la generación de contenido didáctico útil y relevante para las clases de Interacción Persona-Ordenador. Para nuestro caso de uso, esta metodología se especializa en el diseño centrado en el usuario, con un énfasis particular en el análisis detallado de los usuarios, sus tareas y su entorno. La esencia de este enfoque reside en la habilidad de los modelos de lenguaje como ChatGPT para producir respuestas y escenarios adaptativos que reflejen las necesidades y contextos específicos de los usuarios finales. Los educadores podrán utilizar esta metodología para crear experiencias de aprendizaje personalizadas y adaptadas a sus necesidades del proyecto, que les brinden una preparación previa para reforzar la comprensión de los conceptos enseñados en clase y las técnicas involucradas.

La información sobre el proyecto se divulgará a través de varios canales:

• Página web del laboratorio Madrid HCI Lab, sede del Grupo de Investigación en Interacción Persona Ordenador y Sistemas Interactivos Avanzados, al que pertenecen los profesores participantes en este PIE.
• Noticia para su difusión en la UPM.
• Presentación del proyecto en las Jornadas de Innovación Educativa de la UPM.

En lo que respecta a la difusión científica, se propone hacer una publicación de los resultados en alguna de las siguientes revistas JCR:

1. COMPUTERS & EDUCATION : Q1 COMPUTER SCIENCE, INTERDISCIPLINARY APPLICATIONS
2. IEEE TRANSACTIONS ON EDUCATION: Q2 EDUCATION, SCIENTIFIC DISCIPLINES
3. IEEE TRANSACTIONS ON LEARNING TECHNOLOGIES: Q2 EDUCATION, SCIENTIFIC DISCIPLINES

Este proyecto de innovación educativa nace en el seno del Grupo de Investigación en Interacción Persona Ordenador y Sistemas Interactivos Avanzados, al que pertenecen los profesores participantes y que son, a su vez los profesores de la asignatura Interacción-Persona Ordenador en los grados de Ingeniería Informática e Ingeniería Informática y Matemáticas en la Escuela Técnica Superior de Ingenieros Informáticos.

Su desarrollo requiere de la colaboración activa de este grupo de investigación, dado que los recursos y componentes que se pretende elaborar para su uso por parte de los estudiantes derivan directamente de resultados de investigación preliminares de dicho grupo en el contexto de proyectos de investigación.