Sistemas de Interacción Multimodal

Contenidos

  • 1. Sistemas de diálogo:
    • a. Tecnología básica de los sistemas de diálogo (síntesis y reconocimiento de voz)
    • b. Estructura, modelos y estrategias de diálogo.
    • c. Estructura de los sistemas de diálogo
    • d. Lenguajes de diálogo, Voice XML
    • e. Simulación y prueba de los sistemas de diálogo.
    • f. Modelos de usuario. Modelado y procesamiento de emociones.
    • g. Implementación y aplicaciones. Futuro de los sistemas de diálogo
  • 2. Interacción Multimodal
    • a. Introducción a la comunicación multimodal.
    • b. Intregación de modos
    • c. Animación facial. El estándar MPEG-4
    • d. Evaluación en interacción multimodal y sistemas de diálogo

Recursos

Sesiones Curso 2010/2011

SESIÓN 1

(semana 15/2011)
  • Presencial (12 Abril)
    • Teoría (2 h.): Presentación y Apartados 1.a-1.d
    • Práctica (1 h.):
      • Presentación del trabajo a realizar en esta parte
      • Tarea 1: parte 1 del trabajo.
    • Entregas: No
  • No presencial o Realización de la Tarea 1 (4.5 horas)

    SESIÓN 2

    (semana 17/2011)
  • Presencial (26 Abril)
    • Teoría (1.5 h.): Apartados 1.e -1.f
    • Práctica (1.5 h.):
      • Discusión sobre la Tarea 1
      • Presentación de la Tarea 2
  • Entregas: Resultado de la Tarea 1.
  • No presencial o Realización de la Tarea 2 (4.5 horas)

    SESIÓN 3

    (semana 18/2011)
  • Presencial (3 Mayo)
    • Teoría (1,5 h.): Apartados 2.a - 2.b
    • Práctica (1 h.):
      • Revisión los resultados de la Tarea 2
      • Encargo de la Tarea 3
  • Entregas: Tarea 2.
  • No presencial
    • Realización de la Tarea 3 (3.5 h.) y estudio personal de la materia (1 h.)

    SESIÓN 4

    (semana 19/2011)
  • Presencial (10 Mayo)
    • Teoría (2 h.): Apartados 2.c
    • Práctica (1 h.):
      • Realización y discusión de Tarea 3
      • Presentación de la Tarea 4
  • Entregas: Tarea 3
  • No presencial
    • Realización de la Tarea 4 (3.5 h.) y estudio personal de la materia (1 h.)

    SESIÓN 5

    (semana 20/2011)
  • Presencial (17 Mayo)
    • Teoría (2 h.): Realización de prueba individual
    • Práctica (1 h.): Presentación y discusión de trabajos
    • Entregas: Tarea 4.

    Sesiones Curso 2009/2010

    SESIÓN 1

    (semana 13/2010)
  • Presencial (11 mayo)
    • Teoría (2 h.): Presentación y Apartados 1.a-1.d
    • Práctica (1 h.):
      • Presentación del trabajo a realizar en esta parte
      • Tarea 1: parte 1 del trabajo.
    • Entregas: No
    • No presencial o Realización de la Tarea 1 (4.5 horas)

      SESIÓN 2

      (semana 14/2010)
    • Presencial (18 mayo) o Teoría (1.5 h.): Apartados 1.e -1.f o Práctica (1.5 h.): " Discusión sobre la Tarea 1 " Presentación de la Tarea 2 o Entregas: Resultado de la Tarea 1.
    • No presencial o Realización de la Tarea 2 (4.5 horas)

      SESIÓN 3

      (semana 15/2010)
    • Presencial (25 mayo) o Teoría (1,5 h.): Apartados 2.a - 2.b o Práctica (1 h.): Revisión los resultados de la Tarea 2 " Encargo de la Tarea 3 o Entregas: Tarea 2.
    • No presencial o Realización de la Tarea 3 (3.5 h.) y estudio personal de la materia (1 h.)

      SESIÓN 4

      (semana 16/2010)
    • Presencial (8 Junio) o Teoría (2 h.): Apartados 2.c o Práctica (1 h.): Realización y discusión de Tarea 3 " Presentación de la Tarea 4 o Entregas: Tarea 3
    • No presencial o Realización de la Tarea 4 (3.5 h.) y estudio personal de la materia (1 h.)

      SESIÓN 5

      (semana 17/2010)
    • Presencial (15 junio) o Teoría (2 h.): Realización de prueba individual o Práctica (1 h.): Presentación y discusión de trabajos o Entregas: Tarea 4.

      Tareas

      Tarea 1:

      Instalación y prueba de un sistema de diálogo de dominio público o comercial. Se recomienda instalar Verbio o Gateway. Los alumnos descargarán en su propio ordenador estos sistemas y probarán las demos que se distribuyen gratuitamente. Se ejecutarán principalmente las demostraciones que se apoyen en VoiceXML

      Tarea 2:

      Implantación de un sistema de diálogo para visitar un museo. El alumno deberá inspirarse en el museo 3D de la informática accesible desde la web http://www.fi.uva.es/museo3D. Deberá desplegar el diálogo simulado de un guía que pregunte por la sala y/o objeto que desea visitar dentro de un museo.

      Tarea 3:

      Instalación y prueba de un avatar conversacional 3D. El alumno instalará en su propio ordenador el software de dominio público XFace. El alumno deberá probar una serie de opciones en este programa para completar un cuestionario en el que demostrará su conocimiento sobre el estándard MPEG de Visual Speech.

      Tarea 4:

      Evaluación de un sistema de un sistema interacción multimodal El alumno deberá hacer una revisión crítica de sistema XMMVR que culminará en una discusión sobre las carencias de este sistema para superar una evaluación de usuarios finales. Se analizarán y discutirán las posibilidades de integración de los sistemas diálogos empleados en el marco XMMVR.