Profesorado | Normas de la asignatura | Teoría | Prácticas | Trabajos individuales | Trabajo colaborativo | Documentación
Anuncios
Curso-Seminario "Hints to Video Indexing and Retrieval" (28 de mayo-1 de junio)
José M. Martínez (JoseM.Martinez@uam.es): despacho C-201
Tras una serie de clases magistrales para
familiarizar al alumno con las diversas técnicas de indexación y acceso a
contenidos multimedia, la asignatura se centrará en trabajos (individuales o en
grupo) para que el alumno se familiarice de primera mano y de una forma práctica
con las diversas tecnologías.
| 0 | Miércoles 8 de febrero | Presentación |
| 1 | Miércoles 15 de febrero | Estándares audiovisuales: la familia MPEG (Breve introducción)
(I) Estándares audiovisuales: la familia MPEG (Breve introducción) (II) |
| 2 | Miércoles 22 de febrero | Estándares audiovisuales: la familia MPEG (Breve
introducción) (III) Multimedia Content Adaptation (I) |
| 3 | Miércoles 29 de febrero | Multimedia Content Adaptation (II) Multimedia Content Adaptation (III) |
| 4 | Miércoles 7 de marzo | Indexing of AV Content (I) Indexing of AV Content (II) |
| 5 | Miércoles 14 de marzo | Indexing of AV Content (III) Indexing of AV Content (IV) |
| 6 | Miércoles 21 de marzo | Indexing of AV Content (V) Indexing of AV Content (VI) |
| 7 | Miércoles 28 de marzo | Presentación de trabajos de investigación |
| 8 | Miércoles 11 de abril | Presentación de prácticas |
| 9 | Miércoles 25 de abril | |
| 10 | Miércoles 9 de mayo | |
| 11 | Miércoles 16 de mayo | Presentación proyectos |
Habrá dos opciones para las prácticas sobre la materia de la asignatura en los que habrá que programar pequeñas aplicaciones/demostradores. Los prácticas se realizarán individualmente o en grupos de un máximo de 3 componentes. La carga de trabajo esperada, así como los resultados, serán proporcionales al tamaño del grupo.
Cada alumn@ o grupo deberá elegir entre uno de los dos temas siguientes:
Prácticas sobre Indexación: se generarán descripciones MPEG-7 de contenido audiovisual (se podrá hacer uso de la MPEG-7 library y se verificará el MPEG-7 con el NIST MPEG-7 Validation Service)
PR Indexación: Desarrollo de un programa que lea imágenes/video/audio y calcule un descriptor de las mismas en formato mp7. Posteriormente se generará otro programa que genere una medida de similitud (cada alumn@ propondrá una medida de similitud justificadamente) entre todas las imágenes en base al descriptor generado. Los descriptores podrán ser elegidos (tras acuerdo con el profesor) por los alumnos y se asignarán en modo FIFO.
Work proposal 1: Dominant color
Work proposal 2 Scalable color
Work proposal 3: Color layout
Work proposal 4 GoFGoP
Work proposal 5 Homogeneous texture
Work proposal 6: Texture browsing
Work proposal 7 Edge Histogram
Work proposal 8: Contour Shape
Work proposal 9b: Motion trajectory
Work proposal 9 Motion activity
Work proposal 10: Face Recognition
Work proposal 11: Audio Framework
Work proposal 12: Timbre
Work proposal 13: General sound recognition and indexing
Work proposal 14: Spoken Content
Work proposal 15: Melody
Prácticas sobre Adaptación: se hará uso de un motor de adaptación de contenidos multimedia CAIN-21 (CAIN-21 Description and demos, CAIN21_sw_package) con el cuál se desarrollará una demo (haciendo uso de software adicional).
PR Adaptación: desarrollo de una demo sobre CAIN-21 que demuestre la adaptación de contenido a diversos entornos de uso.
Trancodificación de imágenes
Trancodificación de vídeo
Trancodificación de audio
Cambio de modalidad vídeo-imagen
Cambio de modalidad imagen-vídeo
...
Preparación de un resumen crítico (presentación powerpoint -con notas si fuese necesario-) y breve exposición en clase sobre uno de los siguientes artículos (asignación por orden de solicitud y tras acuerdo con el profesor):
B. Jung, J. Song, Y. Lee, "A Narrative-based Abstraction Framework for Story-oriented Video", ACM Trans. on Multimedia Computing, Communications and Applications, 3(2), article 11, May 2007.
A. A. Sofokleous, M. C. Angelides, “DCAF: An MPEG-21 Dynamic Content Adaptation Framework”. Multimedia Tools and Applications, 40(2):151-182, 2008.
F. Daniyal, M. Taj, A. Cavallaro, "Content and task-based view selection from multiple video streams", Multimedia Tools and Applications, 46(2):235-258, January 2010.
D. Van Deursen, W. Van Lancker, W. De Neve, T. Paridaens, E. Mannens, R. Van de Walle, “NinSuna: a fully integrated platform for format-independent multimedia content adaptation and delivery using Semantic Web technologies”. Multimedia Tools and Applications, 46(2):371-398, January 2010.
...
Se realizará un proyecto de la asignatura con un tema elegido por el alumno con el visto bueno el profesor. Se realizarán tutorías semanales para el seguimiento del trabajo.
El resultado final del proyecto incluirá desarrollo software (con una demo), un informe en formato "paper" (estado del arte, diseño, desarrollo, contribución novedosa aportada, conclusiones y posible trabajo futuro), y una presentación pública (slides y demo). Se entregará una versión preliminar del informe/artículo para evaluación cruzada entre los alumnos de cara a mejorar esta primera versión con los comentarios recibidos.
Lista de trabajos:
Sistema de indexación y búsqueda de imágenes por contenido
Sistema de indexación y búsqueda de canciones por contenido
Creación de sumarios (resúmenes) de vídeos
...
Se llevará a cabo un trabajo colaborativo de diseño y desarrollo de un sistema de indexación y acceso a contenido multimedia. Cada semana se irán planteando hitos y se dedicará parte de la clase a mostrar los avances, discutir los siguientes pasos, solucionar problemas, ... Los pasos a cubrir, serán al menos:
estudio del estado del arte
decisión sobre el dominio de aplicación (tipo de contenido a indexar: modalidad, estilo, ...)
diseño funcional de la aplicación
diseño de la arquitectura del sistema
desarrollo/integración de los diversos módulos
pruebas y resultados
elaboración de un "artículo" documentando las diversas fases del desarrollo del proyecto y presentación
Todo el trabajo se llevará a cabo lo más interactivamente posible y se usará la siguiente lista de correo para todas las comunicaciones iacav2011-l@uam.es
Hitos destacados alcanzados
selección de aplicación; indexación y acceso a noticiarios
diseño funcional: se hará uso de indexación visual (segmentación en tomas y noticias, detección de "closed captions" , MPEG-7 color layout, MPEG-7 Motion Activity, ...), indexación audio (detección voz, música, silencio, ruido y combinaciones, detección de locutor) e indexación textual (detección mediante OCR y ASR de palabras clave, sincronización con scripts internet, selección de términos, refinamiento mediante palabras calves de la segmentación de tomas por análisis visual). Cómo alternativa futura se deja como opción el uso de subtítulos (solamente disponibles para parte del contenido)
diseño de la arquitectura del sistema de indexación: se han identificado 5 módulos: clasificación visual, clasificación audio, clasificación voz, clasificación de texto y fusión. La salida será una segmentación y clasificación de las noticias de los noticiarios.
desarrollo/integración de los módulos del sistema de indexación: se han identificado los diversos componentes software
...
Transparencias de la asignatura
Indexación (incluye guiones de prácticas sobre descriptores MPEG-7)
Los pdf de estas partes de estos estándares MPEG están accesibles a través de "la página del profesor"
MPEG-7 parte 3: Visual
MPEG-7 parte 4: Audio
MPEG-7 parte 5: Multimedia Description Schemes
MPEG-7 parte 8: Extraction and Use (Technical Report)
MPEG-21 parte 7: DIA
Charla sobre la mejor herramienta de anotación del mundo ;) "Human Computation", Louise von Ahn, Carnegie Melon University