PDF de programación - Procesamiento digital de vídeo en tiempo real y "video wall" con la PC

Procesamiento digital de video en tiempo real y

“video wall” con la PC

Tesis para obtener el grado de

Maestro en Ciencias de la Computación



Nombre del alumno: Ukranio Coronilla Contreras
Matricula: 98380044
Nombre del asesor: Dr. Carlos Avilés Cruz



Marzo del 2005

Procesamiento digital de video en tiempo real y “video wall” con la PC

2

Síntesis



En el desarrollo de la presente tesis se abordaron tres tipos de problemas, el primero
fue establecer el hardware mínimo necesario para llevar acabo el despliegue de una imagen
de video en forma de videowall(arreglo cuadrado de monitores que presenta una sola
imagen), haciendo uso de la PC y con cuatro monitores. El segundo problema consiste en
hacer uso del sistema operativo para controlar las cuatro tarjetas de video, lo cual
corresponde a un procesamiento de escalamiento en la imagen, y finalmente el problema
fundamental de construir el software que permita el procesamiento de video en tiempo real,
el cual se apoya en el sistema de desarrollo SDK de DirectX® y en particular la
herramienta DirectShow. Se elaboraron procesamientos básicos de video que consisten en
filtrado de componentes de color, adición de ruido a la imagen, superposición de imagen al
video, eliminación de color, posterizado y realce.



Procesamiento digital de video en tiempo real y “video wall” con la PC

3

INDICE


Síntesis ........................................................................................................
Índice ..........................................................................................................
Agradecimientos .........................................................................................

1 Introducción ..................................................


1.1 Antecedentes ................................................................................
1.2 Definición del proyecto ...............................................................
1.3 Objetivos ......................................................................................
1.4 Panorama general .........................................................................

2 Análisis de fundamentos ................................


2.1 Estado del arte ...............................................................................
2.2 Herramientas disponibles ..............................................................

3 Investigación ...................................................


3.1 Procesamiento digital de imágenes ................................................
3.1.1 Relaciones entre pixeles ..................................................
3.1.1.1 Distancia ................................................................
3.1.2 Color ................................................................................
3.1.2.1 Espacio RGB ..........................................................
3.1.2.2 Espacio HSI ............................................................
3.1.3 Transformaciones matemáticas .......................................
3.1.3.1 Convolución ............................................................
3.1.3.2 Operaciones matemáticas .......................................
3.1.4 Ruido ................................................................................
3.1.5 Detección de bordes .........................................................
3.1.5.1 Técnicas basadas en el gradiente .....................................
3.2 Hardware .......................................................................................
3.2.1 Monitores .......................................................................
3.2.2 Tarjetas de video ............................................................
3.2.3 Procesador .....................................................................
3.3 Soporte de multimonitor ...............................................................
3.4 DirectX ..........................................................................................
3.5 El modelo de componentes COM .................................................
3.5.1 Creación y gestión de objetos .........................................
3.5.2 Gestión de errores ...........................................................
3.6 DirectShow ...................................................................................

2
3
7
8

8
10
12
12
13

13
15
16

16
17
18
19
19
20
21
21
22
24
24
25
27
27
28
29
29
29
30
31
32
32

Procesamiento digital de video en tiempo real y “video wall” con la PC

4

3.6.1 Grafico de filtros .............................................................
3.6.2 Aplicaciones DirectShow ...............................................
3.7 Componentes de DirectShow .........................................................
3.7.1 El grafico de filtros y sus componentes ..........................
3.7.2 Filtros ..............................................................................
3.7.2.1 Filtros Source .........................................................
3.7.2.2 Filtros Transform ...................................................
3.7.2.3 Filtros Renderer .....................................................
3.7.3 Pins .................................................................................
3.7.4 Muestras multimedia ......................................................
3.7.5 Asignadores ....................................................................
3.7.6 Relojes ............................................................................
3.8 Flujo de datos en el Gráfico de filtros ..........................................
3.8.1 Samples y Buffers ..........................................................
3.8.2 Entrega de Muestras .......................................................
3.8.3 Detener, Pausa, y Ejecución ...........................................
3.8.4 Notificación de eventos en DirectShow .........................
3.8.4.1 Capturando Eventos ...............................................
3.8.4.2 Saber cuando un evento ocurre ..............................
3.8.4.3 Notificación Windows ...........................................
3.8.4.4 Manejadores de eventos .........................................
3.9 Hardware en el gráfico de filtros ...................................................
3.9.1 Filtros Envoltura (Wrapper) ...........................................
3.9.2 Video para dispositivos Windows ..................................
3.9.3 Captura de Audio y dispositivos Mezcladores ...............

4 Diseño ..............................................................

4.1 Descripción general del sistema ....................................................
4.2 Entrada de video ...........................................................................
4.3 Filtro multiprocesamiento .............................................................
4.4 Entrega de muestras al sistema operativo .....................................
4.5 Aplicación .....................................................................................

5 Implementación ............................................

5.1 Funcionamiento de la tarjeta WinTV ...........................................
5.1.1 Modo de superposición de video ...................................
5.1.2 Modo de superficie principal .........................................
5.2 Multiplexado de video ......................................... ........................
5.2.1 Tarjeta primaria y tarjetas secundarias ..........................
5.2.2 Configuración de multimonitor .....................................
5.2.3 Pantalla virtual ...............................................................
5.3 Instalación del SDK DirectX ........................................................
5.4 Simulación con GraphEdit ...........................................................
5.5 Uso de GraphEdit .........................................................................

33
34
34
35
36
37
37
37
37
38
38
39
39
39
40
41
42
42
43
43
44
45
45
45
46
47
47
47
48
49
49
51
51
51
51
51
52
52
54
55
57
57

Procesamiento digital de video en tiempo real y “video wall” con la PC

5

5.5.1 Construyendo un grafico de ejecución de archivos ......
5.5.2 Construyendo un Grafico de filtros personalizado .......
5.5.3 Ejecutando el grafico ....................................................
5.5.4 Ver paginas propietarias ..................................................
5.6 Escritura del filtro ........................................................................
5.6.1 Conexión de filtros ........................................................
5.6.2 Negociando los tipos de Media .....................................
5.6.3 Negociación de Asignadores .........................................
5.6.4 Clase base a utilizar .......................................................
5.6.5
Instanciar el filtro ..........................................................
5.6.6 Adición de interfaces ....................................................
5.6.7 Funciones miembro .......................................................
5.6.7.1 Función miembro Transform ...............................
5.6.7.2 Función miembro CheckInputType .....................
5.6.7.3 Función miembro CheckTransform .....................
5.6.7.4 Función miembro DecideBufferSize ...................
5.6.7.5 Función miembro GetMediaType ........................
5.6.8 Filtro de efectos .............................................................
5.6.9 Programación del filtro en C