PDF de programación - Minería de datos visual sobre una pared de vídeo

CENTRO DE INVESTIGACI ÓN Y DE ESTUDIOS

AVANZADOS

DEL INSTITUTO POLITÉCNICO NACIONAL

SEDE ZACATENCO

DEPARTAMENTO DE COMPUTACI ÓN

Minería de datos visual sobre una pared de video

Tesis que presenta

Laura Patricia Ramírez Rivera

para obtener el Grado de

Maestra en Ciencias

En Computación

Director de la Tesis

Dr.Sergio Víctor Chapa Vergara

México, D.F.

Octubre 2008

ii

Agradecimientos

Agradezco a todos los que me acompañaron durante este trayecto, a mis padres, a mis

hermanos, a mis profesores, a mis amigos, al conacyt y al cinvestav.

iii

iv

Resumen

Nunca antes en la historia se han generado tal cantidad de datos como en estos días.
Explorar y analizar todos estos datos empieza a ser increíblemente difícil. La visualización
y la minería visual pueden ayudar a tratar este enorme flujo de datos. La ventaja de la
exploración visual es que el usuario es envuelto en el proceso de minería, lo cual permite
una manera más intuitiva en el descubrimiento de la información.

Ese problema implica buscar la manera de aprovechar el uso de técnicas de minería visual,
las cuales permiten el apoyo de la tecnología en pro de un buen entendimiento de los datos,
además es posible aprovechar las ventajas que ofrece una pared de video. Podemos usar
una pared de video para desplegar múltiples gráficas de los mismos datos y así permitir
su visualización en diferentes planos.

El objetivo del proyecto es aprovechar la tecnología para permitir el descubrimiento del
conocimiento, a través del uso de una minería visual con el apoyo de una pared de video,
es decir se trata de aplicar un enfoque matemático-computacional, enlazando una corre-
lación de Pearson con el manejo de una pared de video.

El propósito de este escrito es mostrar el desarrollo teórico y práctico realizado para
el funcionamiento de este proyecto.

El sistema se construyó con 6 Mac mini, 6 pantallas de 23 pulgadas, un servidor de
video Mac pro, y un servidor de base de datos G5. El manejador de base de datos que se
empleo es PostgreSQL. La aplicación fue desarrollada con C-objetivo con las bibliotecas
de libpq (para la comunicación con PostrgeSQL) y el framework de OpenGL (para la
generación de los gráficos).

El sistema consiste de una interfaz principal ubicada en el servidor de video, que es
donde se calcula la correlación de las variables. En cada Mac mini se ubica un proceso
cliente para permitir la manipulación del despliegue dentro de su área.

Palabras clave-:< visualizador >,< servidor>, < intérpretes > .

v

vi

Abstract

The history never before has seen the generation so much data as in these days. Explore
and analyze all this data is becoming incredibly difficult. The visualization and visual mi-
ning can help deal with this enormous data flow. The advantage of the exploration vision
is that the user is involved in the process of mining, which allows a more intuitive in the
discovery of information.

That problem involves looking for ways to exploit the use of visual mining techniques,
which allow the support of technology towards a good understanding of the data, and it is
possible to exploit the advantages offered by a video wall. We can use a video wall to dis-
play multiple graphs of the same data and thus allow their visualization at different levels.

The target project is harness technology to enable the discovery of knowledge, through
the use of a visual mining is supported by a wall of video, the principal idea is applying
a mathematical-computational approach, linking a Pearson correlation managing a video
wall.

The purpose of this work is to show the theoretical and practical done for the opera-
tion of this project.

The system was built with 6 Mac mini, 6 screens of 23-inch , a video server for Mac,
and a database server G5. The handler database that employment is PostgreSQL. The
application was developed with objetive-C with libraries libpq (for communication with
PostrgeSQL) and the OpenGL framework (for the generation of graphics).

The system consists of a main interface located in the video server, where it is estimated
the correlation of variables. Each Mac mini is located a process to allow the customer
manipulation deployment inside their area.

vii

viii

Índice general

Agradecimientos

Resumen

1. Introducción

1.1. Planteamiento del problema . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1. Cluster de visualización . . . . . . . . . . . . . . . . . . . . . . . .
1.1.2. Manejo de objetos distribuidos . . . . . . . . . . . . . . . . . . . . .
1.1.3. Generación de objetos gráficos . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2. Organización de la tesis

II

IV

1
2
4
4
5
5

2. Estado del arte

2.1. Visualización y minería de datos

iVici

7
7
. . . . . . . . . . . . . . . . . . . . . . .
8
2.1.1. OptIPuter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.2.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.3. Chromium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.4. WireGL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.5. Collaborative Visualization using High Resolution Tiled Displays
. 12
2.1.6. SAGE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.7. Lambda Table: Hig Resolution Tiled Display Table for Interacting

with Large Visualizations

. . . . . . . . . . . . . . . . . . . . . . . 15
2.1.8. Software Enviroment For Cluster based Display System . . . . . . . 16
2.1.9. The Metabuffer: A Scalable Multiresolution Multidisplay 3D Grap-

hics System Using Commodity Rendering Engines . . . . . . . . . . 16

2.1.10. Parallel Graphics and Interactivity with the Scaleable Graphics En-

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

gine

3. Minería de datos visual

21
3.1. Adquisición de datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2. Minería de datos
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
. . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.1. Tipos de modelos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.3. Tecnología de base de datos

3.2.1. Análisis de datos

ix

x

ÍNDICE GENERAL

3.3.2. Relación con otras disciplinas
3.3.3. Proceso de descubrimiento de conocimiento

. . . . . . . . . . . . . . . . . . . . . 30
. . . . . . . . . . . . . 31

4. Sistemas Distribuidos

33
4.1. Definición del cluster de visualización . . . . . . . . . . . . . . . . . . . . . 38
4.1.1. Clasificación de los Clusters . . . . . . . . . . . . . . . . . . . . . . 39
4.1.2. Componentes de un Cluster
. . . . . . . . . . . . . . . . . . . . . . 40
4.1.3. Desempeño . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

5. Diseño

45
5.1. Diseño del sistema distribuido . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.1. Gestíon remota distribuida . . . . . . . . . . . . . . . . . . . . . . . 47
5.2. Diseño de la minería visual . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.2.1. Coeficiente de correlación de Pearson . . . . . . . . . . . . . . . . . 47
5.2.2.
Interpretación de la correlación . . . . . . . . . . . . . . . . . . . . 50
5.2.3. Manejador de bases de datos PostgreSQL . . . . . . . . . . . . . . . 51
5.2.4. Funciones de Conexión a la Base de Datos . . . . . . . . . . . . . . 53
5.2.5. Procesamiento Asíncrono de Consultas . . . . . . . . . . . . . . . . 55
5.3. Diseño de los gráficos con OpenGL . . . . . . . . . . . . . . . . . . . . . . 55
. . . . . . . . . . . . . . . . . . 57
5.4. Diseño de los objetos distribuidos visuales
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.4.1. Objetos Visuales

6. Implementación

6.1.
6.2.

61
Implementación del sistema distribuido . . . . . . . . . . . . . . . . . . . . 61
Implementación de la minería visual . . . . . . . . . . . . . . . . . . . . . . 63
6.2.1. Biblioteca Libpq . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.2.2. Coeficiente de Pearson . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3.
Implementación de objetos distribuidos visuales . . . . . . . . . . . . . . . 65
6.4. Sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.5. Definición del sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.5.1. Generación de gráficos en Mac . . . . . . . . . . . . . . . . . . . . . 68
6.5.2. Generación de gráficos OpenGL . . . . . . . . . . . . . . . . . . . . 69

7. Pruebas

71
7.1. Pruebas del sistema distribuido . . . . . . . . . . . . . . . . . . . . . . . . 71
7.2. Pruebas con la minería visual
. . . . . . . . . . . . . . . . . . . . . . . . . 72
7.2.1. Caso de estudio: SINAC . . . . . . . . . . . . . . . . . . . . . . . . 73
7.2.2. Problemas a resolver . . . . . . . . . . . . . . . . . . . . . . . . . . 76
7.3. Pruebas con los objetos distribuidos visuales . . . . . . . . . . . . . . . . . 77

8. Conclusiones y Trabajo a futuro

79
8.1. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
8.1.1. Conclusiones del sistema distribuido . . . . . . . . . . . . . . . . . . 79
8.1.2. Conclusiones de la minería visual
. . . . . . . . . . . . . . . . . . . 80

ÍNDICE GENERAL

xi

8.1.3. Conclusiones de los gráficos

. . . . . . . . . . . . . . . . . . . . . . 81
8.2. Trabajo a futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
8.2.1. Etapa de minería de datos . . . . . . . . . . . . . . . . . . . . . . . 81
8.2.2. Etapa de comunicación con la base de datos . . . . . . . . . . . . . 82
8.2.3. Etapa de generación de gráficas . . . . . . . . . . . . . . . . . . . . 83
. . . . . . . . . . . . . . . 84
8.2.4. Etapa de m