PDF de programación - Fundamentos y Aplicaciones Prácticas del Descubrimiento de Conocimiento en Bases de Datos - Sesión 11

Fundamentos y Aplicaciones Prácticas
del Descubrimiento de Conocimiento

en Bases de Datos

- Sesión 11 -

Juan Alfonso Lara Torralbo

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

1

Índice de contenidos

•

•

•

Actividad. Resolución manual de clasificación

bayesiana

Árboles de decisión

Actividad. Árboles de decisión con Weka

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

2

Actividad. Resolución manual

de clasificación bayesiana

Predecir a mano la clase para un
ejemplo de día: lluvioso, temperatura
alta, humedad normal y viento.
Puesta en común del resultado.

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

3

Árboles de decisión (I)

• Árbol: grafo para el que se cumple que, dos
vértices cualesquiera, están conectados por
exactamente un camino

• Los árboles de decisión son estructuras en

forma de árbol que se utilizan como modelos de
predicción en muy diferentes áreas

• En minería de datos, los árboles de decisión se

usan, principalmente, como herramientas de
clasificación

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

4

Árboles de decisión (II)

• Para ello, se utiliza el valor de los atributos

conocidos del objeto para ir descendiendo por
el árbol hasta llegar a un nodo hoja

• Cada nodo del árbol tiene una condición sobre

dichos atributos conocidos, que determina la
rama por la que descender

• El nodo hoja indica la clase dentro de la cual ha

sido clasificado el objeto

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

5

Árboles de decisión (III)

• Los nodos representan la verificación de una

condición sobre un atributo

• Las ramas representan el valor de la condición

comprobada en el nodo del cual derivan

• Los nodos hoja representan las etiquetas de

clase

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

6

Árboles de decisión (IV)

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

7

Árboles de decisión (V)

• Hay muchos algoritmos, pero casi todos

comparten una misma estrategia:
1. Se asignan todos los elementos del conjunto de

entrenamiento a la raíz del árbol.

2. Se realizan divisiones del árbol de clasificación,

atendiendo a una determinada heurística.

3. Se repite el paso 2 hasta llegar a los nodos hoja.
4. Por último, se puede realizar una poda del árbol

para eliminar ramas que representan ruido.

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

8

Árboles de decisión (VI)

• Para dividir el árbol (paso 2) hay que elegir un
atributo por el que partir. Dicho atributo se elige
atendiendo a diferentes heurísticas

• La más extendida: el que mayor ganancia de

información posee

• Ganancia de información: concepto de teoría

de la información

• Simplificando: se divide por aquel atributo que

mejor distingue la clase en función de sus
valores

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

9

Árboles de decisión (VII)

• Todo árbol de decisión tiene un conjunto

de reglas de decisión asociado,
equivalente

SI Edad = Baja Y Estudia = sí Compra =

Sí

SI Edad = Media Compra = Sí
SI Edad = Alta Y Ratio de crédito =

aceptable Compra = Sí

EN OTRO CASO Compra = No

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

10

Árboles de decisión (VIII)

• Los árboles de decisión ¿son técnicas

impacientes o perezosas?
• Claramente impacientes
• El árbol se construye con el conjunto de
entrenamiento antes de nada y luego se
utiliza para clasificar nuevos elementos
que llegan

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

11

Actividad. Árboles de

decisión con Weka

Construir un árbol de decisión con
Weka (Id3) para predecir si un cliente
comprará o no el producto. Obtener
reglas asociadas y aplicarlas a un
cliente nuevo con edad alta y que no
estudia.
Puesta en común del resultado.

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

12