PDF de programación - Técnicas de inteligencia artificial - Aprendizaje - Clasificadores bayesianos

Técnicas de inteligencia artificial

Aprendizaje

Clasificadores bayesianos

Aprendizaje bayesiano

 Basado en el teorema de Bayes

 Permite combinar los datos de ejemplo con

conocimiento a priori

 Usado como clasificador, puede obtener
probabilidades de pertenecer a cada clase

 Posibilidad de construir representaciones más

complejas (Modelos de ocultos de Markov, redes
bayesianas, etc).

Fundamentos. Teorema de Bayes

Aprendizaje bayesiano: buscar la hipótesis h (de entre todas las
H posibles) más probable si hemos observado una serie de datos
D (máximo a posteriori o MAP)

hMAP≡argmax P h∣D

Base: Teorema de Bayes

Ph∣D =

P D∣h Ph

P D 

Fundamentos. MAP y ML

hMAP≡argmax P(h∣D)

(máximo a posteriori o MAP)

hMAP=argmaxh∈H

P D∣h Ph

PD

hMAP=argmaxh∈H P D∣hP h

ya que P(D) cte.
independiente de h

Si además suponemos P(h)=cte
(a priori, todas las hipótesis son igualmente probables), entonces

hML=argmaxh∈H P (D∣h)

(maximum likelihood)

Clasificador bayesiano

 Las hipótesis son las clases a las que puede pertenecer un

ejemplo

 Suponemos ejemplos caracterizados como tuplas de

atributos <a1, a2, ... an>

C MAP≡argmax
ci∈C

C MAP≡argmax
ci∈C

Pci∣a1,a2...an
Pa1,a2an∣ci Pci 

Pa1, a2an

C MAP≡argmax
ci∈C

Pa1,a2an∣ciPci

Estimar las probabilidades

 Necesitamos

C MAP≡argmax
ci∈C

Pa1,a2an∣ciPci

nº deejemplos delaclase i

nº total deejemplos

nº deejemplos con atributos a1,a 2an

nº deejemplos dela clase i

nº demasiado pequeño
(estimación inadecuada)

Simplificación: suponemos que los valores de los atributos son
condicionalmente independientes para una clase dada
(naive bayes classifier)

P(a1,a2…an∣ci)≃∏

P(a j∣ci)

n

j=1

Ejemplo: predicción del tiempo

Ejemplo de clasificador bayesiano

 Predicción del tiempo para
<presión=estable, cielo=claro>

C Naive Bayes= argmax

ci∈{sol , lluvia, nieve}

P(ci)∏

j

P(a j∣ci)

arg max

ci∈{sol ,lluvia ,nieve}

P(ci )P( presion=estable∣ci)P(cielo=claro∣ci)

ci=sol

ci=lluvia

ci=nieve

5/10

3/10

2/10

2/5

1/3

0

4/5 = 0.16

1/3 = 0.0333

0 = 0

Ejemplo 2: clasificador de textos

 Clasificar un texto en una categoría predefinida,

dados:
 El conjunto de palabras del texto (atributos)

En un lugar de la Mancha, de cuyo nombre no quiero acordarme, no ha
mucho tiempo que vivía un hidalgo de los de lanza en astillero, adarga
antigua, rocín flaco y galgo corredor

a1=en, a2=un … a32=corredor

El conjunto de posibles categorías C

c1=interesante, c2=no-interesante

Simplificaciones

 Clasificador bayesiano “naive”: independencia de los

atributos

P(a1 , a2…an∣c i)=∏

P(a1∣ci)

n

i=1

 No importa la posición de las palabras en el texto,

solo si están presentes

P(a31=galgo∣interesante )≃P(galgo∣interesante )
Sustituimos P(a j∣ci) por P(w j∣ci)

Fase 1: Aprendizaje

 Tomar un conjunto de ejemplos xi

clases a las que pertenecen

∈ X etiquetados con las

 Voc = conjunto de palabras en X (sin considerar preposiciones,

artículos, etc.)

 Para cada clase cj calcular P(cj), P(wk| cj) como sigue:

 Calcular docsj , documentos de la clase cj
 Calcular prob. a priori de la clase cj
 Calcular

P(c j)=

∣docs j∣
∣X ∣

• textj , concatenación de todos los docs. de docsj
• n, número de posiciones en textj
• nk, número de veces que aparece wk en textj

 Calcular

P(wk∣c j)=

nk+ 1
n+ ∣Voc∣

Fase 2 - Clasificación

 Dado un documento x=w1,w2,...,wn

 Quedarnos con pos, posiciones de palabras que están

contenidas en Voc (el resto se ignora)

 Devolver la estimación MAP
P(c j) ∏

cMAP=argmax
c j∈C

P(wk∣c j)

k ∈ pos