PDF de programación - Inteligencia Artificial - Redes Neurales Artificiales

Inteligencia Artificial
Inteligencia Artificial

Redes Neurales
Redes Neurales

Artificiales
Artificiales

Prof. Wílmer Pereira

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Redes Neural
Redes

Neural Natural
Natural

Estructura celular del cerebro donde residen
Estructura celular del cerebro donde residen
las capacidades intelectuales del hombre
las capacidades intelectuales del hombre

Neurona:
Soma:
Dendritas:
Sinapsis:

Célula nerviosa
Núcleo celular
Ramificaciones entre neuronas
Punto de unión entre dendritas

Reacciones

Electroquímicas

Impulsos Inhibidores o
Impulsos Excitatorios

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Propiedades de la red Neuronal Natural
Propiedades de la red Neuronal Natural
Plasticidad:

Nexos entre neuronas que se fortalecen
con los patrones de estímulo

Elasticidad:

Capacidad de crecer para agregar
propiedades intelectuales

Todo el procesamiento tiene lugar en la corteza y por zonas
Aphasía (Pierre Broca) permitió precisar las funcionalidades
de lenguaje por área

No hay una teoría definitiva sobre la memoria

Memoria a largo plazo
Memoria a corto plazo

Mecanicismo vs Misticismo

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Cerebro vsvs Computador
Computador
Cerebro

Almacenamiento:

Velocidad.

Tolerancia a fallas:

Más neuronas que bits aunque la
evolución computacional es
vertiginosa (mucho mayor que la
evolución de cerebro)

Computador orden de los ηseg
Cerebro del orden de los μseg
pero ... el cerebro es masivamente paralelo y
en definitiva el cerebro es 1010 veces más rápido

Una neurona natural dañada afecta
de manera marginal el comportamiento
del cerebro
Cualquier mínimo error altera todo el
procesamiento a nivel del computador

Complejidad de ejecución: El cerebro realiza tareas mucho más
complejas que cualquier computador

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Redes Neurales Artificiales
Redes Neurales Artificiales

Unidades enlazadas a través de conexiones
Unidades enlazadas a través de conexiones

cargadas por pesos numéricos
cargadas por pesos numéricos

El aprendizaje se basa en la actualización de esos pesos que se
Inicializan en la fase de entrenamiento de la red

Está formada por unidades de entrada y unidades de salida
(neuronas de entrada y neuronas de salida)

El nivel de activación de la neurona artificial (equivalente al
impulso excitatorio) es un cálculo individual en cada neurona,
sin control global

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Consideraciones en una Red Neural
Consideraciones en una Red

Neural Artificial
Artificial

¿ Cuantas unidades o neuronas artificiales ?
¿ Tipo de neurona ?
¿ Topología de la red ?
¿ Inicialización de los pesos ?
¿ Número de ejemplos para el entrenamiento ?
¿ Cómo codificar los datos de entrada y salida ?

ini = Σ Wj,iaj

ai = g(ini)

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Funciones de Activacióón (g)
n (g)
Funciones de Activaci

Función común a todas las neuronas artificiales que
Función común a todas las neuronas artificiales que
determina su activación dado los estímulos de entrada
determina su activación dado los estímulos de entrada

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Tipos de Redes Neurales Artificiales
Tipos de Redes Neurales Artificiales

Lineales (feed forward):
Unidirecionales
Sólo conexión entre neuronas de capas adyacentes
Sencillas y se adecuan bien a modelar reflejos
Por no ser retroalimentadas, no tienen capacidades de
memoria (el cerebro no es lineal)

a5 = g(W3,5g(W1,3 a1 +W2,3 a2)+ W4,5g(W1,4 a1 +W2,4 a2))

Recurrentes

Conexiones libres
Pueden tornarse inestables y oscilatorias por lo que
requieren de avanzados métodos matemáticos

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Redes de Hopfield
Hopfield
Redes de
Bidireccionales y simétricas en sus pesos Wi,j = Wj,i
La función de activación es la función signo
Sólo tiene neuronas de entrada y neuronas de salida
Se conocen como de memoria asociativa

Reproducen ejemplos de salida a partir de
con sólo un trozo del ejemplo de entrada

Red de Hopfield:

lineal, sin capas intermedias con dos neuronas de entrada,
una neurona de salida y dos neuronas ocultas (I1 y I2)

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Redes de Boltzman
Boltzman
Redes de
Tiene también pesos simétricos
La función de activación es estocástica
Tiene capas intermedias (red multicapas)
o de la Red Neural
Neural

Tamañño de la Red
Tama

Muy pequeñas no aprenden bien
Muy grandes se aprende los ejemplos de
memoria y no son capaces de extrapolar

Para solucionar la sobrecompensación se debe
hacer un buen tanteo, comenzando
con una red neural pequeña y agrandarla
o una red grande y reducirla

Sobrecompensación

¿ Cuántos ejemplos
serán necesarios para
el entrenamiento de la
red neural ?

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Perceptróónn
Perceptr

Red Neural lineal a dos capas
Red Neural lineal a dos capas

(sólo neuronas de entrada y salida)
(sólo neuronas de entrada y salida)

El perceptrón aprende comenzando con pesos aleatorios ajustandolos mientras se entrena
(sencillo pues las neuronas de entrada van conectadas directamente con las de salida)

Err = T – O
Wj = Wj + α.Ij.Err

Si Err > 0 aumentar O. Si Err < 0 disminuir O
donde

O : ejemplo predicho
T : ejemplo correcto
α : velocidad de aprendizaje

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Problemas del Perceptróónn
Problemas del Perceptr

Minsky y Papert publicaron en 1969, un artículo donde mostraron
Minsky y Papert publicaron en 1969, un artículo donde mostraron

las limitaciones de los perceptrones
las limitaciones de los perceptrones

El problema está en que el perceptrón sólo puede representar
funciones linealmente separables ya que el perceptrón es una
función lineal de las neuronas de entrada

Las funciones linealmente separables son muy escasas y además,
según Minsky y Papert, aún las redes neurales multicapas no
resuelven el problema pues son una extensión del perceptrón

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Redes Neurales Multicapas
Multicapas
Redes Neurales

Bryson y Ho publicaron también en 1969, un artículo sobre
Bryson y Ho publicaron también en 1969, un artículo sobre

la retropropagación (back propagation) que valorizaba
la retropropagación (back propagation) que valorizaba

el uso de las redes neurales multicapas
el uso de las redes neurales multicapas

No obstante sus trabajos no fueron tomados en cuenta y

no fueron considerados sino hasta 1980 con el

resurgimiento de las Redes Neurales

El problema radicaba en como ajustar los pesos de las neuronas intermedias

mientras se estaba en fase de entrenamiento

Evaluar las consecuencias de un error y dividirlo entre
los pesos de las neuronas intermedias contribuyentes

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Retropropagacióónn
Retropropagaci
Back Propagation
Propagation
Back

La idea es que la neurona oculta j es responsable de alguna
La idea es que la neurona oculta j es responsable de alguna

fracción proporcional del error Δi
fracción proporcional del error Δi

Wj,i = Wj,i + α.aj.Erri.g(ini)

donde Δi = Erri.g(ini)

La fórmula propaga hacia atrás, capa por capa,

hasta las neuronas de entrada

Este método también tiene sus limitaciones pues está demostrado

que es una tarea intratable (NP-completo)

Universidad Católica Andrés Bello

Dirección de Formación Continua
Escuela de Ingeniería Informática

Prof. Wílmer Pereira

Certificado de Formación Profesional
Gerencia de Proyectos de Software

Módulo IV

Limitaciones Generales de las Redes Neurales
Limitaciones Generales de las Redes Neurales

¿ Cuántas capas y neuronas se deben considerar en un diseño ?

Se hace empiricamente lo cual es muy cuestionable

desde el punto de vista científico

El tiempo de aprendizaje crece exponencialmente

La transparencia genera cajas negras que impiden saber con
certe