Aprendizado de Máquina Introdução às Redes Neurais Artificiais

Transcrição

1 Aprendizado de Máquina Introdução às Redes Neurais Artificiais Marcos Oliveira Prates (Agradecimento Marcelo Azevedo Costa) Departamento de Estatística Universidade Federal de Minas Gerais

2 Inteligência Artificial (IA) O obetivo da inteligência artificial é o desenvolvimento de paradigmas ou algoritmos que requeiram máquinas para realizar tarefas cognitivas, para as quais os humanos são atualmente melhores. (Sage, 1990) Um sistema de IA deve ser capaz de fazer três coisas: 1. Armazenar conhecimento 2. Aplicar o conhecimento armazenado para resolver problemas 3. Adquirir novo conhecimento através da experiência

3 Motivação para as RNAs O cérebro contém neurônios interconectados e operando em paralelo. O cérebro é responsável pela emoção, pensamento, percepção, cognição, execução de funções sensoriomotorase autômatas. O funcionamento das redes biológicas não é amplamente conhecida. Tem-se modelos simplificados de estruturas fisiológicas básicas.

4 Histórico das Redes Neurais Artificiais A primeira Rede Neural foi apresentada por Alexander Bain em 1873 no livro intitulado Mind and Body. The Theories of Their Relation O trabalho consistia em pesquisa na área de neuroanatomia Warren McCulloch (psiquiatra e neuroanatomista) e Walter Pitts (matemático) em 1943 apresentaram o primeiro modelo artificial de um neurônio biológico (nodos MCP): A Logical Calculus of the Ideas Immament in Nervous Activity

5 Representação em Diagrama de Blocos do Sistema Nervoso Estímulo Receptores Rede Neural Atuadores Resposta Por que é interessante propor um modelo para o comportamento humano?

6 Aprendizado Tarefa: Aprender a andar Robô Ser Humano Inteligência Artificial?

7 Sumário Visão geral (Redes Biológicas) O Neurônio biológico O Modelo Matemático Redes Multi-Camadas Redes Auto-Organizativas Aplicações

8 O que são Redes Neurais Artificiais Redes Neurais Artificiais (RNAs) são tentativas de produzir sistemas de aprendizado biologicamente realísticos São baseados em modelos abstratos de como pensamos que o cérebro (e os neurônios) funcionam Compostas por várias unidades de processamento (neurônios) Interligadas por um grande número de conexões

9 O que são Redes Neurais Artificiais Redes Neurais Artificiais (RNAs) são modelos de computação com propriedades particulares: Capacidade de se adaptar ou aprender através de exemplos Capacidade de generalizar Agrupar ou organizar dados Tolerância a falhas Implementação rápida Multi-disciplinaridade: Ciência da Computação, Matemática, Física, Engenharias, Psicologia, Biologia, Linguística, Filosofia, etc.

10 O Neurônio Biológico

11 O Neurônio Biológico

12 O Neurônio Biológico x 1 y x 2 x 3 y = f(x 1,x 2,x 3 ) (x 1,x 2,x 3,y)

13 O Nodo Perceptron X 1 X 2 w 1 w 2 f Y ^ +1-1 Yˆ sgn k i1 x i. w i X k w k Yˆ f k i1 x i. w i +1-1 Yˆ Yˆ tanh k i1 k i1 x i. w i x i. w i

14 k i x i w i Y 1. ˆ k i i x i. y 1 βˆ ˆ Modelo de regressão linear ˆ. ˆ ˆ t t t y y y Modelo Auto Regressivo de ordem 2 0 β β T 0 x x Hiperplano de separação entre duas classes Modelos Estatísticos Lineares

15 Rede Multi-Layer Perceptron (MLP )

16 Exemplo de Regressão Linear x y X Modelo de Regressão Linear y ˆ. x 1 Modelo Neural ˆ y 1. x 2 w 1 2 y 3. x 2 +1 w 2 Y

17 Exemplo de Regressão não - Linear Modelo Polinômial x y y ˆ 1. x 2 ˆ 2. x ˆ x Modelo Neural w 1 w 2 tanh tanh w 4 w 5 y y 3. x 2 2. x 1 +1 b 1 b 2 b 3 w 3 tanh w 6 +1 b 4 y 1. x b1 5.tanh 2. x b2 6.tanh 3 x b3 4 4 tanh.. b

18 Exemplo de Regressão x y y x Modelo Polinômial ˆ n. x n Modelo Neural ˆ n1. x n 1 y ˆ 0? É um modelo flexível!!!

19 Exemplo de aproximação de função utilizando uma rede MLP com 20 nodos na camada escondida - O equilíbrio entre o erro e a norma garante modelos com alta capacidade de generalização independente do número de parâmetros (variáveis de auste) do modelo.

20 Exemplo de Regressão Multivariada x y X 1 y 1 X 2 x 1 x 2 x 3 y 1 y 2 y 3 y 2 x n y n X q y p +1 X =[x 1,x 2, x 3,..., x q ] T +1 y =[y 1, y 2, y 3,..., y p ] T

21 Exemplo da Flexibilidade de uma RNA (MLP)

22 O Modelo Geral de Aprendizagem Supervisionada Gerador de amostras X Sistema Y x Máquina de Aprendizado y g y ˆ f x, w Y w N Conunto de observações: D = {(x 1,y 1 ), (x 2,y 2 ),..., (x n,y n ) } Obetivo: f ( x, w) g( x) (Generalização) A máquina de aprendizado deve ser capaz de predizer respostas coerentes em relação à realizações futuras de x. A partir da máquina de aprendizado, deve ser possível extrair informações sobre a natureza das relações entre as variáveis de entrada e saída.

23 J Treinamento Supervisionado de uma Rede Neural Artificial Função de Custo 1 n 2 Obetivo: Minimizar a função de custo w y f x, w 2 1 em relação a um conunto de observações Sea agora, um vetor de parâmetros: w w, 1, w2, w3,, w r, b1, b2, b t Algoritmo BackPropagation - Gradiente descendente É um método iterativo Os pesos são inicializados O auste é realizado segundo a direção do gradiente descendente da função de custo em relação ao vetor de pesos da rede

24 O Treinamento Supervisionado de RNAs A Questão do Vício e da Variância Overfitting Variância Underfitting Vício

25 O Controle da Generalização Algoritmos de Validação [Amari et. al, 1996] Cross-Validation [Stone, 1974] Algoritmos de Pruning [Reed, 1993] Regularização Bayesiana [Mackay, 1992] Penalização (weight-decay [Hinton, 1989]) Multi-Obetivo [Teixeira, 2000, Costa 2002] etc....

26 O Controle da Generalização Early Stopping Conunto de amostras (observações) Conunto de Verificação Conunto de Treinamento J v Algoritmo Backpropagation J T J v w* iterações

27 Exemplo de aproximação de função utilizando duas redes MLP com 12 nodos e 25 nodos na camada escondida, respectivamente. O equilíbrio entre o erro e a norma garante modelos com alta capacidade de generalização independente do número de parâmetros (variáveis de auste) do modelo. Rede MLP com 12 nodos na camada escondida Rede MLP com 25 nodos na camada escondida

28 Validação Cruzada (Cross-Validation) Treinamento Validação Conunto de Dados yˆ 1 ˆ i y i 4

29 Multi-Layer Perceptron with 10-fold Cross-Validation training training validation training training training training training training training The data is replicates 10 times, each replicate has a different validation subset. One MLP is trained for each partition using MOBJ-LASSO cross-validation Data Replicates yˆ 1 ˆ i y i 10

30 Aplicação das Redes Neurais Artificiais Aproximação de funções Classificação de Padrões Extração de conhecimento (data mining) Previsão de Séries Temporais Clustering

31 Topologia da RNA k +1 0