REDES NEURIS RTIFICIIS: Do prendizado Natural o prendizado rtificial I FORUM DE INTELIGÊNCI RTIFICIL utor/presentador: Prof. Dr. Fernando Osório* ULR Canoas - gosto 1999 * UNISINOS - Centro de Ciências Exatas e Tecnológicas - Informática E-mail: osorio@exatas.unisinos.br Web: http://www.inf.unisinos.br/~osorio/ http://www.inf.unisinos.br/~osorio/neural.html 0. Introdução Tópicos abordados: 1. Inteligência rtificial e prendizado 1.1 Inteligência rtificial e Sistemas Inteligentes 1.2 quisição de Conhecimentos e prendizado 1.3 prendizado de Máquina (Machine Learning) 2. Redes Neurais rtifficiais 2.1 Conceitos ásicos 2.2 Representação de Conhecimentos 2.3 Modelos Conexionistas - Classificação 2.4 prendizado Neural 2.5 Vantagens e Desvantagens 3. Conclusões e Perspectivas 2 1
Introdução Inteligência Natural Inteligência rtificial prendizado Natural prendizado Neural Redes Neurais Sistemas Inteligentes: - Conceitos -Visão Crítica 3 INTELIGÊNCI: Do Natural ao rtificial REPRODUZIR INTELIGÊNCI HUMN - O que é Inteligência? - O que é um ser Inteligente? 4 2
INTELIGÊNCI: Do Natural ao rtificial REPRODUZIR INTELIGÊNCI HUMN - O que é Inteligência? - O que é um ser Inteligente? * ssociação de idéias e conceitos * Concluir coisas * Capacidade de aprendizado * cúmulo de conhecimentos * Raciocínio: lógico, abstrato, dedução, analogia, indução, inferência, síntese, análise * Uso prático de experiências e conhecimentos passados * Tomada de decisões * Criar coisas novas (criatividade) * Saber o que eu sei (saber explicar) * Interação * Comunicação 5 I.. Simbólica: Conceitos ásicos REPRODUZIR INTELIGÊNCI HUMN - Conceito de Inteligência - tividades Inteligentes - Sistemas Inteligentes: * Sistemas Especialistas * Sistemas de poio ao Diagnóstico e a Decisão * Reprodução de atividades típicas dos seres humanos: Fala, udição, Visão, Deslocamento, Manipulação de Objetos, etc. 6 3
I.. Simbólica: Sistemas Especialistas Módulo de Explicação Usuário ase de Conhecimentos Motor de Inferência Interface com o usuário Módulo de quisição de Conhecimentos Expert 7 I.. Simbólica: quisição de Conhecimentos ase de Conhecimentos (regras + fatos) Conversão para um formato de representação interno quisição Explicitação utomática Conhecimentos sobre uma área de aplicação: Conhecimentos do especialista Teorias sobre o domínio de aplicação Resultados de experiências praticas (casos conhecidos) 8 4
Inteligência rtificial: Sistemas Inteligentes Inteligência rtificial Sistemas Inteligentes prendizado de Máquinas Representação de Conhecimentos Sistemas Especialistas KS, robótica, visão artificial,... CR, ILP, árvores de decisão/induçao, redes neurais algoritmos genéticos,... Métodos Simbólicos Métodos Conexionistas (RN) 9 Inteligência rtificial: prendizado - O que é o aprendizado? * daptação do comportamento (melhoria) * Correção dos erros cometidos no passado * Otimização da performance do sistema (melhoria) * Interação com o meio, experimentação e descoberta * Representação do conhecimento adquirido Memória e compressão dos conhecimentos 10 5
prendizado de Máquinas / Machine Learning Conhecimentos Teóricos XOR = ( Or ) nd Not ( nd ) ou XOR = ( nd Not ( ) ) Or ( Not ( ) nd ) Conhecimentos Empíricos XOR 0 0 0 0 1 1 1 0 1 1 1 0 11 prendizado de Máquinas prendizado por analogia / por instâncias Sistemas baseados em casos CR - Case ased Reasoning prendizado por Indução Árvores de Decisão ID3, C4.5, CN2 - Induction of Decision Trees ILP - Inductive Logic Programming (Prolog) prendizado por evolução/seleção lgoritmos Genéticos G e GP - Genetic lgorithms / Genetic Programming prendizado por reforço (reinforcement learning) prendizado ayesianno (probabilista) prendizado Neural 12 6
SE DE DDOS SORE O PROLEM NÚMERO CÉU TEMPERTUR HUMIDDE VENTO CLSSE 1 ensolarado elevada alta não N 2 ensolarado elevada alta sim N 3 coberto elevada alta não P 4 chuvoso média alta não P 5 chuvoso baixa normal não P 6 chuvoso baixa normal sim N 7 coberto baixa normal sim P 8 ensolarado média alta não N 9 ensolarado baixa normal não P 10 chuvoso média normal não P 11 ensolarado média normal sim P 12 coberto média alta sim P 13 coberto elevada normal não P 14 chuvoso média alta sim N Tabela Conjunto de dados de aprendizado : Condições meteorológicas N = Negativo (tempo ruim) P = Positivo (tempo bom) 13 P=2 N=3 Ensolarado HUMIDDE CÉU Coberto P=9 N=5 Chuvoso VENTO P=3 N=2 Normal lta Verdadeiro P Falso P=4 Questão (corte) Caso Positivo (P) Caso Negativo (N) P P=2 N N=3 N N=2 P P=3 Classe (folha) IF ( ( CÉU=Ensolarado and HUMIDDE=Normal ) or ( CÉU=Coberto ) or ( CÉU=Chuvoso and VENTO=Falso) ) Then Classe = P ÁRVORE DE DECISÃO 14 7
I.. Simbólica: Vantagens e Desvantagens + Conhecimento representado por regras (ou outra estrutura similar) que podem ser facilmente interpretadas e analisadas; + Permite a explicação do processo que levou a uma determinada resposta; + Fácil inserção de novos conhecimentos obtidos à partir do especialista ou através de métodos automáticos de aquisição de conhecimentos; - Necessidade de se trabalhar com conhecimentos completos e exatos sobre um determinado problema; - Dificuldade de explicitar todos os conhecimentos relativos ao problema através de regras simbólicas; - Dificuldade para tratar informações imprecisas ou aproximadas, e valores numéricos (dados quantitativos). 15 I.. - Redes Neurais rtificiais: Conceitos ásicos Redes Neurais rtificiais: Neurônio... Modelo Simulado Modelo SIMPLIFICDO Características ásicas: daptação prendizado utômato Representação de Conhecimentos: aseada em Conexões 16 8
I.. - Redes Neurais rtificiais: Origem PSYCHON McCulloch & Pitts 1943 Saída Entradas Excitatórias Integrador de Estímulos Entradas Inibitórias 17 X 1 X 2 X N... Entradas (Dendritos) Perceptron NEURL... W 1 W 2 W N Pesos Sinápticos (Efeito de inibição ou de excitação sobre a ativação dos sinais de entrada) N Net = Σ Wi.Xi + iais i tivação (Considera o conjunto total das entradas e dos seus pesos associados) Fct (Net) Função de tivação (Regulagem da saída da rede) Saída (xônio: Conexões com as Sinapses de outras unidades) 18 9
X 1 X 2 X N... Entradas (Dendritos) NEURL... W 1 W 2 W N N Net = Σ Wi.Xi + iais i Fct (Net) Pesos Sinápticos (Efeito de inibição Rede ou Neural de excitação com apenas 2 entradas: sobre a ativação dos sinais de entrada) X, Y - Entradas (Valores numéricos) W tivação 1, W 2 - Pesos Sinápticos (Considera o conjunto total das Saída = Σ Wi.Xi + iais entradas e dos seus pesos associados) = W 1. X + W 2. Y + C Função de tivação (Regulagem da saída da rede) Saída (xônio: Conexões com as Sinapses de outras unidades) 19 Rede Neural com apenas 2 entradas: X, Y - Entradas (Valores numéricos) W 1, W 2 - Pesos Sinápticos Saída = Σ Wi.Xi + iais = W 1. X + W 2. Y + C X Y ND 0 0 0 0 1 0 1 0 0 1 1 1 Y (0,1) 0 1 (1,1) Representação Geométrica do Problema 0 0 (0,0) (1,0) X 20 10
Rede Neural com apenas 2 entradas: X, Y - Entradas (Valores numéricos) W 1, W 2 - Pesos Sinápticos Saída = Σ Wi.Xi + iais = W 1. X + W 2. Y + C X Y ND 0 0 0 0 1 0 1 0 0 1 1 1 Y (0,1) 0 1 (1,1) Representação Geométrica do Problema Como classificar? Separar as classe 0 0 (0,0) (1,0) X 21 Redes Neurais: Representação de Conhecimentos Reta, Plano ou Hiper-plano de separação das classes -1 Classe : X*W1+Y*W2 < 0 Entrada Y +1 Y 1 P(X 1,Y 1 ) -1 X 1 - Classe - Classe P(X 1,Y 1 ) = Classe Classe : X*W1+Y*W2 > 0 Entrada X +1 Entradas: X, Y Reta: X*W1+Y*W2=0 22 11
Redes Neurais: Representação de Conhecimentos X Y XOR 0 0 0 0 1 1 1 0 1 1 1 1 Problema do XOR OU Exclusivo [Minsky & Papert 1969] X Y XOR -1-1 O -1 +1 X +1-1 X +1 +1 O Y (+1,-1) X O (+1,+1) Sistema de Equações:.X +.Y = S O X (-1,-1) (-1,+1) X -1.X + -1.Y = -1-1.X + +1.Y = +1 +1.X + -1.Y = +1 +1.X + +1.Y = -1 23 Redes Neurais: Representação de Conhecimentos Y Redes à base de Protótipos : Entradas - X,Y Saída - Classes (, ou C) Y 2 Y 1 Y 3 C C C C C C C C C CC C : Exemplos da classe : Exemplos da classe C: Exemplos da classe C X 1,Y 1 - Protótipo da classe X 2,Y 2 - Protótipo da classe X 3,Y 3 - Protótipo da classe Protótipos: * Centro de Gravidade * Raio de influência (x,y) Teste de similaridade: * Distância Euclidiana X 1 X 2 X 3 X 24 12
Redes Neurais: Classificação dos Modelos Conexionistas Em relação as unidades da rede: * Redes baseadas em Perceptrons (MLP - Multi-Layer Perceptron) * Redes baseadas em Protótipos (RF - Radial asis Function) Em relação a estrutura da rede: * Redes de uma única camada * Redes de múltiplas camadas * Redes do tipo uni-direcional (Feed-Forward) * Redes do tipo recorrentes (Feed-ack) * Redes com estrutura estática (não altera sua estrutura) * Redes com estrutura dinâmica (altera a estrutura) * Redes com conexões de ordem superior 25 Saída Saídas Camada Oculta Camadas Ocultas Entradas C (a) Rede de três camadas (b) Rede com atalhos (c) Rede com múltiplas camadas tv = Σ W 1 +W 2 +W 3 W 3 W 1 W2 X Redes (d) Rede recorrente (e) Rede de ordem superior Neurais 26 13
MLP - Multi-Layer Perceptron prendizado: ack-propagation Saída Pesos Wij Unit j Camada Oculta Unit i Entradas 27 Redes Neurais Dinâmicas [Evolutivas] lgoritmo Cascade-Correlation (CasCor) lgoritmos Construtivos: Cascase-Correlation / Fahlman Upstart / Frean Tiling / Mézard & Nadal Redes tipo RF,... lgoritmos Redutivos: OD (Optimal rain Damage) OS (Optimal rain Surgeon) Prunnig lgorithms,... lgortimos Evolutivos: G-NN (Genetic lgorithms + NN) 28 14
Redes Neurais: Classificação - prendizado Em relação ao aprendizado: * prendizado supervisionado * prendizado semi-supervisionado (reinforcement learning) * prendizado não supervisionado (self-organizing, clustering) * prendizado instantâneo * prendizado por pacotes * prendizado contínuo * prendizado ativo * prendizado: aproximação de funções * prendizado: classificação * Usar apenas uma base de exemplos de aprendizado * Usar uma base de aprendizado e uma base de teste de generalização 29 Redes Neurais: prendizado Neural PRENDIZDO = daptação das conexões (pesos sinápticos) Medida do Erro de Saída Configuração Inicial dos Pesos da Rede Descida do Gradiente de uma Superfície de Erro Configuração Final (após adaptação) Mínimos Locais Mínimo Global Mudanças na Configuração dos Pesos Sinápticos 30 15
Redes Neurais: prendizado Neural REGR DELT: Perceptron [Rosenblatt] / daline [Widrow] Erro = SD - SN Erro = Erro estimado na saída de um neurônio SD = Saída Desejada (valor desejado de saída do aprendizado supervisionado) SN = Saída Rede (valor de saída que foi obtido pela ativação do neurônio) Peso_Novo(i) = Peso_ntigo(i) + β * Erro(i) * Entrada(i) ------------------------------- Entrada(i) Peso_Novo(i) = Peso da entrada i de um neurônio, após a adaptação Peso_ntigo(i) = Peso da entrada i de um neurônio, antes da adaptação Entrada(i) = Valor da entrada i de um neurônio β = Fator de ajuste aplicado aos pesos (valor entre 0 e 1) 31 Redes Neurais: prendizado Neural Método da Descida do Gradiente - Multi-Layer Perceptron (MLP) ackpropagation Erro quadrático: = 1 å - 2 E ( Di i) 2 i Derivação da regra de reajuste dos pesos (Neurônios da camada de saída - saída linear) juste dos Pesos: DWij = -a E Wij E = E i = di Xj Wij i Wij E = - (Di - i) = di i i Wij = Xj DWij =-a.di.xj = a.(di - i).xj 32 16
Redes Neurais: prendizado Neural Método da Descida do Gradiente - Multi-Layer Perceptron (MLP) ackpropagation 1 E 2 Erro quadrático: E = å( Di - i) juste dos Pesos: DWij = -a 2 i Wij E = E Si Derivação da regra de reajuste dos pesos = di Xj (Neurônios da camada de saída - usando a sigmoide) Wij Si Wij E Si = E i = - (Di - i).fa'(si) = di i Si E = - (Di - i) i i = Fa'(Si) Si Si Wij = Xj 1 Fa( x) = \ + - Fa'(x) = Fa(x).(1 - Fa(x)) 1 e x Fa'(Si) = Fa(Si).(1 - Fa(Si)) = i.(1 - i) Fa(x) = tanh (x) \ Fa'(x) = (1 - Fa(x).Fa(x)) Fa'(Si) = (1 - Fa(Si).Fa(Si)) = (1 - i.i) DWij =-a.di.xj = a.(di - i).fa'(si).xj 33 Redes Neurais: prendizado Neural Método da Descida do Gradiente - Multi-Layer Perceptron (MLP) ackpropagation Erro quadrático: = 1 å - 2 E ( Di i) 2 i Derivação da regra de reajuste dos pesos E = E Si Wij Si Wij = dixj (Camada intermediária da rede = Hidden Layer) E Si = E i i Si = - Fa'(Si). å dkwki = di k E i = E å Sk k Sk i = E å å Whkh =... k Sk i h E... = å k Sk Wki = - å dkwki k i Si = Fa'(Si) Si Wij = Xj DWij =-a.di.xj = a.xj.fa'(si). dkwki å k juste dos Pesos: DWij = -a E Wij 34 17
Erro na Saída da Rede PRENDIZDO: GENERLIZÇÃO prendizado: Parada tardia Dados de Teste Dados de prendizado Número de Épocas Erro na Saída da Rede Parada usando a Validação Cruzada (ponto ótimo de generalização) Dados de Teste Dados de prendizado Número de Épocas 35 Redes Neurais: plicações Práticas Reconhecimento de Padrões: Caracteres, Imagens, Voz, etc Sistemas de uxílio ao Diagnóstico: Médico, Falhas Mecânicas, etc Robótica Inteligente Previsão: Tempo, Cotações da olsa de Valores, etc Sistemas de Controle Processamento de Sinais Processamento de Linguagem Natural Data Mining 36 18
Redes Neurais: Vantagens e Desvantagens + quisição automática de conhecimentos empíricos à partir de uma base de exemplos de aprendizado referente a um problema; + Manipulação de dados quantitativos, aproximados e mesmo incorretos com uma degradação gradual das respostas; + Grande poder de representação de conhecimentos através da criação de relações ponderadas entre as entradas do sistema; - Dificuldade de configuração das redes em relação à sua estrutura inicial e também no que se refere aos parâmetros dos algoritmos de aprendizado; - Dificuldade de explicitar os conhecimentos adquiridos pela rede através de uma linguagem compreensível para um ser humano; - Dificuldade de convergência (bloqueios) e instabilidade, inerentes aos algoritmos de otimização empregados; - Lentidão do processo de aprendizado / adaptação. 37 Sistemas Híbridos Inteligentes * Módulos ásicos: - Métodos Simbólicos: CR, KS, IDT, G, Fuzzy,... - Métodos Conexionistas: Redes Neurais * Tipos de Integração: - Simbólico-Difuso - Simbólico-Genético - Neuro-Genético - Neuro-CR - Neuro-Simbólicos Neuro-Fuzzy Neuro- IDT Neuro-KS 38 19
Sistema Híbrido Neuro-Simbólico Conhecimentos Teóricos "Regras" Módulo Simbólico MS quisição de Conhecimentos "Exemplos" Conhecimentos Empíricos Transferência de Conhecimentos Módulo MC Conexionista 39 Sistema SYNHESYS Situação Expert Módulo Simbólico Transferência de Conhecimentos Módulo Conexionista Decisão Gestionário de interações Decisão Expert 40 20
Sistema INSS Conhecimentos Teóricos Conhecimentos Empíricos quisição de Conhecimentos (Expert / Engenheiro de Conhecimentos) Regras Módulo de Validação Exemplos MS Módulo Simbólico Inserção de Regras Extração de Regras MC Módulo Conexionista [RN] Transfêrencia de Conhecimentos INSS - Incremental Neuro-Symbolic System 41 Considerações Finais Conhecimentos : regras / exemplos - incompletos / incoerentes lgoritmos de aprendizado eficientes Redes Neurais do tipo incremental / Redes Recorrentes Manipulação de conhecimentos e de regras de alto nível tributos quantitativos e qualitativos Validação dos conhecimentos adquiridos Evolução dos conhecimentos de forma continuada umento do poder de representação de conhecimentos Integração de múltiplos módulos: CR, Fuzzy, G,... Sistemas Híbridos Neuro-Simbólicos Hybrid Machine Learning Tools 42 21
Sistemas Inteligentes: Perspectivas Futuras TM 43 Sistemas Inteligentes: Perspectivas Futuras 44 22