Redes Neurais 1. Redes Neurais. cont.) Definição (cont( Definição. Histórico. Características básicas

Transcrição

1 Redes Neurais Dalma M. Falcão Redes Neurais Definição Histórico Áreas de aplicação RNs biológicas Modelos de neurônios artificiais Arquiteturas de RNs Definição Definição (cont( cont.) Redes Neurais são sistemas computacionais massivamente paralelos, inspirados nas redes neurais biológicas, constituídas por um grande número de elementos de processamento simples (neurônios) com várias conexões entre si (sinapses) os quais apresentam propensão para o armazenamento de conhecimento experimental e de disponibilizar esse conhecimento para uso. As RNs se assemelham ao cérebro em dois aspectos: O conhecimento é adquirido pela RN através de um processo de treinamento; As capacidades das conexões entre neurônios, conhecidas como ponderações sinápticas, são usadas para armazenar o conhecimento. Simon Hayin, Neural Networs, 994 Simon Hayin, Neural Networs, 994 Características básicas Aprendizado: aprende por experiência Abstração: capta a essência do conunto de dados Associação: associação entre padrões diferentes (p. ex., pessoa - endereço) Generalização: conclusão usando dados não utilizados no aprendizado Robustez: perda de elementos do conunto de dados afeta pouco a capacidade da rede Histórico Década de 40: trabalhos pioneiros 94: McCulloch e Pitts (primeiro modelo matemático de redes neurais) Décadas de 50 e 60: crescimento 958: Rosenblatt (Perceptron ) 960: Widrow e Hoff ( Adaline) 969: Minsy e Papert (demonstram as limitações do perceptron) Década de 70: declínio temporário

2 Histórico (cont( cont.) Década de 80: ressurgimento do interesse 980: Grossberg (aprendizado competitivo) 98: Hopfield (redes recorrentes) 98: Kohonen (mapas auto-organizáveis) 986: Rumelhart, Hinton e Williams (retropropagação do erro) Aplicação Apta a resolver grande gama de problemas Não necessariamente a melhor técnica para resolver um determinado problema Vantagens: Não exige conhecimento detalhado do problema Rapidez da resposta (exceto fase de treinamento) Desvantagem: Não explica a forma de solução do problema Áreas de aplicação a seguir Classificação de padrões Atribuir a um padrão de entrada a uma ou mais categorias pré-especificadas. Aplicações práticas em: Reconhecimento de caracteres manuscritos Classificação de formas de onda de eletrocardiograma Classificação de curvas de demanda de consumidores Etc. W Agrupamento ou clustering Classificação não-supervisionada Descobrir similaridades existentes entre os padrões de elementos de um banco de dados e colocar aqueles com padrões similares em um grupo ou cluster Aplicações em: Mineração de dados (data mining) Identificação de classes de consumidores de energia elétrica Etc. 0 4 h REDE NEURAL Classe A Classe B Classe C Previsão Outras aplicações Estimação do valor futuro de grandezas a partir do processamento de seqüências de valores (série temporal) ocorridos no passado Aplicações em previsão de: carga custo marginal da energia índices de confiabilidade etc. Representação de funções Otimização Controle t t t t n t n+

3 RNs Biológicas Funcionamento das RNs Corpo ou Soma Produção de material necessário ao funcionamento do neurônio Núcleo Características hereditárias Sinapse Regula a inibição ou excitação do neurônio (neurotransmissores) Dendritos Receptores de informação Axônio Transmissor de informações Função de ativação Caracteristícas Tensão + 40 mv Córtex cerebral: 0 neurônios Número de ligações por neurônio: 0 a 0 4 sinapses Total de ligações: 0 4 a 0 5 Velocidade de processamento do neurônio é baixa 50 mv 70 mv Disparo Período de descanso Tempo Paralelismo em larga escala Capacidade de aprendizado Capacidade de generalização Tolerância a falhas Baixo consumo de energia Neurônios Artificiais Modelo Generalizado Modelos (super) simplificados dos neurônios biológicos Modelo matemático com n terminais de entrada (dendritos) terminal de sáida (axônio) Ponderações nas entradas (sinapses) Somatório de entradas ponderadas (corpo) Função de ativação (dispara ou inibe o neurônio) x x n w w w n u Σ ϕ ( ) θ Entradas: x,,..., x n Ponderações Sinápticas: w, w,..., w n Função de Ativação: ϕ ( ) Limiar de Ativação: θ Saída: y y y = ϕ(u θ ) u = n = w x

4 Modelo modificado Funções de ativação Inclusão do limiar de ativação como uma entrada da rede de valor ou e com ponderação sináptica igual a θ ϕ (v ) ϕ (v ) x x n w w w n v Σ ϕ ( ) y y v = ϕ ( v = n = 0 w ) x ϕ (v ) θ Threshold v ϕ (v ) Sigmoidal v ou - w 0 = θ a b v Linear por partes Gaussiana v Arquiteturas das RNs Neurônios podem ser interconectados de várias formas (topologias) Escolha da topologia é importante pois restringe o tipo de aplicação Definição da topologia: Número de camadas Número de neurônios em cada camada Tipo de conexão entre os neurônios Propagação para frente Feedforward Networ: quando os neurônios de uma camada recebem informações apenas de neurônios de camadas anteriores ou da entrada x Camada Única Perceptron: função de ativação do tipo threshold) y x y y Camada Oculta 4 5 Camada de Saída Múltiplas Camadas Perceptron de Múltiplas Camadas ou MLP (Multilayer Perceptron) y y Redes recorrentes Feedbac Networs: quando existe um laço de retroalimentação (feedbac) Lateralmente conectadas Consiste de unidades de entrada do tipo feedforward e uma camada de neurônios conectados entre si z - z- z- x x y y y Rede de Hopfield Mapa Auto-Organizável de Kohonen

5 Aprendizado Treinamento supervisionado Consiste na atualização da topologia e ponderações sinápticas de maneira tal que a RN possa realizar uma tarefa de forma eficiente Normalmente, consiste apenas na determinação das ponderações para uma topologia definida por critérios heurísticos ou por tentativa O conunto de treinamento contem pares de entrada e saída correspondentes; as ponderações são determinadas de maneira tal a permitir que a RN produza saídas o mais próximo possível àquelas conhecidas como verdadeiras, ou sea, minimize o erro da saída em relação aos valores conhecidos. Professor RN + Σ Treinam. não supervisionado Não são fornecidas as saídas verdadeiras correspondentes aos dados de entrada A RN explora alguma estrutura ou correlação existente nos dados. Estado do meio externo Meio Externo RN Resposta Outros Treinamento por Reforço Caso particular de treinamento supervisionado O processo de treinamento é realizado indicando se a resposta da RN, para uma dada entrada, é correta ou incorreta, sem especificar explicitamente a saída correta Treinamento por Competição Caso particular de treinamento não supervisionado Várias entradas são apresentadas à rede e cada neurônio compete com os demais para produzir uma saída o mais próximo possível da saída verdadeira Bibliografia S. Hayin, Neural Networs: A Comprehensive Foundation, Macmillan, 994. A.K. Jain, J. Mao, and K.M. Mohiuddin, Artificial Neural Networs: A Tutotial, IEEE Computer, pp. -44, March 996. M. El-Sharawi and D. Niebur, Ed., Artificial Neural Networs with Applications to Power Systems, IEEE Power Engineering Society Tutorial Course 96 TP -0, 996. A.P. Braga, T.B. Ludemir e A.C.P.L.F. Carvalho, Redes Neurais Artificiais: Teoria e Aplicações, Editora LTC, 000. Neural Networ Toolbox (MATLAB), User s Guide, 99.