Redes Neurais e Sistemas Fuzzy

Transcrição

1 Redes Nerais e Sistemas Fzz Conceitos básicos de Redes Nerais Modelos de nerônios artificiais Comptação por Redes Nerais solção de m problema se dá por aprendizado. Um modelo de rede neral é capaz de resoler ma classe de tarefas, ajstando ses parâmetros por indção a partir de m conjnto de treinamento. solção é bastante flexíel. Na maioria dos modelos, o conjnto de treinamento dee ser determinado a priori. ariabilidade do domínio dee estar representada no conjnto de treinamento. Não é necessário se extrair conhecimento de especialistas no domínio. Domínio Solção por Rede Neral Dados (temperatra, pressão) Dados históricos Rede Neral Conjnto de treinamento Temperatra Pressão,,,, Flxo 47 5 Resltados (flxo) 3 Conceitos básicos de Redes Nerais s Redes Nerais rtificiais (RN) são sistemas físicos cellares qe podem adqirir, armazenar e tilizar conhecimento extraído da experiência, por meio de algoritmos de aprendizagem. O conhecimento está na forma de estados estáeis o mapeamentos incorporados nma rede de processadores simples, os nerônios artificiais, interligados por elos qe possem parâmetros ajstáeis, os pesos sinápticos, qe controlam a intensidade das conexões. comptação por RN é realizada por ma densa malha de nós processadores e conexões. O elemento processador básico é o nerônio artificial. 4

2 Conceitos Topologia da rede grafo orientado rotlado, determina a conectiidade da rede (em camadas?, com laços?). Nerônio fnção elementar (nó). Calcla m alor de saída, fnção dos alores de entrada do nó e dos pesos sinápticos correspondentes (modelo de nerônio). Conexão determina m caminho para o flxo de informação entre dois nós (elo). Pesos sináptico determina a força de conexão entre dois nós da rede (rótlo). Fncionalidade da rede composição das fnções elementares determinada pela conectiidade da rede. 5 entrada w o w o w o w o w o 3 3 w s w o 3 x 3 w s 4 w o 4 w o 4 4 i i 3 i 4 i w s w s w s 3 w s 4 w s w s Rede mlticamadas sem laços (feedforward) nerônio peso sináptico conexão x camada de entrada camada oclta Flxo do processamento (propagação) sinal intermediário camada de saída saída Fncionalidade [ ] T = F(, x ) 6 Fncionalidade de ma RN Mais conceitos entrada x saída topologia da rede determina ma fncionalidade genérica adeqada para ma certa classe de aplicações. fncionalidade específica (mapeamento) de ma RN depende dos alores dos ses pesos sinápticos. entrada F x Fncionalidade [ ] T = F(, x ) Mapeamento saída Os alores dos pesos sinápticos são ajstados ao problema específico atraés de procedimentos iteratios de treinamento (processo de aprendizagem indtia). 7 8

3 Comptação realizada por ma RN O mapeamento qe ma rede neral implementa pode enoler alores binários de saída, o então alores contínos. No primeiro caso, normalmente o conjnto de saídas binárias da rede é interpretado como rótlo de classe e a RN desempenha o papel de m classificador. No segndo caso, a rede ata como m regressor, fornecendo estimatias de alores do mapeamento aprendido (os alores de saída correspondentes a alores apresentados na entrada). Normalmente, os alores de entrada para a rede deem pertencer a m interalo nmérico adeqado preiamente definido, o qe salmente exige algm tipo de pré-processamento dos alores do domínio da aplicação. Comptação realizada Uma rede conectada apenas para frente (feedforward), sem realimentações, implementa mapeamentos estáticos. Exemplos de mapeamentos estáticos são máqinas combinacionais (sistemas discretos), modelos de sistemas estáticos (contínos), além dos classificadores e regressores. Uma rede com conexões realimentadoras (feedback), o recorrente, cria dependências temporais entre os sinais. Uma rede recorrente implementa mapeamentos dinâmicos, como máqinas seqüenciais, modelos de sistemas dinâmicos e regressores dinâmicos. 9 (n) Exemplo de ma rede recorrente x (n) (n) w w w w 3 w w 3 z z b b (n) x (n) w 3 3 w 3 b 3 (n) plicações das RN s redes nerais são aplicadas em diersas áreas qe enolem o reconhecimento de padrões e o aprendizado de fnções nãolineares. Exemplos dessas áreas memórias associatias interpretação de imagens reconhecimento de oz modelagem de sistemas sistemas de controle análise de séries temporais recperação de informações mineração de dados

4 Inspiração biológica Hoje se reconhece qe o cérebro processa informação nma forma diferente da dos comptadores digitais conencionais. Comptadores digitais são extremamente rápidos e precisos na execção de seqüências de instrções. Já o cérebro hmano é composto de m número mito grande de nerônios qe operam a elocidades cerca de m milhão de ezes mais baixas qe as portas digitais, mas exectam o processamento de informação de forma paralela e distribída. Esta característica das redes nerais faz com qe os seres hmanos sejam mais eficientes qe os comptadores em tarefas comptacionalmente complexas como a compreensão da fala e percepção de cenas isais. Estrtra do nerônio natral O nerônio é ma célla biológica delimitada por ma membrana cellar qe possi propriedades essenciais para o processamento de informação. Um nerônio possi três porções distintas o corpo cellar o soma (gerador de energia) a árore dendrítica (receptor de sinais aferentes) e o axônio (gera o sinal eferente potencial de ação) O axônio de m nerônio se conecta com a árore dendrítica de m otro nerônio atraés de m contato especial a sinapse. 3 4 Elementos de m sistema neroso 5 Geração do potencial de ação s propriedades da membrana axonal foram qantitatiamente descritas por Hodgkin e Hxle em 95. Eles determinaram o mecanismo básico de prodção e propagação do potencial de ação. Por este mecanismo, denominado bomba de sódio, as diferenças de concentração entre íons de sódio, presentes em grande concentração na região externa à membrana, e íons de potássio, na região interna, prodzem m potencial de reposo (negatio) da membrana (-65 mv). Se a membrana for despolarizada (menos negatia) por m processo sináptico, ltrapassando m limiar de disparo, ocorrerá a formação de m potencial de ação, qe é transmitido ao longo do axônio para otros nerônios qe têm conexão com este axônio. 6

5 Modelo neronal O potencial de ação geração do potencial de ação é determinada pela dependência das condtâncias dos íons Na + e K + em fnção da ariação da tensão da membrana. Dendritos botões sinápticos Soma Flxo da informação Potencial da membrana (mv) +6 6 xônio E Na+ E K+ t 7 Nerocomptação Em sistemas nerocomptacionais, o componente básico é o nerônio artificial. Existem ários modelos de nerônios artificiais, qe se diferenciam qanto ao detalhamento da sa fncionalidade. abstração mais simplificada considera apenas os aspectos instantâneos o estáticos do processamento, não leando em consideração os ses efeitos dinâmicos (memória). fncionalidade de m sistema neral estático é eqialente a de ma máqina combinacional nos sistemas digitais. Já o modelo dinâmico do nerônio é tilizado qando os sinais de entrada apresentam correlação temporal o espaço-temporal. O modelo dinâmico é normalmente reserado para o processamento de sinais contínos. 8 Modelos de nerônios maioria das aplicações de sistemas nerocomptacionais tiliza o modelo estático do nerônio. Esta preferência se dá principalmente pela simplicidade da comptação enolida. Mesmo a implementação de sistemas fncionalmente eqialentes a ma máqina seqüencial pode ser realizada a partir do modelo estático, incorporando-se algm tipo de memória externa. Esta é a mesma estratégia qe os sistemas digitais tilizam para implementar máqinas seqüenciais. 9 Modelos comptacionais de m nerônio O modelo estático do nerônio tem ma interpretação digital, relacionada à implementação de fnções booleanas, e ma interpretação contína, associada à filtragem de sinais. interpretação do nerônio como nidade de processamento lógico remonta aos trabalhos de Mc Clloch-Pitts e Frank Rosenblatt nas décadas de 4 e 5, respectiamente. fncionalidade do modelo contíno foi inestigada, entre otros, por ernard Widrow nos anos 6. Um nerônio artificial pode ser isto como m processador elementar com múltiplas entradas e ma única saída. Cada entrada do nerônio está ligada a ma fonte de sinais externos, o, no caso de ma rede de nerônios, a ma saída de m otro nerônio.

6 Modelo de Mc Clloch-Pitts O primeiro modelo de nerônio artificial é atribído aos pesqisadores Warren McClloch, médico e diretor de m laboratório de pesqisa no departamento de psiqiatria da Uniersidade de Illinois, e de Walter Pitts, m joem matemático, qe propseram m modelo de redes nerais artificiais, onde cada nerônio só pode assmir m estado binário (on/off). teoria de McClloch-Pitts (943) está baseada em 5 sposições atiidade de m nerônio é m processo tdo o nada (binário) Um número mínimo de sinapses ( > ) dee ser excitado nm período latente para atiar m nerônio O único atraso nos sistemas ocorre nas sinapses atiidade de ma sinapse inibitória é absolta estrtra de interconexões não se modifica i Sinapse excitatória Sinapse inibitória McClloch e Pitts demonstraram qe o se modelo de rede neral era de fato eqialente à máqina de Tring e proaram qe qalqer fnção comptáel poderia ser comptada por algma rede de nerônios conectados. Este modelo estimlo ma série de trabalhos teóricos e experimentais para modelar o cérebro em laboratório. Entretanto, os experimentos demonstraram claramente qe o modelo binário de m nerônio não é correto. De fato, m nerônio não pode ser considerado m simples dispositio de dois estados. Ele tem ma característica contína altamente não-linear. Para exemplificar as redes de McC-P, podemos definir os predicados N i (t) denota a asserção o i-ésimo nerônio dispara no tempo t N i (t) denota a asserção o i-ésimo nerônio não dispara no tempo t Usando esta notação, podemos descreer a ação de certas redes nerais tilizando lógica proposicional Redes Simples de Mc Clloch e Pitts Precedência N (t) = N (t-) Conjnção 3 N 3 (t) = N (t-) N (t-) Disjnção N 3 (t) = N (t-) N (t-) 3 Negação Conjgada 3 N 3 (t) = N (t-) N (t-) 3 x i x n Modelo de McClloch-Pitts w w i w n Os x i, para i =,,,n são o, dependendo da presença o asência do entrada no instante k. Os w i são o, dependendo se a sinapse é excitatória o inibitória. θ é o alor do limiar do nerônio, qe dee ser excedido pela soma ponderada de sinais para qe o nerônio dispare. regra de disparo do modelo é definida como (k) = θ n se Σ x i (k).w i θ i= n se Σ x i (k).w i < θ i= 4

7 Comptação por portas lógicas binárias comptação digital tem sido realizada fndamentalmente com base em portas lógicas implementadas em diersas tecnologias de circitos integrados. pesar da eolção da tecnologia dos CI, o modo como as fnções booleanas são implementadas permanece essencialmente o mesmo. discretização dos sinais elétricos analógicos dos componentes eletrônicos obedece à chamada lógica de chaes binária lâmpada acende, se e forem acionadas lâmpada acende, se o forem acionadas Comptação inspirada em modelos biológicos comptação por lógica de chaes não é plasíel biologicamente. O modelo de Hodgkin e Hxle de geração e propagação de m potencial de ação ao longo da membrana de m nerônio se assemelha ao chamado nerônio artificial da lógica de limiar. O disparo de m potencial de ação é m processo tdo-o-nada reglado pela acmlação de excitações indas de nerônios aferentes e modladas pelos respectios contatos sinápticos. Os sinais aferentes podem agir sobre a membrana despolarizando-a, atraés de sinapses excitatórias, o então hiperpolarizando-a, atraés de sinapses inibitórias. Qando a despolarização da membrana atinge m determinado limiar, ocorre ma rptra no eqilíbrio eletroqímico entre o interior e o exterior do nerônio, gerando o potencial de ação. O potencial de ação se propaga então pelo filamento axonal. 5 6 Modelo de nerônio artificial binário fncionalidade básica de m nerônio artificial binário é a de ma porta lógica genérica da lógica de limiar (LTU, Logic Threshold Unit). No modelo de nerônio artificial o alor de saída depende do alor () da soma ponderada entre as entradas do nerônio e os ses pesos (sinápticos). No modelo binário, o alor de saída corresponde ao resltado da comparação de com m limiar z. operação de comparação é modelada por ma fnção de atiação, ϕ(). Em geral, cada nerônio artificial tem ma entrada extra tilizada para ajstar o se limiar. O alor defalt do limiar de m nerônio é zero. Implementação de fnções booleanas por nerônios Um nerônio artificial é ma porta lógica niersal qe pode implementar as diersas fnções booleanas elementares, qe formam a base da lógica booleana, apenas alterando o se conjnto de pesos e limiar > z + x x m w w w m z > z = m = w j x j j = se > z se z > z + 7 8

8 Modelo de nerônio artificial com bias O limiar da fnção de atiação pode ser sbstitído por m peso extra, qe recebe o nome de bias, mantendo a mesma fncionalidade do modelo. antagem é qe neste modelo, só existem pesos para serem ajstados. w x w x m w m m = w j x j j = = > z se > z se z Fnção de atiação > z z m = j= w w w x x m w m w j x = ϕ() se > se Fnção de atiação > com = + w > z z > + w > com w = z > com = + w φ() ϕ (; z) = fnção de atiação de limiar abrpto z = Fnção degra com limiar ariáel, se z,, se < z φ() com = z Fnção degra com limiar fixo ϕ() =, se,, se < fnção de atiação 9 3 Entrada extra Fontes de sinais de entrada x = x k x m Modelo estático de m nerônio Pesos sinápticos w w w k w m bias Combinador linear (CL) O nerônio pode ser descrito matematicamente pelas segintes eqações Potencial de atiação Sinal de saída do nerônio m Jnção aditia Potencial de atiação Fnção de atiação ϕ( ) Saída = Σ w k. x k x k = F(, x,..., x m ) = ϕ() x m 3 Um nerônio de das entradas externas F(, x ) x x w Do ponto de ista do mapeamento = F(, x ), os alores de entrada podem ser interpretados como as coordenadas (, x ) de m ponto no espaço de características formado pelo prodto cartesiano x. Usalmente, este ponto é representado como m etor correspondente, x, partindo da origem. Por conenção, qalqer etor é representado por ma matriz colna. w w ϕ() 3

9 Representação etorial de alores de entrada x = x x x T = [ x ] x = [ x ] T x x x Repare, entretanto, qe do ponto de ista do modelo, o etor entrada do nerônio dee ser expandido, acrescentando-se a entrada do bias x = x [ ] T x Da mesma forma, os pesos são representados por m etor w = [ w w ] T w x Representação do mapeamento O potencial de atiação, corresponde à soma dos alores indiidais das entradas ponderados pelos respectios pesos = w + w + x w O potencial de atiação, pode ser calclado, de forma eqialente, como o prodto interno entre os etores de peso e de entrada (acrescido do bias) = w T.x Esta eqação define ma sperfície plana, a sperfície de mapeamento qe representa o mapeamento de pontos do espaço de entrada x para m alor de potencial de atiação. No caso de m nerônio de das entradas, (, x ) é m plano qe corresponde aos pontos do espaço x qe satisfazem a eqação. Os alores dos pesos determinam a posição do plano neste espaço Plano de mapeamento (,,,5) (,,,5) Exemplo de plano de mapeamento (do potencial de atiação) de m nerônio de das entradas com w = w = w =,5 =,5 +,5 x +,5 (,,,5) x (,, +,5) (,, +,5) 35 Parâmetros do plano de mapeamento z Um plano no espaço x z pode ser definido pela forma ponto-normal a(x x ) + b( ) + c(z z ) = Neste caso, a inclinação do plano é especificada pelo etor normal não nlo n = (a,b,c) qe intercepta o plano no ponto P = (x,, z ) O plano da figra corresponde ao potencial de atiação =,5 +,5 x +,5 forma ponto-normal deste plano é,5 +,5 x (,5) = Portanto P = (,,,5) n = (,5,,5, ) o, eqialentemente n = (,5,,5, ) P = (,, w ) n = (w, w, ) n = (,5,,5, ) P = (,,,5) x x 36

10 fnção de atiação Exemplos de fnção de atiação de limiar fnção de atiação do nerônio age sobre o plano de mapeamento definido pelos ses pesos. O principal objetio da fnção de atiação é introdzir ma nãolinearidade no modelo. φ() φ() Sem a fnção de atiação, o poder comptacional do nerônio, e mesmo de ma rede neral inteira, seria eqialente ao de m sistema linear, o qe não permitiria a solção de classes importantes de problemas. Fnção sinal θ = θ = Fnção degra nitário com limiar Um dos problemas (não-lineares) qe desejamos resoler com o nerônio é a classificação de etores de entrada. Este problema incli a implementação de fnções booleanas. φ() =, se,, se < φ() =, se θ,, se < θ Tipos de fnção de atiação fnção de atiação, representada por ϕ(), define a saída de m nerônio em termos do potencial de atiação. Identificamos 3 tipos de fnção. Fnção de limiar. Representa ma fnção de decisão abrpta. Descree a propriedade tdo-o-nada de m nerônio de McClloch-Pitts. ϕ() = se se < ϕ() 3. Fnção sigmóide. É ma fnção com forma de s, monotonamente crescente, qe exibe m balanceamento adeqado entre comportamento linear e não-linear. Exemplos deste tipo de fnção são a fnção logística, e a tangente hiperbólica. 3. Fnção logística, com parâmetro de inclinação a ϕ() = + exp( a) ϕ() a = a =. Fnção linear por partes. Reslta nm combinador linear se a operação for restrita à região linear. Se redz à fnção de limiar se o fator de amplificação for feito infinitamente grande ϕ() =, +,5 +,5,5 > > +,5,,5 ϕ() 3. Fnção tangente hiperbólica, com parâmetro de inclinação (ganho) a ϕ() = tanh(a) a = ϕ() a = 39 4