22/05/2010. ohebb foi o primeiro a propor uma lei de aprendizagem específica para as sinápses dos neurônios.

Transcrição

1 UNIVERSIDADE FEDERAL DO PIAUÍ UFPI Departamento de Informática & Estatística Curso de Ciência da Computação Introdução o 1º trabalho na área de RNA por McCulloch (neuroanatomista) e Pitts (matemático) o Motivação: Crença que as capacidades humanas (visão, compreensão, fala e audição e controle de diferentes órgãos ao mesmo tempo) feitas em tempo real, bem como decisões inteligentes vêm dos princípios organizacionais eibidos na rede neural altamente complea do cérebro humano. INTELIGÊNCIA ARTIFICIAL 2/40 Vinicius Ponte Machado Aula 15 Redes Neurais Histórico Clique para (1943) editar o estilo do título mestre o O neurofisiologista McCulloch e matemático Walter Pitts (1943), cujo trabalho fazia uma analogia entre células vivas e o processo eletrônico, simulando o comportamento do neurônio natural. o O neurônio possuía apenas uma saída, que era uma função do valor de suas diversas entradas. Histórico Clique para (1949) editar o estilo do título mestre oo psicólogo Donald Hebb, demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica, isto é, a coneão somente é reforçada se tanto as células pré-sinápticas quanto as pós-sinápticas estiverem ecitadas; 3/40 ohebb foi o primeiro a propor uma lei de aprendizagem específica para as sinápses dos neurônios. 4/ Histórico Clique para (1951) editar o estilo do título mestre o Construção do primeiro neuro computador, denominado Snark, por Mavin Minsky. O Snark operava ajustando seus pesos automaticamente. Histórico Clique para (1956) editar o estilo do título mestre o Surgimento dos dois paradigmas da Inteligência Artificial: Simbólica: tenta simular o comportamento inteligente humano desconsiderando os mecanismos responsáveis por tal. Coneionista: acredita que construindo-se um sistema que simule a estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros. 5/40 6/

2 Histórico Clique para (1958) editar o estilo do título mestre o Rosemblatt (1958) mostrou em seu livro (Principles of Neurodynamics) o modelo dos "Perceptrons". o Nele, os neurônios (Perceptrons) eram organizados em camada de entrada e saída, onde os pesos das coneões eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres. Histórico Clique para (1960) editar o estilo do título mestre o Em 1960 surgiu a rede ADALINE (ADAptative LInear NEtwork) e o MADALINE (Many ADALINE), proposto por Widrow e Hoff. o O ADALINE/MADALINE utilizou saídas analógicas em uma arquitetura de três camadas. 7/40 8/ Histórico Clique para (1969) editar o estilo do título mestre Foi constatado por Minsky & Papert que um neurônio do tipo Perceptron só é capaz de resolver problemas com dados de classes linearmente separáveis. ( ): Muitos historiadores desconsideram a eistência de pesquisa nessa área nos anos 60 e 70. Histórico Clique para (1982) editar o estilo do título mestre o Retomada das pesquisas com a publicação dos trabalhos do físico e biólogo Hopfield relatando a utilização de redes simétricas para otimização, através de um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação. 9/40 10/ Histórico Clique para (1986) editar o estilo do título mestre o Rumelhart, Hinton e Williams introduziram o poderoso método de treinamento denominado Backpropagation. o Rumelhart e McClelland escreveram o livro Processamento Paralelo Distribuído: Eplorações na Microestrutura do Conhecimento. Histórico Clique para (1988) editar o estilo do título mestre o Broomhead e Lowe descreveram um procedimento para o projeto de uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial RBF). 11/40 12/

3 Introdução o Características RNA principais (atrativas): aprender com eemplos e generalizar informações aprendidas (com um nº reduzido de eemplos a rede é capaz de responder razoavelmente à dados similares e não idênticos). o Para solução de problemas, a RNA passa por uma fase de aprendizagem, onde um conjunto de eemplos é apresentado para a rede, a qual etrai automaticamente as características necessárias para representar a informação fornecida. o Estas são utilizadas posteriormente para gerar respostas para um problema. Redes Clique Biológicas para editar o estilo do título mestre o O cérebro humano é composto por neurônios, ligados com receptores (dendritos) e eecutores sensoriais (aônio). o Um neurônio é uma célula especial que conduz um sinal elétrico o eistem cerca de 100 bilhões de células de vários tipos. 13/40 14/40 Redes Clique Biológicas para editar o estilo do título mestre o O cérebro organiza esta imensa quantidade de neurônios cada um com um fraco poder computacional, em uma complea rede, maciçamente paralela, na qual os neurônios interagem uns com os outros dinamicamente, produzindo um poderoso processador de informações. Neurônio Clique para Biológico editar o estilo do título mestre o Dendritos:Têm por função receber informações ou impulsos nervosos, oriundos de aônios de outros neurônios e conduzi-los até o corpo celular. o Corpo celular:os sinais recebidos são somados e de acordo com um limiar, estabelece se o neurônio deve ser ativado ou não. O limiar é um valor ou taa de valores que determinam a ativação do neurônio. Se o somatório ultrapassar este valor o neurônio dispara o Aônio:Os impulsos ou disparos são transmitidos a outros neurônios, passando através do aônio até os dendritos dos neurônios seguintes. 15/40 16/40 Neurônio o Fisicamente não há contato entre os neurônios, porém entre a terminação aônica de um neurônio e o dendrito de outro, há um espaço chamado de espaço sinaptico. o Através das sinapses os neurônios se unem funcionalmente, formando redes neurais. o As sinapses funcionam como válvulas, sendo capazes de controlar a transmissão de impulsos entre os neurônios. 17/40 Sinapse As sinapses podem ser ecitatórias ou inibitórias: o Ecitatória: ocorre quando a ativação do neurônio é alta e a soma dos impulsos recebidos pelo neurônio supera o seu limiar, disparando então uma substância dita Neurotransmissora, no espaço sinaptico. o Esta substância altera o potencial elétrico da membrana pós-sinaptica, preparando para o envio de impulsos eletricos; o Inibitória: reduz a capacidade de recepção do outro neurônio 18/40 3

4 Neurônio Clique para Artificial editar o MCP estilo do título mestre o A descrição matemática do MCP resultou em um modelo com n terminais de entrada 1, 2,...,n (que representam os dendritos), e apenas um terminal de saída y (que representa o aônio). o Para emular o comportamento das sinapses, os terminais de entrada do neurônio têm pesos acoplados w1, w2,...,wn, cujo valores podem ser positivos ou negativos, dependendo das sinapses correspondentes serem inibitórias ou ecitatórias. Neurônio Clique para MCP editar o estilo do título mestre o O efeito de uma sinapse particular i no neurônio pós-sináptico é dado por: i w e os pesos determinam em que grau o neurônio deve considerar sinais de disparo que ocorrem naquela coneão. 19/40 20/40 Neurônio Clique para MCP editar o estilo do título mestre o Um neurônio dispara quando a soma dos impulsos que ele recebe ultrapassa o seu limiar de ecitação chamado de threshold. o O corpo do neurônio, por sua vez, é emulado por um mecanismo simples que faz a soma dos valores i wi recebidos pelo neurônio (soma ponderada). E decide se o neurônio deve ou não disparar (saída igual a 1 ou a 0) comparando a soma obtida ao limiar ou threshold do neurônio 21/40 Neurônio Clique para MCP editar o estilo do título mestre o Ativação do neurônio: Obtida através da aplicação de uma função de ativação, que ativa a saída ou não, dependendo do valor da soma ponderada das suas entradas. o Na descrição original do modelo MCP, a função de ativação é dada pela função limiar descrita na a seguir. O nodo MCP terá então sua saída ativa quando: n i1 i w i o onde n é o número de entradas do neurônio, wi é o peso associado à entrada i, e é o limiar (threshold) do neurônio. o Realiza computações relativamente simples, porém quando vários neurônios são ligados e estruturados em uma rede, seu poder computacional aumenta. 22/40 Funções Clique para de Ativação editar o estilo do título mestre o Outros modelos disparam não somente zero ou um: f() y = f() (a) (b) (c) (d) se y se se y f() se se 0 0 f() 1 1 e y / T 23/40 o Coneões entre os nós: Feedforward: Acíclica, assim a saída de um neurônio na i- ésima camada da rede não pode ser usada como entrada de neurônios em camadas de índice menor ou igual a i, isto é, não há coneões que retornam a camadas anteriores. 24/40 4

5 o Coneão entre osnós Feedback: Saída de um neurônio na i-ésima camada da rede é usada como entrada de neurônios em camadas de índice menor ou igual a i. Arquitetura: o Redes de Camada Única: Há somente uma camada de ligações com pesos. As unidades podem ser distinguidas como unidades de entrada e de saída. As de entrada são neurônios que recebem os sinais eternos na rede e as de saída são os neurônios nos quais a resposta da rede pode ser lida. 25/40 26/40 Arquitetura: o Redes Múltiplas Camadas: Uma ou mais camadas de nós intermediários às unidades de entrada e saída, chamadas unidades ocultas(hidden). As camadas ocultas servem para auiliar as camadas de entrada e saída na etração de um número maior de 27/40 características dos sinais entrados. Assim problemas mais complicados podem ser resolvidos. o Aprendizado: Consiste na forma de ajustar os pesos nas coneões. Eistem muitos algoritmos de treinamento, sendo que os principais são supervisionado e não supervisionado. 28/40 o Aprendizado Supervisionado: Uma seqüência de entradas ou padrões (sinais eternos) são apresentados à rede por um supervisor eterno, cada um com uma saída associada. Os pares de entrada/saída são apresentados repetidas vezes até que não haja mais modificações nos pesos das coneões. O objetivo é ajustar os pesos da rede gradativamente de forma a encontrar uma ligação entre a entrada e a saída fornecida. 29/40 o Aprendizado Supervisionado algoritmos: o Regra Delta: Altera os pesos das coneões neurais de forma a minimizar a diferença entre a saída apresentada pela rede e o valor alvo para o padrão de entrada. Dada uma entrada é feita a comparação do resultado da rede com o valor esperado, se a diferença for zero, não é necessário atualizar os pesos, caso contrário, atualiza-se os pesos associados à unidade em questão de acordo com a fórmula: w i (t+1) = w i (t) + e(t) i (t) 30/40 Professor RNA - + S Entrada Erro 5

6 o Aprendizado Supervisionado algoritmos: Backpropagation Compara o resultado gerado pela rede com o valor de saída esperado, ajustando os pesos associados à unidade de saída, caso os valores não sejam iguais, porém este treinamento ocorre em duas fases: a) Forward: é definida a saída da rede para um determinado padrão de entrada. O resultado é comparado com o valor esperado, definindo-se então o erro. b) Backward: ajustes de pesos que começam a partir da ultima camada até atingir a camada de entrada, onde cada nó em cada camada ajusta seu peso a fim de reduzir seu erro. 31/40 o Aprendizado não supervisionado: Não há um professor ou supervisor para acompanhar o processo de aprendizado. Para este tipo de aprendizado, somente os padrões de entrada estão disponíveis para rede Utilizam-se métodos estatísticos para determinar regularidades nos padrões de entrada, A rede desenvolve uma habilidade para formar representações internas, a fim de codificar as características de entrada, formando grupos ou classes de padrões. Assim, é necessário que haja redundância nos dados de entrada, sem redundância o aprendizado não é possível. 32/40 Meio Eterno Estado do Meio Eterno RNA Resposta o Aprendizado não supervisionado: Aprendizado Hebbiano: Aumenta-se o peso da ligação entre dois neurônios que são ativados no mesmo instante e enfraquecer a ligação entre neurônios que são ativados em tempos diferentes. Ou seja se um neurônio emissor tem grande influência na ativação de um neurônio receptor, a coneão entre eles deve ser reforçada pois houve alguma mudança metabólica no meio. Regra de Hebb : 33/40 : o Aprendizado não supervisionado: Aprendizado competitivo: A partir de um dado padrão de entrada, fazer com que as unidades de saída disputem entre si para serem ativadas. A vencedora tem sua saída ativada e seus pesos atualizados no treinamento. Com isso, a unidade de saída terá maior probabilidade de ficar ativa na próima repetição do padrão. Um neurônio mais forte, possui a tendência de ficar cada vez mais forte, podendo inibir os outros neurônios, tornando-os inativos. 34/40 w ( t). y ( t) ( t) ij i j o Aprendizado por Reforço Baseia-se na lei do efeito que diz que quanto maior a satisfação obtida com uma certa eperiência em um animal, maiores as chances dele aprender (punição e recompensa de cobaias). Se uma ação tomada pelo sistema de aprendizagem é seguida de estados satisfatórios, então a tendência do sistema de produzir esta ação particular é reforçada. Se não, a tendência do sistema de produzir esta ação é enfraquecida. A única informação de realimentação fornecida à rede é se uma determinada saída está correta ou não. Crítico Reforço / Penalidade 35/40 Aplicações Clique para de editar Redes o estilo Neurais do título mestre Análise de crédito Previsão séries Análise de mercado Proc. voz Data mining Proc. sinais Diagnose médica 36/40 RNA ação Det. fraudes Rec. odores Interfaces 6

7 O Mercado Mundial o Empresas... USAir Visa Siemens Fujitsu US supermarket chains AT&T Microsoft Britvic Soft Drinks Gerber Baby Foods Barclays Citibank Mastercard M&M/Mars Sharp 37/40 Empresas Clique para Especializadas editar o estilo do em título Redes mestre Neurais HNC Corporation Nestor Inc. Visionics Neuristics Corporation PNNL Microsoft BehavHeuristics Inc NeuroTech NeuralWare Neural Applications Corp. Siemens AT&T Retek Caere 38/40 A Clique Realidade para editar no Brasil o estilo... do título mestre Banco do Brasil Grupo Martins CHESF e Eletrobrás Empresas Atacadistas Financeiras 39/40 Em Clique Que para o Grupo editar Desenvolve o estilo do Pesquisas título mestre... Redes Neurais Teoria Aplicações Ferramentas 40/40 Marinha do Brasil Volkswagen Banco Bandeirantes 7