Redes Neurais. Profa. Flavia Cristina Bernardini

Transcrição

1 Redes Neurais Profa. Flavia Cristina Bernardini

2 Introdução Cérebro & Computador Modelos Cognitivos Diferentes Cérebro Computador Seqüência de Comandos Reconhecimento de Padrão Lento Rápido Rápido Lento

3 Introdução Cérebro ~10 bilhões de neurônios Cada neurônio tem entre e conexões Imitar a arquitetura do Cérebro Surgimento do Comportamento inteligente

4 Neurônio

5 Fundamentos biológicos O Cérebro Composto por Neurônios: 105 na mosca da fruta, 5x106 no rato e 1011 no homem O Cérebro Humano Massa: 1-2kg no adulto - 2% do peso 20% do peso do recémnascido Usa 20% do oxigênio, 25% da glicose, 15% do fluxo de sangue O Córtex Papel central em funções complexas memória, atenção, consciência, linguagem, percepção e pensamento Diferença nos tamanhos: 5cm 2 no rato, 500 cm 2 no chimpanzé e 2000cm 2 no homem Córtex Humano: 3x10 10 neurônios, com 103 a 104 sinapses por neurônio

6 O Neurônio Possui um corpo celular, axônio e diversas ramificações dendritos Dendritos: dispositivos de entrada que conduzem sinais das extremidades para o corpo celular Axônio (geralmente 1): dispositivo de saída que transmite um sinal do corpo celular para a suas extremidades As extremidades do axônio são conectadas com dendritos de outros neurônios pelas sinapses

7 O Funcionamento do Neurônio A membrana citoplasmática de uma célula nervosa permite o transporte de eletrólitos que modificam o potencial elétrico entre as partes externas e internas da célula Diferença de potencial provoca trem de pulsos de freqüência gerado pela célula nervosa (neurônio) através do axônio para os dendritos, que se ligam a outras células Ante um estímulo de amplitude e duração definida, é codificada a informação que posteriormente é decodificada por dendritos

8 O Funcionamento do Neurônio - A Sinapse Sinapse: é a ligação entre a terminação axônica e os dendritos Permite a propagação dos impulsos nervosos de uma célula a outra Podem ser excitatórias ou inibitórias As sinapses excitatórias cujos neuro-excitadores são os íons sódio permitem a passagem da informação entre os neurônios As sinapses inibitórias, cujos neuro-bloqueadores são os íons potássio, bloqueiam a atividade da célula, impedindo ou dificultando a passagem da informação

9 RNAs Redes Neurais Artificiais são sistemas inspirados nos neurônios biológicos e na estrutura maciçamente paralela do cérebro, com capacidade de adquirir, armazenar e utilizar conhecimento experimental

10 Características Básicas Execução inerentemente paralela Generalização Generalizar conhecimento a partir de exemplos Abstração Habilidade de lidar com ruídos

11 Construção Aquisição de Conhecimento envolve Treinamento Uso de exemplos A rede aprende por experiência, não necessitando explicitar seu conhecimento e seu processo de raciocínio para executar uma determinada tarefa

12 Histórico McCulloch & Pitts (1943) Modelo computacional para o neurônio artificial Não possuía capacidade de aprendizado Hebb (1949) Modelo de aprendizado (Hebbian Learning Rule) Rosenblatt (1957) Rede Perceptron, com grande sucesso Minsky & Papert (1969) Prova matemática: Perceptron são incapazes de solucionar problemas simples tipo OU- EXCLUSIVO Rumelhart (início da década de 80) Novos modelos que superaram os problemas dos Perceptrons.

13 IA Simbólica vs Conexionista Conhecimento Empírico A B AND

14 IA Simbólica vs Conexionista Simbólico Simulação do Comportamento Inteligente AND (A,B) If A = 0 Then AND = 0 Else If B=0 Then AND = 0 Else AND = 1 Conexionista A B Baseado na estrutura cerebral w 1 w 1 = 1 w 2 = 1 w 2 AND A.w 1 + B. w 2 >=

15 Perceptron Características básicas: Regra de propagação netj = Σxi.wij + θj Função de ativação degrau Topologia uma única camada de processadores. Algoritmo de aprendizado supervisionado: Atualização dos pesos (geralmente): wij = η.xi.(tj - sj) Valores de entrada/saída binários

16 Perceptron: problemas Rosenblatt (1962) provou que: Uma rede perceptron é capaz de aprender tudo que puder representar Representação refere-se à habilidade do sistema neural de representar (simular) uma função específica Aprendizado refere-se à existência de um procedimento sistemático de aquisição de conhecimento (ajuste dos pesos), de forma a produzir a função desejada.

17 Perceptron: problema Minsky & Papert provaram que este problema pode ser solucionado Adiciona-se uma outra camada intermediária de processadores Multi-Layer Perceptrons (MLP)

18 Redes MLP

19 Organização em camadas Usualmente as camadas são classificadas em três grupos: Camada de Entrada Padrões são apresentados à rede Camadas Intermediárias ou Escondidas Feita a maior parte do processamento através das conexões ponderadas Podem ser consideradas como extratoras de características Camada de Saída Onde o resultado final é concluído e apresentado.

20 Redes Neurais Camadas Camada de Entrada Camadas Ocultas Camada de Saída Função de Base Combinação das entradas Função de Ativação Saída Aprendizado

21 Backpropagation Durante o treinamento a rede opera em dois passos: 1 Padrão é apresentado à camada de entrada da rede A atividade resultante flui através da rede até que a resposta seja produzida pela camada de saída 2 A saída obtida é comparada à saída desejada para esse padrão particular Erro é calculado e retropropagado da camada de saída até a camada de entrada Os pesos das conexões são modificados conforme o erro é retropropagado

22 Backpropagation Retropropagação do erro: regra delta generalizada Gradiente descendente da função de ativação do neurônio Para bom funcionamento do algoritmo Backpropagation devem ser utilizadas unidades com função de ativação semi-linear Função diferenciável e não decrescente A função threshold não se enquadra nesse requisito Função de ativação amplamente utilizada: função sigmoid.

23 Backpropagation A taxa de aprendizado é uma constante de proporcionalidade no intervalo [0,1] Procedimento de aprendizado requer que a mudança no peso seja proporcional a

24 Backpropagation Gradiente descendente para atualização de pesos requer que sejam tomados passos infinitesimais Quanto maior for, maior será a mudança nos pesos, aumentando a velocidade do aprendizado, o que pode levar à uma oscilação do modelo na superfície de erro Ideal: utilizar a maior taxa de aprendizado possível que não leve a uma oscilação, resultando em aprendizado mais rápido

25 Backpropagation O treinamento das redes MLP com backpropagation pode demandar muitos passos no conjunto de treinamento, resultando um tempo de treinamento considerávelmente longo Se for encontrado um mínimo local, o erro para o conjunto de treinamento para de diminuir e estaciona em um valor maior que o aceitável

26 Modelo genérico de um neurônio x 1 x 2 x N. w 1 w 2 w N F(n) o N n = x i w i i=0 Função de Ativação

27 Observações: Redes neurais de múltiplas camadas só oferecem vantagens sobre as de uma única camada se existir uma função de ativação não-linear entre as camadas

28 Redes Neurais: Função de Ativação

29 Propriedade da Função Sigmoidal x 1 w 1 Neurônio n x 2 x N. w 2 w N y n N s = x i w i y n = σ s = i= e s Propriedade interessante:

30 Algoritmo Backpropagation (cálculos detalhados)

31

32

33

34

35

36

37

38

39

40 Formalizando... Camada de Entrada Ou Camada 0 x 1 Camada 1 n 1 Camadas Intermediárias w 11 1 Camada 2 n 1... Camada K n 1 Camada de Saída Ou Camada Out y 1 x 2.. n L1 w L1 L 2 1. n L n LK y. Out x N

41 Camada de Entrada Ou Camada 0 x 1 Camada 1 n 1 Formalizando... Camadas Intermediárias w 11 1 Camada 2 n 1... Camada K n 1 Camada de Saída Ou Camada Out y 1 x 2 x N.. n L1 w L1 L 2 1. n L L j+1. n LK δ ni j = w ii+ δ ni + y. Out δ yi = z i y i i = 1,, Out i + =1 j = 1,, K i = 1,, L j i + = 1,, L j+1