Redes Neurais (Conceitos Fundamentais)

Transcrição

1 Redes Neurais (Cnceits Fundamentais) German C. Vascncels Centr de Infrmática - UFPE 2006 German C. Vascncels 1

2 Interdisciplinaridade Redes Neurais é uma área interdisciplinar: Neurfisilgia Psiclgia Cgnitiva Matemática Física Medicina Percepçã Humana Engenharias Ciência da Cmputaçã 2006 German C. Vascncels 2

3 Nã é uma Área Nva... Trabalhs iniciais: McCullch & Pitts (1943) - mdel de neurôni Dnald Hebb (1949) - regra de aprendizagem Frank Rsenblatt (1962) - tplgia de rede 2006 German C. Vascncels 3

4 Ppularidade Mais Recente? Apareciment de nvs paradigmas (Deep Learning) Análise fundamentada em métds científics Avanç tecnlógic ds cmputadres Sucess em aplicações d mund real Grandes players n mercad (Ggle, Facebk, Nvidia, Apple, etc. etc etc) 2006 German C. Vascncels 4

5 O que sã Redes Neurais? Sistemas paralels distribuíds cmpsts pr unidades de prcessament simples interligadas entre si e cm ambiente pr um númer de cnexões De utra maneira Sã mdels inspirads na estrutura paralela d cérebr e que buscam reter algumas de suas prpriedades... Unidades Neurônis Intercnexã Redes Neurais 2006 German C. Vascncels 5

6 O que sã Redes Neurais? Geralmente cnexões estã assciadas a pess que armazenam cnheciment da rede e servem para pnderar a entrada recebida pel neurôni Cnheciment Aprendizagem 2006 German C. Vascncels 6

7 Semelhança a Cérebr Elements básics (neurônis) Rede de prcessadres intercnectads Cnheciment armazenad em cnexões Cnheciment adquirid através de aprendizagem Estrutura inerentemente paralela Representações distribuídas 2006 German C. Vascncels 7

8 Elements Básics Vasta quantidade de mdels Alguns elements presentes em tds A funçã das unidades de prcessament A tplgia da rede A estratégia u algritm de aprendizagem 2006 German C. Vascncels 8

9 A Funçã das Unidades Caracterizad pr três elements básics: Um cnjunt de cnexões de entrada Um estad de ativaçã Um valr de saída (respsta) O cmprtament d neurôni Ocrre um estímul cm entrada Ocrre uma cmputaçã d estad de ativaçã em funçã d estímul Ocrre uma respsta em funçã da ativaçã 2006 German C. Vascncels 9

10 Mdels para Neurôni A definiçã da unidade de prcessament caracteriza-se pr: Regra de Prpagaçã (estad de ativaçã) Funçã de Ativaçã (respsta d neurôni) 2006 German C. Vascncels 10

11 Exempl: Neurôni de McCullch & Pitts (MCP) Funçã de Ativaçã Regra de Prpagaçã 11

12 Visã Matemática d MCP X2 Classe 1 f(x) Classe 2 f(x)=σwi.xi - θ f(x)=( W. X csφ) - θ Cnsidere pnt nde f(x) = 0: w1.x1 + w2.x2 - θ = 0 X1 x2 = - w1/w2.x1 (y = m.x +c) + θ/ w2 12

13 Funções de Ativaçã I 13

14 Funções de Ativaçã II 14

15 Funções de Ativaçã III - Sigmids 15

16 Funções de Ativaçã IV ReLU (Rectified Linear Unit)

17 Funções de Ativaçã V Gaussiana

18 Tplgias de Redes: Feedfrward 1 (Rasas - Shalw) camadas intermediárias camada de entrada camada de saída cnexões

19 Tplgias de Redes: Feedfrward 2 (Prfundas - Deep) camada de entrada camadas intermediárias camadas intermediárias camadas intermediárias classificadr camada de saída cnexões

20 Tplgias de Redes: Recrrente I camada de prcessament Z-1 Z-1 Z-1 cnexões de feedback Z German C. Vascncels 20

21 Tplgias de Redes: Recrrente II X(t) Y(t) S(t) S(t+1) Retard 2006 German C. Vascncels 21

22 Tplgias de Redes: Cnstrutiva C = Σ ο Σ p (y p y )(e p - e ) Saídas Unidade Escndida 2 Unidade Escndida 1 X X X X Entradas +1 X X X X 2006 German C. Vascncels X X X X 22

23 Aprendizagem Aprendizagem é aquisiçã de cnheciment Cnheciment? Term vag. Depende de sb que pnt de vista é cnsiderad 2006 German C. Vascncels 23

24 Diferentes Pnts de Vista Psiclgia Cgnitiva Psiclgia Experimental Ciências Exatas 2006 German C. Vascncels 24

25 Aprendizagem nas Ciências Exatas Aprendizagem é aquisiçã e prcessament de dads para aprximar e/u representar funções (cnheciment) Aprximaçã de funções : Respstas n dmíni discret: Classificaçã (e. g. decisã de cnceder u nã crédit a cnsumidr) Respstas n dmíni cntínu: Regressã (e. g. previsã d limite de crédit a ser cncedid) 25

26 Aprendizagem Previsã: estimar valres futurs de uma série basead em valres d presente e d passad; valr janela alv Séries temprais Entradas da rede = n valres passads Saída Desejada = valr da série k passs à frente Ex: valr um pass à frente Definiçã da janela de entrada Definiçã da janela de saída temp 26

27 Cmputability x Learnability Cmputability (Cmputabilidade): é pder cmputacinal de um sistema, express em terms d univers de funções que ele é capaz de cmputar. (Requisits) MLP, RBF pram Learnability: é pder cmputacinal que s algritms de aprendizagem ferecem a um sistema adaptativ express em terms d univers de funções que eles sã capazes de fazer sistema efetivamente cmputar. (Requisits) MLP, RBF pram 27

28 Tips de Aprendizagem I (pel grau de feedback) Supervisinada: um prfessr diz quant a respsta frnecida pel sistema se aprxima da respsta desejada (e. g. nta de um alun numa prva) Pr Refrç: um crític diz apenas se a respsta frnecida está certa u errada (e. g. puniçã/recmpensa n treinament de animais) Nã-Supervisinada: sistema tenta se aut-rganizar basead nas similaridades entre s exempls apresentads (e. g. desenvlviment das células simples d córtex visual estriad) 28

29 Tips de Aprendizagem II (pel grau de feedback) Supervisinada: Cnjunt de treinament s ={(x 1, f(x 1 )), (x 2, f(x 2 )),..., (x n, f(x n ))} Cnvergência rápida Pr Refrç: Cnjunt de treinament s ={(x 1, sgn[f(x 1 )] ), (x 2, sgn[f(x 2 )]),..., (x n, sgn[f(x n )] )} Cnvergência média Nã-Supervisinada: Cnjunt de treinament s = {(x 1, ), (x 2, ),..., (x n, )} Cnvergência lenta 29

30 Exempl de Classificaçã Supervisinada Mund real Exempls d mund real Pré-prcessadr Exempls Cdificads Máquina de decisã Respsta 0 / 1 Espaç de Cnceits c C Espaç de Hipóteses h H 30

31 Exempl de Classificaçã Supervisinada CASO ESPECÍFICO Aprendizagem é prcess de mdificaçã d estad da máquina M cm base ns exempls apresentads visand a deixá-la apta a classificar exempls nãvists d mesm prblema CASO GERAL Aprendizagem é prcess de esclha da funçã h H que melhr aprxime a funçã c C a partir ds exempls cntids n cnjunt de treinament 31

32 Algritms de Aprendizagem DEFINIÇÃO Algritm de aprendizagem é a funçã L que, a partir ds exempls da amstra s, selecina uma funçã h H para aprximar cnceit c C CRITÉRIOS DE AVALIAÇÃO Cnsistência: h(x i ) = f(x i ) (x i, f(x i )) s Cnvergência: Melhria da aprximaçã cm aument d númer de exempls n cnjunt de treinament 32

33 Exempl de Análise de débit Crédit (I) Análise de crédit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Hiperplan paralel: pde ser interpretad diretamente cm uma regra: se a renda é menr que t, entã crédit nã deve ser liberad Exempl: árvres de decisã induçã de regras 33

34 Exempl de Análise de Crédit (II) Análise de crédit débit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Hiperplan blíqu: melhr separaçã: Exempls: Perceptrn regressã linear 34

35 Exempl de Análise de Crédit (III) Análise de crédit débit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Superfícies lineares pr partes nã cntíguas Exempls: racicíni basead em cass MLP-perceptrns multicamadas cm funçã de saída sigmóide (squashing) regressã linear pr partes 35

36 Exempl de Análise de Crédit (IV) Análise de crédit débit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Superfície nã linear: melhr pder de classificaçã, pir interpretaçã Exempls: MLP perceptrns Cascade Crrelatin k-vizinhs mais próxims regressã nã-linear 36

37 Exempl de Análise de Crédit (V) Análise de crédit débit +: exempl t renda Superfícies Elípticas Exempls: RBF-Radial Basis Functins Agrupament Exempls: Khnen-vectr quantizatin Adaptive Ressnance Thery (ART) 37