Redes Neuronais. Nuno Fidalgo. Redes Neuronais Artificiais

Transcrição

1 Redes Neuronis Nuno Fidlgo Redes Neuronis rtificiis 2

2 O que são? Técnics computcionis (modelos mtemáticos) inspirdos n estrutur cerebrl dquirem conhecimento trvés de exemplos Um RN é compost por váris uniddes de processmento, cujo funcionmento é bstnte simples Existem conexões entre uniddes (sinpses), às quis estão ssocidos pesos Processmento prlelo Key words: Máquins de prendizgem, processmento distribuído, dpttivs, regressão não liner 3 Redes Neuronis Pr que servem? plicções mis comuns: proximção de funções Regressões Previsão Outrs plicções: Clssificção, reconhecimento de pdrões ou de sequêncis, metodologis de jud à decisão Processmento de ddos (sinl), filtrgem, dt mining Controlo 4

3 Estrutur dum RN feedforwrd Pesos Entrds Síd(s) Cmd escondid Uniddes ( neurónios ) 5 Redes Neuronis Exemplos Velocidde Direção Potênci ê = (, çã) sin(2πd/7) cos(2πd/7) I(d-2, h=0) I(d-2, h=23) I(d-1week, h=0) I(d-1week, h=23) I(d-2week, h=0) I(d-2week, h=23) I next dy NN d1 ( ) I(d, h=0) I(d, h=1) I(d, h=23) () = [, 2, 1, 2 ] 6

4 Estrutur e funcionmento de um unidde Funções de ctivção k F função de tivção b (bis) limir V D w 1 w 2 Neurónio k Σ F b y net! = w # V % w & D % b 1 y= F(net! ) net k 7 Redes Neuronis Estrutur de um RN multi-cmd Mtrizes de pesos, correspondentes à ligção entre cmds: 8

5 prendizgem por retropropgção do erro rede prende com bse em: exemplos - conjunto predefinido de pres de exemplos de entrd/síd ciclos de propgção/retropropgção/dptção Pr um pdrão de entrd o estímulo é propgdo té à síd O pdrão de síd é então comprdo com síd desejd e um sinl de erro é clculdo pr cd elemento de síd O sinl de erro é retropropgdo (d síd pr entrd) o longo ds váris cmds Sinl proporcionl à contribuição reltiv de cd peso no erro totl Bsedo no sinl de erro recebido, os pesos ds conexões são então modificdos no sentido de diminuir o erro Método do Grdiente Descendente 9 Redes neuronis Especificção d estrutur Cmd de entrd número de neurónios igul o número de entrds Cmd de síd número de neurónios igul o número de síds pode optr-se por váris RN com 1 síd em vez de um RN com váris síds Número de cmds/neurónios escondidos Gerlmente um cmd intermédi é suficiente (T de Kolmogorov) Não existe um método expedito pr determinr o número idel de neurónios Heurístic (exemplo): considerr 2n+1 neurónios, sendo n o número de vriáveis de entrd Ms sujeito outros ftores (número de exemplos, complexidde do problem ) Dus cmds intermédis é por vezes necessário pr resolver problems de grnde complexidde 10

6 Pssos d construção de um RN Definir o problem, identificndo s vriáveis prever e s potenciis entrds (vriáveis independentes com significânci) Filtrgem e processmento dos ddos pr treino e teste d rede Treinr rede com um conjunto de exemplos representtivo Testr rede - conjunto de teste distinto do conjunto de treino Estrutur e topologi d rede Vrir número de uniddes d cmd escondid Vrir composição dos conjuntos de treino e de teste 11 Estndrdizção (normlizção) Estndrdizção - just escls e vriâncis (desvios-pdrão) ds entrds melhor eficiênci do treino Métodos Min-Máx Comprime escl d vriável no intervlo [-1, 1] Z-Score necessit d médi e do desvio pdrão Não sendo conhecidos podem usr-se vlores proximdos Deciml Scling fz pens um juste de escl deciml Utiliz-se qundo são pens conhecids ordem de grndez decims ds vriáveis Destndrdizção é o processo inverso, trnsformndo escl ds vriáveis estndrdizds n escl rel 12

7 Estndrdizção Método Min-Máx Inicil Stndrd min min mx mx estndrdizção destndrdizção v min v = mx min ( mx min ) min ' + v = v' min ( mx min ) ( mx min ) + min Hbitulmente, min =-1 e mx =1 Método Z-Score Entrds normlizds presentm médi zero e desvio pdrão unitário estndrdizção Método Deciml Scling - mudnç de escl com divisão por múltiplos de 10, onde j é o menor vlor inteiro que stisfz condição mx V <1 estndrdizção v v'= 10 j destndrdizção ) * = ) < ) > / ) = ) * / %< ) > < ) > vlor médio de ) / desvio pdrão de ) destndrdizção v = v' 10 j 13 Simuldores de redes neuronis Grnde vriedde de softwre, diferentes implementções e vriedde de redes neuronis lguns exemplos: Mtlb NN Toolbox Instldo n imgem de softwre ds sls d FEUP Recomenddo pr s uls TP, user friendly R Project ( Vários Pcks de softwre livre, lguns disponibilizndo código fonte Neurosolutions ( Softwre comercil, cessível, com grnde vriedde de RN com elevd qulidde Versão livre ms limitd 14

8 Usndo o Mtlb Inicir MtLb No qudro Workspce Import dt Next Selecionr ficheiro Excel e, no tipo de ficheiro, especificr Spredsheet Selecionr folh (Sheet) do ficheiro em questão Selecionr opção Crete vectors for ech column N jnel de comndo escrever nntool ou nftool (preferível nftool pr inexperientes) 15 plicções do Mtlb NFTOOL 16

9 Usndo o Mtlb - nftool Inputs - especificr vetor ou mtriz de entrds d RN Se quiser ter como entrds os vetores Di, Hor e Tempertur pode gregr estes vetores num mtriz Entrds escrevendo n jnel de comndo: Entrds = [Di, Hor, Tempertur] Em Smples re selecionr Mtriz row Trgets - especificr vetor de síds desejds d RN (ex:consumo) Next Trin Qundo o treino terminr: nlisr índices e gráficos de desempenho Gurdr resultdos Fzer Next e Generte scripts e nlisr o script produzido Fzer Sve results pr gurdr RN, resultdos, etc Não esquecer de especificr os nomes 17 plicções do Mtlb NNTOOL 18

10 Usndo o Mtlb - nntool Import Input dt Trget dt New network (especificr crcterístics ) Fzer duplo clic em network 19 Redes Neuronis Usndo o Mtlb jnel de comndo Definição d estrutur d rede net = newff(pr,[s1 S2SNl],{TF1 TF2TFNl},BTF,BLF,PF) Newff cri estrutur de um rede neuronl diret com retropropgção (feed-forwrd bckpropgtion network) PR Mtriz (Rx2) de Min e Mx, pr cd vriável de entrd R Si Número de neurónios n cmd i TFi Função de trnsferênci (tivção) n cmd i (tnsig, logsig, or purelin) BTF Função de treino d rede (defult = 'trinlm') BLF Função de prendizgem dos pesos, (defult = 'lerngdm PF Função de performnce, defult = 'mse' 20

11 Usndo o Mtlb jnel de comndo Treino d rede [net,tr,y,e,pf,f] = trin(net,p,t,pi,i,vv,tv) trin comndo pr treinr rede net é rede crid nteriormente com newff P mtriz de entrd o número de entrds deve estr coerente com o número de entrds de newff T mtriz de síds desejds (trget) o número de síds deve estr coerente com o número de síds de newff 21 Redes Neuronis Usndo o Mtlb jnel de comndo Simulção [Y,Pf,f,E,perf] = sim(net,p,pi,i,t) sim simul rede neuronl net é rede crid com newff P é mtriz de entrd Y é mtriz de síds 22