Camadas intermediárias ... Figura 3.1: Exemplo de arquitetura de uma rede neural de múltiplas camadas

Transcrição

1 3 EDES NEUAIS E SVM Nesse caíulo serão nroduzdos conceos de edes Neuras e Máquna de Veores Suore (SVM) necessáros ara comreensão da meodologa desenvolvda. 3. edes Neuras As redes neuras são modelos maemácos nsrados no cérebro humano ou sea são consruídas a arr de arqueuras de neurônos conecados. ada neurôno é reresenado or uma equação e cada lgação enre os neurônos é reresenada or esos ou funções que geram snas de roagação smulando a snase. A Fgura 3. eemlfca uma arqueura de uma rede neural de múllas camadas. amadas nermedáras amada de enrada oneões amada de saída Fgura 3.: Eemlo de arqueura de uma rede neural de múllas camadas A camada de enrada reresena os adrões ou observações que serão aresenados à rede. Essa camada é lgada à rmera camada nermedára or esos que eressam o quano um deermnado adrão nfluencará cada neurôno

2 3. EDES NEUAIS E SVM 35 da róma camada. As camadas esconddas ambém esão lgadas or esos snácos o que ode ser nerreado ambém como suas conrbuções ara os rómos neurônos lgados. Esses esos ossuem o conhecmeno da rede os são eles que são adaados durane o renameno. Nas camada esconddas é efeuada a maor are do rocessameno. A camada de saída fornece o resulado de odos os cálculos enre valores de enrada esos e funções de avação. ada neurôno ano das camadas nermedáras como de saída ossu uma função de avação. Deendo do snal recebdo elos ouros neurônos esse neurôno fca mas avo ou não. O resulado dessa avação é ulzado ara assar o snal ara ouro neurôno ou ara o resulado fnal da rede. Uma rede neural é esecfcada rncalmene ela sua oologa elas caraceríscas dos neurônos e elas regras de renameno. A maora das redes neuras é renada or algum algormo reresenado or uma equação ou váras equações combnadas com o obevo de roduzr a arr da saída da rede um valor numérco que servrá ara ausar o valor das coneões de esos de cada undade de rocessameno. Esse algormo deermna como os esos de lgação da rede serão ausados e com sso alerará a avação dos neurônos dane de um conuno esecífco de esímulos de enrada o que ode ser chamado de arendzado. Esem dos os de arendzado ara as redes neuras: o arendzado suervsonado e o não-suervsonado. No rmero ambém chamada de arendzado or correção de erro os dados ossuem eemlos que são comarados com a saída da rede ou sea esses algormos vsam a mnmzar a dferença enre a saída da rede e os eemlos. Já no arendzado nãosuervsonado ambém chamada de arendzado baseado em memóra não esem eemlos a serem segudos. Esses algormos vsam agruar dados que ossam ossur smlardades e smulaneamene mamzar a dferença enre as caraceríscas de agruamenos dferenes. No resene esudo serão ulzadas as redes neuras feedforards (suervsonadas) com arendzado ela reroroagação do erro. Sua oologa

3 3. EDES NEUAIS E SVM 36 será defnda aravés de eses de sensbldade ara defnr quanas camadas esconddas e quanos neurônos em cada camada serão ulzados.. 3. Máquna de Veores Suore (SVM) 3.. lassfcador SVM O classfcador SVM (Suor Vecor Machne) é um classfcador bnáro que rocura um herlano ómo como uma função de decsão em um esaço de dmensões maores [Boser e al.99 Van 998 rsann e Shae-Talor 000]. Ele ossu um conuno de renameno defndo em que são os eemlos de renameno e os róulos de classe. O méodo consse em rmeramene maear em um esaço de dmensão maor or meo de uma função Φ e enão calcular a função de decsão da forma: ( ) Φ( ) b f + Ese méodo vsa a mamzar a dsânca enre o conuno de onos Φ ( ) e o herlano aramerzado or (b); ara sso ulza-se um conuno de renameno ara esmar os arâmeros. O snal de f ( ) defne a classe de sendo que ara o classfcador SVM com arendzado ela omzação quadráca essa função ode ser escra como: mn ξ + m ξ sob a condção f ( ) ξ. A solução desse roblema é obda ela eora de Lagrange e ode-se rovar [aoomamon 003] que o veor é da forma:

4 3. EDES NEUAIS E SVM 37 m Φ ( ) onde é a solução do segune roblema de omzação quadráca maw m ( ) ( ) m l l l l + δ l m sueo a 0 e 0 onde δ J é o símbolo de ronecer e ( l ) é o núcleo do roduo nerno (ernel). Os núcleos de roduo nerno mas ulzados são o olnomal funções de base radal e um erceron de duas camadas. As SVMs são rovdas de anas esaíscas que a melhor forma de avalar seus desemenhos é elo erro leave-one-ou (L). Esse rocedmeno consse em esmar a função de decsão de m- eemlos e deos esar o resulado com o eemlo que fcou de fora reendo ese rocedmeno m vezes aé que odos os eemlos enham sdo ulzados como ese uma vez. O erro leave-one-ou é conhecdo como sendo um esmador não vcado do desemenho do classfcador. Um dos lmes de erros (L) mas comuns ara SVM fo defndo or Van (998): L 4 onde é o rao da menor esfera que conenha odos os dados maeados Φ ( ). Um lme mas esreo denomnado esmava de dsânca ou San esmae ambém ode ser ulzado e esá baseado na dsânca S enre o veor suore Φ ( ) e a dsânca de odos os demas veores suores (Van e haelle 000): L S

5 3. EDES NEUAIS E SVM 38 onde S esá relaconado com a marz esendda do roduo enre os veores suores: ~ SV T 0 ela equação S ~ ( ) SV ' 3.. Seleção de Varáves Ulzando SVM O obevo da seleção de varáves é elmnar varáves rrelevanes ara melhorar o desemenho de um modelo a ser esmado. Esa seleção ambém é muo ulzada ara reduzr cusos comuaconas e omzar o emo de rocessameno. Por úlmo mas não menos morane a seleção de varáves ossbla conhecer melhor os dados e as relações de causa e efeo faclando o enendmeno do roblema a ser consderado. Aualmene esem dferenes os de modelos de seleção de varáves ulzando dversas meddas de omzação nclundo esos maores ara erros mas graves como or eemlo em casos de medcna onde um erro ode ser faal. Esa are da ese esá baseada nas meodologas de seleção de varáves ulzando SVM que êm se mosrado bem efcenes. A eora fo conceuada com base em aoomamon (003) Algormo SVM-FE O Algormo SMV-FE fo rooso or Guon e al. (000) ara seleconar genes que são relevanes em dagnóscos de câncer um roblema de classfcação. O obevo é enconrar o subconuno de r varáves enre as d varáves esenes (r<d) que mamzem a desemenho do classfcador. O

6 3. EDES NEUAIS E SVM 39 méodo se nca com odas as varáves e rera uma a uma aé resarem r varáves. A varável a ser removda é aquela que mnmza a varação de aós sua rerada. como: O créro ara ordenar a morânca das varáves ode ser descro ( ) ( ) onde é a marz que reresena o núcleo do roduo nerno dos dados de renameno quando a varável é removda ( ( ) ( ) ( ) ( ) Φ( ) Φ ) e é a solução corresondene do roblema de omzação quadráco do SVM. om o nuo de smlfcar e reduzr a comledade comuaconal () dese algormo suõe-se que é gual a mesmo que a varável enha sdo removda. Pode-se consderar que a varável removda é aquela que ossu menor nfluênca no eso da norma do veor. () 3... Algormo ara Ordenameno de varáves com SVM Os algormos de seleção de varáves necessam de um créro ara ordenar a morânca das varáves. Em város rabalhos os lmes de erro (L) êm sdo ulzados ara seleção de varáves [Duan el al. 00] e recenemene Weson e al. (00) emregaram os lmes dos raos das esferas ara seleção de varáves ulzando o algormo do gradene decrescene. Essa déa ode ser esenda ara ouros lmes da generalzação do erro. Em aoomamon (003) são nvesgados rês créros: que são o eso do veor ; os lmes dos raos das esferas ; e a esmava da dsânca. Além dsso são esadas as duas formas abao de ulzação ara cada créro.

7 3. EDES NEUAIS E SVM 40 Méodo de ordem zero: nesse caso o créro é ulzado dreamene ara ordenar a morânca das varáves; denfca-se a varável que roduz o menor valor de sendo quando removda. O créro de ordenação se orna o créro de valor quando a varável é removda. No caso : ( ) onde é a marz do núcleo do roduo nerno dos dados de renameno quando a varável é removda Méodo de ordem zero: nesse caso o créro é ulzado dreamene ara ordenar a morânca das varáves; denfca-se a varável que roduz o menor valor de quando removda. O créro de ordenação se orna sendo ( ) o créro de valor quando a varável é removda. No caso : ( ) onde é a marz do núcleo do roduo nerno dos dados de renameno quando a varável é removda Méodo de rmera ordem: ulza dervadas do créro em relação à varável. Ese méodo ordena a morânca das varáves or sua nfluênca no valor do erro absoluo da dervada. Nesse caso o créro de

8 3. EDES NEUAIS E SVM 4 ordenação é. onsderando o créro assara a ser e o algormo sera:. ncalzação: Ordem []; Var[...N]. rea a. Trene o lassfcador SVM com odos os dados e varáves de Var b. Para odas as varáves em Var faça: avale o créro de ordenação ( ) da varável. c. Selecone a varável que mnmzar : Ordem[] d. emova a varável de Var 3. Pare quando odas as varáves esverem ordenadas ou sea Var[] Smlarmene ao algormo SVM-FE o roblema de seleconar as r melhores varáves é soluconado com base na seleção bacards (ohav e John 997). Essa solução é ulzada ela sua smlfcação e omzação do rocessameno comuaconal quando comarado a ouros méodos. Porano o algormo começa com odas as varáves e remove uma a uma aé resarem as r varáves mas moranes.

9 3. EDES NEUAIS E SVM álculo do gradene em função de um faor escalar Para o créro de rmera ordem o obevo é medr a sensbldade de um dado créro em relação à varável. Uma ossbldade é nroduzr um faor escalar vrual ara calcular o gradene de um créro em relação ao faor escalar. Esse úlmo funcona como um ermo mullcavo nas varáves de enrada e orano ( ) ( ) orna-se: onde reresena o roduo veoral. onseqüenemene obêm-se as dervadas do núcleo Gaussano ( ) σ e : σ σ ( ) ( ) ( ) onde se usa. Enão recsa-se calcular o gradene dos lmes relavos à varável e dado um créro de ordenameno o ermo fca: ( b) onde é ano ou S e deende da solução da omzação quadráca do SVM e do ermo consane b. Dealhes dos cálculos das dervadas odem ser enconrados em aoomamon (00); são obdos a arr de Bengo (000) e haelle e al. (00). Os resulados enconrados foram:

10 3. EDES NEUAIS E SVM 43 Gradene do eso do veor () ( ) Gradene do lme dos raos das esferas () ( ) ( ) ( ) + δ onde é a função obeva óma do segune roblema: ( ) ( ) ma sueo as resrções: e 0 Gradene da esmava de dsânca () + l SV SV SV S S H H 4 ~ ~ ~ onde H é a segune marz 0 T Y Y Y H e ( ) Y