Learning and Nonlinear Models Revista da Sociedade Brasileira de Redes Neurais (SBRN), Vol. 6, No. 2, pp , 2008

Transcrição

1 REDES NEURAIS ARTIFICIAIS COM FUNÇÕES DE ATIVAÇÃO COMPLEMENTO LOG- LOG E PROBIT PARA APROXIMAR FUNÇÕES NA PRESENÇA DE OBSERVAÇÕES EXTREMAS Gecynalda S. da S. Gomes e Teresa B. Ludermr Centro de Informátca, Unversdade Federal de Pernambuco Av. Prof. Lus Frere, s/n, Cdade Unverstára, Recfe/PE, , Brasl. {gssg, tbl}@cn.ufpe.br Resumo - Em redes neuras artfcas as funções de atvação mas utlzadas na prátca são a função sgmóde logístca e a função tangente hperbólca, dependendo das característcas dos dados. Entretanto, a escolha da função de atvação pode nfluencar fortemente o desempenho e a complexdade da rede neural. Por sso, propomos o uso de duas funções smples, complemento log-log e probt, como funções de atvação com o obetvo de melhorar o desempenho e a complexdade da rede neural mesmo na presença de observações extremas (outlers). Palavra chave - Redes Neuras, Funções de Atvação, Complemento log-log, Probt, Observações Extremas. 1. Introdução Modelos de redes neuras artfcas (RNAs) são alternatvos ao uso de modelos de regressão, prncpalmente, quando se trata de dados com característcas bnáras. Para resolver problemas de classfcação bnára, geralmente, modelos de regressão bnomal são utlzados. Esse tpo de modelo é um caso especal dos Modelos Lneares Generalzados (MLGs). A estrutura geral de um MLG é formada por uma componente aleatóra, uma componente sstemátca e uma função monotônca dferencável, conhecda como função de lgação. No modelo de regressão bnomal, as funções de lgação mas conhecdas são a logt (nversa da sgmóde logístca), a probt e a complemento log-log, porém, a mas utlzada é a função logt, devdo ao fato deste modelo fornecer o valor da razão de chances (odds rato), o que não acontece quando as outras funções de lgação são utlzadas. Em RNAs, uma das lmtações é ustamente a dfculdade de fornecer o valor da razão de chances de cada varável estudada. Por sso, na maora das vezes pesqusadores optam pela regressão com o modelo logístco bnomal, prncpalmente, na área de bomedcna. Segundo a Pubmed [5], no níco de 008, foram regstrados 6.45 trabalhos que utlzaram regressão logístca contra que utlzaram redes neuras. Entretanto, o uso de RNAs fornece uma alternatva a essas análses, partcularmente nas stuações em que as varáves dependentes e ndependentes exbem determnados relaconamentos não-lneares complexos, devdo ao fato de que as RNAs são ferramentas útes para o reconhecmento de padrões ou classfcação de dados mesmo na presença de ruídos ou dados ncompletos. Estes e outros fatores fazem com que o uso de modelos com redes neuras aumente a cada ano, segundo a Pubmed, o níco de 009 á regstra 1.94 trabalhos com redes neuras, 55% a mas em relação ao ano anteror, contra trabalhos com regressão logístca, 1% a mas em relação ao ano anteror. No modelo neural podem ser dentfcados três elementos báscos tas como um conunto de snapses, um somatóro e uma função de atvação [15]. As funções de atvação mas utlzadas na prátca são a função sgmóde logístca e a função tangente hperbólca, dependendo das característcas dos dados. Entretanto, alguns estudos têm mostrado a mportânca das funções de atvação para o aprendzado da rede neural. Hornk [16, 17] utlzou funções de atvação não-polnomas. Sngh e Chandra [31] propuseram uma classe de funções sgmódes. Skoundranos e Tzafestas [3] propuseram uma nova função de atvação sgmodal com bons resultados para modelagem de sstemas dnâmcos de tempo dscreto. Ma e Khorasan [1] usaram a função polnomal Hermte com resultados satsfatóros. Wen e Ma [33] propuseram a função Max-Pecewse-Lnear (MPWL) para aproxmação de funções. Gomes e Ludermr [14] usaram as funções complemento log-log e probt para mostrar que quando os dados seguem uma dstrbução bnomal com característcas complemento log-log e probt o uso da função sgmóde logístca na modelagem de redes neuras é nadequado. Gomes e Ludermr [13] usaram as funções complemento loglog e probt em redes neuras para aproxmação e regressão. Estes e outros artgos ctados mostram que a escolha da função de atvação é consderada, por mutos especalstas, tão mportante quanto a arqutetura e o algortmo de aprendzagem da rede neural. A prncpal característca da função logt é que esta função assume um ntervalo contínuo de valores entre 0 e 1. Quando é deseável que a função de atvação se estenda de 1 a 1, assumndo uma forma ant-smétrca em relação à orgem utlza-se, geralmente, a função tangente hperbólca, caso quera manter a característca de uma função sgmóde [15]. Porém, exstem stuações em que a probabldade de uma dada resposta se aproxma de 0 a uma taxa dferente da que se aproxma de 1 e essas são as prncpas característcas das funções complemento log-log e probt. Por sso, propomos o uso dessas duas funções smples como funções de atvação com o obetvo de melhorar o desempenho da rede neural e dmnur sua complexdade mesmo na presença de observações extremas (outlers), pos a escolha da função de atvação pode nfluencar fortemente o desempenho e a complexdade da rede neural [8, 9, 10, 36]. Como não exste um padrão estabelecdo para a comparação de desempenho de métodos de trenamento de redes 1

2 neuras do tpo MLP, a complexdade da rede neural fo avalada através do número de épocas, por ser vsto como um crtéro bem defndo, apesar de nsufcente, uma vez que não reflete as dferenças na complexdade por época de trenamento de cada método [1, 30]. A mportânca de avalar o comportamento dos modelos na presença de observações extremas se deve ao fato de que observações extremas podem nfluencar mas o desempenho de um modelo do que de outro. Tas nfluêncas de observações extremas e da composção da amostra sobre o auste de modelos são sempre abordadas nos textos tradconas que tratam de regressão lnear [7, 4, 9] ou até mesmo textos que tratam de redes neuras [19].. Funções complemento log-log e probt As RNAs têm sdo aplcadas com sucesso em uma dversdade de problemas, como regressão, classfcação, agrupamento, otmzação, prevsão de séres temporas, etc. As RNAs são capazes de modelar adequadamente uma varedade de problemas, devdo ao seu poder computaconal e à sua capacdade de representar mapeamentos não-lneares [4]. Nelder e Wedderburn [3] desenvolveram uma classe de modelos lneares generalzados baseados na famíla exponencal unparamétrca, cuas médas são não-lneares num conunto de parâmetros lneares. A função de lgação deve estar de acordo com a dstrbução proposta para os dados e a escolha deve ser feta com a fnaldade de facltar a nterpretação do modelo. Essa função relacona o predtor lnear,, ao valor esperado. Para a dstrbução bnomal uma função de lgação deve satsfazer a condção de transformar o ntervalo (0, 1) na lnha dos reas. As três funções de lgação logt ( 1 ), complemento log-log ( ) e probt ( 3 ) são, respectvamente, 1 = ln ( /(1 )), (1) = ln [ ln(1 )]e () 1 3 = ( ), (3) padrão. em que é a probabldade de ocorrênca de determnado sucesso e ( ) é a dstrbução acumulada da normal As três funções, logt, probt e complemento log-log, apresentam um comportamento quase lnear no ntervalo 0,1 0,9. A Fgura 1 apresenta o comportamento de como função de para as três funções até aqu ctadas. Para pequenos valores de próxmos de 0, as lgações logt e complemento log-log encontram-se bastante próxmas, decando mas rapdamente que a probt. Entretanto, quando se aproxma de 1, a lgação complemento log-log cresce mas lentamente do que as lgações probt e logt []. Blss [3], utlzando um modelo bnomal com lgação probt, fo quem ncou a modelagem de proporções. Como o parâmetro de nteresse, no caso da bnomal, sempre é uma probabldade, fca muto razoável que funções de dstrbuções acumuladas seam utlzadas para gerarem novas lgações e consequentemente novos modelos. A função de lgação complemento log-log é recomendada por Collett [5] quando a dstrbução das proporções é bastante assmétrca.

3 Fgura 1: Gráfco de funções de lgação. A dea é utlzar uma rede Multlayer Perceptron (MLP) usando as novas funções propostas, representando as funções nversas de () e (3), que assumem as formas f ( x) = 1 exp( exp( x)), (4) x f ( x ) = ( x / ) = 1/ e x dx, (5) onde as equações (4) e (5) representam as funções complemento log-log e probt, respectvamente. O Teorema da Aproxmação Unversal (TAU) fornece a ustfcatva matemátca para a aproxmação de uma função contínua arbtrára em oposção à representação exata [15]. A segur remos mostrar que essas novas funções satsfazem o TAU cuo enuncado pode ser vsto no Apêndce A.1. As proposções a segur estabelecem que as novas funções seam não-constantes, lmtadas e monotoncamente crescentes. Proposção 1 As funções complemento log-log e probt são funções monotoncamente crescentes (MC). Prova. Sea x > x 1. Então, exp(x ) > exp(x 1 ), pos x exp(x) > 0, logo 1 exp( exp(x )) > 1 exp( exp(x 1 )). Portanto, a função complemento log-log é MC. Para a função probt, temos que a função (x) é a dstrbução acumulada da normal padrão, como fo dto anterormente, portanto, a função (x) é uma probabldade, logo, (x) > 0. Como x > x 1, logo (x 1) > (x ). Portanto, a função probt é MC. Proposção As funções complemento log-log e probt são lmtadas em 1 quando x e em 0 quando x. Prova. Para o lmte superor da função complemento log-log, temos pelas propredades de lmte lm f ( x) = lm (1 exp( exp( x))) = 1 0 = 1; x x para o lmte nferor, temos lm f ( x) = lm (1 exp( exp( x))) = 11 = 0. x x 3

4 Para a função probt, a prova é dreta, pos (x) é uma probabldade, portanto lmtada no ntervalo [0, 1]. Proposção 3 As funções complemento log-log e probt são funções contínuas dferencáves. Prova. Dferencando as funções (4) e (5), temos df ( x) = exp( x) exp( exp( x)) dx e (6) df ( x) 1 x = exp. dx (7) A partr das Proposções 1-3, temos que as funções complemento log-log e probt são não-constantes, lmtadas e monotoncamente crescentes. Assm, essas funções satsfazem as propredades requerdas no TAU, logo, podem ser usadas como função de atvação da rede neural. É sabdo que quando as funções de atvação são mudadas, deve-se trocar também as dervadas das funções de atvação usadas no cálculo dos gradentes locas presentes nas regras de aprendzagem (delta generalzada) dos pesos de saída e da camada escondda. Devdo ao fato de que a regra de aprendzagem tem um mpacto dreto na convergênca do algortmo, as devdas mudanças foram fetas ao utlzarmos as novas funções de atvação. Este procedmento com as respectvas modfcações pode ser vsto no Apêndce A.. 3. Resultados expermentas Nesta seção, serão apresentados os resultados expermentas obtdos com a mplementação das novas funções de atvação complemento log-log e probt, bem como os resultados com a função sgmóde logístca para efeto de comparação com as demas. Prmeramente, foram realzados expermentos com dados sntétcos, o detalhamento destes expermentos está apresentado na Seção 3.1. Posterormente, foram realzados expermentos com dados reas, o detalhamento destes expermentos está apresentado na Seção 3.. Todos os expermentos foram realzados na plataforma R com o uso do pacote AMORE (A MORE flexble neural network package) [6] Aplcação em dados sntétcos Executamos, neste trabalho, algumas experêncas de smulação de Monte Carlo com a fnaldade de avalar a mplementação das novas funções de atvação. O método Monte Carlo pode ser usado para fazer nferêncas sobre os parâmetros do modelo [7]. O número de réplcas de Monte Carlo fo fxado em Foram conduzdas 0 ncalzações dferentes dos parâmetros austáves (pesos e bas). Em cada réplca foram realzadas as 0 ncalzações, prevamente fxadas, de pesos e bas e a cada ncalzação dos parâmetros fo obtdo o erro quadrátco médo (EQM) de cada modelo de rede neural, com sso obtvemos a méda e o desvo-padrão de 0000 expermentos (resultado das 1000 réplcas e das 0 ncalzações). Os pesos e bas foram ncalzados aleatoramente de uma Unforme U(-1, 1). O número máxmo de épocas fo O número de observações extremas fo fxado em k = {0, 5, 0}. A dea é mostrar que as funções propostas são capazes de aproxmar qualquer função mesmo na presença de observações extremas. Os modelos de rede neural com funções de atvação sgmóde logístca, complemento log-log e probt na camada escondda e saída lnear são smbolzados por LoL, ClL e PrL, respectvamente. Os modelos de rede neural com funções de atvação na camada de saída gual à função de atvação usada na camada escondda a saber sgmóde logístca, complemento log-log e probt são smbolzados por LoLo, ClCl e PrPr, respectvamente. Para avalar as novas funções de atvação, usamos duas funções na tarefa de aproxmação. As funções usadas foram g ( x) = sn( x); x (0, ) e (8) g 1 ( ) = sn( x1 x) x1x 1; x ( x1, x), x1, x [0,3]. x (9) Os padrões (vetores) de entrada que são apresentados aos nodos de entrada rede neural foram gerados aleatoramente a partr de uma dstrbução unforme de acordo com o domíno de cada função apresentada. Foram geradas n k observações pseudo-aleatóras de cada função (8) e (9). Para as k observações extremas foram geradas k observações pseudo-aleatóras de cada função ctada e adconados valores gerados de uma dstrbução Gaussana N(0,1). Com sso, os n valores foram consderados como as observações da varável resposta de cada modelo. Os expermentos foram realzados com uma rede MLP com uma camada escondda usando backpropagaton (BP) e o backpropagaton com o termo momentum (BPM). Usamos 50 exemplos, 00 (80% do total) para o trenamento e os 50 restantes para teste. 4

5 Como a função sgmóde logístca é a mas usada na prátca e o modelo mas smples é com a saída lnear, ncalmente, foram verfcadas, para cada função, nove confgurações para os modelos com algortmo de aprendzagem BP e vnte e sete para os modelos com algortmo de aprendzagem BPM, varando o número de nodos esconddos, q = {4, 6, 8}, a taxa de aprendzagem, = {0,001; 0,01; 0,1} e o termo de momentum, m = {0,5; 0,7; 0,9} usando o modelo LoL que servu de referênca para a escolha da arqutetura da rede. A confguração desta arqutetura seleconada através do menor erro de valdação, em cada tarefa de aproxmação, está apresentada na Tabela 1. Tabela 1: Detalhes da arqutetura das redes neuras seleconadas pelo menor erro de valdação do modelo LoL. No. de Função Arqutetura m parâmetros austáves g 1 (x) ,1 0,9 5 g (x) 6 1 0,01 0,7 5 A Tabela apresenta as estatístcas descrtvas das observações geradas com varável resposta do modelo. Podemos observar que a varabldade (ver desvo-padrão) dos dados aumenta de acordo com o aumento de observações extremas tanto para a função g 1 como para a função g. Nesta tabela está apresentado o valor da taxa com que os dados se aproxmam de 1, mostrando que a probabldade da varável resposta de cada exemplo aqu apresentado se aproxma de 0 a uma taxa dferente da que se aproxma de 1 (ver Seção 1). O método de análse de varânca (ANOVA) fo usado para para comparar o desempenho dos modelos usando o algortmo BP com o desempenho dos modelos usando o algortmo BPM. A ANOVA é uma técnca que pode ser usada para determnar se as médas de duas ou mas populações são guas. O teste se basea numa amostra extraída de cada população. Na ANOVA assume-se que as populações são normas e têm varâncas guas, ou sea, o teste é realzado baseado na hpótese nula H 0 : as médas das populações são todas guas, se a hpótese nula é verdadera, então a varânca dentro de grupos é gual à varânca entre grupos e ambas são uma estmatva da varânca comum a todas as populações. Em outras palavras, concluremos que as dferenças observadas entre as médas amostras são devdas a varações aleatóras na amostra. A magntude numérca destas varâncas é comparada formalmente através do teste de Fsher (teste F). O teste F é geralmente utlzado para comparar varâncas e decdr se são ou não sgnfcatvamente dferentes, também pode ser usado para comparar dos modelos dferentes [0]. A decsão de acetar ou reetar H 0 depende da escolha do nível de sgnfcânca, α. Na maora das aplcações prátcas o valor escolhdo é 0,05 ou 0,01 mas não há nada que ustfque formalmente o uso destes valores em partcular. Um enfoque alternatvo consste em calcular o menor nível de sgnfcânca para o qual H 0 é reetada, para o valor observado da estatístca de teste [18]. Esta quantdade é chamada nível crítco, probabldade de sgnfcânca ou p-valor. A dea é que se o p-valor for maor que o valor de α pré-estabelecdo ele fornece evdênca de que H 0 é verdadera, enquanto que se o p-valor for menor que o valor de α pré-estabelecdo ndca que exste evdênca nos dados contra H 0 [18]. Tabela : Estatístcas descrtvas dos valores gerados para a tarefa de aproxmar as funções g 1 (x) e g (x). Número de g 1 (x) g (x) observações extremas Méda DP Mín Máx Taxa Méda DP Mín Máx Taxa k = 0 0,098 0,697 1,000 0,985 56,4 0,679 0,80 0,00 1,000 43,4 k = 5 0,05 0,750 1,776 1,341 63, 0,78 0,765,606 4,943 44,3 k = 0 0,049 0,80,356,33 66, 0,90 1,46 1,494 7,819 46, DP - desvo-padrão As Tabelas 3, 4 e 5 apresentam os resultados dos desempenhos médos dos 0000 expermentos, com seus respectvos desvos-padrão, dos modelos austados pelos dos algortmos descrtos anterormente nos conuntos de trenamento e de teste dos dados sem observações extremas (k = 0), com 5 observações extremas (k = 5), e com 0 observações extremas (k = 0), respectvamente. Os p-valores apresentados nessas tabelas são resultados dos testes da ANOVA. Neste caso, a hpótese nula é da forma H 0 : µ BP =µ BPM, ou sea, a méda dos EQMs para os modelos com algortmo BP é gual à méda dos EQMs para os modelos com algortmo BPM. Para estes resultados, o nível de sgnfcânca adotado como referênca fo de 0,05 (α = 0,05), logo, apenas para os p-valores menores do 0,05 é que o teste ndcará dferenças estatstcamente sgnfcantes. Através da Tabela 3, podemos observar que ao utlzarmos a função de atvação sgmóde logístca, os desempenhos médos, na tarefa de aproxmar as funções g 1 (x) e g (x), são maores do que os resultados com as funções complemento log-log e probt, sea no conunto de trenamento sea no conunto de teste, tanto nos modelos com saída lnear como nos modelos com saída não-lnear. Para a função g 1 (x), observamos, anda, que usando na camada de saída a mesma função de atvação usada na camada escondda os desempenhos médos foram melhores do que os desempenhos médos com saída lnear, ndependentemente da função de atvação não-lnear usada e do algortmo de aprendzagem. Vale ressaltar que, apenas no modelo PrL encontramos dferença estatstcamente sgnfcante, ao compararmos os desempenhos médos dos algortmos BP e BPM, tanto no conunto de trenamento (p-valor = 0,0053) como no conunto de teste (p-valor = 0,005). Para a função g (x), percebemos que os resultados médos do modelo LoL foram menores do que do modelo LoLo, tanto no trenamento como no 5

6 teste. Para os outros modelos sso só ocorre no conunto de teste. No modelo PrL fo encontrada uma dferença estatstcamente sgnfcante, entre os desempenhos médos dos algortmos BP e BPM, apenas no conunto de teste (p-valor = 0,0463). Tabela 3: Méda dos EQMs (desvo-padrão) de todos os modelos avalados na tarefa de aproxmar as funções g 1 (x) e g (x) para k = 0. Função Modelo EQM Treno EQM Teste BP BPM p-valor BP BPM p-valor g 1 (x) LoL 0,57 (0,0589) 0,1539 (0,155) 0,1397 0,3 (0,0588) 0,1584 (0,114) 0,105 g 1 (x) ClL 0,0897 (0,1145) 0,094 (0,0808) 0,150 0,0900 (0,1163) 0,074 (0,071) 0,1877 g 1 (x) PrL 0,1386 (0,177) 0,0013 (0,003) 0,0053 0,1385 (0,168) 0,0017 (0,0036) 0,005 g 1 (x) LoLo 0,100 (0,0187) 0,086 (0,0353) 0,518 0,0918 (0,038) 0,0638 (0,033) 0,0535 g 1 (x) ClCl 0,0348 (0,0496) 0,0545 (0,0478) 0,403 0,06 (0,039) 0,0316 (0,046) 0,533 g 1 (x) PrPr 0,0360 (0,046) 0,0543 (0,0488) 0,4100 0,005 (0,0193) 0,0317 (0,057) 0,3135 g (x) LoL 1,9967 (0,550) 1,831 (0,6966) 0,5857,3643 (0,5464),1794 (0,7759) 0,5671 g (x) ClL 1,147 (0,6706) 0,594 (0,5804) 0,050 1,4373 (0,6795) 0,816 (0,6839) 0,071 g (x) PrL 1,368 (0,775) 0,779 (0,6196) 0,197 1,5039 (0,8104) 0,9417 (0,7375) 0,1433 g (x) LoLo 3,9550 (,3916) 1,8681 (1,8588) 0,0553 4,8715 (,7856),73 (,957) 0,0463 g (x) ClCl 0,798 (0,3611) 0,7865 (0,489) 0,9753 0,9647 (0,3014) 0,957 (0,605) 0,9740 g (x) PrPr 0,9388 (0,535) 0,93 (0,6487) 0,9563 1,1695 (0,6347) 1,1478 (0,8651) 0,953 EQM - erro quadrátco médo; BP - backpropagaton; BPM - backpropagaton com momentum Na Tabela 4, em que os dados apresentam 5 observações extremas, notamos que, em todas as stuações, os desempenhos médos dos modelos LoL e LoLo são maores do que os desempenhos médos dos outros modelos com as funções de atvação propostas. Notamos, anda, que os desempenhos médos dos modelos com função de atvação sgmóde logístca reduzem sgnfcatvamente com o uso do algortmo BPM. Na tarefa de aproxmar a função g 1 (x), este fato ocorreu com o modelo LoL no conunto de trenamento (p-valor = 0,068) e no conunto de teste (p-valor = 0,0158) e com o modelo LoLo no conunto de trenamento (p-valor = 0,000). Na tarefa de aproxmar a função g (x), ocorreu com o modelo LoLo no conunto de trenamento (p-valor = 0,010) e com o modelo LoL no conunto de teste (p-valor = 0,0351). Com as funções propostas, a dferença entre os algortmos ocorreu apenas em duas stuações com o modelo ClL no conunto de teste (p-valor = 0,0379), na tarefa de aproxmar a função g 1 (x), e com o ClCl no conunto de trenamento (p-valor = 0,0117), na tarefa de aproxmar a função g (x). Pela Tabela 5, em que os dados apresentam 0 observações extremas, observamos que, em todas as stuações, os desempenhos médos dos modelos com as funções de atvação propostas apresentaram melhores desempenhos em relação aos modelos LoL e LoLo. Os resultados desta tabela ndcam que para dados com um elevado número de observações extremas o uso do algortmo com o termo momentum não apresentou uma melhora sgnfcatva em nenhuma das stuações avaladas (pvalores > 0,05). Para comparar os desempenhos médos entre os modelos utlzamos o teste t-student. O teste t-student é um teste paramétrco utlzado na estatístca para comparar duas amostras ndependentes com a fnaldade de verfcar a exstênca de dferença sgnfcatva entre as médas de métrcas dessas amostras [18]. A Tabela 6 apresenta os p-valores referentes ao teste t-student para comparar os desempenhos médos dos modelos. Por exemplo, ao comparar os modelos LoL e ClL estamos testando a hpótese nula H 0 : µ LoL = µ ClL, ou sea, o desempenho médo do modelo LoL é gual ao do modelo ClL. Conforme vsto anterormente, nos conuntos de trenamento e de teste, os desempenhos médos dos modelos com funções de atvação sgmóde logístca apresentaram os pores resultados ao compararmos com os outros modelos e através do teste podemos observar que, na maora dos casos, que os desempenhos médos dos modelos LoL ou LoLo e dos modelos com as funções propostas são dferentes e estatstcamente sgnfcantes, ou sea, reetamos a hpótese nula (p-valor < 0,05) (Tabela 6). Vale ressaltar anda que, em algumas stuações vstas anterormente, os desempenhos médos dos modelos com função de atvação sgmóde logístca apresentam uma melhora sgnfcatva quando utlzamos o algortmo backpropagaton com o termo momentum, ou sea, essa melhora ocorre, prncpalmente, devdo à mudança do algortmo, fato que não ocorre com os modelos com função complemento log-log ou probt, o uso dessas funções melhoram o desempenho ndependentemente do uso do algortmo. Tabela 4: Méda dos EQMs (desvo-padrão) de todos os modelos avalados na tarefa de aproxmar as funções g 1 (x) e g (x) para k = 5. Função Modelo EQM Treno EQM Teste BP BPM p-valor BP BPM p-valor g 1 (x) LoL 0,157 (0,039) 0,0635 (0,0300) 0,068 0,40 (0,046) 0,0766 (0,0391) 0,0158 g 1 (x) ClL 0,0634 (0,0179) 0,0434 (0,079) 0,5564 0,0945 (0,0408) 0,001 (0,0008) 0,0379 g 1 (x) PrL 0,045 (0,018) 0,046 (0,080) 0,6178 0,0309 (0,078) 0,0434 (0,085) 0,7571 g 1 (x) LoLo 0,0703 (0,0031) 0,0456 (0,004) 0,000 0,1907 (0,068) 0,0756 (0,0154) 0,1193 g 1 (x) ClCl 0,088 (0,0100) 0,0079 (0,008) 0,0634 0,0719 (0,0) 0,017 (0,013) 0,0706 6

7 g 1 (x) PrPr 0,0190 (0,0059) 0,00 (0,0070) 0,7531 0,0484 (0,0199) 0,0346 (0,0177) 0,6131 g (x) LoL 3,1895 (0,6791) 1,9464 (0,1699) 0,0948 3,1783 (0,5138) 1,9644 (0,1176) 0,0351 g (x) ClL 1,5319 (0,1655) 1,1607 (0,1139) 0,0833 1,581 (0,143) 1,390 (0,1765) 0,4154 g (x) PrL 1,0746 (0,1351) 0,8951 (0,173) 0,3481 1,4433 (0,146) 1,100 (0,1348) 0,1055 g (x) LoLo,3911 (0,3666) 1,415 (0,0954) 0,010,5939 (0,3608) 1,714 (0,143) 0,0541 g (x) ClCl 1,7461 (0,1143) 1,1439 (0,1779) 0,0117 1,9584 (0,1470) 1,550 (0,653) 0,197 g (x) PrPr 1,0648 (0,130) 0,7780 (0,0918) 0,080 1,3818 (0,359) 1,001 (0,767) 0,640 EQM - erro quadrátco médo; BP - backpropagaton; BPM - backpropagaton com momentum Tabela 5: Méda dos EQMs (desvo-padrão) de todos os modelos avalados na tarefa de aproxmar as funções g 1 (x) e g (x) para k = 0. Função Modelo EQM Treno EQM Teste BP BPM p-valor BP BPM p-valor g 1 (x) LoL 1,447 (0,1555) 1,4688 (0,158) 0,794 1,1896 (0,1476) 1,3798 (0,1671) 0,406 g 1 (x) ClL 0,831 (0,131) 0,8863 (0,0817) 0,730 0,8504 (0,0771) 0,8855 (0,1055) 0,7915 g 1 (x) PrL 0,938 (0,0918) 0,8847 (0,0715) 0,7411 0,8448 (0,0718) 0,855 (0,0653) 0,8445 g 1 (x) LoLo 1,116 (0,141) 1,1906 (0,1597) 0,93 1,181 (0,1467) 1,937 (0,1696) 0,69 g 1 (x) ClCl 0,8497 (0,0683) 0,8776 (0,0763) 0,7894 0,846 (0,0810) 0,843 (0,0667) 0,9973 g 1 (x) PrPr 0,8760 (0,0658) 0,860 (0,0760) 0,8914 0,8497 (0,0666) 0,809 (0,0630) 0,7573 g (x) LoL,8733 (0,109),8999 (0,133) 0,8839 3,300 (0,140) 3,1984 (0,1486) 0,566 g (x) ClL,313 (0,139),0106 (0,66) 0,3849,9490 (0,16),6039 (0,597) 0,496 g (x) PrL,899 (0,85) 1,7330 (0,1837) 0,0758,911 (0,1633),649 (0,945) 0,4357 g (x) LoLo 3,466 (0,173) 3,908 (0,3399) 0,6760 4,4507 (0,787) 4,49 (0,8703) 0,8613 g (x) ClCl,5398 (0,99) 1,9998 (0,033) 0,1494,7978 (0,059),834 (0,635) 0,1436 g (x) PrPr,747 (0,398) 1,7091 (0,093) 0,0947,6356 (0,44),1579 (0,3554) 0,74 EQM - erro quadrátco médo; BP - backpropagaton; BPM - backpropagaton com momentum Por sso, em alguns modelos com função de atvação sgmóde logístca usando o algortmo de aprendzagem BPM tveram seus desempenhos médos melhorados com o uso do termo momentum, porém, a varabldade dos resultados contnua sendo alta, logo, a dferença dos desempenhos médos dos modelos LoL ou LoLo com relação a alguns modelos com as novas funções não é estatstcamente sgnfcante (Tabela 6). Na maora dos casos, entre os desempenhos médos dos modelos com as funções propostas, ClL PrL e ClCl PrPr, não observamos dferenças estatstcamente sgnfcantes. Tabela 6: Resultados dos p-valores dos testes t-student com nível de 95% de confança na tarefa de aproxmar as funções g 1 (x) e g (x). Hpótese k = 0 k = 5 k = 0 nula (H 0 ) para g 1 (x) BP BPM BP BPM BP BPM Trn Tst Trn Tst Trn Tst Trn Tst Trn Tst Trn Tst µ LoL = µ ClL 0,003 0,00 0,01 0,006 0,003 0,015 0,316 0,037 0,030 0,09 0,001 0,011 µ LoL = µ PrL 0,041 0,031 0,001 0,001 0,000 0,001 0,309 0,51 0,047 0,06 0,000 0,003 µ ClL = µ PrL 0,798 0,795 0,157 0,148 0,094 0,108 0,49 0,916 0,711 0,479 0,494 0,317 µ LoLo = µ ClCl 0,001 0,000 0,065 0,006 0,001 0,058 0,000 0,008 0,017 0,030 0,048 0,01 µ LoLo = µ PrPr 0,000 0,000 0,065 0,007 0,000 0,031 0,005 0,050 0,04 0,08 0,040 0,009 µ ClCl = µ PrPr 0,51 0,436 0,495 0,503 0,07 0,1 0,958 0,715 0,607 0,56 0,443 0,409 Hpótese nula (H 0 ) k = 0 k = 5 k = 0 para g (x) BP BPM BP BPM BP BPM Trn Tst Trn Tst Trn Tst Trn Tst Trn Tst Trn Tst µ LoL = µ ClL 0,008 0,003 0,000 0,001 0,015 0,004 0,001 0,007 0,018 0,034 0,004 0,03 µ LoL = µ PrL 0,01 0,009 0,001 0,00 0,003 0,00 0,000 0,000 0,019 0,038 0,000 0,055 µ ClL = µ PrL 0,56 0,544 0,679 0,644 0,04 0,678 0,069 0,105 0,470 0,430 0,199 0,538 µ LoLo = µ ClCl 0,001 0,000 0,055 0,058 0,056 0,061 0,094 0,311 0,011 0,09 0,00 0,03 µ LoLo = µ PrPr 0,001 0,001 0,085 0,094 0,001 0,006 0,000 0,078 0,001 0,00 0,001 0,00 µ ClCl = µ PrPr 0,747 0,803 0,691 0,70 0,000 0,07 0,043 0,187 0,46 0,300 0,167 0,390 BP backpropagaton; BPM backpropagaton com momentum; Trn Treno; Tst - Teste Hpótese alternatva - H a : µ 1 > µ Tabela 7: Méda do número de épocas (desvo-padrão) de todos os modelos avalados na tarefa de aproxmar as funções g 1 (x) e g (x). k = 0 k = 5 k = 0 Função Modelo 7

8 BP BPM BP BPM BP BPM g 1 (x) LoL 316 (17) 1934 (30) 1400 (1393) 3468 (313) 683 (96) 434 (15) g 1 (x) ClL 1853 (366) 1793 (407) 1079 (1508) 3113 (39) 0 (191) 160 (101) g 1 (x) PrL 180 (401) 1903 (33) 531 (187) 841 (30) 169 (14) 70 (4) g 1 (x) LoLo 354 (150) 640 (35) 3557 (170) 4073 (1746) 71 (949) 1007 (154) g 1 (x) ClCl 1864 (359) 00 (74) 30 (04) 3730 (171) 31 (1) 387 (470) g 1 (x) PrPr 1753 (436) 1886 (35) 930 (187) 1753 (1774) 10 (56) 53 (95) g (x) LoL 450 (63) 63 (180) 788 (61) 105 (174) 1950 (88) 1763 (48) g (x) ClL 374 (131) 519 (840) 71 (986) 783 (71) 1374 (059) 1019 (1713) g (x) PrL 79 (168) 78 (10) 659 (61) 65 (94) 1779 (416) 134 (139) g (x) LoLo 131 (1585) 105 (154) 4115 (1590) 461 (1137) 030 (1691) 155 (00) g (x) ClCl 1014 (605) 753 (90) 3940 (1591) 3539 (19) 913 (677) 153 (1677) g (x) PrPr 76 (746) 50 (490) 3967 (050) 3383 (45) 188 (30) 100 (1577) BP - backpropagaton; BPM - backpropagaton com momentum A Tabela 7 apresenta os resultados médos do número de épocas necessáros para a convergênca do algortmo em cada modelo. Podemos observar que os modelos com função sgmóde logístca precsam de mas terações para convergr do que os modelos com as funções propostas, sso ndca que as novas funções desempenham um papel mportante na dmnução da complexdade da rede neural. 3.. Aplcação em dados reas Aqu, remos realzar um expermento com dados reas para enfatzar os resultados da smulação na tarefa de aproxmar funções. Os dados são de uma pesqusa realzada no Canadá, na década de 60, para calcular os graus de prestígo (varável resposta) de dferentes ocupações []. Além desses resultados, foram obtdas nformações demográfcas e sócoeconômcas, tas como percentual de empregados do sexo femnno, anos de educação, renda méda e tpo de ocupação. A base de dados desta pesqusa é composta de 10 observações, sendo que 4 profssões não obtveram nenhum tpo de classfcação quanto ao tpo de ocupação, ou sea, são profssões que não se encaxaram em nenhuma das categoras menconadas a segur, como professonal, manageral, techncal, whte collar e blue collar. Portanto, o nosso conunto de dados será composto de 98 exemplos, sendo 74 (aproxmadamente 75% do total) para o conunto de trenamento e 4 para o conunto de teste. A arqutetura da rede fcou da segunte forma 5-3-1, com parâmetros austáves, a uma taxa de aprendzagem = 0,001e com termo momentum m = 0,5. Os dferentes tpos de ocupação são dstrbuídos da segunte forma, 31,6% das profssões são do tpo professonal, 3,5% do tpo whte collar e 44,9% do tpo blue collar. As pessoas que estão em profssões do tpo professonal são pessoas que possuem maores níves de educação comparado com pessoas que estão em profssões do tpo whte collar e blue collar. Tabela 8: Méda dos EQMs (desvo-padrão) dos modelos de regressão avalados para os dados de graus de prestígo. EQM Treno EQM Teste Modelo BP BPM p-valor BP BPM p-valor LoL 85,61 (80,93) 60,61 (51,43) 0, ,03 (75,16) 73,07 (47,4) 0,1 ClL 59,03 (6,00) 43,4 (8,31) 0,18 76,38 (74,58) 58,87 (1,7) 0,58 PrL 54,69 (40,5) 43,49 (8,3) 0, ,43 (44,73) 58,98 (1,47) 0,36 LoLo 181,37 (103,03) 130,09 (99,83) 0, ,66 (10,1) 150,9 (113,) 0,519 ClCl 83,03 (83,17) 87,83 (93,76) 0, ,45 (97,71) 110,58 (107,10) 0,8067 PrPr 83,31 (85,05) 69,45 (75,1) 0, ,71 (9,55) 89,40 (86,13) 0,5893 EQM - erro quadrátco médo; BP - backpropagaton; BPM - backpropagaton com momentum Na Tabela 8, apresentamos os resultados da aplcação em dados reas. Podemos observar que, em todos os casos, os desempenhos médos dos modelos com as novas funções propostas são melhores do que os desempenhos médos dos modelos com função de atvação sgmóde logístca, ndependentemente do algortmo de aprendzagem usado (p-valor > 0,05). Notamos anda que a varabldade dos desempenhos nos modelos com função sgmóde logístca é maor do que nos modelos com as novas funções. Tabela 9: Resultados dos p-valores dos testes t-student com nível de 90% de confança para os dados do grau de prestígo. Hpótese BP BPM nula (H 0 ) Treno Teste Treno Teste µ LoL = µ ClL 0,099 0,1915 0,057 0,0767 8

9 µ LoL = µ PrL 0,0470 0,0830 0,0534 0,0779 µ ClL = µ PrL 0,3855 0,3667 0,513 0,5119 µ LoLo = µ ClCl 0,0003 0,007 0,0647 0,1044 µ LoLo = µ PrPr 0,0003 0,0030 0,0095 0,0187 µ ClCl = µ PrPr 0,5047 0,5037 0,41 0,4 BP - backpropagaton; BPM - backpropagaton com momentum Hpótese alternatva H a : µ 1 > µ Tabela 10: Méda do número de épocas (desvo-padrão) de todos os modelos avalados para os dados do grau de prestígo. Modelo BP BPM LoL 881 (459) 655 (753) ClL 180 (138) 3 (163) PrL 977 (756) 391 (804) LoLo 403 (4674) 1436 (965) ClCl 14 (979) 17 (103) PrPr 1008 (637) 19 (10) BP - backpropagaton; BPM - backpropagaton com momentum A Tabela 9 mostra que, no conunto de trenamento, os desempenhos médos dos modelos LoL ou LoLo e dos modelos com as funções propostas são dferentes e estatstcamente sgnfcantes, ou sea, reetamos a hpótese nula (p-valor < 0,10) (Tabela 8). No conunto de teste, ao compararmos os desempenhos médos dos modelos com saída lnear, não exste dferença estatstcamente sgnfcante apenas entre os desempenhos médos dos modelos LoL e ClL usando backpropagaton; ao compararmos os desempenhos médos dos modelos LoLo e ClCl podemos observar que exste uma dfereça borderlne, ou sea, o p-valor é muto próxmo do nível de sgnfcânca de 10%. Entre os desempenhos médos dos modelos com as funções propostas, ClL-PrL e ClCl-PrPr, não observamos dferenças estatstcamente sgnfcantes. A Tabela 10 apresenta os resultados médos e seus respectvos desvos-padrão do números de épocas necessáros para a convergênca do algortmo. Podemos observar que nos modelos com função sgmóde logístca o número médo de épocas necessáras fo maor do que nos modelos com função complemento log-log ou com função probt. 4. Conclusão Este artgo apresenta estudos realzados através de aplcações em dados sntétcos e em dados reas para verfcação dos mpactos de novas funções mplementadas, complemento log-log e probt, como função de atvação nos modelos de rede neural MLP com uma camada escondda. Para os dados sntétcos, essa avalação se estende para dados com observações extremas e as prncpas meddas utlzadas para avalar esse mpacto foram a méda e o desvo-padrão do EQM das 1000 réplcas de Monte Carlo e 0 ncalzações dos pesos e bas, que totalza 0000 expermentos. Para os dados reas, foram utlzados a méda e o desvo-padrão do EQM das 0 ncalzações. Além dsso, avalamos o nível de complexdade dos modelos através do número médo de épocas necessáras para a convergênca do algortmo. Para comparar os resultados usamos a função de atvação sgmóde logístca, pos é a mas utlzada na prátca. Com os resultados obtdos concluímos que as novas funções têm a capacdade de melhorar o desempenho da rede neural MLP e dmnur sua complexdade mesmo na presença de observações extremas. Agradecmentos. Os autores agradecem ao CNPq e à FACEPE pelo auxílo fnancero e aos revsores pelas devdas sugestões. Referêncas Bblográfcas [1] Barron, A. R. Unversal approxmaton bounds for superpostons of a sgmodal functon. IEEE Transactons on Informaton Theory, 39(3), , [] Blshen, B., Carroll, W. and Moore, C. Census of Canada. Statstcs Canada. Techncal report, 3 (6), Departments of Socology, York Unversty and Unversty of Vctora, Germany, [3] Blss, C. I. The caculator of the dosage-mortalty curve. Ann. Appl. Bol.,, , [4] Braga, A. P., Ludermr T. B. and Carvalho, A. C. P. Redes Neuras Artfcas - Teora e Aplcações. ed.. LTC: Ro de Janero, 007. [5] Collet, D. Modellng Survval Data n Medcal Research. Chapman and Hall: London,

10 [6] Cybenko, G. Approxmaton by Superpostons of a Sgmodal Functon. Mathematcs of Control, Sgnals and Systems,, , [7] Draper, N. and Smth, H. Appled regresson analyss. John Wley: New York, [8] Duch, W. and Jankowsk, N. Survey of neural transfer functons. Neural Computng,, 163 1, [9] Duch, W. and Jankowsk, N. Taxonomy of neural transfer functons. Internatonal Jon Conference on Neural Networks, Como, Italy and Los Alamtos, Calforna, 000. Computer Socety and IEEE. [10] Duch, W. and Jankowsk, N. Transfer functons: hdden possbltes for better neural networks. 9th European Symposum on Artfcal Neural Networks, pages 81 94, Bruges, Belgum, 001. [11] Fausett, L. Fundamentals of neural networks. Prentce Hall: New York, [1] Fesler, E. and Morera, M. Comparng Parameterless Learnng Rate Adaptaton Methods. Internatonal Conference on Neural Networks (ICNN'97), pages , Barcelona, Span, IEEE. [13] Gomes, G. S. S. and Ludermr, T. B. Aproxmação de funções através de redes neuras artfcas com funções de atvação complemento log-log e probt. SBRN/WCI, Salvador, Baha, 008. Computer Socety and IEEE. [14] Gomes, G. S. S. and Ludermr, T. B. Complementary log-log and probt: actvaton functons mplemented n artfcal neural networks. Eghth Internatonal Conference on Hybrd Intellgent Systems, pages , Barcelona, Span, 008. Computer Socety and IEEE. [15] Haykn, S. Neural Networks: A Comprehensve Foundaton, nd ed.. Prentce Hall: New Jersey, 001. [16] Hornk, K. Approxmaton capabltes of multlayer feedforward networks. Neural Networks, 4(), 51 57, [17] Hornk, K. Some new results on neural network approxmaton. Neural Networks, 6(9), , [18] Lehman, E. Testng Statstcal Hypothess. John Wley & Sons: New York, nd edton, [19] Lmo, K. Robust Error Measure for Supervsed Neural Network Learnng wth Outlers. IEEE Transactons on Neural Networks, 7 (1), 46 50, [0] Lndman, H. R. Analyss of varance n complex expermental desgns. W. H. Freeman & Co: San Francsco, [1] Ma, L and Khorasan, K. Constructve Feedforward Neural Networks Usng Hermte Polynomal Actvaton Functons. IEEE Transactons on Neural Networks, 16(4), , 005. [] McCullagh, P. and Nelder, J. A. Generalzed Lnear Models, nd ed.. Chapman and Hall: London, nd. Edton edton, [3] Nelder, J. A. and Wedderburn, W. M. Generalzed lnear models. Journal of The Royal Statstcal Socety, 3, , 197. [4] Neter, J., Wasserman, W. and Kutner, M. Appled lnear statstcal models. Homewood: Rchard D.Irwn, [5] PubMed [6] R Development Core Team. R: A Language and Envronment for Statstcal Computng. R Foundaton for Statstcal Computng, Venna, Austra, 007. [7] Robert, C. P. and Casella, G. Monte Carlo Statstcal Methods (Sprnger Texts n Statstcs), nd ed.. Sprnger-Verlag: New York, 005. [8] Rumelhart, D. E. and McClelland, J. L. Parallel dstrbuted processng: exploratons n the mcrostructure of cognton. MIT Press, Cambrdge, MA, USA, [9] Seber, G. Lnear regresson analyss. John Wley: New York, [30] Slva, L. N. C. Análse e Síntese de Estratégas de Aprendzado para Redes Neuras Artfcas. Master's thess, Faculdade de Engenhara Elétrca e de Computação - UNICAMP, [31] Sngh, Y. and Chandra, P. A class +1 sgmodal actvaton functons for FFANNs. Journal of Economc Dynamcs and Control, 8(1), , 003. [3] Skoundranos, E. N. and Tzafestas, S. G. Modellng and FDI of Dynamc Dscrete Tme Systems Usng a MLP wth a New Sgmodal Actvaton Functon. J. Intell. Robotcs Syst., 41(1), 19 36, 004. [33] Wen, C. and Ma, X. A max-pecewse-lnear neural network for functon approxmaton. Neurocomputng, 71, , 005. Apêndce 10

11 A.1. Enuncado do Teorema da Aproxmação Unversal (TAU) A segur apresentamos o enuncado do TAU [15]: Teorema 1 Suponha que () sea uma função contínua não-constante, lmtada e monotoncamente crescente. Suponha que I n represente um hpercubo untáro n [0,1] de dmensão n. O espaço das funções contínuas em I n é representado por f C( I n e > 0, exste um ntero M e um conunto de constantes reas, C ( I n ). Então, dada qualquer função ) k n e = 1,, k e = 1,, n tal que podemos defnr F( x,, x ) = ( w x ) w, onde realzação aproxmada da função () espaço de entrada. Prova. A prova do teorema pode ser vsta em [1], [6], [15]. como uma 1 m =1 =1 F( x1,, xn) f ( x1,, xn) <, x, 1, xn f, sto é, A.. Desenvolvmento da regra de aprendzagem para as novas funções que se encontre no O algortmo backpropagaton é o mas conhecdo e utlzado para trenamento de redes neuras [11]. Ele é baseado na regra delta [8] que defne que o valor da correção a ser aplcado aos pesos das conexões é gual à multplcação de uma taxa de aprendzagem, o gradente local e o snal de entrada do nodo. Para cada regstro nserdo na rede durante o trenamento, a nformação é almentada através da rede para gerar um valor na undade de saída, chamado de valor austado (d). Este valor é comparado com o valor real (y) e a dferença entre os dos, chamada de erro (e), é retropropagada pela rede para austar os pesos adaptatvos para melhorar o auste para padrões smlares. Neste método o vetor gradente é calculado. Portanto, o snal de erro na saída do nodo, na teração l, é defndo por e ( l) = d ( l) y ( l). O algortmo fo desenvolvdo com o obetvo de obter os pesos que mnmzem a função de erros, dada por 1 E( l) = C e ( l), onde o conunto C nclu todos os nodos da camada de saída da rede. Para obter essa mnmzação é necessáro calcular as dervadas de E(l) com relação aos pesos e bas. Logo, sea (l) dado por ( l) = m =0 w ( l) y ( l) o campo local nduzdo produzdo na entrada da função de atvação assocada ao nodo, onde m é o número total de entradas (exclundo o bas) aplcadas ao nodo. O peso snáptco w 0 é gual ao bas b aplcado ao nodo na teração l. Assm, temos que o snal funconal y (l) que aparece na saída do nodo na teração l é dado por y ( l) = ( ( l)). O algortmo backpropagaton aplca uma correção w (l) ao peso snáptco w (l), que é proporconal à dervada parcal E( l)/ w ( l). Todo o procedmento restante pode ser vsto em [15]. Logo, a correção w (l) pode ser escrta como w ( l) = ( l) y ( l), onde é a taxa de aprendzagem e (l) o gradente local que pode é defndo como ( l) = e ( l) ( ( l)). Sabemos que o fator ( (l) ) envolvdo no cálculo do gradente local depende uncamente da função de atvação assocada ao nodo, logo, o cálculo de para cada nodo da MLP com cada uma das novas funções de atvação será feto usando as dervadas encontradas em (6) e (7). A segur descreveremos as formas destas duas funções: 1. Função complemento log-log: para esta função sua forma geral é defnda por ( ( l)) = 1 exp( exp( ( l))) 11

12 onde (l) é o campo local nduzdo do nodo. De acordo com a não-lnerdade, a ampltude de saída se encontra dentro do ntervalo 0 y 1. A sua dervada é dada por ( ( l)) = exp( ( l)) exp( exp( ( l))).. Função probt: para esta função sua forma geral é defnda por ( ( l)) = ( ( l)) = 1 ( l) ( l)/ e d ( l). De acordo com a não-lnerdade, a ampltude de saída também se encontra dentro do ntervalo 0 y 1. A sua dervada é dada por ( ( l)) = 1 ( ) l exp. 1