Análise do Desempenho de uma Implementação Paralela da Rede Neural Perceptron Multicamadas Utilizando Variável Compartilhada

Transcrição

1 Análise d Desemen de uma Imlementaçã Paralela da Rede Neural Percetrn ulticamadas Utilizand Variável Cmartilada uís F. W. Góes, Fabríci Rulin, uiz E. S. Rams, uis E. Zárate, Carls A. P. S. artins Deartament de Ciência da Cmutaçã, Pntifícia Universidade Católica de inas Gerais Bel Hriznte, G, , Brasil RESUO Neste trabal aresentams uma análise d desemen de uma imlementaçã da rede neural ercetrn multicamadas nde treinament, basead n algritm retr-ragaçã d err, é realizad de frma aralela, utilizand-se mdel de variável cmartilada. Nssa rincial meta é desenvlviment de uma imlementaçã aralela da rede neural ercetrn multicamadas utilizand mdel de rgramaçã aralela de variável cmartilada. Nós analisarems desemen da imlementaçã aralela em relaçã à imlementaçã seqüencial tradicinal, variand a tlgia da rede (númer de entradas e númer de neurônis). Identificarems situações em que us de rcessament aralel ssibilite a diminuiçã d tem de treinament. Também identificarems taman ideal d grã u quantidade de rcessament, que rrcine gan mair de desemen.. INTRODUÇÃO A cada dia cresce númer de alicações de Redes Neurais Artificiais (RNA) nas diversas áreas d cneciment cm ecnmia, administraçã, rbótica, engenaria e utras [][5][9]. É cnecid bm desemen cmutacinal quand a rede está em eraçã, que nã é verdade quand está ainda n rcess de treinament (a rede de atingir tems de minuts até dias, ara assciar s cnjunts de dads a ela frnecids). Existem diverss tis de redes neurais, cada uma mais arriada a uma categria de alicações. A rede ercetrn multicamadas feedfrward ttalmente cnectada, arxima-se das terias cnexinistas que rcuram descrever funcinament d cérebr, esta se destaca em relaçã as demais, r ssuir uma grande caacidade de arendizad e generalizaçã rrcinad ela multilicidade de neurônis rganizads ierarquicamente em camadas [9]. N arendizad da rede neural é utilizada a estrutura de arendizad suervisinad, nde ara cada cnjunt de entrada é assciad um cnjunt de saída. Durante treinament da rede, ajuste ds ess de ser feit através d algritm retr-ragaçã-d-err. O treinament é um ds grandes rblemas n us de redes neurais, is ele de ser extremamente demrad. Diante de alicações em tem real u que necessitem de um tem de ressta muit equen, treinament da rede trna-se um nt de cntençã. Cm intuit de se reslver este rblema, vêm send utilizadas diversas alternativas ara a diminuiçã d tem de treinament da rede neural, dentre elas dems citar us de circuits integrads, cmutaçã recnfigurável, algritms genétics e cmutaçã aralela [][][5][]. A cmutaçã aralela ssui dis rinciais mdels de rgramaçã: assagem de mensagens e variável cmartilada. N mdel de assagem de mensagens, cada máquina ssui uma memória rória. Entã é necessári que as máquinas trquem mensagens entre elas sbre uma rede, ara requisitar dads remts e também ara sincrnizaçã ds rcesss. Os rgramas escrits ara multicmutadres u máquinas de memória distribuída sã baseads neste mdel. Nrmalmente eles utilizam biblitecas de assagem de mensagens cm PV e PI [4][6]. Já n mdel de variável cmartilada, uma variável é clcada na memória lcal de um multircessadr u máquina de memória cmartilada, a qual tds s rcessadres têm acess. Neste cas, tda a cmunicaçã entre s rcesss é feita através da memória rincial. Os rgramas baseads neste mdel, nrmalmente utilizam biblitecas de surte cm OenP, POSIX, Win e Java treads [4][6]. OTIVAÇÃO As redes neurais artificiais têm sid utilizadas ara slucinar rblemas de diversas áreas d cneciment. as treinament destas redes de ser extremamente demrad. Em alicações de tem real que necessitam d re-treinament da rede, as RNAs nã cnseguem slucinar rblema em tem ábil. A cmutaçã aralela tem sid amlamente utilizada ara aumentar a vazã u diminuir tem de ressta de váris tis de alicações em geral [7]. Pr este mtiv, reslvems utilizar a cmutaçã aralela ara agilizar treinament de uma RNA ercetrn multicamadas. Esecificamente, irems utilizar mdel de rgramaçã de variável cmartilada, is ele é mais adequad ara este ti de rblema, nde a granularidade é equena. ETAS E OBJETIVOS O rincial bjetiv deste trabal é a análise d desemen de uma imlementaçã aralela da rede

2 neural ercetrn multicamadas que utiliza mdel de variável cmartilada. Nós analisarems desemen da imlementaçã aralela em relaçã à imlementaçã seqüencial tradicinal, variand a tlgia da rede (númer de entradas e númer de neurônis). Cm bjetivs esecífics dems destacar: a identificaçã das situações em que us de rcessament aralel ssibilita a diminuiçã d tem de treinament da rede; a identificaçã d taman ideal d grã u quantidade de rcessament ideal, que rrcina um gan mair de desemen. A rincial meta deste trabal é desenvlviment de uma imlementaçã aralela da rede neural ercetrn multicamadas utilizand mdel de rgramaçã aralela de variável cmartilada.. REDE NEURA PERCEPTRON UTICAADAS A tlgia da rede multicamadas cnsiderada neste trabal crresnde a uma rede de duas camadas de neurônis, cm N entradas na camada entrada; neurônis na camada escndida e neurônis na camada de saída. É também cnsiderad que s neurônis ssuem entradas de larizaçã cada um. A funçã nã linear sigmóide fi esclida neste trabal cm a funçã de transferência d axôni, r ser a mais cnsistente cm a bifísica d neurôni bilógic. A Figura mstra a tlgia da rede usada neste trabal. II. Calcular a saída linear da camada escndida de acrd cm a Eq.(3), nde net é rdut ds ess ij elas entradas e W cntém es d neurôni i e entrada j ara a camada escndida. N net W ji X i j,..., i (equaçã 3) III. Calcular a saída da camada escndida através da Eq.(4), nde I kj cntém as resstas da funçã sigmóide f ) ara a camada escndida. j I f j ) j,..., (equaçã 4) IV. Calcular a saída linear da camada de saída de acrd cm a Eq.(5), nde net é rdut ds ess kj elas entradas e W cntém es d neurôni i e entrada j ara a camada de saída: net Wkj I k,..., j (equaçã 5) X X X N W W W N net I W I W net f ) f ) W N W V. Calcular a saída da rede através da Eq.(6), nde Y kj cntém as resstas da funçã sigmóide f k ) ara a camada de saída. W W net f ) I W W net f ) Y Y f k ) k,..., (equaçã 6) W N Dendrits e Axôni Sma e Funçã de Ativaçã d Neurôni- Camada Escndida Sma e Funçã de Ativaçã d Neurôni- Camada de Saída N : Númer de Entradas : Númer de Saídas e de Neurônis na Camada de saída : Númer de Neurônis na Camada Escndida Fig. Tlgia da rede neural multicamadas Seja cnjunt de treinament mstrad na Eq.(), nde X i, i =,...,P sã as entradas nrmalizadas e Y i, i =,...,P sã as saídas desejadas da rede nrmalizadas ela funçã sigmóide, segue-se abaix a descriçã das etaas e equações matemáticas necessárias n algritm seqüencial ara treinament da rede neural multicamadas. ( X,Y ),...,( X,Y ) (equaçã ) VI. Calcular err da camada de saída através da Eq.(7), nde cntém s errs calculads da camada de saída. ' ( Y ) f k ) k,..., (equaçã 7) VII. Calcular err na camada escndida através da Eq.(7), nde cntém s errs calculads da camada escndida. ' f j ) Wkj j,..., k (equaçã ) I. Alicar cnjunt reresentad ela Eq.(), nde N é númer de entradas. X ) T ( X,..., X N (equaçã ) VIII. Atualizar s ess da camada de saída de acrd cm a Eq.(9), nde é fatr de ajuste. W kj ( t ) W kj ( t) I

3 k,..., e j,..., (equaçã 9) IX. Atualizar s ess da camada escndida de acrd cm a Eq.(). W ji ( t ) W ji ( t) j,..., e i,..., N (equaçã ) X. Verificar a tlerância através da Eq.(), nde E é err glbal e é err médi. E tlerância (equaçã ) k Neste trabal fi esclida a funçã sigmóide, que é reresentada n algritm de treinament elas equações Eq.() e Eq.(3). f k ) net ex f k '( net X i (equaçã ) ) Y ( Y ) (equaçã 3) 3. IPEENTAÇÃO PARAEA DA REDE NEURA A nssa imlementaçã aralela da rede neural multicamadas é um algritm mestre-escrav que segue a metdlgia rsta r Ian Fster [3] ara desenvlviment de rgramas aralels. Segund esta metdlgia, rjet de um algritm aralel é cnsistid de quatr etaas: artiçã, cmunicaçã, aglmeraçã e maeament. Primeiramente, nós bservams que s neurônis de uma mesma camada sã indeendentes, u seja, dem ser executads em aralel, mas que rcessament de cada camada é brigatriamente seqüencial. Entã determinams que a artiçã seria entre s neurônis de uma mesma camada. A cmunicaçã e a sincrnizaçã entre s rcesss sã realizadas na memória rincial, r mei de variáveis cmartiladas e semáfrs. Nas etaas de aglmeraçã e maeament determinams que a carga de trabal seria distribuída entre dis rcesss, um mestre e um escrav, ande mestre se encarregaria de rcessar metade ds neurônis de cada camada e escrav se encarregaria da utra metade. Cada um destes rcesss é alcad a rcessadres distints d multircessadr. De acrd cm a Tab. I, dems erceber que nem td treinament da rede é realizad em aralel. Para evitar um grande númer de sincrnizações, smente rcess mestre realiza cálcul d err das camadas e também cálcul da saída e d ajuste ds ess da camada de saída, is númer de neurônis da camada de saída é fix e de taman desrezível n nss exeriment. Pr estes mtivs certas etaas só sã rcessadas seqüencialmente el rcess mestre. Etaa Descriçã da Etaa Prcessament Escla d cnjunt de treinament. Sincrnizaçã (Semáfr ) Paralel Cálcul da saída linear e nã linear da camada escndida Paralel. Sincrnizaçã (Semáfr ) Paralel 3 Cálcul da saída linear e nã linear da camada de saída 4 Calcular err da camada de saída 5 Calcular err da camada escndida 6 Atualizar s ess da camada de saída 6. Sincrnizaçã (Semáfr 3) Paralel 7 Atualizar s ess da camada escndida Paralel Verificaçã da Tlerância d err Tabela I Algritm Paralel da Rede Neural ulticamadas O rcess mestre também é resnsável r escler a lina d cnjunt de entradas a ser rcessada em cada iteraçã e verificar a tlerância d err, infrmand a escrav términ d treinament da rede. 4. ÉTODO EXPERIENTA Nss métd exerimental é cmst de três etaas: a imlementaçã da versã seqüencial, a imlementaçã da versã aralela e a análise de desemen. Na rimeira etaa, uma versã seqüencial da rede neural ercetrn multicamadas é desenvlvida e validada através da cmaraçã d err médi glbal encntrad aós treinament, feit ela versã seqüencial e ela funçã d ATAB que imlementa a rede neural multicamadas. O cnjunt de treinament utilizad ara validaçã fi rst em [9], nde ele é utilizad ara cntrle de laminadres. O err médi glbal é calculad através da média da sma ds errs encntrads em cada saída da rede ara cada lina d cnjunt de entradas. Na segunda etaa, a versã aralela da rede neural é imlementada e validada através da cmaraçã cm s resultads btids ela versã seqüencial. Na última etaa, a análise de desemen é realizada através da variaçã d númer de entradas e d númer de neurônis da camada escndida. O tem de ressta ara cada iteraçã d treinament da rede é cletad. Sã

4 gerads s gráfics d tem de ressta, seedu e eficiência ara facilitar a análise ds resultads btids durante exeriment. CONFIGURAÇÃO EXPERIENTA Os testes fram realizads em um dual-rcessadr, nde cada rcessadr é um Pentium III 933 z cm a memória rincial de taman GB. A imlementaçã aralela utiliza a bibliteca wintreads e fi desenvlvida n cmiladr C++ Brland Builder. A cnfiguraçã inicial da rede neural fi a seguinte: ess iniciais iguais a - u cnsecutivamente, fatr de ajuste igual a. e tlerância igual a -. O us de um dual-rcessadr ns levu a utilizar aenas rcesss u treads, ara uma melr utilizaçã de cada rcessadr. O númer de neurônis e númer de entradas fram variads em tências de (de até 4) e tem de ressta fi medid ara cada iterações d treinament da rede. 5. RESUTADOS EXPERIENTAIS Na rimeira etaa, imlementams a versã seqüencial da rede neural ercetrn multicamadas. O err médi glbal encntrad ela versã seqüencial fi arximadamente (diferença na itava casa decimal) mesm encntrad el ATAB. Cm este resultad a versã seqüencial fi validada. Na segunda etaa, cmarams a versã seqüencial e a aralela da mesma maneira, btend resultad arximad a da versã seqüencial, is mesm resultad é difícil de ser alcançad devid a grande variaçã entre s treinaments de uma mesma rede. Cm iss, a versã aralela fi validada. Na última etaa, tem de ressta gast tant ela versã seqüencial quant ela aralela, ara executar treinament r iterações, fi medid. O númer de neurônis e númer de entradas fram variads em tências de (de até 4). Na figura, que mstra tem de ressta ara a versã seqüencial, dems bservar que à medida que se aumenta númer de entradas e/u númer de neurônis, tem de ressta também aumenta, is grã u a quantidade de rcessament vai se trnand mair. É imrtante ntar que faz uca diferença, em terms de quantidade de rcessament, utilizar 4 neurônis e 5 entradas u 5 neurônis e 4 entradas, is a multilicaçã entre esses terms resulta n númer de ess que a rede ssui e a quantidade de rcessament está diretamente relacinada a númer de ess da rede. Existem também utrs fatres cm a cmunicaçã, a sincrnizaçã e veread d sistema eracinal, que estã relacinads cm desemen d rgrama. Ainda na figura, mair tem de ressta encntrad fi 4,39 segunds cm númer de neurônis e entradas iguais a 4 (númer de ess igual a ). Já menr tem de ressta encntrad fi,5 segunds cm númer de neurônis e entradas iguais a (númer de ess igual a ). Tem de Ressta (s),, 6 Tem de Ressta Numer de Entradas neurônis 5 neurônis 56 neurônis neurônis neurônis neurônis 6 neurônis neurônis Figura Tem de ressta gast ela versã seqüencial da rede neural ( iterações) Na figura 3, dems bservar que a versã aralela teve mesm cmrtament da versã seqüencial, à medida que se aumenta númer de entradas e/u númer de neurônis, tem de ressta também aumenta. Na versã aralela, mair tem de ressta encntrad fi 69,67 segunds, também cm númer de neurônis e entradas iguais a 4, u seja, gastu a metade d tem (seedu igual ) da versã seqüencial. Já menr tem de ressta encntrad fi,5 segunds cm númer de neurônis e entradas menres que. Neste cas nã uve gan cm a versã aralela, cegand a um seedu igual a,, u seja, vezes ir que a versã seqüencial. Iss crre devid a equen taman d grã de rcessament e a alt cust ara a sincrnizaçã ds rcesss. O aralelism só se trna interessante quand a quantidade de rcessament revalece sbre cust ara cmunicaçã e sincrnizaçã ds rcesss. Tem de Ressta (s), 6 Tem de Ressta Paralel Numer de Entradas neurônis 5 neurônis 56 neurônis neurônis neurônis neurônis 6 neurônis neurônis Figura 3 Tem de ressta gast ela versã aralela da rede neural ( iterações) Na figura 4, dems bservar seedu, u seja, gan da versã aralela sbre a seqüencial ara tds s testes realizads. É imrtante ntar que aralelism só fi vantajs (seedu mair que ) a artir de 4 u

5 ess, cm exeml, dems citar a situaçã nde a tlgia da rede ssui neurônis e entradas. O seedu igual a é alcançad cm arximadamente 9 u 3 ess. O mair seedu alcançad fi 3,3 cm númer de neurônis igual a 4 e númer de entradas igual a. Aesar de fazer uca diferença us de neurônis e 6 entradas u cntrári, um mair númer de neurônis cntribui um uc mais ara aumentar seedu d treinament da rede d que númer de entradas. Um resultad interessante fi alcançad: mesm utilizand aenas dis rcessadres, btivems valres de seedu maires que dis (valr ideal de seedu, nesse cas). Iss acntece devid à utilizaçã de caces interns em cada um ds rcessadres. Na versã seqüencial, na medida em que aumentams númer de ess, cace d rcessadr vai armazenand s dads necessáris ara treinament da rede (incluind s ess das entradas). Até se atingir um númer de ess igual a 3, seedu btid é igual a. Iss indica que estã crrend ucs (u quase nenum) cace miss. Quand númer de ess assa de 3, cace da máquina seqüencial fica cei, assand a utilizar líticas de substituiçã e gerand váris cace miss. Ntams que existe um taman ideal d grã ara qual este exeriment aresenta melr seedu (em trn de 6 ess). Na versã aralela, que ssui dbr de cace (dis rcessadres ssuem dis caces) d multircessadr, ainda é ssível manter tds s dads necessáris ara treinament da rede n cace. Iss evita cace miss a se requisitar um dad. Ainda na versã aralela, aós atingir taman ideal d grã, s dis rcessadres se encntram cm s caces ceis e cmeçam a utilizar líticas de substituiçã. A artir de 7 ess s caces ds dis rcessadres ficam quase semre ceis, crrend váris cace miss. Entã seedu vlta a ter valr igual a. Seedu 4,5 4 3,5 3,5,5,5 Númer de Entradas x Seedu Numer de Entradas 4 4 neurônis 5 neurônis 56 neurônis neurônis neurônis neurônis 6 neurônis neurônis Figura 4 Númer de entradas x seedu ara tdas as variações d númer de neurônis e entradas Na figura 5, dems bservar a eficiência, u seja, a utilizaçã média de cada rcessadr da versã aralela em relaçã a seqüencial, ara tds s testes realizads. É imrtante ntar que a eficiência alcançu valr, n melr cas. A eficiência também fi muit baixa ara um equen númer de entradas e neurônis, cegand a valr de,6 cm númer de neurônis e entradas iguais a. Eficiência,6,,,4 6 Númer de Entradas x Eficiência Numer de Entradas neurônis 5 neurônis 56 neurônis neurônis neurônis neurônis 6 neurônis neurônis Figura 5 Númer de entradas x eficiência 6. CONCUSÃO A imlementaçã aralela de uma rede neural ercetrn multicamadas que utiliza mdel de variável cmartilada, aresenta um alt desemen em relaçã à imlementaçã seqüencial. Basead ns resultads btids, nós cncluíms que a nssa imlementaçã aralela bteve um alt gan de desemen n treinament da rede, a utilizar-se uma tlgia nde númer de ess fi grande (mair que ). Cas cntrári, u seja, quand tlgia ssui ucs neurônis e ucas entradas, a imlementaçã seqüencial ainda é mais vantajsa. De acrd cm s resultads btids, taman ideal d grã está em trn de 6, aresentand um gan de quase 4 vezes n melr cas, nde númer de neurônis é igual a 4 e númer de entradas igual a. O taman d cace d rcessadr mstru ser um nt de cntençã tant ara a imlementaçã seqüencial quant ara a aralela. O cust ara sincrnizaçã e cmunicaçã entre s rcesss é muit alt, mas deria ser reduzid cm us de biblitecas esecíficas e timizadas ara gerenciar a sincrnizaçã entre s rcesss. A rincial cntribuiçã deste trabal fi uma imlementaçã aralela da rede neural ercetrn multicamada que utiliza mdel de variável cmartilada, nde fi demnstrada a sua caacidade de diminuiçã d tem de treinament, u seja, aument d desemen n treinament da rede. 7. TRABAHOS FUTUROS Cm trabals futurs, nós retendems desenvlver uma imlementaçã aralela da rede neural,

6 que utilize mdel de assagem de mensagens. Também testarems a imlementaçã atual em multircessadres cm mais de dis rcessadres. Seria interessante a análise d desemen desta imlementaçã em situações nde fssem variads númer de neurônis na camada de saída e também númer de camadas da rede neural.. AGRADECIENTOS Gstaríams de agradecer a Institut de Infrmática, à Pró-Reitria de Pesquisa e Pós-Graduaçã (PrPG), PIBIC, a CNPq r ns cnceder blsas de esquisa, as amigs e cmaneirs de trabal d SDC e d ICAP. 9. REFERÊNCIAS BIBIOGRÁFICAS [] Erdgan, S. S., Waab, Abdul B. Hierarcical decmsitin mdel fr recnfigurable arcitecture Hig-Seed Cmuting, Digital Signal Prcessing and Filtering Using Recnfigurable gic Cnference, SPIE 96. [] Faty, S.K., Syiam,.. A arallel design and imlementatin fr backragatin neural netwrk using ID arcitecture Electrtecnical Cnference EECON '96, t editerranean, 996. [3] Fster., I. Designing and Building Parallel Prgrams, On-line bk, 995. (tt://wwwunix.mcs.anl.gv/db/text/bk.tml) [4] Hwang, K.; Xu, Z. Scalable Parallel Cmuting:Tecnlgy, Arcitecture, Prgramming, cgraw-hill, 99. [5] Pin, A. J. Paralellizing te back-ragatin algritm using PV, 7t Prtuguese Cnference n Pattern Recgnitin, RecPad 95, Prtugal, 995. [6] Rams,. E. S., Góes,. F. W., artins, C. A. P. S. Prber: Uma Ferramenta de Análise Funcinal e de Desemen de Prgramas Paralels e Cnfiguraçã de Cluster, º Wrks de Sistemas Cmutacinais de Alt Desemen, Brasil,. [7] Rams,. E. S., Góes,. F. W., artins, C. A. P. S. Parallel Image Filtering Using WPV in a Windws ulticmuter, CSITeA. [] R.O. Rgers, D.B. Skillicrn. Using te BSP cst mdel t timize arallel neural netwrk training In Wrks f Bilgically Insired Slutins t Parallel Prcessing Prblems (BiSP3), in cnjunctin wit IPS/SPDP'9, arc 99. [9] Zárate,., Rulin, F. B. "Obtaining f Fuzzy Rules via Sensitivity Factrs and its Alicatin in Cld Rlling Prcess", SCI.