PARÂMETRO DE EXATIDÃO PARA APROXIMACÃO DE FUNCÕES UTILIZANDO MULTILAYER PERCEPTRONS NOS DOMÍNIOS REAL, COMPLEXO E DE CLIFFORD

Transcrição

1 PARÂMETRO DE EXATIDÃO PARA APROXIMACÃO DE FUNCÕES UTILIZANDO MULTILAYER PERCEPTRONS NOS DOMÍNIOS REAL, COMPLEXO E DE CLIFFORD Thalles S. Torch, Mlton R. Romero e Evandro M. Martns 3 Depto. de Eng. Elétrca, UFMS, Caxa Postal 549, CEP , Campo Grande, MS thalles.torch@gmal.com, mltonr@del.ufms.br e 3 evandro.mazna@ufms.br Resumo - Na fase de utlzação, as Redes Neuras Artfcas (RNA) Multlayer Perceptrons, trenadas com o algortmo de Backpropagaton, não conseguem aproxmar a função de nteresse para 00% dos dados de entrada. Este trabalho propõe uma metodologa para abordagem de dos pontos de nteresse: º) estmar um parâmetro de exatdão para as saídas de RNA na fase de utlzação, com o obetvo de defnr quas saídas podem ser consderadas confáves e quas não, defnndo como confáves as saídas que se aproxmam do comportamento da função de nteresse; e º) estabelecer o número de padrões a serem utlzados na fase de trenamento, que permtam a convergênca e a generalzação da rede na metodologa proposta. A metodologa basea-se no treno e utlzação de duas redes: a RNA Dreta (RNAD), utlzada para aproxmar a função de nteresse, e a RNA Inversa (RNAI), utlzada para aproxmar a nversa (FI) da função de nteresse. Caso a função a ser aproxmada não tenha FI defnda, o domíno é restrngdo para onde exsta. Na utlzação destas redes será computada a dferença entre a entrada da RNAD e a saída da RNAI. Quando a entrada da RNAD e a saída da RNAI forem computaconalmente guas, ou sea, sua dferenca muto próxma de zero, tanto quanto à aplcação exgr, será consderado que a saída da rede dreta (RNAD), sto é, a aproxmação da função de nteresse, é confável. O método é comprovado expermentalmente a partr de dados sntétcos, utlzando a função f ( x) = x, a fm de permtr o controle entre as entradas e saídas das redes com o ntuto de valdação do método nos domínos Real, Complexo e de Clfford. Os dados sntétcos e não dados de aplcações reas, se utlzam para demonstrar a vabldade do algortmo permtndo comparar os três domínos, pos possíves erros contdos nos dados reas se mesclaram com possíves erros no algortmo dfcultando a valdação do método proposto. Os resultados mostram que o método é robusto e permte determnar o parâmetro de exatdão para as saídas da RNA, o crtéro de convergênca e a qualdade da generalzação das mesmas, permtndo a comparação gráfca dos três domínos. Palavras-chave RNA, parâmetro de exatdão, Multlayer Perceptrons, Domíno Complexo, Domíno Clfford.. INTRODUÇÃO As Redes Neuras Artfcas (RNA) são consttuídas de undades de processamento denomnadas neurônos artfcas que armazenam conhecmento expermental para posteror uso []. Uma prátca estatístca comum para a escolha do conunto de trenamento dessas redes, dentre outros métodos [], é o método hold-out [3], o qual reserva a maor parte dos dados dsponíves para trenamento, geralmente mas que 50%, e o restante para valdação. Tendo como característca não deseável a admssão de subconuntos de trenamento maores ou menores que o necessáro, sto ncde dretamente nas fases de valdação e utlzação, pos as redes podem convergr de acordo com o crtéro de parada, mas não necessaramente generalzar a função deseada. Na fase de utlzação, é uma característca nerente a estas redes que alguns valores de saída seam dferentes do esperado. Em certas aplcações de controle é necessáro utlzar uncamente saídas sobre as quas a aproxmação da função de nteresse sea consderada acetável, caso contráro, não é recomendável utlzar [4], [5]. Este trabalho apresenta uma metodologa que fornecerá dos parâmetros: º) para aferr a exatdão das saídas de RNA, defnndo assm os valores de saída acetáves de acordo com a função de nteresse; º) para determnar a quantdade de padrões de trenamento necessáros para permtr a convergênca e a generalzação destas redes de acordo com a metodologa. A metodologa basea-se no treno e utlzação de duas redes: RNA Dreta (RNAD), utlzada para aproxmar a função de nteresse, e a RNA Inversa (RNAI), utlzada para aproxmar a Função Inversa (FI) da função de nteresse. Caso a função a ser aproxmada não tenha FI defnda, o domíno é restrngdo para onde exsta. Dependendo da aplcação, uma manera Bolssta Capes Brasíla/Brasl 34

2 pratca de fazer a verfcação da exstênca da nversa é fazendo um gráfco da função e vsualmente verfcando se a função é betva. As classes de problemas admssíves nesta metodologa restrngem as aplcações aos problemas que requerem o uso de redes neuras utlzadas na aproxmação de funções e que tenham nversa e se não tem nversa, que possam ser tratadas por ntervalos onde exsta a função nversa. Sobre o treno destas redes é computada a dferença entre a entrada da RNAD e a saída da RNAI, que devem ser computaconalmente guas. Esta dferença é algebrcamente gual a zero, mas pela representação de ponto flutuante no processamento, esta dferença deve ser verfcada dentro de um valor muto próxmo de zero, tanto quanto à aplcação exgr, onde esta dferença rá defnr os parâmetros de convergênca e generalzação. Na utlzação destas redes será computada também a dferença entre a entrada da RNAD e a saída da RNAI. Quando a entrada da RNAD e a saída da RNAI forem computaconalmente guas, será consderado que a saída da rede dreta (RNAD), sto é, a aproxmação da função de nteresse, é confável. Esta metodologa é aplcada para aproxmar a função quadrátca f ( x) = x, utlzando as redes Multlayer Perceptrons nos domínos Real, Complexo e de Clfford, com o ntuto de determnar os parâmetros propostos nos tens º e º de aferr a exatdão das saídas de RNA e determnar a quantdade de padrões de trenamento necessáros para permtr a convergênca e a generalzação, respectvamente. A metodologa é demonstrada, utlzando-se a função quadrátca (dados sntétcos), que tem a vantagem de: º permte a representação nos três domínos para poder comparar grafcamente os resultados e permte defnr um somorfsmo entre o domíno complexo e de Clfford; º não tem nversa para todo o domíno e pode se mostrar como se tratam essa classe de funções; 3º podem se controlar todos os parâmetros da metodologa para poder atrbur qualquer problema ao algortmo e não aos dados; 4º é sufcentemente suave para não precsar muto trenamento (precsa de poucas amostras para ser aproxmada); 5º é sufcentemente complexa para mostrar como a metodologa deve tratar com conuntos que não são totalmente ordenados. Os dados sntétcos se utlzam para demonstrar a valdade do algortmo, pos ao se utlzar dados de aplcações reas os possíves erros contdos nos dados se mesclaram com possíves erros no algortmo dfcultando a valdação do método proposto. Este trabalho está organzado como segue: a Seção apresenta os concetos relevantes para a metodologa proposta das Redes Neuras Artfcas Multlayer Perceptron no domíno Real com o algortmo de trenamento Backpropagaton; a Seção 3 apresenta os aspectos relevantes da álgebra de Clfford para o algortmo proposto; a Seção 4 estende as Redes Neuras Artfcas Multlayer Perceptron para os domínos Complexo e de Clfford com o algortmo de trenamento Backpropagaton; a Seção 5 apresenta a metodologa proposta; a Seção 6 lustra os resultados obtdos e a dscussão desses resultados; e a Seção 7 sugere os trabalhos futuros e as conclusões fnas.. REDES NEURAIS ARTIFICIAIS As Equações () e () descrevem o funconamento do neurôno artfcal [6], Fg., e as relações entre os pesos w, as entradas x, bas b, valor de atvação net, a Função de Atvação (FA) f ( ) e as saídas o, onde o estado do ambente é representado pelas entradas e o conhecmento adqurdo no trenamento é armazenado nos pesos. Fg.. Neurôno artfcal. 35

3 = w x + net b () o = f net ) () ( o net net e e = f ( net ) = (3) net net e + e Este trabalho utlza a FA Tangente Hperbólca (FATH), Equação (3), a qual é escrta na forma de função elementar transcendental, que permte a mesma representação matemátca para os domínos Real, Complexo e de Clfford, tendo apenas como dferença os valores assumdos por net [7]. O valor de net pertence ao domíno Real, Complexo ou de Clfford, de acordo com o domíno da rede neural artfcal escolhda. O modelo de RNA adotado por este trabalho é o Multlayer Perceptrons (MLP) [8], Fg., no qual se utlza o algortmo de trenamento Backpropagaton (BP), que aproxma com apenas duas camadas ocultas qualquer função contínua [9]. O modelo MLP tem como característca uma camada de entrada onde são apresentados os dados de entrada X, uma camada de saída onde se apresentam as saídas O e uma ou mas camadas ocultas, stuadas entre as camadas de entrada e de saída. Este modelo é utlzado com frequênca para resolver problemas que não seam lnearmente separáves, os quas são maora no campo da Engenhara. Os valores atrbuídos as entradas e saídas dessas camadas são modfcadas de acordo com o domíno no qual a rede está defnda.. BACKPROPAGATION NO DOMÍNIO REAL Fg.. Rede Multlayer Perceptron ( MLP ). O BP é um algortmo de aprendzagem supervsonada, que pode ser executado padrão a padrão [] da segunte manera: Cada um dos -ésmos exemplos x são aplcados à rede e esta produz as saídas o. As saídas estão baseadas no estado corrente dos pesos snáptcos, que são ncalmente defndos de forma aleatóra. Cada uma destas saídas o é comparada com uma saída deseada t para determnar a dferença entre a saída deseada e a saída obtda e, Equação (4), onde n se refere ao passo de execução do algortmo. A segur é computado o erro E (n), conhecdo como Sum of Squared Error (SSE), Equação (5), onde N é a quantdade de padrões de trenamento. Esse erro é retropropagado pela rede, a atualzação dos pesos de cada camada é proporconal a ele e tem como obetvo reduz-lo a cada nova teração. Esta rotna é repetda até que o SSE atna o crtéro de parada que é um valor defndo a pror. Alcançando esse valor, dz-se que a rede aprendeu ou está trenada [8]. e ( n) = t ( n) o ( n) (4) = N E( n) = ( e ( n)) (5) 36

4 A regra delta de atualzação dos pesos w é descrta na Equação (6), onde η refere-se à taxa de aprendzagem que controla a velocdade da convergênca, δ é o termo de propagação do erro na saída e new old w e w são os valores do peso w na teração n+ e n, respectvamente. Caso o peso pertença à camada de saída, δ deve ser o descrto na Equação (7), onde f '( ) é a dervada prmera da FA e, portanto, a função de atvação deve ser dervável. Caso pertença a uma camada oculta, δ deve ser o descrto na Equação (8), onde k é o número de neurônos na camada anteror ao se retropropagar o erro na saída da rede. O termo n (terações) dessas equações é suprmdo para melhor vsualzação das relações. Detalhes sobre o algortmo de aprendzagem Backpropagaton podem ser encontrados em [], [8]. w new = w + η δ x (6) old δ = e f '( net ) (7) δ = (δ w ) f '( net ) (8) k k 3. ÁLGEBRAS DE CLIFFORD k As Álgebras de Clfford são um tpo de álgebra assocatva, e são uma das possíves generalzações dos números Complexos e dos quaternons [0], [], [], as quas são defndas da segunte manera: seam a, b, c,... vetores pertencentes ao espaço vetoral V n-dmensonal sobre os reas e α qualquer escalar Real. A álgebra geométrca n Cl p, q = Cl( Vn ) com n = p + q é gerada a partr do espaço vetoral V onde é defndo o produto geométrco, Equação (9), n que é a combnação lnear do produto nterno e do produto exteror onde o prmero representa os escalares e o segundo os bvetores []. ( a b + b a) + ( a b b a) a b = a b + a b = (9) Este produto guarda as seguntes propredades sobre todos os vetores:. a ( b c) = ( a b) c;. a ( b + c) = a b + a c; 3. ( b + c) a = b a + c a; 4. bα = αb; 5. b = ± b. As álgebras de Clfford têm dversas assnaturas Cl p,, onde: p é a quantdade de elementos de base q e que, elevados ao quadrado, são guas a ( + ) e q é a quantdade de elementos de base e que, elevados ao quadrado, são guas a ( ). Essas geram exatamente n combnações lnearmente ndependentes entre a undade escalar e os vetores de base {,e,e, K,e n } através do produto geométrco. Estes elementos satsfazem às seguntes relações: ( e ) = + com =,,3, K, p ( e ) = com = p +, p +, K, n e e = e e com =,,3, K, p 37

5 Os elementos utlzados pela álgebra são chamados k-blades. Esses elementos são os escalares (0-blades), vetores (- blade), segmentos de plano orentados (-blades) e volumes orentados (3-blades) como mostra a Fg. 3, a qual exbe uma possível representação destes subespaços [3], [4]. Os k-blades nada mas são do que subespaços orentados [5], onde o produto geométrco, Equação (9), permte a modelagem dos espaços vetoras conhecdos através desses elementos. Fg. 3. k-blades: subespaços orentados. Dependendo da assnatura da álgebra de Clfford, essa pode ter a álgebra dos números Complexos como subespaço [4], [5]. Como é o exemplo da assnatura Cl que tem a álgebra dos números Complexos expandda sobre os elementos de, 0 base {,e e } onde ( e e ) = n é equvalente à undade magnára do plano Complexo. Para n = 3 as combnações Cl, somorfa ao espaço Eucldano 3D que possu lnearmente ndependentes defnem a álgebra de Clfford de assnatura 3, 0 8 elementos: escalar ) onde o símbolo ( ) (, vetores ( e,e, ), bvetores ( e e,e e,e ) e o trvetor ou pseudoescalar ( e e ) e3 3 3 e, e3 dentfca o produto exteror. O produto geométrco, para a álgebra de Clfford com assnatura Cl, 3, 0 está defndo como segue, na Tabela, onde e = e e ; e3 = e e ; 3 e3 = e3 e ; e3 = e e e. 3 Tabela. Produto geométrco com assnatura Cl. 3, 0 4. REDES NEURAIS ARTIFICIAIS NOS DOMÍNIOS COMPLEXO E DE CLIFFORD Do ponto de vsta estrutural, proetar RNA que possam processar snas Complexos ou de Clfford, este últmo apresentado na Seção 5, é semelhante a proetar RNA de domíno Real. Os concetos de topologa de rede, modos de trenamento, crtéros de parada e valdação do trenamento são análogos às RNA de domíno Real [], [6], [7], [8]. A dferença encontra-se nos valores de entrada, alvos e pesos que são ou números Complexos ou números de Clfford e, por consequênca, necesstam de FA defndas em seu domíno de atuação. Entretanto, certos cudados devem ser tomados ao se escolher a FA a ser mplementada, pos essa escolha tem nfluênca dreta na adaptação do algortmo BP, tanto para o domíno Complexo quanto para o de Clfford. Esta nfluênca está lgada aos tpos de função que as RNA mplementadas com determnada FA complexa ou de Clfford podem aproxmar [7],[8] e na adaptação do algortmo BP para estes domínos onde há a necessdade de que a FA sea dervável para poder efetuar o trenamento. O algortmo pode ser mplementado usando as dervadas totas ou parcas [], [9], [0], [], [], [3]. Tanto as FA complexas quanto as de 38

6 Clfford podem ser dvddas em três classes de nteresse: as nteras não-lmtadas, não-nteras lmtadas e as nteras lmtadas []. Essa últma classe lmta a quantdade de funções que as RNA complexas podem aproxmar e consequentemente esta lmtação também estará presente em álgebras de Clfford de assnatura somorfa à álgebra dos números Complexos. Isso é explcado pelo teorema de Louvlle, o qual estabelece que qualquer função complexa ntera e lmtada no domíno Complexo é uma função constante e, portanto, não é adequada para a mplementação do algortmo de trenamento BP []. No domíno Complexo e no domíno de Clfford, a FATH é chamada de fully tangente hperbólca, Equação (3). Essa função representa a classe de funções nteras não-lmtadas, Fg. 4, onde a é a parte real e d a parte magnára do argumento da função, e O a saída da função. Fg. 4. Função de Atvação Fully Tangente Hperbólca. No domíno Complexo, essa FA possu valores que tendem ao nfnto, valores sngulares, peródcos em net 0 ± ( q + )π com q. Caso a saída do neurôno stue-se em alguma sngulardade, representada pelos pcos na Fg. 4, onde net = a + d, a dervada da FA assumrá um valor elevado e consequentemente a correção dos pesos poderá ser maor que o necessáro, podendo elevar o tempo de convergênca ou até mesmo comprometê-lo []. Para contornar esse problema, em [0] sugere-se que os padrões de trenamento, valdação, utlzação e os pesos ncas devam ser escalados para uma regão do plano Complexo onde as sngulardades tenham menor nfluênca. Essas mesmas meddas podem ser tomadas quanto à FA fully tangente hperbólca de Clfford, desde que a assnatura da álgebra sea somorfa à álgebra dos números Complexos. Defnções e característcas detalhadas com relação aos tpos de FA de domíno Complexo podem ser encontradas em [7] e para o domíno de Clfford em [],[]. 4. BACKPROPAGATION COMPLEXO E DE CLIFFORD Para que o algortmo BP possa processar no domíno Complexo ou de Clfford, é necessáro redefnr para esses domínos o SSE, Equação (5), e as Equações (6), (7) e (8) que compõem a regra delta de atualzação dos pesos e consequentemente a FA. Este trabalho adota a regra delta de domíno Complexo e de Clfford, esse últmo de assnatura Cl, para o uso da FA 0, 3 fully tangente hperbólca defndos nas Equações (), (), (3) e (4). Essa regra possu a mesma representação matemátca para os dos domínos devdo ao somorfsmo. A generalzação dessas relações para qualquer álgebra de Clfford de assnatura Cl p, pode ser encontrada em []. O erro q na saída da rede complexa e na rede de Clfford é defndo de forma análoga ao domíno Real, Equação (4), com a dferença que e ( n) { ou Cl }. Há consenso que a função custo, Equação (0), tanto no domíno Real [], Complexo 0, 3 [7], [8], [9], [0], [] ou de Clfford [], [3], [6], [], deva ser uma função Real. Nas Equações (0), (), () e (3), o operador utlzado nas equações deve ser mudado de acordo com o domíno, portanto, se o domíno for complexo, o operador representa a multplcação convenconal; caso o domíno sea o de Clfford Cl, o operador 0, 3 representa o produto geométrco. 39

7 E = N * ( e e ) = (0) = e f '( net ) * δ () * * δ = δ k w k f '( net ) () k w new old = w + η δ x (3) * O astersco ( ) sobrescrto mplca no conugado complexo ou de Clfford [4]. No domíno complexo, o complexo conugado de um número z = a ± b é dado por z * = am b, ou sea, basta nverter o snal da parte magnára. Já no domíno de Clfford, o processo é semelhante com a dferença que o complexo conugado de cada um dos k-blades depende do grade k, onde grade corresponde à dmensão do blade, à qual o blade pertence. Tomemos como exemplo o multvetor A dado por: m Os snas de cada um dos k-blades do complexo conugado de Clfford são dados pela expressão ( ) k m = ( k mod 4). A Tabela descreve essa relação. km + k, onde Logo, o complexo conugado do multvetor A será: Tabela. Snal do conugado do blade de grade k. 5. METODOLOGIA DIRETA-INVERSA: DOMÍNIO REAL A metodologa proposta por este trabalho basea-se no trenamento de duas RNA: uma rede para aproxmar a função de nteresse, RNAD, e uma segunda para aproxmar a função nversa da prmera, RNAI, como mostra a Fg. 5. Seam, respectvamente: X, T e O: o vetor de entradas, alvos e saídas da RNAD; O, X e α X : o vetor de entradas, alvos e saídas da RNAI; N: o número de padrões de trenamento. 40

8 Incalmente, fo realzada apenas uma ncalzação da rede neural para cada caso. Sabe-se que o desempenho da rede pode varar em função dos pesos ncas e do crtéro de parada utlzado, mas este aspecto não é estudado neste trabalho. Posterormente é fornecdo para a RNAD um conunto de trenamento, padrão a padrão, [X T] com N ncalmente pequeno. Esta rede é trenada até se atngr o crtéro de parada e os pesos representatvos deste treno são salvos. Logo após, a RNAI começa seu trenamento com o conunto [O X]. Seu trenamento é executado até se atngr o crtéro de parada, que pode ser ou não gual ao crtéro de parada da RNAD. Seus pesos representatvos são salvos e a rede fornece α como conunto de saídas atuas o vetor X. Este fluxo de trenamento pode ser vsualzado na Fg. 5. Fg. 5. Fluxo de dados no trenamento e utlzação das redes dreta e nversa. Após o trenamento seqüencal das RNAD e RNAI, nesta ordem, o valor absoluto da dferença entre cada componente do α vetor X e X é calculado de acordo com o erro e, Equação (4), e logo em seguda é computada a méda desses erros nv E, Equação (5). nv e nv α ( t) x( t) x ( t) =, com t N (4) E nv = N N t= e nv ( t) (5) Esse últmo parâmetro será utlzado para separar as saídas confáves das não-confáves na fase de utlzação, onde uma saída confável é aquela que é menor que o erro médo de trenamento E. O uso desse na fase de utlzação processa-se nv da segunte manera: um conunto de utlzação X é aplcado à RNAD e o fluxo da Fg. 5 é proceddo usando-se os pesos α armazenados após o trenamento das redes, desconsderando-se os vetores alvos, para fornecer a saída X. Logo após, o α erro e é computado para cada componente dos vetores X e X de utlzação. Esses são classfcados de acordo com a nv desgualdade da Equação (6). Para qualquer quantdade N de padrões de trenamento, o parâmetro E consegue nv classfcar os valores confáves e não-confáves. ( ) o t ( t) ( t) não- confável, se env > Env será = (6) confável, se env Env Para se obter a quantdade de padrões que permtrá à RNAD generalzar, aumenta-se gradatvamente a quantdade de padrões N de trenamento. Efetua-se um novo trenamento seqüencal da RNAD e RNAI e avala-se o novo valor para o parâmetro E. Esse novo valor tenderá a ser menor que o do trenamento anteror. Este processo é repetdo até que nv E nv não tenha mas mudanças sgnfcatvas em seu valor, sto é, se mantém dentro dos valores da defnção de computaconalmente guas.. Para esse últmo trenamento, o valor N assocado a ele é a quantdade de padrões que permtrá à RNAD generalzar a função de nteresse satsfatoramente. 5. METODOLOGIA DIRETA-INVERSA: DOMÍNIO COMPLEXO E DE CLIFFORD Esta metodologa é utlzada no domíno Complexo e de Clfford. Nestes domínos, é necessára a utlzação de outro parâmetro para aferr a quantdade de padrões de trenamento que garanta a generalzação da função de nteresse. Este fato deve-se à característca nerente destes domínos: ambos não são totalmente ordenados. Este parâmetro é dado como módulo da dferença dos valores absolutos entre a entrada da RNAD e a saída da RNAI, Env, como mostra a Equação 4 dm

9 (7), lembrando que a defnção de módulo para o domíno Complexo e para o domíno de Clfford [4] deve ser respetada. No caso do domíno de Clfford, o módulo é dado por multvetor A e é obtdo nvertendo-se a ordem dos fatores do k-blades com grade k. A = A Ã, onde à é defndo como reverso de um Env dm = N N α t= x ( t) x ( t) (7) O parâmetro E, Equação (6), permanece sendo o valor que fará a classfcação entre os valores confáves e os nãoconfáves, na fase de utlzação nestes nv domínos. 6. TREINAMENTOS E RESULTADOS A função quadrátca Real, Complexa e de Clfford não tem sua FI garantda por todo domíno, razão pela qual os domínos dessa função são restrngdos para a elaboração dos resultados. Os algortmos BP para o domíno Real [], [8], Complexo, [7], [8], [9], [0], [] e de Clfford [], [4], [5], [] foram desenvolvdos no ambente Matlab, versão (R4), e escrtos de forma a não conter nenhuma melhora de otmzação ou adaptações no algortmo para facltar a convergênca ou qualquer outra mudança que vse a ncrementar o desempenho. Esta medda fo tomada para analsar as capacdades da metodologa proposta. A topologa em cada domíno, defnda por tentatva e erro [], sem um estudo detalhado, fo escolhda de manera que permta a função quadrátca convergr. A Tabela 3 descreve os parâmetros de trenamento das redes nos três domínos de atuação. Tabela 3. Parâmetros de trenamento RNAD e RNAI. Para a avalação da capacdade de classfcação das saídas confáves e das não-confáves, na fase de utlzação foram gerados 500 padrões de utlzação que foram submetdos a cada uma das redes trenadas, as quas foram trenadas com dferentes quantdade de padrões, todos esses valores pertencentes aos ntervalos de trenamento especfcados para cada uma das redes. 6. RESULTADOS NO DOMÍNIO REAL Os conuntos de trenamento fornecdos às redes reas são valores gualmente espaçados entre [,5]. Os dados de trenamento não foram gerados aleatoramente, para ter controle sobre a sua localzação. O trenamento ncal com dos padrões mostra que a metodologa consegue classfcar as saídas de forma satsfatóra, como pode ser observado na Fg. 6, onde fca claro que os 4

10 Fg. 6. Saídas da RNAD trenada com padrões: domíno Real. valores confáves estão próxmos dos padrões de trenamento (na fgura superor esquerda), como era esperado, á que dos padrões de trenamento são nsufcentes para representar a função quadrátca no ntervalo especfcado. Os valores não confáves estão mostrados na fgura superor dreta e todos os resultados untos na fgura nferor. Com o aumento progressvo da quantdade de padrões de trenamento, verfcou-se também o aumento da quantdade de valores classfcados como confáves (na fgura superor esquerda), como pode ser notado na Fg. 7. Os valores não confáves estão mostrados na fgura superor dreta e todos os resultados untos na fgura nferor. É notóro também o comportamento do erro Env, que tem seu valor reduzdo conforme o aumento de padrões de trenamento. Fg. 7. Saídas da RNAD trenada com 5 padrões: domíno Real. 43

11 Observando-se a Tabela 4, podemos verfcar que, a partr de cnco padrões de trenamento, o parâmetro Env á não sofre alterações sgnfcatvas. Conclu-se, de acordo com a metodologa proposta, que essa é a quantdade sufcente para generalzar esta função no ntervalo admtdo. Tabela 4. Comportamento do erro Env: domíno Real. No domíno Real, o parâmetro Env proposto consegue classfcar a exatdão das saídas da RNA e ao mesmo tempo quantfcar o tamanho do conunto de trenamento necessáro para generalzar a função. Verfcou-se necessáro usar duas camadas ocultas, vsto que o aumento gradatvo de padrões aumenta demasadamente o número de épocas de trenamento, quando utlzada apenas uma camada oculta. Com duas camadas ocultas, as redes convergem para quasquer quantdades de padrões de trenamento. 6. RESULTADOS NO DOMÍNIO COMPLEXO Pelo fato de o domíno Complexo não ser um conunto totalmente ordenado, como os números reas sobre a reta Real, fo utlzada a representação de um número Complexo na forma exponencal z = r exp( θ ) para construr os conuntos de trenamento e de utlzação da função quadrátca complexa. Esta forma permte gerar números Complexos gualmente espaçados pela fase θ sobre um determnado rao r de nteresse. Tal como a função quadrátca real, a função quadrátca complexa não tem sua FI garantda por todo o seu domíno. Assm, optamos por uma faxa de valores para a fase no rao untáro, onde a função quadrátca tenha sua função nversa garantda. Os parâmetros de trenamento para a RNAD e RNAI de domíno Complexo são mostrados na Tabela 3, na Seção 6. O comportamento da metodologa neste domíno va ao encontro dos resultados no domíno Real. Com algumas ressalvas, dscutdas na Seção 7, neste domíno Env é o parâmetro que afere a quantdade de padrões que permte a generalzação da função. Como no domíno Real, o erro Env consegue classfcar satsfatoramente as saídas confáves das não-confáves, na fase de utlzação da RNAD, como se pode observar nas Fgs. 8 e 9, as quas também mostram que os valores confáves se encontram próxmos dos valores de trenamento, como esperado. Nas fguras os valores confáves estão mostrados na fgura a esquerda, os valores não confáves estão mostrados na fgura central e todos os resultados untos na fgura dreta. Neste domíno também se verfca que o aumento de padrões de trenamento melhora a exatdão dos valores de saída da RNA complexa. Observando-se a Tabela 5, podemos notar que ses padrões de trenamento são sufcentes para garantr a generalzação da rede dreta. Tabela 5. Comportamento dos Erros Env e 44 Env : domíno Complexo. dm

12 Fg. 8. Saídas da RNAD trenada com padrões: domíno Complexo. Fg. 9. Saídas da RNAD trenada com 6 padrões: domíno Complexo. 6.3 RESULTADOS NO DOMÍNIO DE CLIFFORD Conforme dscutdo na Seção 3, as álgebras de Clfford podem ter, dependendo da sua assnatura, a álgebra dos números Complexos como subespaço. A fm de facltar a ponderação dos resultados e estabelecer parâmetros observáves, foram fornecdos conuntos de trenamento e utlzação para as RNA de Clfford de assnatura Cl, a qual contém o subespaço 0, 3 gerado pelos elementos de base {,e e }, somorfo à álgebra dos números Complexos. Na Tabela 3, na Seção 6, é possível observar que os parâmetros de trenamentos das redes complexas e de Clfford são semelhantes dferencando-se apenas na topologa. Esta semelhança é propostal para a comparação e avalação da metodologa nos dos domínos. No domíno de Clfford, a metodologa também conseguu classfcar as saídas confáves das não-confáves por meo do parâmetro Env, resultado que pode ser observado nas Fgs. 0 e. Nas fguras os valores confáves estão mostrados na fgura a esquerda, os valores não confáves estão mostrados na fgura central e todos os resultados untos na fgura dreta. 45

13 Fg. 0. Saídas da RNAD trenada com padrões: domíno de Clfford. Fg.. Saídas da RNAD trenada com 6 padrões: domíno de Clfford. A metodologa também conseguu aferr a quantdade de padrões de trenamento para permtr a generalzação da RNAD, utlzando-se o parâmetro Env, o qual mostrou que ses padrões são sufcentes para tal conclusão, como se evdenca na dm Tabela 6. Tabela 6. Comportamento dos erros Env e 46 Env : domíno de Clfford. dm Esses resultados eram esperados, á que este domíno de atuação é somorfo ao domíno Complexo. Verfcou-se também que uma menor quantdade de neurônos na camada oculta, ver Tabela 3, consegue guardar nformação sobre o comportamento da função quadrátca complexa, resultado esse que va ao encontro do trabalho em [3], no qual se verfcou que o modelo de neurôno artfcal de Clfford tem uma capacdade maor de armazenamento de nformação em seus pesos snáptcos, em comparação aos neurônos defndos nos domínos Real e Complexo. Porém, o aumento do custo computaconal é evdente na comparação das épocas de treno, Tabelas 5 e 6, resultados esses á confrmados pelo trabalho em [6]. Neste domíno, a metodologa também demonstra que o aumento de padrões de trenamento melhora a

14 representação da função e consequentemente a exatdão nos dados de saída. Pode-se, também, notar que o aumento ndscrmnado de padrões não ra melhorar substancalmente a representação da função nem o grau de exatdão nos dados de saída, e esta conclusão é constante nos três domínos de atuação. 7. CONCLUSÕES Este trabalho propôs, valdou e demonstrou a metodologa Dreta-Inversa como uma possível solução para: º) estmar a confabldade das saídas das redes na fase de utlzação; e º) estabelecer o número mínmo de padrões a serem utlzados na fase de trenamento, para garantr a convergênca e a generalzação das redes. A metodologa fo desenvolvda para a abordagem de problemas que possuam funções nversas ou que tenham nversa defnda em domínos restrtos, como fo demonstrado na aproxmação da função quadrátca f ( x) = x para os domínos Real, Complexo e de Clfford. Os resultados mostram a efcênca da metodologa nesses três domínos na separação dos resultados confáves dos não-confáves. O modelo de neurôno artfcal de Clfford tem uma capacdade maor de armazenamento de nformação em seus pesos snáptcos, em comparação aos neurônos defndos no domíno Complexo, que, por sua vez, têm uma capacdade maor de armazenamento de nformação em seus pesos snáptcos, em comparação aos neurônos defndos no domíno Real. Os resultados expermentas nos três domínos mostram que o aumento ndscrmnado de padrões não ra melhorar substancalmente a representação da função nem a confabldade, neste trabalho defnda como a exatdão, nos dados de saída. Dexa-se como sugestão para trabalhos futuros a aplcação da metodologa para problemas prátcos em Engenhara, bem como nas áreas onde as RNA e as álgebras de Clfford são utlzadas com frequênca, tas como: vsão computaconal, robótca, controle, etc. 9. REFERÊNCIAS [] Haykn S., Neural Networks. A Comprehensve Foundaton, Macmllan College Publshng, New York, 994. [] Yamasak, K., Ogawa, H., Methods for choosng a tranng set whch prevents over-learnng, Neural Networks, IEEE World Congress on Computatonal Intellgence, vol. pp , 994. [3] Kohav R., A study of cross-valdaton and bootstrap for accuracy estmaton and model selecton, Proceedngs of the Fourteenth Internatonal Jont Conference on Artfcal Intellgence, vol., no., pp.37-43, 995. [4] K. J. Hunt, D. Sbarbaro, R. Zbkowsk, P. J. Gawthrop, Neural networks for control systems--a survey, Automatca, Volume 8, Issue 6, November 99, Pages 083-, ISSN , DOI: 0.06/ (9)90053-I. [5] Hunt, K.J.; Sbarbaro, D.;, Neural networks for nonlnear nternal model control, Control Theory and Applcatons, IEE Proceedngs D, vol.38, no.5, pp , Sep 99. [6] Mnsky, M., Papert, S., Perceptrons, Cambrdge, Mass: MIT Press, 969. [7] Km, T., Complex Backpropagaton Neural Network Usng Elementary Transcendental Actvaton Functons, IEEE Internatonal Conference on Acoustcs, Speech, and Sgnal Processng, pp.8-84, 00. [8] Lawrence J., Introducton to Neural Networks and Expert Systems, Nevada Cty, CA: Calforna Scentfc Software, 99. [9] Cybenko G., Contnuous Valued Neural Networks wth Two Hdden Layers Are Suffcent, Techncal Report, Department of Computer Scence, Tufts Unversty, 988. [0] Hestenes D., Reformng the mathematcal language of physcs, Amercan Journal of Physcs, vol.7, no., pp.04-, 003. [] Qng Y,. Learnng rules for low-dmensonal Clfford neural networks. Master thess, Portland State Unversty, 004. [] Hestenes D. and Sobczyk G., Clfford Algebra to Geometrc Calculus: A Unfed Language for Mathematcs and Physcs, Sprnger, 984. [3] Sommer G., Geometrc computng wth Clfford algebras, publsher: Spnger-Verlag, London, UK,

15 [4] Dorst, L., Mann, S., Geometrc Algebra: A Computatonal Framework for Geometrcal Applcatons (Part ), IEEE Computer Graphcs and Applcatons, vol., no.3, 00. [5] Mann, S., Dorst, L., Bouma, T., The makng of a geometrc algebra package n Matlab, Relatóro Técnco CS-99-7, Unversty of Waterloo, Canada, 6 pages, 999. [6] Buchholz S. and Sommer G., On Clfford neurons and Clfford multlayer perceptrons, Neural Networks Journal, vol., no.7, pp , 008. [7] Arena P., Fortuna L., Re R. and Xbla M. G., Multlayer perceptrons to approxmate quaternon valued functons. Neural Networks, v. 0, n., p , 997. [8] Arena P., Fortuna L., Re R. and Xbla M. G., On the capablty of neural networks wth complex neurons n complex valued functons approxmaton, Internatonal Symposum on Crcuts and Systems, PP.68-7,993. [9] N. Benvenuto and F. Pazza, On the Complex Backpropagaton Algorthm, IEEE Transactons on Sgnal Processng, vol.40, no.4, pp , 99. [0] Henry Leung and Smon Haykn, The Complex Backpropagaton Algorthm, IEEE Transactons on Sgnal Processng, vol.39, no.9, pp.0-04, 99. [] G. M. Georgou and Koutsougeras C, Complex doman backpropagaton, IEEE Transactons on Crcuts and Systems. II: Analog and Dgtal Sgnal Processng, vol.39, no.5, pp , 99. [] Pearson J. and Holloway R. and Bsset D. L., Computaton wth Clfford valued Feed-Forward Networks, Oxford Unversty Press, USA, 999. [3] Needham T., Vsual Complex Analyss, Oxford Unversty Press, USA, 999. [4] Dorst, L., Fontne, D.; Mann, S., Geometrc Algebra for Computer Scence: An Obect-Orented Approach to Geometry (The Morgan Kaufmann Seres n Computer Graphcs), Morgan Kaufmann Publshers Inc., San Francsco,