O Método de Redes Neurais com Função de Ativação de Base Radial para Classificação em Data Mining

Transcrição

1 O Método de Redes Neuras com Função de Atvação de Base Radal para Classfcação em Data Mnng Ana Paula Scott 1, Mersandra Côrtes de Matos 2, Prscyla Walesa T. A. Smões 2 1 Acadêmco do Curso de Cênca da Computação Undade Acadêmca de Cêncas, Engenharas e Tecnologas UNESC 2 Professor do Curso de Cênca da Computação Undade Acadêmca de Cêncas, Engenharas e Tecnologas UNESC anah.sour@gmal.com, {mem,pr}@unesc.net Abstract. The mprovement about data storage entaled the ncrease of large databases, resultng n the necessty for nowledge dscovery, dstngushng data mnng among nformaton analyss technques. In ths context, ths artcle presents the modelng and development of the radal bass functon networ algorthm for the classfcaton tas n a free data mnng tool called Shell Oron Data Mnng Engne. Ths nd of neural networ has as objectve to classfy non-lnear databases accordng to the group of each element, performng a mappng of nput data. Keywords: Data Mnng, Classfcaton, Neural Networs, Radal Bass Functon. Resumo. Os avanços computaconas no que se refere ao armazenamento de dados ocasonaram a formação de grandes bases de dados resultando na necessdade de extração do conhecmento, destacando-se o data mnng dentre as tecnologas para análse de nformações. Deste modo, este artgo demonstra a modelagem e desenvolvmento do algortmo de redes neuras com função de atvação de base radal para a tarefa de classfcação em uma ferramenta gratuta de data mnng denomnada Shell Oron Data Mnng Engne. Esta rede neural tem como objetvo classfcar uma base de dados não-lnear de acordo com o grupo a que cada regstro pertence realzando um mapeamento dos dados de entrada apresentados. Palavras-chave: Data Mnng, Classfcação, Redes Neuras, Radal Bass Functon. 1. Introdução Analsar e extrar conhecmento útl de grandes bases de dados tornou-se um problema complexo para as organzações devdo ao crescmento do volume de dados armazenados. Para facltar esta análse são utlzadas ferramentas de data mnng que são em sua maora comercas [Goldschmdt e Passos 2005]. A fm de dsponblzar uma ferramenta gratuta, o Grupo de Pesqusa em Intelgênca Computaconal Aplcada do Curso de Cênca da Computação da UNESC

2 mantém em desenvolvmento a Shell Oron Data Mnng Engne, que já possu dferentes tarefas e métodos mplementados. Dentre as tarefas exstentes, a classfcação é uma das mas populares e consste em encontrar propredades comuns em um conjunto de regstros de uma base de dados e relaconá-los a uma classe pré-defnda. O método de redes neuras destaca-se nesta tarefa devdo a sua capacdade de aprendzagem por experênca e classfcação de dados não conhecdos. Deste modo, neste artgo apresenta-se o desenvolvmento método de redes neuras com função de atvação de base radal para a tarefa de classfcação na Shell Oron [Han e Kamber 2006]. 2. Descoberta de Conhecmento em Bases de Dados A descoberta do conhecmento em bases de dados auxla na análse e extração de conhecmento útl de grandes bases. Este processo é dvddo em três etapas [Han e Kamber 2006]: a) pré-processamento: consste na transformação dos dados para tornar possível a aplcação dos algortmos; b) data mnng: refere-se efetvamente à busca por conhecmento e extração de padrões da base de dados, é consderada a etapa mas mportante; c) pós-processamento: realza-se a análse e nterpretação dos resultados obtdos com o data mnng, para facltar o entendmento do usuáro Data Mnng Data mnng é defndo como um processo de reconhecmento de padrões no qual são aplcadas técncas ntelgentes a fm de extrar conhecmento mplícto nas bases de dados e auxlar no processo decsóro. O uso desta técnca não é restrto as empresas, oferecendo vantagens também em áreas como saúde, economa, geologa dentre outras, devdo à potencalzação dos recursos computaconas e no constante aumento do volume de dados [Olson e Delen 2008]. As prncpas tarefas de data mnng são: a) assocação: busca relações entre os dados que possam dentfcar uma tendênca; b) clusterzação: agrupa elementos de uma base com característcas semelhantes entre s e dferentes de outros grupos; c) classfcação: assoca cada regstro de uma base de dados à uma classe; d) prevsão: prevê futuros valores de um índce por meo da análse do comportamento passado. 3. A Tarefa de Classfcação no Processo de Data Mnng A classfcação é uma tarefa predtva que realza o mapeamento dos regstros de uma base de dados em uma quantdade fnta de conjuntos, atrbundo cada elemento a uma categora pré-defnda [Han e Kamber 2001].

3 Nesta tarefa o conjunto de dados é dvddo em dos grupos: dados de trenamento, composto pelos regstros utlzados na fase de aprendzagem, e dados de teste, utlzados na avalação do modelo gerado Na aprendzagem os dados para os quas as classes são conhecdas são utlzados na cração de um modelo classfcador. Posterormente os dados de teste são utlzados para estmar a capacdade do modelo em classfcar dados não conhecdos e a habldade de atrbur cada regstro à classe correta [Russel e Norvg 2004]. 4. O Método de Redes Neuras na Tarefa de Classfcação Redes neuras são estruturas nas quas os neurônos estão dspostos em camadas e nterlgados por conexões conhecdas como pesos snáptcos que representam o conhecmento da rede. Estas estruturas possuem a capacdade de classfcar padrões desconhecdos adequando-se à resolução de problemas onde se tem pouco conhecmento das relações entre atrbutos e classes. São também capazes de adqurr conhecmento por meo de um conjunto reduzdo de exemplos e produzr respostas consstentes para dados não conhecdos [Hayn 2001]. O processo de aprendzagem de uma rede neural ocorre por meo do ajuste dos seus pesos snáptcos de acordo com a resposta da rede aos dados de entrada. O modo como é realzado este ajuste é que determna o tpo do aprendzado da rede que pode ser supervsonado quando a rede aprende utlzando exemplos fornecdos por um supervsor externo, ou não-supervsonado, quando utlza apenas os dados de entrada [Hayn 2001]. As redes neuras de uma só camada são capazes de resolver apenas problemas lnearmente separáves, ou seja, que podem ser satsfetos por uma reta ou hperplano como frontera de decsão (Fgura 1), pos utlzam algortmos de trenamento capazes de ajustar os pesos de somente uma camada. Já a resolução de problemas de classfcação não-lneares exge a utlzação de algortmos que ajustem mas de uma camada, por sso redes neuras com uma ou mas camadas ocultas são aplcáves neste tpo de problema [Bshop 1995]. Fgura 1. Classfcação lnear e não-lnear 5. O Método de Redes Neuras com Função de Atvação de Base Radal Uma rede neural com Função de Atvação de Base Radal (RBF) consste em um modelo neural multcamadas, capaz de aprender padrões complexos e resolver problemas não-lnearmente separáves.

4 Fgura 2. Arqutetura da rede RBF A arqutetura de uma rede RBF está dvdda em três camadas (Fgura 2): camada de entrada, na qual os padrões são apresentados à rede; camada ntermedára ou oculta que realza o mapeamento não-lnear do espaço de entrada utlzando função gaussana; e camada de saída que fornece a resposta da rede ao padrão apresentado [Theodords e Koutroumbas 2006]. 6. O Método de Redes Neuras com Função de Atvação de Base Radal na Shell Oron Data Mnng Engne A modelagem do módulo de classfcação com redes RBF ncou-se com a construção dos dagramas de caso de uso, atvdades e seqüênca utlzando os padrões UML. Posterormente fo desenvolvda a demonstração matemátca do funconamento da rede a fm de facltar o entendmento e a mplementação. O processo de aprendzado da rede RBF desenvolvda transforma um problema de classfcação não-lnear em um problema lnear, e é dvddo nas seguntes etapas: a) seleção dos centros (c): um subconjunto dos dados de trenamento é atrbuído aos vetores centro das funções de base radal; b) defnção do rao de abrangênca (): calcula-se a área de sensbldade da função de base em relação ao seu centro utlzando a segunte equação: dstmax ( c, c j ) σ =, j (1) 2H c) cálculo da atvação dos neurônos ocultos (u): defne-se o grau de atvação de cada neurôno da camada oculta utlzando dstânca eucldana conforme a equação (2) u ( t) = x( t) c ( t), = 1, H (2) d) mapeamento do espaço não-lnear (): na camada oculta da rede, as funções gaussanas defndas pela equação (3) realzam a transformação dos dados de entrada não-lneares;

5 2 u = ( t) ϕ ( t) exp (3) 2 2σ e) cálculo das saídas (O): os pesos de saída da rede são atualzados de acordo com a regra do perceptron smples e utlzados na próxma teração. 1, ( t) = 0, U ( t) 0 U ( t) < 0 Onde U (t) é defndo pela equação (5): ο (4) U H ( t) = m ( t) ϕ ( t) (5) = 1 f) cálculo do erro (e): dferença entre a saída desejada e a saída real da rede, onde: e ( t) d ( t) ο ( t) = (6) g) ajuste das snapses (m): a atualzação dos pesos snáptcos descrta na equação (7) ocorre somente quando o erro for dferente de zero. m ( t 1) = m ( t) +ηe ϕ ( t) + (7) h) condção de parada (E): o algortmo atnge a convergênca quando a rede não apresentar mudanças sgnfcantes nas snapses. Essa condção pode ser verfcada por meo da equação (8). 1 N = N = 1 ( ) 2 e ( t ) E (8) A apresentação de todos os vetores de trenamento à rede defne uma época de trenamento, nesta fase a condção de parada é testada e se não for satsfeta, o conjunto de trenamento é embaralhado e a rede contnua seu processamento teratvamente Implementação e Realzação de Testes A rede RBF fo mplementada no módulo de classfcação da Shell Oron Data Mnng Engne por meo da lnguagem de programação Java e ambente de programação Netbeans 6.8. A Shell Oron possblta a conexão com drvers de dferentes bancos de dados, sendo que nos testes realzados nesta pesqusa optou-se pelo uso do MySQL 5.1, dsponível gratutamente para download em: Para executar a tarefa de classfcação por meo de redes RBF é necessáro defnr alguns parâmetros da rede: a) quantdade de classes: número de classes que o algortmo rá dentfcar, o valor nformado não pode ser maor que a quantdade real de classes;

6 b) quantdade de épocas: quantdade máxma de épocas executadas. Esta é uma condção de parada utlzada somente para casos em que o algortmo não atnge a convergênca por meo do cálculo do erro médo; c) taxa de aprendzagem: taxa de atualzação dos pesos snáptcos que corresponde ao grau de aprendzagem da rede; d) quantdade de centros: quantdade de funções de base radal na camada oculta, este valor não pode ser muto alto para não ocasonar overfttng, nem muto baxo que gere underfttng; e) atrbutos de entrada: atrbutos da base de dados que serão utlzados como valores de entrada da rede neural. A Shell Oron permte que os resultados gerados pelo algortmo possam ser analsados por meo de resumo, árvore e gráfco. Na Fgura 3 observa-se o relatóro gerado pelo algortmo contendo um resumo da classfcação Fgura 3. Resumo da classfcação por meo da rede RBF. A atrbução dos regstros para cada classe pode ser faclmente vsualzada também em forma gráfca como mostra a Fgura 4, onde as classes dentfcadas são representadas por meo de Prncpal Component Analyss (PCA). O método PCA transforma uma base de dados de n dmensões em uma matrz de duas dmensões, possbltando a projeção dos dados grafcamente.

7 Fgura 4. Gráfco gerado pelo classfcador RBF Detalhes dos elementos contdos em cada classe podem ser analsados ndvdualmente por meo de uma estrutura em árvore (Fgura 5). Fgura 5. Árvore das classes dentfcadas pela rede RBF Além dsso, a ferramenta permte a exportação dos resultados gerados em formato de arquvo SQL, esta funconaldade permte uma posteror aplcação dos resultados da classfcação como entrada para outras tarefas de DM. É possível também executar dversas vezes o algortmo com parâmetros de entrada dferentes, possbltando a comparação dos resultados encontrados. Além dsso, um arquvo de

8 ajuda dsponblza a documentação necessára para auxlar o usuáro na utlzação do classfcador RBF Resultados Obtdos Nos testes realzados no módulo desenvolvdo utlzou-se a base de dados das Irdáceas, composta por entradas não-lneares, contendo dados referentes a três tpos de plantas da famíla das Irdáceas: setosa, verscolor e vrgínca, totalzando 150 regstros e 4 atrbutos (sepal_length, sepal_wdth, petal_length e petal_wdth) referentes a largura e comprmento das sépalas e pétalas das plantas. O algortmo fo executado com os seguntes parâmetros de entrada: 3 para quantdade de classes que se refere à quantdade real de classes exstentes; 2000 para quantdade máxma de épocas, sendo que o algortmo somente executa o número máxmo de épocas se não atngr a convergênca por meo do erro médo; taxa de aprendzagem de 0,1 e 20 funções de base radal, ambos defndos por tentatva e erro. Os resultados gerados pelo classfcador RBF são descrtos na Tabela 1. Tabela 1. Resultados do classfcador RBF para a base de dados das rdáceas Classe Quantdade Porcentagem de de elementos elementos Classe 1 (írs-setosa) 49 32,67% 1 2 (írs-verscolor) 55 36,67% 1 (1 ocorrênca) 2 (50 ocorrêncas) 3 (4 ocorrênca) 3 (írs-vrgínca) 46 30,67% 3 Os resultados mostram que o algortmo obteve desempenho satsfatóro, dentfcando apenas cnco regstros em classes ncorretas e confrmou-se que os parâmentros de entrada seleconados nfluencam Avalação do Desempenho A análse de desempenho do classfcador desenvolvdo realzou-se por meo da uma matrz de confusão, que combna os valores reas com os valores predtos pelo modelo (Tabela 2). Tabela 2. Matrz de confusão para a classfcação da base das rdáceas Predta\Verdadera Classe 1 Classe 2 Classe3 Total Classe Classe Classe Total Os elementos marcados em cnza representam a dagonal prncpal da matrz de confusão, que representam as concordâncas da classfcação. Já os elementos de fora desta dagonal, descrevem as dscordâncas da classfcação, ou seja, elementos classfcados ncorretamente. A partr desta matrz é possível calcular os índces de avalação de desempenho do classfcador (Tabela 3).

9 Tabela 3. Índces de avalação Índce 6.4. Tempos de Processamento Valor sensbldade 96,6% especfcdade 98,33% accuracy 97,78% erro 2,3% confabldade 96,6% appa 0,95 A fm de analsar o desempenho do módulo no que se refere a tempo de processamento, utlzou-se uma base de dados gerada aleatoramente contendo 6000 regstros e 4 atrbutos. Nesta avalação foram testados dferentes valores para os seguntes parâmetros: quantdade de classes, quantdade de atrbutos de entrada, quantdade de centros e taxa de aprendzagem da rede. Observou-se que quanto maor a quantdade de classes e atrbutos de entrada, maor é o tempo de processamento da rede. Para taxa de aprendzagem com valores altos a rede apresentou melhores tempos no entanto mostrou por desempenho na dentfcação de classes assm como a quantdade de funções de base Comparação com outra Aplcação Os resultados gerados pelo classfcador RBF para a base de dados das rdáceas na Shell Oron fo comparados com os resultados obtdos com a aplcação da mesma base de dados no classfcador RBF da ferramenta gratuta Wea dsponível em: A Tabela 3 demonstra a comparação entre os índces de avalação de desempenho de ambas as ferramentas. Tabela 4. Tempos de processamento Shell Oron Wea Regstros classfcados corretamente Regstros classfcados ncorretamente 5 4 Sensbldade 96,6% 97,3% Especfcdade 98,3% 98,6% Accuracy 97,7% 98,2% Erro 2,3% 2% Confabldade 96,6% 97,3% Kappa 0,95 0,96 Tempo de processamento 00m:00s.187ms 00m:00s.140ms

10 Analsando os resultados obtdos pode-se conclur que o classfcador RBF da Shell Oron está funconando de manera satsfatóra, consderando que apresentou 96,6% de regstros classfcados corretamente e índces de avalação muto próxmos aos da ferramenta Wea que classfcou os regstros com 97,3% de acerto, porém a Wea teve um desempenho melhor perante os índces de avalação e tempo de processamento pouco menor. Ambas as ferramentas obtveram valores excelentes (entre 0,8 e 1) para o coefcente appa, demonstrando alto grau de concordânca entre os dos modelos classfcadores.. Consderando todos os testes realzados, o algortmo apresentou resultados satsfatóros que confrmam o correto funconamento do módulo desenvolvdo. 7. Conclusão Este artgo apresentou um modelo classfcador mplementado pelo método de redes neuras com função de atvação de base radal na Shell Oron Data Mnng Engne, contrbundo com o desenvolvmento da ferramenta. Dante dos resultados obtdos pode-se confrmar a aplcabldade de redes RBF para a tarefa de classfcação em bases de dados das quas já se possu algum conhecmento prévo, por utlzarem uma abordagem supervsonada e campos receptvos locas como frontera de decsão. Concluu-se que o modelo fo desenvolvdo com sucesso, pos apresentou funconamento correto e resultados satsfatóros na classfcação e em tempos de processamento. Referêncas Bshop, C. (1995), Neural Networs for Pattern Recognton, Oxford Unversty Press. Goldschmdt, R., e Passos, E. L. (2005), Data mnng: uma gua prátco: concetos, técncas, ferramentas, orentações e aplcações, Elsever. Hayn, S. (2001). Redes neuras: prncípos e prátca, Booman, 2. ed. Russel, S. e Norvg, P. (2004), Intelgênca Artfcal, Elsever. Olson, D. e Delen, D. (2008), Advanced Data Mnng Technques, Sprnguer. Kantardzc, M. (2003) Data mnng: Concepts, Models, Methods, and Algorthms, John Wley & Sons. Han, J. e Kamber, M. (2006), Data Mnng: Concepts and Technques, Morgan Kaufmann, 2. ed. Theodords, S. e Koutroumbas, K. (2006), Pattern recognton, Elsever.