UNIVERSIDADE TUIUTI DO PARANA FACULDADE DE CIENCIAS EXATAS E TECNOLOGICAS TECNOLOGIA EM PROCESSAMENTO DE DADOS

Transcrição

1 UNIVERSIDADE TUIUTI DO PARANA FACULDADE DE CIENCIAS EXATAS E TECNOLOGICAS TECNOLOGIA EM PROCESSAMENTO DE DADOS AQUISIc;:Ao DE CONHECIMENTO ATRAVES DE ALGORITMOS GENETICOS ELSO APARECIDO SILVA ROBERTO TEIXEIRA ALVES Projeto de Graduacao CURITIBA 2002

2 ELSO APARECIDO SILVA ROBERTO TEIXEIRA ALVES AQUISICAo DE CONHECIMENTO ATRAVES DE ALGORITMOS GENETICOS Trabalho de Gradua,ao apresentado como exigencia parcial para obten9ao do grau de Tecn610go em Prooessamento de Dados da Faculdade de Ciancias Exatas e Tecnol6gicas da Universidade Tuiuti do Parana. Orientadora: Prof'. Deborah Ribeiro Carvalho. CURITIBA 2002

3 ATA DE SESSAO Pll8LlCA DE EXAME DE MONOGRAFIA DO PROGRAMA DE GRADUA<;AO EM TECNOLOGIA DE PROCESSAMENTO DE DADOS DA UNIVERSIDADE TUIUTI DO PARANA. Aos 22 dias do m~s de novcmbro de 2002, reali7.0u-sc a scssao publica de dcfe..''i3. da monogrolia "AQU1SI<;AO DE CONHECIMENTO ATRAVES DE ALGORITMOS GENETICOS", aprcscnl:l.do por Elsa A Silva e Roberto T. Alves, ano de ingrcsso 1999, p:tra obtcn\;'ao de radll~u;ao em Tec.noiogia em Processamento de Dados. A Banca EX;lminadora roi composia pclos scguintes prolcssorcs MEMBROS DA BANCA ASSINATURA Prcsidcntc: Prof. Marcos Antonio Caoam Prof". Elaini Simoni Aneelotti Prof" Andrein de Jesus pror' Waleria Adriana Goncalcz Cccilia De acordo com as normas rcgimenlais :1 Banca EX:lIninadonl delibcrou sobre as conceilos a sercm alribufdos e que forum os seguinlcs: Mcmbros da Ballca CONCEITO Presidentc: Prof. Marcos Antonio CanaUi Prof". Elaini Simoni Angelotti Prof' Andreia de Jesus Prof" Walena Adriana Goncalez Cccilio Conccito Final Observ>lyoe.s dn Banca Examinadora Pror. Ricardo Olh'cirn. Pereira Coordenador

4 DEDICATORIA Dedico a Deus, que e inicio e fim de tudo, de on de todo poder emana; A minha filha Karina que e a razao de minha vida; A minha esposa, Nair cujo apoio sempre contei e poderei contar em qualquer momento de minha vida; A meus pais Orlando (em memoria) e Laura que sempre deram apoio ao meu desenvolvimento intelectual. Elso Aparecido da Silva Dedico principal mente a Deus, que durante todo este ano foi quem me deu e tem dado saude, for"", vontade e alegria para conclusao deste projeto; A meus pais Joel e Irair que foram as pessoas que me deram todo 0 respaldo necessaria para que com axito pude-se concluir esta trabalho; Nao podia esquecer tambem aos varios amigos que contribufram com seus conhecimentos para 0 desenvolvimentos desse desafio em minha vida mencionando de forma especial a Sandra R. Marcondes, que muito me apoiou e incentivqu. Roberto Teixeira Alves AGRADECIMENTO ESPECIAL Agradecemos e dedicamos de maneira especial este trabalho a Professora Deborah Ribeiro Carvalho pela orienta9ao criteriosa e dedicada, e aeirna de tudo pela compreensao e boa vontade em todas as ocasioes em que a procuramos para discutir ideias e busear esctarecimentos. Roberto T. Alves e Elso A. Silva

5 4 IN DICE LlSTA DE FIGURAS. USTADETABELAS. LlSTA DE SlGLAS. ReSUMe. ABSTRACT.. 1. INTAODUyAo Delinilj:iodo Problema. Objetivo..,.2. TAABAlHOS RELACIONADOS.. DATA MINING PROCESSO DE OESCOBERTA DE CONHECIMENTO ETAPAS 00 PROCESSO DE KOD TtCNICAS DE DATA MINING APRENOIZADO DA MAaUINA. ALGORlrlMOS GEN81COS ORIGEM E OONCE1TOS BASI<x)s TERMINOLOGIA E COMPONENTES DE UM AlGORITMO GENETICO Popu1atrio Indivrduos..., Fu~ao d. Ajulle au ~Hnu.~ Sel&9iio Cruzilmento {cros.ov." MUIACf3.o Gerar;io METOOOLOGIA PARA MODELAGEM 00 ALGORITMO GENETICO A PLATAFORMA E UNGUAGEM USADA NO DESENVOLVIMENTO A CONSTRU9Ao DO CLA5SIFICAOOR OINDIVfOUO ~ Cri~io do. Populwylo lnicial AFUrlifio de Rneu GERA<;:OES PODA 005 ATRIBUTOS

6 as Oper3dont1i GenelicO) g. Os Mecani,mol da SelOIJio DESCRIQAo DOS EXPEAIMENTOS BASE DE DAOOS", A TAXA DE ACERTO TEMPO COMPUTACIONAl OONJUNTODE REGRAS ANALISE 005 RESULTADOS ALCANQADOS. CONCLUSAO ~.1. PropoJla de TrAb~h<» Futuros.. ANEXDS.. Anexo 1 - COOigo Fonte.... REFERENC1AS BIBlIOGAAFICAS ~

7 6 LlSTA DE FIGURAS Figura 1 - xoo e urn campo mullidisciplin"r (ADRIMNS; ZANTINGE, 1996)... Figura 2 - Estrutura b,isicll de urn Algoritmo Gencilico. Figura 3 - SelEIIJio PO( "Rolela" (dad!» dol Tabela 1). Figura 4 - Cruz.tmento em um ponlo. Figura 5 - Cruzilmenlo em doi, ponlcn. Figura 6 - Cruzamento uniforme... Figura 7 - Mutwy30 ~impl~... Figura 8 - E,lrulurll de Execu~io do OaullicadOf. Figura 9 - Proceuo de conhoc:imcnlo impjlcito em oxplfcito pelo AG... Figura 10 - Proceno de valida.;,q,o do AG sobr. ". bases de treinllmento e lesle... Figura 11 - Eslrulur" do genom" de urn Individuo... Figura 12 - Procedimento para criatjio da popul~io inicial Figura 13 - Procedimento p2lril e:x«:~30 de podol atributa.s... doa Fi'ijura 14 - Procedimenlo para execuy.io do cruulmenlo enlre individuos. FigurA 15 - Procedimsnto para eltecuyao de mutayao loot. urn individuo. " 25 2' Fi!JurA 16 - Procedimento para ejteclmtio do itlililmo. Figura 17. Procedimento pllra 6U1CUyio do tomeio. Figura 18 bilsle de dados CRX compltit:l... Figura 19 ba~e de d.3dm erxdividida parll UIO do c1auificadof'... Figura 20 - ba:e de dgdos HEPATlTlScomplet... Figura 21 base de d.dcn HEPATlTlSdivididt pm"- UIO do c1usltic:ador. Figura 22 ban de tuido$ HOUSE completa... Figurll 23 - bue de dado. HOUSEdividida para WiO doclassific3dor... Figura 24 - Media d.a finess de eada ger~io e melhor individuo na base erje.. Figura 2S - MediA dll fitnlln de e.da ger0t93o B mblhor indivfduo na boa.e H"palihJ. Figura 2G - Media da fifneu de eada gar~60 e malhor indi.. iduo na bue House. 4' 4,

8 7 LlSTA DE TABELAS labela 1 - Exemplo de populatj.5o e Fu~iio de Ajuillte (MICHELL, lil97)... Tabela 2 Principals caracteri,ticu d". b3.. ~ dados utilizado.. no. exparimentos... Tabala 3 Taxu de acerto oblidm com 0 AG e C4.S. Tabala 4 Tempo computacioozll no. experimentos. Tabela 5 Parte dlls regrll) ger4da, do AG no primeiro experimento nil bu. CRX.... T3bela 6 - Parte du regr.u gerad:!ls do AG no primeiro experimenlo na base Hepsl... Tabela 7 - Parte d;u; regras geradas do AG no primeiro exparimenlo na bau Hou;e. Tabela 8 - Parte do$ regras garada. do AG no segundo experimento no.ba~e CRX.. Tabela 9 - Parte dol. regtlu gerada. do AG no segundo experimento na b:nc H'p:.lti~. Tabala 10 - Parte dn r&grills ger.das do AG no wgundo expedmento no. bate House. Tabala 11 - Parte du regru geraoo.. do AG no terceiro sxperimenlo nil bue CRX.... T abeloll 12 - Parte cbs regra. geradas do AG no lerceiro experimanlo na b..e Hepatitis... Tabela 13 - Parte das r&9ras geradat do AG nolercairo experimenlo nal»:se Hous... Tabela 14- Media da finen de cad. 9ar~o e melho( individuo '

9 8 LlSTA DE SIGLAS AG - Algoritmo Genetico ESIA - Extended Subgradient Iteration Algorfthm GABIL - Genelic Algorithm Batch-Incremental Leamer GIL - Genetic-Based Inductive Learning GLOWER - Genetic Leamer Overlaid Wfth Entropy Reduction KDD - knowledge discovery in databases REGAL - Relation Genetic Algorithm Learning SIA - Subgradient Iteration Algorithm

10 9 RESUMO Com 0 decorrer dos anos aumentou-se a necessidade do sar humane S8 valer de informa(foes e conhecimento para auxilia-io na tamada de decisoes, porem o volume de dados I muito alto. Para auxiliar 0 sar humano a solucionar esse problema 10i criado 0 Data Mining, com 0 intuito de tornar 0 conhecimento que ora era implfcito em conhecimento exphcito e principal mente uti1. a conteudo dessa monografia tern como objetivq apresentar urn cia ssifi cad or composto de regras descobertas por Algoritmo Genetico constituindo uma situa98.0 de aquisic;ao automatica de conhecimento.

11 10 ABSTRACT As the years goes by, the always-growing need for information and knowledge to help in the decision making process, the amount of data nowadays is very high. To help him in dealing with this large amount of data, the DATA MINING was created with the idea of changing the knowledge that was implicit to explicit knowledge. This monograph has the objective of presenting a classifier made of rules found by a genetic algorithm, making a situation of automatic knowledge acquisition.

12 11 1. INTRODU<;AO Com 0 decorrer dos anos aumentou-se a necessidade do sar humane S8 valer de informag6es e conhecimento para auxilia-l0 na tam ada de decis5es, porem o volume de dados e muito alto, 0 que pode resultar a impossibilidade em analisar assas informag6es manua[mente. Esse grande aumento do volume de dados, tem gerado a necessidade de novas tecnicas e ferramentas que facilmente transformem as dados armazenados em conhecimento utii na tomada de decis6es. 0 Data Mining (Minera,ao de Dados) tern S8 tornado objeto de muita pesquisa e grande interesse, tendo em vista que seu objetivo e justamente garar conhecimento que possa sar util DEFINI<;;iiO DO PROBLEMA E OBJETIVO Este trabalho tem como objetivo criar um classificador composto de regras descobertas atraves de Algoritmo Genetico constituindo uma situa,ao de aquisi,ao automatica de conhecimento. Uma dificuldade percebida nos algoritmos mais utilizados para construir classificadores e a faua de interaivaoentre as atributos, que pode ser percebido mais evidentemente em classificadores construidos atraves de tecnica de Indu9iio de Arvores de Decisao, onde a analise dos atributos e feita local mente, ou saja, um atributo por vez, um exemplo desse tipo de classificador e 0 C4.S [Quinlan 1993], que sera inclusive sera utilizado como parte de pesquisa deste projeto para compara,ao dos resultados obtidos entre Algoritmos Geneticos e Arvores de Descisao. Por sua vez os classificadores construidos a partir de Algoritmos Geneticos permitem um melhor tratamento melhor no que diz respeito a questao da intera,ao de atributos. Uma caracteristica que pode ser ressaltada e 0 fato dos Algoritmos Geneticos realizarem uma busca global fazendo uma intera'yaodos atributos.

13 TRABALHOS RELACIONADOS A seguir sao apresentados alguns trabalhos referentes a aplicayao de algoritmos geneiticosvoltados para tarefa de classifica9ao, que e objeto de pesquisa deste trabalho. Janikow (apud CARVALHO, 2002) apresenta um algoritmo genetico, denominado GIL, para a tarefa de classifica9ao. Neste algoritmo cada individuo representa um conjunto de regras (abordagem de Pittsburg). onde cada regra e uma conjunc;aode condic;6es, ande cada condic;aoespecifica urn au mais val ores para urndeterminado atributo. Cada individuo e urncon junto de regras de tamanho fixo. Em GIL as operadores geneticos podem aluar em tres niveis: a nivel sintatico do conjunto de regras, ao nivel de regras e ao nivel das condil'oes. 0 primeiro possui os seguintes operadores: operador que realiza tracas entre conjuntos de regras; operador que capia aleatoriamente uma regra de cada con junto; operador que adiciona uma regra que cubra urn evento positiv~ nad coberto pelo conjunto de regras; operador que seleciona duas regras e as troca pala regra mais especializada e operador que seleciona duas oulras regras e as troca pel a regra mais genetica. 0 segundo nivel possui os seguintes operadores: operador que divide uma regra em outras regras, operador que remove condic;oesda regra e 0 operador para introduzir condic;oes. No terceiro nivel: operador que remove au adiciona um valor da condiyao, aumenta 0 dominio das condic;oes e diminuic;ao do dominio das condic;6es. Logo, este e um algoritmo relativamente complexo, com varios operadores projetados especificamente para minera9iio de dados. De Jong et al. (apud CARVALHO, 2002) apresenta GABIL, um Algoritmo Genetico para aquisic;ao de regras de c1assificac;ao.seguindo a abordagem de Pittsburg, cada individuo da popula9iio representa um conjunto de regras de tamanho fixo, candidatas it soluc;aodo problema, isto a, cada individuo e uma string de tamanho variavel representando urn conjunto de regras de tamanho fixo. Os operadores geneticos usados sao a mutac;aoaleat6ria de bit e 0 cruzamento ern dois pontos adaptado para individuos de tamanho variavel. Ao contrario de GIL, GABIL usa operadores geneticos simples, praticamente sem necessidade de modificar AGs convenclonais.

14 ~:Kt01l['~;~ ~'?if\l)\\\ Giordana & Neri (apud CARVALHO, 2002) apresentam REGAL, um sistenfabaseado em AG distribuido para a tarefa de classifica,ao. Uma vez que sao apresentadas tanto urnas vers6es seriais como para lela do sistema, 0 foeo sera em cima da versao serial. Para a representac;ao dos indivfduos foi utilizada uma abordagem hibrida entre Pittsburg' e Michigan 2. Cada individuo codifica uma solu,ao parcial e a popula,ao como um todo e um con junto redundante de solu,6es parciais. A diferen,a esta no fato de que cada individuo evolui de forma independente e apenas no final uma solu,ao completa e formada. A abordagem e hibrida, pois nem cada individuo representa uma solu,ao final e nem a populayao total tambem representa. Os operadores utilizados sao 0 cruzamento, muta,ao de semeamento (seeding). 0 cruzamento tem quatro tipos: cruzamento em dois pontos, uniforme, generalizado e especializado. as dais primeiros pontos sao iguais aos encontrados na literatura. Os dois ultimos tem a finalidade de gerar regras "filho" que sejam generalizac;6es au especializac;6es das regras "pais", Logo, da masma forma que 0 GIL, REGAL tambem usa operadores geneticos especializados para a minerayao de dados. Outro AG para a tarefa de classifica,ao foi proposto por Hasse & Pozo (apud CARVALHO, 2002). 0 algoritmo segue a abordagem de Michigan, e usa compartilhamento de aptidao (fitness sharing) para incentivar a diversidade de regras (individuos) na popula,ao. Os resultados da taxa de acerto sao comparados com outros 33 algoritmos em 32 bases de dados. o AG GLOWER, proposto por Dhar et al. (apud CARVALHO, 2002) procura realizar 0 aprendizado de regras de classificac;ao, no casa, previsoes financeiras para realiza,ao de investimentos. Os autores tambem levantam as vantagens do AG em comparac;ao com Qutros meies de busca local (arvdre de decisao, indu~o de regras). 0 algoritmo realiza a descoberta de regras utilizando a criac;ao de nichos(niching) sequencias. 1 Na abordagem de Pitt5burgh, cada indivfduo ira corresponclera UITlconjunto de regras para oolu~o do problema (ROMAO; FREITAS: PACHECO, 2000).! Na abordagem de Michigan, cada regra e rcpresentada par um incflvfduo,sando que urn conjunlo de regras (urna sol~o do problema) e representada por um conjunto de indivfduos (ROMAo: FREITAS: PACHECO. 20(0).

15 14 liu ekwok (apud CARVALHO, 2002) prop6em um algoritmo genetico baseado no SAl (Venturini, 1993). 0 SIA e um algoritmo baseado na ideia de dividir para conquistar, ista e, ale procura descobrir uma disjun~ao por vez, reduzindo assim 0 espa,o de busca. 0 algoritmo proposto pelos autores e uma extensao do SIA. Sao apresentadas melhorias no modo de inicializa9iio da popula,ao inicial, altera,oes nos operadores geneticos e modo de filtragem de regras. 0 ESIA (Extended SIA) gera sua popula,ao inicial garantindo um nivel de grau de aptidao para cada individuo. A muta.yao e utilizada como meio de manter a diversidade genetica, enquanto 0 operador de especializacao escolhe, de forma aleatoria, atributos a serem especializados nos indivfduos. Os novos filtros de regras introduzidos procuram eliminar regras consideradas ruidos (cobrindo mais examplos de outras classes do que a classe prevista pela regra), regras redundantes e regras altamente incompletas (cobrindo um numero inferior a um numero preestabelecido de exemplos). Congdon (apud CARVALHO, 2002) apresenta em sua tese uma compara9ao entre AGs e outros sistemas de aprendizado de maquina no desempenho de tarata de classifica9ao de doen9as. Nesta compara9ao ele contempla AGs, arvores de decisao, Autoclass e Cobweb. Seus resultados demonstram que AGs tiveram uma melhor performance em termos de habilidade descritiva, apesar de arvores de decisao tambem apresentarem urn borndesempenho. Papagelis & Kalles (apud CARVALHO, 2002) exploram 0 uso de AGs diretamente na construcao de arvores de decisao binarias, com 0 objetivo de gerar arvores mais precisas, bern como ma;s simples. Os resultados apontam que os AGs tern grande vantagem sobre outras "heurfsticas gulosas", especialmente quando 0 dominio apresenta atributos irrelevantes ou fortemente dependentes.

16 15 2. DATA MINING A descoberta do conhecimento em bases de dados tern sa tornado urn processo consideravelmente interessante para pesquisadores de diferentes areas (FRAWLEY; PIATETSKY-SHAPIRO; MATHEUS, 1991; SILBERSCHATZ; STONEBRAKER e ULLMAN, 1995; CHEN; HAN; YU, 1996; FAYYAD et al.,1996). Entre algumas das aplica,oes no processo de descoberta de conhecimento, podemos destacar: A descoberta de relacoes de associa,6es e depend~ncias entre dados. o agrupamento de um conjunto de dados selecionados a partir de bases de dados (data warehouse), podendo medir 0 grau de similaridade entre as grupos obtidos. Construir urn modele que possa sar utilizado para categorizar au classificar dados futuros. Assim, neste capitulo, serao abordadas algumas defini,oes sobre 0 processo de descoberta de conhecimento em bases de dados, bem como suas etapas. Dentre estas etapas, podemos citar 0 Data Mining como aquele de maior interesse do presente trabalho, anda serao comentadas algumas das tecnicas utilizadas para tal processo PROCESSO DE DESCOBERTA DE CONHECIMENTO Segundo FRAWLEY, PIATETSKY-SHAPIRO e MATHEUS (1991), 0 processo de descoberta do conhecimento em bases de dados, tambem conhecido como know/edge discovery in databases (KDD), significa a aplicacao de um procedimento nao trivial para identificar;ao efetiva, coerente, potencial mente util e previa, de padroes desconhecidos em grandes bases de dados. Devido a essas caracteristicas incomuns, todo 0 processo KDD depende de uma nova gera<;:ao de ferramentas e tecnicas de analise de dad os e envolve

17 16 diversas etapas. A principal etapa, nucleo deste processo, chama-sa Data Mining (CHEN; HAN; YU, 1996). Ate 1995, muitos autores consideravam os termos KDD e Minera<;ao de Dados como sinonimos, no entanto, em 1995, na Conferencia Internacional de KDD, em Montreal, 10i dada uma definiy:ao para cada urn dos term os (ADRIAANS; ZANTINGE, 1996):... KDD sera empregado para todo 0 processo de extral'ao de conhecimento dos dadas. Neste contexto, conhecimento significa relacionamento e padr5es entre elementos de dadas. 0 termo Data Mining deveria sar utilizado para as estagios de descoberta do processo de KDD'. Assim, KDD nada mais e do que realiza(:ilo da extra9ao de possiveis conhecimentos uteis em dadas, as quais S8 encontram ocultos. Terfamos a tendencia de pensar, par asta definic;:ao, em uma nova tecnica. Mas, na verctade, trata-s8 de urn campo multidisciplinar de pesquisa, envolvendo areas como aprendizado de maquina, estat/stica, tscnologia de base de dadas, sistemas especialistas e visualizac;ao de dados, os quais podem ser melhores observados na Figura 1. Figura 1 - KDDe um campo multidisciplinar (ADRIAANS; ZANTINGE, 1996).

18 ETAPAS DO PROCESSO DE KDD 1997): o procasso da KDD consista de tres lases (MANNILA, 1996; FAMILI at ai., Pre processamento Consiste de todas as ayaes a serem realizadas antes do inicio do processo da analise dos dados. FAMILI at al. (1997), postulam qua asta prooesso deva ser leito entendendo a naturaza dos dados, malhorando 0 desampenho na analise dos dados e, extraindo de maneira mais significativa as conhecimentos a partir dos dadas. Essa etapa pode tomar ate 80% do tempo necessaria para todo 0 processo (MANNILA,1996). Minera,ao dos Dados Envolve a aplica~aode algoritmos especfficos para a extralfao de padroes au regras, a partir da um conjunto de dados com uma rapresenta,ao particular. A escolha do algoritmo a sar utilizado depandera, lundamantalmente, do objativo do processo KDD, sendo utilizadas tecnicas da estatistica e aprandizado de maquina, lais como descoberta de regras, arvores de decisao, clustering, algoritmos gene-licos e programa,ao 16gica,dentre outras (MANNILA, 1996). Pos-processamento Traduz as pad roes descobertos em urna forma mais aceitavel aos seres humanos. Isto pode sar leito atraves da visualizacao dos padr6es extraidos (FAMILI at ai., 1997) TECNICAS DE DATA MINING Segundo MANNILA (1996), Data Mining combina metodos e tecnicas de, pelo menos, tres areas das anteriormente mencionadas na S8((aO *2.1 *: aprendizado da maquina, estatfstica e banco de dados, sendo que as tras areas auxiliam no reconhecimento de regularidades, padroes ou conceitos, a partir de dados empfricos.

19 18 Existem diferentes classes de tarefas em Data Mining, tais como: clustering, classifica~aoe regras de associayao. Cada uma dessas classes tern como base urn conjunto de algoritmos que serao utilizados na extra'tao de relac;6es relevantes dentro de uma massa de dados (CHEN; HAN; YU, 1996). Cada uma das classes de tarefas citadas difere quanto ao tipo de problemas que 0 algoritmo e capaz de resolver. A seguir, descrevemos algumas dessas classes de tarefas, segundo LANGLEY (1996): Clustering Esta proposta esta, basicamente relacionada a problemas que envo[vem a segmentagao de dados, ou seja, a partir de um conjunto de dados, 0 sistema tem que dividir automaticamente os mas mas em grupos, baseados em suas similaridades e diferen9as. Classificagao a processo de classificac;ao e uma tecnica que consists na aplicac;ao de urn conjunto de exam pi os pre-classificados, para desenvolver urn modele capaz de classificar uma popula<;iio maior de registros. Em geral, algoritmos de classificagao incluem arvores de decisao, algoritmos geneticos ou rades neurais. Uma vez que a algaritmo classificador tenha sido desenvolvido de forma eficiente. ele sera utilizado de forma preditiva para classificar novos registros naquelas mesmas classes pre-definidas. Regras de Associa<;iio o algoritmo de descoberta de regras de associay:ao procura identificar atinidades entre registros de um subconjunto de dados. Essas afinidades sao expressas na forma de regras: "60% de todos os registros que contem os itens A e B, tambem contsm os itens CeO". A porcentagem de ocorrencia representa um fatar de confian~ da regra, e costuma ser utilizada para eliminar tendencias fracas, mantendo apenas as regras mais fortes.

20 APRENDIZADO DA MAQUINA Como comantado nas s8<;oes anteriores, urnas das areas relacionadas ao processo de mineraryao de dados e 0 aprendizado de maquina, sendo definido par ADRIAANS e ZANTINGE (1996), como urn problema de busca, ou seja, enconlrar urn modele formado por urn con junto de hip6teses (possiveis solu90es) que representem 0 conjunto de dados (espa90 de busca). Quando nos referimos ao aprendizado de maquina relacionado ao processo de minerayao de dadas, todo ests processo asta facado na tarafa de classificary8.o, a partir de observa90es ja existenles (aprendizado indutivo). De acordo com MARTINEZ-ENRIQUEZ e ESGHALADA-IMAZ (1998), os sistemas de aprendizado indutivo podem sar classificados au pela natureza da enlrada de suas informa,oes (forma de aprendizado), ou pela maneira com que seus sistemas realizam 0 processo de aprendizado. A seguir, e apresentado urn breve resumo desses sistemas. Aprendizado nao-supervisionado Gada observa,ao denlro de urn conjunto e descrita pelo mesma con junto de atributos, e isto forma a natureza da informayao de entrada. 0 resultado e urn conjunto de clusters, individualmente definidos por urn conceilo diferente e particular. Aprendizado supervisionado Os agrupamentos ja sao fornecidos pelo sistema e a fun~ao do sistema e criar urn classificador que classifique as observa,oes, atraves da apresentacao de sucessivas observa~6es, verificando S8 as mesmas foram cjassificadas corretamente se auto-ajustando. Aprendizado nao-incremental o sistema constr6i classificadores utilizando-se de todo 0 conjunto de observaq:oes simultaneamente para alcan~ar a soluyao final. Desta forma, nestes sistemas nao-incrementais, 9 posslvel determinar a complexidade de seus algoritmos, sendo uti 1 em aplicac6es reais. Contudo, se considerarmos uma nova observa~aodentro do sistema, e necessario processar novamente tode conjunto de observagoes.

21 20 Aprendizado incremental o sistema constr6i classificadores e as refina num processo interativo, observa98o por observa98o. Assim, 0 processo altera alguns agrupamentos it mad ida que cada nova observac;ao e manuseada. Oesta forma, as sistemas incrementa is podem trabalhar individual mente com novas observac6es, em qualquer tempo. Dentre as varias tecnicas existentes para 0 processo de aprendizado indutivd, a area de aprendizado de maquina pode ser dividida em 5 paradigmas segundo LANGLEY (1996): Redes Neurais As Aedes Neurais representam 0 conhecimento atrav6s de urna rede de multi-camadas de unidades de processamento, ativadas a partir de nos de entrada, percorrendo as unidades ate nodos de saida. Pesos nas ligac;6es determinam 0 quante de ativac;ao e transmit ida em cada casc. As ativac;oes dos n6s de saida podem sar traduzidas em prognosticos numericos ou decisoes discretas sobre a classe de entrada. A preocupac"ao com as rades neurais e melhorar a precisao de classifica980 atraves da modifica,8o dos pesos de liga98o. Um algoritmo tipico de aprendizado realiza uma busca do tipo hili-climbing', atraves do espa,o de pesos, modificando-os no senti do de minimizar os arras que a rede faz com os dados de treinamento. Aplica~6es utilizando redes neurais para 0 pracesso de classificay8.o podem ser encontradas em KOHONEN (1995) e STEINER (1995). Aprendizado baseado em casos ou instancias Representam 0 conhecimento a partir de casas especlficos ou instancias (exemplos) com classifica980 conhecida para classificar novos dados atraves de compara98o de similaridades. 0 caso-exemplo mais parecido com 0 dado a ser classificado, segundo algum criteria de avaliays.o, indicara a qual classe pertence este exemplo (AHA; KLiBER; ALBERT, 1991). 1 Hill-Climbing Q urn mqtodo local de busca de profundidad9, no S9nlido de qua a cada momento de busca, considere $Omenta os estados imediatamente acesslveis a partir de um astado atual (CARVALHO, 2002).

22 21 Algorilmos Genelicos Sendo urn dos ramos da Computa,ao Evolucionaria, os Algorilmos Gemiticos sao inspirados na Tearia da Evoluc;ao. Representam 0 conhecimento como a "carga genelica" de urn "individuo". Urn conjunlo de solu,oes possiveis ou individuos, chamado "popula,ao", e analisado segundo algum criterio (fun,ao de aptidao ou "(dness), e novas solu,oes sao criadas e tentadas usando como base 0 conjunto anterior, atraves de operadores de recombina,iio (crossover) e muta,ao. A popula,ao e continuamente melhorada pela sele,ao dos individuos rnais bern adaptados, e 0 processo de avalia,iio - sele,ao - cruzamento - muta,ao e repetida ate que algum criterio de termino seja atingido (MITCHELL, 1997). Indu,ao de Regras o paradigma de indu,ao de regras trabalha, particularmente com regras condic;ao-a~o, se <condic;8.o atendida> entao <ciasse X>, arvores de decisao (QUINLAN, 1993), ou alguma estrutura similar de conhecimento (HOLSHEIMER; KERSTEN; SIEBES, 1996; CLARK; NIBLETI, 1989). Algoritmos de aprendizado em estruturas de indu,ao de regras, geralmente realizam uma busca greedy' atraves do espac;o indu~o, usanda urna func;8.o de avaliac;ao estatlstica para selecionar atributos a, incorpora-ios na sua estrutura de conhecimento. A maiaria dos metodos divide 0 conjunto de dados de treinamento recursivamente, preocupando-se em sumarizar cada conjunto como condi,oes l6gicas de conjun,oes (LANGLEY, 1996). Aprendizado Analitico Representa 0 conhecimento como regras na forma logica, usanda um metoda de busca para resolver varias fases do problema. As tecnicas comuns representam sau conhecimento como regras de inferencia. 0 mecanismo de aprendizado utiliza urn conhecimento background para construir provas ou explicar;:oes da experiemcia e entao compila as provas em regras mais complexas, solucionando problemas simi lares ou com menos busca QU, em uma unica etapa. A maior parte do problema no aprendizado analitico sa preocupa com 0 melhoramento do processo de busca,

23 22 mas alguns vem trabalhando com 0 aprimoramento da precisao nas tarefas de classifica980 (LANGLEY, 1996). Apesar de toda a reievancia destas areas de pesquisa em aprendizado de maquina, optamos por centrar 0 estudo do presente trabalho em Algoritmos Geneticos. Esta area de estudo, tern merecido grande aten980 per parte de varios pesquisadores devido a sua grande capacidade de lidar com dados invalidos au imprecisos, S8 comparada a outras tecnicas. Assim, sera apresentada no capitulo seguinte, urna discussao mais detalhada sobre os conceitos e estrutura de funcionamento do masma.

24 23 3. ALGORiTIMOS GENETICOS Neste capitulo sera apresentada uma breve explica,ao sobre a origem, funcionamento basi co e principais componentes do Algoritmo Genetico ORIGEM E CONCEITOS saslcos Os AG's foram concebidos a partir da analogia natural, sendo portando um dos ramos da computar;ao evolucionaria. A computac;ao evoluciomiria e 0 nome gene rico dado a metodos computacionais inspirados na teoria da evoluyao. Os algoritmos usados em Computac;ao Evolutiva sa chamam Algoritmos Evolutivos. Atualmente quando se menciona algoritmos inspirados na teoria da evolu,ao vem freqiientemente a mente os Algoritmos Geneticos propostos por [Holland 1975J. o funcionamento destes algoritmos envolve toda uma gama de mecanismos inspirados na evolucao biologica, a maiaria deles considerando principalmente os mecanismos de sele~o natural. Estes algoritmos estao sando usados, palos membros da comunidade da Inteligencia Artificial para abler modelos de inteligencia computacional. A motiva,ao para tomar esta inspira,ao biol6gica vem da suposiyao de que a Natureza com seus mecanismos buscou resolver um problema de otimizay8.o. Assim, pode-se dizer que a Natureza resolveu um problema de complexidade: determinar a quantidade de "recursos" para resolver um "problema", a sobrevivencia. Os dados dos algoritmos evolutivos consistem em uma popula9iio de objetos abstratos. Estes objetos sao manipulados por operadores inspirados nas regras de seleyao e outros aperadores inspirados na evolw;aa biologica, au aperadares geneticas que agem como operadores de busca na soluy8.o de um determinada problema. Os mais comuns sao cruzamento ou mutayao. Cada indivfdua da popula,ao tem um certo grau de aptidao, 0 qual depende do ambiente. Os individuos de mais aptidao podem se reproduzir mais facilmente. Oesta forma a popula,ao tem uma tendencia de ap6s varias gera,oes, ter elementos com altos