Cledjalma Ferreira Neves DESCOBERTAS DE PADRÕES USANDO TÉCNICAS DE EXTRAÇÃO DE CONHECIMENTO

Transcrição

1 Cledjalma Ferreira Neves DESCOBERTAS DE PADRÕES USANDO TÉCNICAS DE EXTRAÇÃO DE CONHECIMENTO Palmas 2004

2 Cledjalma Ferreira Neves DESCOBERTAS DE PADRÕES USANDO TÉCNICAS DE EXTRAÇÃO DE CONHECIMENTO Trabalho apresentado ao curso de Sistemas de informação do Centro Universitário Luterano de Palmas como requisito Parcial da disciplina de Práticas de Estágio orientado pela Professora Thereza Padilha. Palmas 2004

3 O valor das coisas não está no tempo que elas duram, mas na intensidade com que acontecem. Por isso existem momentos inesquecíveis, coisas inexplicáveis e pessoas incomparáveis. (Fernando Pessoa)

4 AGRADECIMENTO Agradeço primeiramente a Deus. Aos meus pais, Djalma Barros Neves (em memória) e Cleonice Ferreira Neves, que me ensinaram os valores éticos e morais desde os primeiros anos de vida. A Danielle Lago, que durante os experimentos e elaboração deste trabalho, sempre esteve ao meu lado dando apoio e carinho. A professora Thereza Padilha e os demais professores, que ao longo do curso me revelaram seus conhecimentos. As demais pessoas com que tive discutindo ao longo da confecção deste material, sejam colegas de faculdade, colegas de trabalho ou amigos. Serei eternamente grato aos amigos verdadeiros pela compreensão de minhas ausências, pelo constante incentivo, pelo companheirismo e pela generosa amizade.

5 SÚMARIO RESUMO INTRODUÇÃO REVISAO DE LITERATURA DIABETES MELLITUS Conceito Funcionamento do organismo Fatores que precipitam a Diabetes Tipos de Diabetes Mellitus Diabetes Mellitus tipo um Diabetes Mellitus tipo dois EXTRAÇÃO DE CONHECIMENTO Métodos Tarefas de aprendizado Aplicações SOFTWARE WEKA Arquivos arff Ambiente Explorer Pré-processo Classifly Algoritmo ZEROR Algoritmo ONER Algoritmo J MATERIAL E METODOLOGIA LOCAL E PERÍODO MATERIAL Conjunto de dados Recursos humanos Recursos de hardware Recursos de software Fontes bibliográficas METODOLOGIA RESULTADOS E DISCUSSÕES HIPÓTESES APLICAÇÃO DO ALGORITMO ZEROR APLICAÇÃO DO ALGORITMO ONER APLICAÇÃO DO ALGORITMO J DISCUSSÕES CONCLUSAO TRABALHOS FUTUROS REFERÊNCIAS BIBLIOGRÁFICAS...36

6 RESUMO Este estudo se propõe, utilizando conceitos de extração de conhecimento, a identificar o melhor algoritmo para um conjunto de dados relativos aos pacientes de Diabetes Mellitus tipo dois da região norte do município de Palmas do estado de Tocantins. A identificação do melhor algoritmo para descoberta de padrões auxiliará no processo de triagem dos possíveis pacientes, uma vez que quanto mais cedo for dado o diagnóstico do quadro diabético melhor para o paciente, pois nem sempre os pacientes sabem que estão com este problema. Palavra-chave: Extração de conhecimento.

7 1. INTRODUÇÃO O aumento da mortalidade cardiovascular dos pacientes diabéticos está relacionado ao estado diabético e a agregação de vários fatores de riscos cardiovasculares como obesidade, hipertensão arterial entre outros. Quanto mais cedo for dado o diagnóstico do quadro diabético, maiores são as chances de sobrevida do paciente, uma vez que pode se controlar a hiperglicemia, pois é fato conhecido que este adequado controle pode prevenir, retardar ou atenuar as manifestações crônicas do quadro diabético [2]. Neste contexto, fica mais acentuada a importância do diabético assumir com responsabilidade, os cuidados com a saúde. Para cumprir tal objetivo é necessário que o indivíduo esteja bem informado e convenientemente motivado. A Diabetes Mellitus é um problema de saúde pública, já que freqüentemente está associado a complicações que comprometem a produtividade, qualidade de vida e sobrevida dos pacientes que são diagnosticados. A informação teve uma intenção ou um objetivo a ser alcançado e está sempre agregada ao conhecimento, entretanto isso não quer dizer que ter informação necessariamente tenha o conhecimento. Dentro deste contexto, pode-se analisar a informação como um objeto, ao qual são associadas características próprias, dependendo do âmbito disciplinar da aplicação, e com reações também particulares, dependendo do objetivo com que é empregada e do conhecimento que permite construir. Dentro deste contexto, mineração de dados para extração de padrões ocultos, informações relevantes, associações e mudanças não estão sendo muito exploradas na área médica, entretanto há grande disponibilidade de informações armazenadas em bancos de dados ou um outro repositório eletrônico junto com o avanço da tecnologia, faz com que estas informações obtidas por uma mineração de dados possam ajudar a área médica no tratamento do quadro diabético, descobrindo as tendências e padrões que possam dar suporte à tomada de decisões no tratamento.

8 O objetivo deste trabalho consiste em identificar qual o melhor algoritmo de mineração de dados entre o ZEROR, ONER e J48 para extrair padrões ocultos relacionados a partir de bases de dados contendo casos reais. Estes padrões serão obtidos através de utilização de técnicas de extração de conhecimento incorporadas no software Weka. Este trabalho está organizado da seguinte forma: nas próximas seções apresentam uma visão geral sobre Diabetes Mellitus, Extração de conhecimento e sobre o software Weka. As seções citadas acima têm como objetivo fornecer ao leitor subsídios para o entendimento das seções seguintes, principais foco do trabalho. A seguir, serão analisados os funcionamentos dos algoritmos ZEROR, ONER e J48 para a descoberta de padrões relativos à base de dados coletados. A discussão é apresentada como um foco da aplicabilidade desses algoritmos à descoberta de conhecimento em Diabetes Mellitus tipo dois.

9 2. REVISAO DE LITERATURA 2.1. Diabetes Mellitus Conceito Diabetes Mellitus é uma síndrome múltipla decorrente da insuficiência ou dificuldade de produzir insulina. A Diabetes Mellitus tem como característica a hiperglicemia crônica com distúrbios do metabolismo dos carboidratos, lipídios e proteínas. Com o passar do tempo a Diabetes Mellitus provoca danos, disfunções, falência de vários órgãos, especialmente rins, olhos, nervos, coração e vasos sangüíneos. O diabético pode sentir alguns sintomas, tais como desanimo, sonolência, dificuldades visuais, dormências e câimbras, além de emagrecer apesar de comer mais do que o habitual, urinar em demasia e em maior quantidade, ou ainda, sentir muita sede [4] Funcionamento do organismo Para compreender melhor o que ocorre no diabético, fazem-se necessárias algumas explicações sobre o funcionamento do organismo: o pâncreas, órgão localizado no interior do abdome por trás do estomago. O pâncreas produz um hormônio chamado de insulina, o qual é lançado no sangue. O organismo metaboliza o açúcar ingerido, também conhecido como hidrato de carbono, transformando-os em glicose. A glicose, por sua vez penetra na célula, produzindo energia graças à capacidade apresentada pela insulina. Quando se ingere hidrato de carbono, o pâncreas produz exatamente uma quantidade de insulina que é lançada no sangue para que possa aproveitar estes alimentos. No entanto, no diabético este mecanismo não funciona corretamente. Então quando se alimenta ele se alimenta, seu pâncreas não produz insulina na quantidade adequada, ou se a produz, este hormônio é incapaz de agir corretamente e, em conseqüência, os açucares ingeridos não são aproveitados e o teor de glicose aumenta no sangue.

10 Acontece que o organismo necessita utilizar esta glicose, pois é com a sua queima que é produzida a energia necessária todas as atividades. Entretanto, quando a glicose não é absorvida pelas células do corpo, aumenta o seu teor na circulação sanguínea, causando assim os sintomas do quadro diabético [2] Fatores que precipitam a Diabetes Podem ocorrer situações ou fatores que influenciam diretamente na produção ou ação da insulina, favorecendo o aparecimento da doença Diabetes Mellitus, naquelas pessoas que já estão predispostas. Entre elas, podem-se destacar [3]. Obesidade (aumento de peso); Infecções; Gravidez; Cirurgias; Emoções fortes (traumas emocionais); Stress; Envelhecimento; Uso de medicamentos diabetogênicos em doses altas e por tempo prolongado (alguns diuréticos, bloqueadores, estrogênios, cortisonas e derivados) Tipos de Diabetes Mellitus Nos dias atuais, Diabetes Mellitus vem se tornando um problema de saúde publica, uma vez que é crescente o número de pessoas que apresentam esta doença, principalmente no Brasil [12]. Nesta seção aborda-se os dois tipos de Diabetes Mellitus. A diferença entre elas não é absoluta, mas em termos gerais:

11 Diabetes Mellitus tipo um Neste tipo de Diabetes Mellitus ocorre entre crianças e adultos menores de 30 anos. A destruição seletiva das células betas vai diminuindo progressivamente. Como estas células são a única fonte de insulina no organismo e sua regeneração não é significativa, então o diabético é chamado de insulino-dependente. O portador de Diabetes Mellitus tipo um tem como tratamento o recebimento de doses de insulina no sangue [4] Diabetes Mellitus tipo dois A etimologia deste tipo de diabete não é conhecida, mas vários dados indicam que esta enfermidade é o resultado da combinação de fatores genéticos e ambientais causando assim o desenvolvimento da doença. Este tipo de diabete ocorre nas pessoas acima de 40 anos, uma vez que existe uma disfunção progressiva das células betas e baixa capacidade do organismo utilizar a insulina. Não é depende de insulina, mas seu tratamento poderá ser feito com dietas e exercícios físicos. Entretanto, se for o caso, o tratamento é realizado por comprimidos. Este caso de diabete ocorre em 90% dos casos [4] Extração de conhecimento A necessidade de extrair informações relevantes e conhecimentos úteis de grandes quantidades de informações tem chamado atenção, uma vez que o aumento de dados armazenados no formato eletrônico tem crescido drasticamente nas ultimas décadas. O valor destes dados está tipicamente ligado à capacidade de extrair informação de mais alto nível que sirva para um propósito especifico. Entretanto a analisar desses dados ainda é demorada, dispendiosa e sujeita a erros [6]. Figura 1: Etapas do processo de extração de conhecimento [14].

12 Segundo Terra [14], em geral, o processo de descoberta de conhecimento consiste em quatro etapas: Objetivos: sempre o processo de Extração de conhecimento tem como objetivo uma hipótese, que será aprovada ou rejeitada com a utilização dos exemplos ou conhecimentos adquiridos; Preparação: é a etapa onde os dados são preparados para serem apresentados às técnicas de Data Mining. Os dados são selecionados (quais os dados que são importantes), purificados (retirar inconsistências dos dados) e pré-processados (reapresentá-los de uma maneira mais adequada para o Data Mining). Esta etapa é realizada sob supervisão e conhecimento de um especialista; Data Mining: são colocados algoritmos específicos, nos quais utilizados para extração de conhecimento. A maioria dos algoritmos é baseada em conceitos de aprendizado de máquina, reconhecimento de padrões, entre outros; Interpretação: o resultado apresentado é avaliado, visando determinar se algum conhecimento adicional foi descoberto, assim como definir a importância dos fatos gerados. A extração de conhecimento em bases de dados consiste na seleção e processamento de dados com a finalidade de identificar padrões, dar maior precisa em padrões conhecidos e modelar o mundo real. Data Mining, em português, mineração de dados se refere ao exame de grandes quantidades de dados, procurando encontrar relações entre dados [15] Métodos Segundo Fayyard [6], sua proposta era uma divisão dos métodos de extração de conhecimento abordando à sua aplicação, podendo ser descritivos ou preditivos. Descritivos: cria-se um modelo para gerar uma representação descritiva dos dados. A partir desta descrição são tomadas as devidas ações; Preditivos: criam-se modelos que permitem prever uma situação futura e necessariamente não focam a compreensão humana.

13 Tarefas de aprendizado Para extrair conhecimento relevante sobre um domínio especifico existem diversas técnicas que podem ser utilizadas. Segundo Fayyad [6], não existe um modelo universal para resolver todas as situações. A escolha de uma técnica para resolver uma situação particular de certa forma é uma arte. Por tanto é necessário informar qual o problema que se deseja resolver e quais as metas que devem ser alcançadas. As técnicas de aprendizado podem estar caracterizadas como: Associação: é a descoberta de relações de associação ou correlações entre um conjunto de itens. São freqüentemente expressadas na forma de regras que mostram as condições atributo-valor que acontecem freqüentemente juntas em um determinado conjunto de dados; Classificação: analisa um conjunto de dados de treinamento (conjunto de dados cuja classificação já é conhecida) e constrói um modelo para cada classe baseando nas características dos dados. Uma arvore de decisão ou um conjunto de regras de classificação é gerado por tal processo de classificação, que pode ser usado para entender melhor cada classe no banco de dados e para classificação de futuros dados; Agrupamento: análise de agrupamentos consiste em identificar possíveis agrupamentos nos dados, onde um agrupamento é uma coleção de objetos que são semelhantes ; Seqüência: analisa um grande conjunto de dados de séries temporais para encontrar certas regularidades e características interessantes. Descobrindo assim padrões seqüenciais, periodicidades, tendências e divergências. Por exemplo, pode-se predizer a tendência dos valores acionários para uma companhia baseando-se sua historia acionaria, situação empresarial, desempenho dos competidores e mercado atual. Vale ressaltar que nenhuma técnica pode ser considerada o melhor para todas as aplicações. Para a escolha da técnica mais adequada para o problema deve-se conhecer o domínio. Saber quais os dados são mais importantes, conhecer os padrões já existentes e assim por diante [6].

14 Aplicações As aplicações de extração de conhecimento são as mais variadas possíveis. Podendo se fazer estudos nos ambientes com propósitos diferentes. Abaixo estão listadas algumas áreas onde podem ser aplicados os conceitos de extração de conhecimento. Acadêmico: o Disciplinas de graduação que tem maior probabilidade de serem cursadas em conjunto; Bancário: o Liberação de empréstimos para clientes que tem característica de bom pagador; Científico: o NASA cataloga imagem de satélites e classifica eventos similares nas imagens; Marketing: o Mala direta de produtos para clientes que tem possibilidade de comprar aquele produto; Varejo: o Produtos organizados nas prateleiras de forma que o cliente ponha no carrinho de compra os produtos que vendem em conjunto; 2.3. Software WEKA WEKA (Waikato Environment for Knowledge Analysis) foi desenvolvido pela Universidade de Waikato e representa seu ambiente para análise de conhecimento tendo a possibilidade dos usuários realizarem vários experimentos em um curto espaço de tempo [8]. O software foi escrito em linguagem JAVA, uma vez que esta linguagem está disponível em varias plataformas como Windows, Linux e Macintosh, transformando assim num software bastante portável. WEKA é um software livre que possui sua licença baseada na GPL (General Public Licence) e pode ser facilmente encontrado para download no endereço: < >.

15 A tecnologia de aprendizado de máquina continua se desenvolvendo e amadurecendo conforme mais pessoas, no seu ambiente de trabalho, submetem seus conjuntos de dados aos algoritmos de aprendizagem. Serão apresentados a seguir, o formato de entrada das bases de dados (arff) e os ambientes abordados no trabalho tais como: preprocess e classifly Arquivos arff O WEKA possui um formato próprio, o arff. Antes de aplicar conjuntos de dados a qualquer algoritmo do software WEKA, estes devem ser convertidos para o formato arff que consiste basicamente de duas partes: Lista de atributos: parte que contém uma lista de todos os atributos onde se definem o tipo do atributo ou os valores que ele pode representar. Os valores devem está entre chaves {} e separados por virgulas; Instâncias e valores: parte que consiste nas instâncias, ou seja, os registros a serem minerados com o valor dos atributos para cada instância separada por virgulas. Caso haja alguma falta de um dado no conjunto de valores, este é substituído por um ponto de interrogação?.

16 A ilustração abaixo apresenta um exemplo de conjunto de dados no formato arff comentado, no qual será abordado na prática o conceito visto anteriormente. Vale ressaltar que este exemplo serve para apresentar os conceitos e a aplicabilidade do formato idade estado_civil {Casado, Solteiro, tem_filhos {Sim, emprego_fixo {Sim, casa_propria {Sim, Não} Indicação do conjunto de dados a ser estudado; Atributo numérico com processamento de até sete dígitos. Embora há outros tipos como interger e numeric; Atributo nominal com caracteres especiais, vírgulas, ou espaços em branco devem ser colocados entre aspas simples. Ex: único valor ; Atributos booleanos expresso por sim ou não, no qual apresentará ou não a ocorrência do atributo em automovel {Sim, Apto_financiar 21,Solteiro,Sim,Não,Não,Não,Não 23,Solteiro,Não,Sim,Sim,Não,Não 30,Divorciado,Sim,Sim,Sim,Não,Sim 40,Divorciado,Não,Não,Sim,Não,Sim Último atributo é definido como atributo classe ou é a palavra reservada para o conjunto de dados propriamente dito. No exemplo, é composto por apenas cinco registros. As informações devem ser colocadas separadas por virgulas e cada linha representa um único registro. 44,Casado,Não,Não,Não,Sim,Sim Tabela 1: Exemplo de um arquivo no formato arff.

17 Ambiente Explorer Nesta seção será abordado o ambiente Explorer do WEKA, no qual estará sendo apresentado o funcionamento básico do aplicativo como abertura do arquivo da base de dados no formato arff, depois a escolha do método de mineração de dados Pré-processo Na figura abaixo, a tela do Preprocess, na qual abrem-se os arquivos para experimentos, executam filtros e tem-se a identificação dos atributos e instâncias do conjunto de dados. O filtro tem como finalidade limpar o conjunto de dados retirando algum atributo ou filtrando dados inconsistentes. Figura 2: Tela do Preprocess. O gráfico apresentado na figura acima representa a classe alvo e a sua classificação. Cada cor representa um estado da classe alvo. Para a visualização de todos os gráfico clicase na guia Vizualize All.

18 Classifly Na figura abaixo, é apresentada a tela do Classifly, na qual o software WEKA disponibiliza várias implementações de classificadores. Clica-se Choose para escolher o algoritmo, escolhe a opção de treinamento e validação e clica-se em Start para executar o resultado para análise é apresentado na Classifier output. Figura 3: Tela do Classifly. Deve-se analisar o Overfitting. Para isso as classificações geradas pelos algoritmos devem ser a mais geral possível, uma vez que o algoritmo deve contemplar casos não descritos nos exemplos, sem piorar o seu desempenho. Os resultados, desta classificação, podem ser avaliados na matriz de confusão, no qual pode se observar à precisão do algoritmo em estudo.

19 Antes da escolha de um algoritmo de extração de regras devem-se analisar as predições e o impacto para as predições incorretas podem ocasionar [16]. O custo de uma predição incorreta em uma aplicação de diagnóstico médico pode ser um fator determinante para a escolha de um algoritmo. Abaixo será apresentado o funcionamento básico dos algoritmos: ZEROR, ONER e J Algoritmo ZEROR Este é o algoritmo de aprendizagem mais primitivo do software WEKA. Modela uma base de dados com uma única regra. Dado um conjunto de dados para uma nova classificação, o algoritmo ZEROR prediz o valor mais freqüente nos dados de treinamento para problemas com valores nominais ou valor da classe comum para problemas de predição numéricos [17] Algoritmo ONER O algoritmo ONER é um algoritmo que produz uma regra simples, pois é baseado em um único atributo. Este algoritmo leva um único parâmetro que é o número mínimo de exemplos [17] Algoritmo J48 O J48 é o algoritmo mais popular do Weka. Baseado na implementação do C 4.5 release 8, que gera uma árvore de decisão baseado em um conjunto de dados de treinamento, sendo que este modelo é usado para classificar as instâncias no conjunto de teste. A versão mais recente do algoritmo, disponibilizada apenas comercialmente, é a C 5.0 [17]. Figura 4: Exemplo de uma árvore de decisão. Para o exemplo apresentado acima, o domínio foi especificado como uma aplicação de aprovação de financiamento de crédito. Onde a árvore apresenta os nós e a navegação é realizada de cima para baixo até atingir a classe alvo.

20 3. MATERIAL E METODOLOGIA Para o seguinte trabalho, utilizou-se um software de domínio público chamado WEKA (Waikato Environment for Knowledge Analysis) que contém várias implementações de algoritmos de extração de conhecimento. Uma base de dados coletada, junto ao especialista do domínio, foi transformada para formato arff, padrão exigido pelo Weka conforme descrito na seção 2.2.1, e submetida a três algoritmos que fazem parte do Weka que tem como objetivo a escolha do melhor algoritmo de extração de conhecimento Local e período O período da realização deste trabalho foi de setembro a dezembro de 2004, no Laboratório de informática do Curso de Sistemas de informação no Centro Universitário Luterano de Palmas Material Os materiais necessários para a realização dos experimentos podem ser divididos em cinco categorias: Conjuntos de dados, Recursos humanos, Recursos de hardware, Recursos de software e Fontes Bibliográficas Conjunto de dados Foi realizada uma coleta de dados junto ao especialista do domínio, a qual disponibilizou os prontuários dos pacientes, já diagnosticados, em Diabetes Mellitus Tipo DOIS, contendo 74 prontuários. Abaixo contém uma lista dos atributos, com uma breve descrição e seus valores possíveis.

21 Atributos: Idade: o Indica a idade do paciente. Como a Diabetes Mellitus tipo 2, aparece em pacientes com mais de 40 anos, então os casos apresentados tiveram idade superior a 40 anos. Valores: real ColesterolAnormal: o Indica uma anormalidade na taxa de colesterol aceitável no organismo. Valores: {Sim,Não} DoencasCoronarianas: o Indica se o paciente apresenta alguma doença cardiovascular. Valores: {Sim,Não} Hipertensão: o Indica se o paciente apresenta problemas de hipertensão sanguínea. Valores: {Sim,Não} Obesidade: o Indica se o paciente apresenta um índice elevado de massa corpórea. Cálculo feito através do Índice de massa corpórea. Valores: {Sim,Não} Sedentarismo: o Indica se o paciente não pratica exercícios físicos regulares. Valores: {Sim,Não} TrigliceridesAnormal: o Indica se o paciente apresenta uma anormalidade na taxa de triglíceres aceitável no organismo. Valores: {Sim,Não}

22 Antecedentes: o Indica se o paciente apresenta casos de antecedentes com quadro diabético. Valores: {Sim,Não} Assintomáticos: o Indica se o paciente não apresenta sintomas clínicos do quadro diabético ou não apresenta os sintomas clássicos como, por exemplo: Poliúria, Polidipsia, Polifagia e Excesso ou perda de peso. Valores: {Sim,Não} VisaoTurva: o Indica se o paciente apresenta problemas de visão. Valores: {Sim,Não} FeridasNaoCicatrizam: o Indica se o paciente apresenta feridas que demoram a se catrizar. Valores: {Sim,Não} DormeciasMembrosInferiores: o Indica se o paciente tem câimbras nos membros inferiores. Valores: {Sim,Não} Poliúria: o Indica se o paciente urina demasiadamente. Valores: {Sim, Não} Polidipsia: o Indica se o paciente bebe muita água. Valores: {Sim, Não} Polifagia: o Indica se o paciente sente fome constante. Valores: {Sim, Não}

23 PerdaExcessoPeso: o Indica se o paciente apresenta perda ou excesso de peso. Valores: {Sim, Não} GlicemiaCapilar: o Indica se o paciente apresenta alteração do açúcar no sangue. Valores: real Diabético: o Classe alvo; o Indica se o paciente apresenta o quadro diabético. Valores: {Sim,Não} Recursos humanos No presente trabalho teve a participação de três pessoas, onde cada uma tinha determinada função. Um estagiário, que ficou incumbido de estudar e realizar dos experimentos com a ferramenta Weka no domínio especificado nas seções anteriores, bem como a estruturação da documentação que se destina o trabalho; Um orientador, no qual supervisiona os experimentos realizados com a ferramenta e auxilia na confecção da documentação do presente trabalho; Um médico especialista no domínio, que auxilia na documentação dos experimentos realizados na ferramenta utilizada.

24 Recursos de hardware Foram utilizados dois computadores com seus requisitos citados abaixo: Computador 1: o AMD K Hz; o 98 MB RAM; o HD 10 GB; Computador 2: o Pentium III 750Hz; o 128Mb RAM; o HD 20 GB; Recursos de software Os softwares utilizados foram os seguintes: OpenOffice.org br, para editoração da redação, leitura de algumas referencias bibliográficas e geração de um documento PDF; Monzilla FireFox 0.10 PR, para pesquisas realizadas na Internet; WEKA 3.4, para realização dos experimentos dos algoritmos de aprendizagem; Java 2 Run-Time (J2RE), para dar suporte a aplicação WEKA; Adobe Acrobat Reader 6.0, para leitura de referencias bibliográficas; WinZip e WinRar, descompactadores utilizados quando necessários; Globalink, para traduções de textos escritos em línguas estrangeiras; Fontes bibliográficas As fontes bibliográficas são constituídas por: livros, manuais, publicações cientificas, teses e dissertações obtidas na Internet.

25 3.3. Metodologia Para a realização do presente trabalho foi elaborado um cronograma descrito nas atividades realizadas, como é apresentado na tabela 2: Setembro / 2004 Outubro / 2004 Novembro / 2004 Dezembro / 2004 Definição do tema e restrições do domínio (Diabetes Mellitus Tipo 2) Coleta de dados sobre os pacientes diagnosticados em Diabetes Mellitus tipo 2 na região Norte de Palmas TO. Sendo que esta base de dados estava disponibilizada em um banco de dados e em uma planilha eletrônica. Total dos casos coletados: 74 casos; Revisão de literatura: Pesquisas sobre Diabetes Mellitus; Pesquisas sobre Extração de conhecimento; Pesquisas sobre a ferramenta WEKA; Transformação dos arquivos coletados para o padrão do WEKA. Escolha nos algoritmos que seriam estudados, uma vez que o Pacote WEKA disponibiliza uma grande quantidade de classificadores; Entendimento do funcionamento dos algoritmos de classificação ZEROR, ONER e J48; Comparativos com bases de dados fictícias com 50 casos e 100 casos; Avaliação do especialista do domínio; Testes finais; Elaboração da redação final. Tabela 2: Cronograma das atividades realizadas.

26 4. RESULTADOS E DISCUSSÕES A seguir serão apresentados os resultados obtidos dos experimentos realizados com o conjunto de dados coletados contendo 74 exemplos e 18 atributos. A classe alvo Diabético foi instanciada com 56 para a classe Sim e 18 para a classe Não. Os algoritmos foram executados separadamente Hipóteses O presente trabalho abordará duas hipóteses. A primeira hipótese tem como característica principal que todas as respostas sejam informadas pelo paciente no momento da triagem e que todos os atributos foram preenchidos corretamente. A segunda hipótese, no momento da triagem o paciente não sabe ou não têm certeza que aquela resposta esteja correta. Por exemplo, o paciente desconhece sua taxa de colesterol. Neste caso, o paciente não sabe se está com o colesterol alterado Aplicação do Algoritmo ZEROR A tabela abaixo representa a aplicação do algoritmo ZEROR === Run information === Scheme: Relation: Weak.classifiers.rules.ZeroR DiabetesMellitus Instances: 74 Attributes: 18 === Classifier model (full training set) === ZeroR predicts class value: Sim === Evaluation on training set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % === Detailed Accuracy By Class === Class Sim === Confusion Matrix === a b <-- classified as 56 0 a = Sim 18 0 b = Não Precision Tabela 3: Hipótese 1 Aplicação do algoritmo ZEROR. Como é característico do algoritmo ZEROR, foi observado que ele fez uma predição do valor nominal que teve mais ocorrência, no caso o valor Sim. Focando o estudo na matriz de confusão ficou observado que o algoritmo obteve um percentual de

27 acerto de 75,7% para os atributos nominais Sim. A classificação incorreta de 18 instâncias faz que com que o seu percentual fosse reduzido. === Run information === Scheme: Relation: weka.classifiers.rules.zeror DiabetesMellitusValoresMOD Instances: 74 Attributes: 18 === Classifier model (full training set) === ZeroR predicts class value: Sim === Evaluation on training set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Total Number of Instances Ignored Class Unknown Instances === Detailed Accuracy By Class === Class Sim === Confusion Matrix === a b <-- classified as 38 0 a = Sim 8 0 b = Não Precision Tabela 4: Hipótese 2 Aplicação do algoritmo ZEROR. O algoritmo aumentou a sua precisão para 82,6%, reduzindo o número de instâncias classificadas erradas, entretanto o algoritmo ignorou 28 exemplos, pois o mesmo não consegue instanciar estes exemplos Aplicação do Algoritmo ONER A tabela abaixo representa a aplicação do algoritmo ONER. === Run information === Scheme: Relation: Instances: Attributes: Weka.classifiers.rules.OneR -B 6 DiabetesMellitus === Classifier model (full training set) === GlicemiaCapilar: < > Não >= > Sim (74/74 instances correct) === Evaluation on training set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances 0 0%

28 === Detailed Accuracy By Class === Class Sim Class Não Precision 1 Precision 1 === Confusion Matrix === a b <-- classified as 56 0 a = Sim 0 18 b = Não Tabela 5: Hipótese 1 Aplicação do algoritmo ONER. Como é característico do algoritmo ONER foi observado que a classe GlicemiaCapilar é o fator preponderante para instanciar a classe alvo, no caso Diabetico. Focando o estudo na matriz de confusão, pode-se observar que o algoritmo ONER consegue instanciar corretamente 100% dos exemplos. Gerando apenas uma única regra. Se a glicemia capilar for menor ou igual a 178,5 então é classificado como Não diabético, senão é classificado como diabético. === Run information === Scheme: Relation: Weka.classifiers.rules.OneR -B 6 DiabetesMellitusValoresMOD Instances: 74 Attributes: 18 === Classifier model (full training set) === Idade: not? -> Sim (38/46 instances correct) === Evaluation on training set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Total Number of Instances Ignored Class Unknown Instances === Detailed Accuracy By Class === Class Sim === Confusion Matrix === a b <-- classified as 38 0 a = Sim 8 0 b = Não Precision Tabela 6: Hipótese 2 Aplicação do algoritmo ONER. Como é característico do algoritmo ONER gerar apenas uma regra para classificar a classe alvo, então ele não se comportou como esperado. Não conseguiu instanciar o atributo mais relevante para a classificação da classe alvo, no caso o atributo GlicemiaCapilar. O algoritmo instanciou a primeira classe da relação, no caso Idade.

29 Eliminando esta classe pelo Preprocess, o algoritmo instancia a próxima classe da relação e assim sucessivamente Aplicação do Algoritmo J48 A tabela abaixo representa a aplicação do algoritmo J48. === Run information === Scheme: Relation: Instances: Attributes: Weka.classifiers.trees.J48 -C M 2 DiabetesMellitus === Classifier model (full training set) === J48 pruned tree GlicemiaCapilar <= 174: Não (18.0) GlicemiaCapilar > 174: Sim (56.0) === Evaluation on training set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances 0 0% === Detailed Accuracy By Class === Class Sim Precision 1 === Confusion Matrix === a b <-- classified as 56 0 a = Sim 0 18 b = Não Class Não Precision 1 Tabela 7: Hipótese 1 Aplicação do algoritmo J48. Focando o estudo na matriz de confusão, foi observado que a classificação gerada pelo algoritmo J48 tem um percentual de acertos em 100% para a classe alvo, no caso Diabético, uma vez que ele identificou que a GlicemiaCapilar como atributo mais relevante. Sendo a glicemia capilar acima de 174 é classificado como diabético. === Run information === Scheme: Relation: Instances: Attributes: Weka.classifiers.trees.J48 -C M 2 DiabetesMellitusValoresMOD === Classifier model (full training set) === J48 pruned tree GlicemiaCapilar <= 174: Não (6.22/0.81) GlicemiaCapilar > 174: Sim (39.78/2.59) === Evaluation on training set === === Summary ===

30 Correctly Classified Instances % Incorrectly Classified Instances 3 6.5% Total Number of Instances 46 Ignored Class Unknown Instances 28 === Detailed Accuracy By Class === Class Sim Class Não Precision Precision 1 === Confusion Matrix === a b <-- classified as 38 0 a = Sim 3 5 b = Não Tabela 8: Hipótese 2 Aplicação do algoritmo J48 O algoritmo manteve uma precisão elevada, mesmo com a segunda hipótese. Focando o estudo na Correectly Classified Instances, foi observado que o algoritmo instanciou, com uma probabilidade de acerto de 93,5% Discussões Com o objetivo de pesquisar a viabilidade de obter conhecimento a partir de uma base de dados sobre Diabetes Mellitus tipo dois, procurou-se investigar as técnicas de extração de conhecimento onde é apresentada uma visão crítica dos pontos positivos e negativos dos resultados apresentados acima. Essa visão crítica é apresentada no contexto de data mining culminando em uma sugestão sobre qual algoritmo se adapta melhor as bases de dados coletadas para descoberta de uma predição em Diabetes Mellitus Tipo dois. A performance dos algoritmos pode ser melhorada através da remoção de atributos irrelevantes. Esta tarefa que pode ser realizada manualmente, utilizando a ferramenta Weka ou através de algum método automático de seleção de atributos.

31 As figuras abaixo representam o resultado da matriz de confusão para análise das duas hipóteses propostas no trabalho. Figura 4: Funcionamento do Algoritmo ZEROR. O algoritmo ZEROR teve um desempenho razoável nas duas hipóteses, mas por se tratar de um algoritmo bastante simples não seria o mais ideal para o tipo de predição, uma vez que a característica do algoritmo é traçar uma única regra baseando-se no valor mais apresentado na base de dados. No caso, o valor nominal Sim, como é observado na figura acima. Figura 5: Funcionamento do Algoritmo ONER. O algoritmo ONER também obteve uma considerável margem de acerto para a primeira hipótese, entretanto para a segunda hipótese ele não foi tão preciso e também não instanciou corretamente o atributo mais relevante. Como o custo de overfitting é levado em consideração o algoritmo não se comportou como esperado, pois não gerou uma regra que contemplasse todos os casos da base de dados.

32 Figura 6: Funcionamento do Algoritmo J48. Estudando o funcionamento dos algoritmos ficou observado que o algoritmo J48 se comportou bem, com uma precisão de acertos aceitável para o conjunto de dados coletados. A primeira hipótese, no qual o algoritmo instanciou corretamente todos os casos, tornando assim a precisão de 100%. A segunda hipótese, no qual o algoritmo instanciou corretamente 93,5% dos casos, o algoritmo obteve uma margem de acertos aceitável para as predições.

33 5. CONCLUSAO Extração de conhecimento tem sido cada vez mais aplicada em grandes bases de dados, em particular por causa da alta demanda de transformar grandes quantidades de dados em informações úteis, promovendo agilidade e confiança para o apoio à tomada de decisão. A disponibilidade do conjunto de dados não foi uma problemática, pois estes dados já estavam disponibilizados num formato eletrônico e o trabalho do especialista do domínio foi um facilitador no entendimento do problema. Foi identificado que a Glicemia Capilar, segundo o especialista do domínio, o atributo mais significativo para o diagnóstico do quadro diabético. O software Weka foi de grande utilidade nas análises, uma vez que em um curto espaço de tempo pode se fazer vários experimentos. Além de possuir uma licença GPL, o software Weka contém vários algoritmos de aprendizagem de máquina. Neste contexto, o presente trabalho tem como proposta a escolha do melhor algoritmo dentre ZEROR, ONER e J48. Foi observado as matrizes de confusão dos algoritmos estudados. Identificou-se que o J48 se manteve mais estável para o conjunto de dados e para as predições dos possíveis pacientes em Diabetes Mellitus tipo dois. O algoritmo ZEROR não consegue instanciar um atributo devido às suas características, classificando apenas o valor nominal com a maior ocorrência. O algoritmo ONER instanciou corretamente com uma única regra a glicemia capilar, entretanto o impacto das predições erradas na segunda hipótese pode ser considerado um fator determinante para a escolha deste algoritmo. O algoritmo J48 se apresentou mais estável tanto para a primeira hipótese quanto para a segunda hipótese. Os acertos apresentados para as predições da segunda hipótese se mostraram consideravelmente alto, uma vez que se manteve acima dos 90%.

34 Com a utilização de técnicas de extração de conhecimento para auxiliar o processo de triagem dos possíveis pacientes em Diabetes Mellitus tipo dois identificando os padrões ocultos na base de dados coletada, pode-se observar que quando a glicemia capilar está acima de 174, no caso do algoritmo J48, o paciente foi diagnosticado com o quadro diabético.

35 6. TRABALHOS FUTUROS Data warehouse é um conjunto de tecnologias que permitem converter uma grande quantidade de dados em informação utilizável, transformando um banco de dados num ambiente operacional. Sua principal característica é que ele é um banco de dados desenhado para tarefas analíticas, usando dados de diferentes aplicações. Apesar dos dados estarem num formato eletrônico, em sua maioria, os dados podem está desarrumados em relação aos dados obtidos pelo especialista do domínio. A criação de um data warehouse tem como objetivo a extração de dados de qualquer fonte, seja ela um banco de dados, documentos de texto, planilhas eletrônicas entre outros. No contexto do presente trabalho, seria interessante utilizar data warehouse para integrar os dados coletados em todos os postos de saúde do plano diretor de palmas, de maneira que eles possam ficar consistentes para serem aplicados a um algoritmo de extração de conhecimento. A integração das bases de dados, abrangendo todos os setores do município de Palmas pode-se buscar um padrão oculto nos dados. Ter em mãos a informação e a habilidade de transformar esta informação em conhecimento é um fator critico para o sucesso. O uso estratégico dos conhecimentos adquiridos pode se tornar um aliado aos gestores e demais pessoas envolvidas no processo de combate ao quadro diabético.

36 7. REFERÊNCIAS BIBLIOGRÁFICAS [1] Brasil, Ministério da Saúde. Orientações básicas para o diabético, 2ª edição, Brasília, [2] Costa, Arual Augusto. Manual de diabetes: alimentação, medicamentos, exercícios. 3ª edição, Editora Sarvier, [3] Brasil, Ministério da Saúde. Doenças Crônico-Degenerativas, 3ª edição, Brasília, [4] Brasil, Ministério da Saúde. Diabetes Mellitus. 2ª edição, Brasília, [5] UCI KDD Archive. Disponível em: < >. Acesso em: 25 de novembro de [6] FAYYAD, U.; PIATETSKY-SHAPIRO, G.; SMYTH, P. The KDD Process for Extracting Useful Knowledge from Volumes of Data [7] TECNOLOGIAS PARA APOIO A TOMADA DE DECISÃO. Disponível em: < >. Acesso em: 31 de novembro de [8] Weka Project. Disponível em: < > Acesso em: 31 de novembro de [9] Análise de informações em dados estruturados com XML Disponível em: < > Acesso em: 28 de novembro de [10] Boa Saúde Disponível em : < >. Acesso em 14 de setembro de [11] Universidade De Évora. Disponível em : < >. Acesso em 31 de novembro de [12] ABC da Saúde Disponível em: < > Acesso em 12 de setembro de [13] Introdução à aprendizagem de máquina. Disponível em: < > Acesso em 28 de novembro de [14] TERRA, J.C.C. Gestão do conhecimento: o empresarial. grande desafio São Paulo: Negócio Editora, [15] Micthell, Tom. Machine Learning, McGraw Hill, [16] Gama, João. Avaliação de Classificadores. Disponível em: < > Acesso em 29 de novembro de 2004 [17] Witten, I. H., and Frank E. Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. San Francisco, 1999.