MINERAÇÃO DE DADOS COM REDES NEURAIS NÃO-SUPERVISIONADAS MODELO ART: PARÂMETROS E APLICAÇÕES

Transcrição

1 UNIVERSIDADE CATÓLICA DE BRASÍLIA PROGRAMA DE PÓS-GRADUAÇÃO STRICTO SENSU EM INFORMÁTICA MINERAÇÃO DE DADOS COM REDES NEURAIS NÃO-SUPERVISIONADAS MODELO ART: PARÂMETROS E APLICAÇÕES Ethel Airton Capuano BRASÍLIA 2001

2 ii ETHEL AIRTON CAPUANO MINERAÇÃO DE DADOS COM REDES NEURAIS NÃO-SUPERVISIONADAS MODELO ART: PARÂMETROS E APLICAÇÕES Dissertação apresentada ao Programa de Pós-Graduação Strictu Sensu em Informática da Universidade Católica de Brasília como requisito para a obtenção do Título de Mestre em Gestão do Conhecimento e da Tecnologia da Informação. Orientador: Prof. Dr. Cláudio Chauke Nehme BRASÍLIA 2001

3 iii Dissertação defendida e aprovada, em de de 2001, pela banca examinadora constituída pelos professores: Prof. Dr. Cláudio Chauke Nehme - Orientador Prof. Dr. Hércules Antonio do Prado Prof. Dr. Paulo Rogério Foina Prof. Dr. Li Weigang

4 iv Ao Prof. Dr. Cláudio Chauke Nehme Que me deu a oportunidade de viajar pelo mundo da Inteligência Artificial, navegar pelos neurônios do cérebro e sondar interessantes mecanismos do aprendizado.

5 v AGRADECIMENTOS Agradeço, em primeiro lugar, ao Criador pela energia vital e inteligência que me concedeu para a superação de todos os obstáculos em vida, permitindo que eu pudesse contemplar e usufruir as maravilhas de sua criação. A realização deste trabalho se deve também à compreensão e colaboração, direta ou indireta, de algumas pessoas que me são caras por diversos motivos, pessoais ou profissionais. Em especial, agradeço ao Prof. Dr. Cláudio Chauke Nehme por sua orientação, constante incentivo e comentários inteligentes, mostrando-me um nova maneira de entender as expressões sensoriais do mundo natural; ao Prof. Dr. Sérgio A. S. Morais, por sua confiança em meu trabalho desde que o conheci na UCB; ao Prof. Dr. Maurício Prates, pelas lições de caráter e seus preciosos ensinamentos acerca do que vem a ser a ciência, a tecnologia e os homens que as fazem no dia-a-dia; ao Prof. Dr. Ettore Bresciani Filho, pela sua extrema gentileza e lições de compreensão e humanismo no tratamento de mudanças tecnológicas e seus impactos nas organizações; ao Prof. Pós-Dr. Paulo Sérgio Fresneda, pelo profissionalismo e brilhantismo didático empregado nas suas aulas. À minha esposa Luzia, agradeço pela compreensão e paciência ao ser privada de meu auxílio na criação de nossos filhos e do convívio conjugal durante o longo período dedicado ao Mestrado. Aos meus superiores e colegas de trabalho que me apoiaram nesta iniciativa e se adaptaram à minha agenda de atividades entrecortada por aulas presenciais do Mestrado durante horários de expedientes. E, finalmente, a Leonor, da Secretaria de Pós-Graduação da UCB, por sua preocupação em informar aos alunos do Mestrado, por todos os meios de comunicação disponíveis, de forma tempestiva e precisa, sobre os eventos da vida acadêmica.

6 Eu não conheço nenhuma commodity mais valiosa que informação. (Gordon Gekko, personagem criado por Oliver Stone no filme Wall Street) vi

7 vii SUMÁRIO LISTA DE FIGURAS... xi LISTA DE TABELAS... xiii LISTA DE ABREVIATURAS... xiv RESUMO... xvi ABSTRACT... xvii 1. INTRODUÇÃO MINERAÇÃO DE DADOS Visão Matemática Visão Executiva Visão Sistêmica REDES NEURAIS ARTIFICIAIS Fundamentos Matemáticos Aprendizagem com Dados Modelos e Arquiteturas Topologias Paradigmas e Algoritmos de Aprendizado TEORIA DA RESSONÂNCIA ADAPTATIVA Cognição em Redes ART Variante ART Vigilância (ou Refinamento de Variáveis) Auto-escalabilidade Auto-estabilização com Pequeno Número de Iterações Aprendizado On Line Captura de Eventos Raros Acesso Direto a Padrões de Entrada Familiares Acesso Direto a Subconjuntos e Padrões de Subconjuntos Enviesamento da Rede para Formação de Novas Categorias Variante ART Camada F

8 viii Camada F Equações de LTM Subsistema de Orientação Iniciação de LTM Ascendente Variante Fuzzy-ART Operações Fuzzy-ART Normalização de Entradas Interpretação Geométrica do Aprendizado ESPAÇOS PARAMÉTRICOS NO MODELO ART Parâmetros de Configuração Implementações Computacionais Testes Experimentais Mapeamento de Parâmetros em ART Relações entre Parâmetros de ART Engenharia de ART Mapeamento de Parâmetros em ART Relações entre Parâmetros de ART Engenharia de ART Mapeamento de Parâmetros em Fuzzy-ART Relações entre Parâmetros de Fuzzy-ART Engenharia de Fuzzy-ART MODELAGEM DE PROBLEMAS DO MUNDO REAL Definição da Massa de Dados Limpeza dos Dados Análise Estatística Preliminar dos Dados Pré-processamento dos Dados Representação dos Padrões de Entrada Seleção da Variante ART Quantidade de Dados Validação do Aprendizado Interpretação dos Resultados CONCEITOS E APLICAÇÕES: UMA PONTE EM CONSTRUÇÃO

9 ix 7.1 Uniformização de Linguagens Convergência de Objetivos Visão Holística da Realidade Complexa Evolução de Soluções CONCLUSÕES REFERÊNCIAS BIBLIOGRÁFICAS ANEXO 1 FUNÇÕES EM MATLAB PARA ART ANEXO 2 FUNÇÕES EM MATLAB PARA ART ANEXO 3 FUNÇÕES EM MATLAB PARA FUZZY-ART ANEXO 4 PROBLEMAS SIMULADOS E REAIS PARA DATAMINING ANEXO 5 DADOS ESTRUTURADOS PARA MINERAÇÃO COM REDES NEURAIS MODELO ART ANEXO 6 - RESULTADOS DE TESTES DE PARÂMETROS DE REDES NEURAIS MODELO ART ANEXO 7-A RESULTADOS DE TESTES DE PARÂMETROS DE REDES NEURAIS MODELO ART2 (dados simulados com distribuição normal) ANEXO 7-B RESULTADOS DE TESTES DE PARÂMETROS DE REDES NEURAIS MODELO ART2 (dados simulados e reais) ANEXO 8 RESULTADOS DE TESTES DE PARÂMETROS DE REDES NEURAIS MODELO FUZZY-ART ANEXO 9-A MAPEAMENTO DE PARÂMETROS DE ART1 (dados uniformemente distribuídos) ANEXO 9-B MAPEAMENTO DE PARÂMETROS DE ART1 (dados com distribuição normal) ANEXO 10 MAPEAMENTO DE PARÂMETROS DE ART ANEXO 11 MAPEAMENTO DE PARÂMETROS DE FUZZY-ART ANEXO 12 PADRÕES DE RESULTADOS DA LOTERIA ESPORTIVA ANEXO 13 MAPEAMENTO DE PARÂMETROS DO SUBSISTEMA DE ORIENTAÇÃO DE REDES ART ANEXO 14 VALORES DE FEATURES DE CLUSTERS EM FUZZY-ART ANEXO 15 TEMPOS DE RESPOSTA EXPERIMENTAIS DE REDES

10 x NEURAIS MODELO ART ANEXO 16 REPRESENTAÇÕES DE PADRÕES DE ENTRADA E DE CLUSTERS EM REDES NEURAIS ART ANEXO 17 VALIDAÇÃO CRUZADA EM ART

11 xi LISTA DE FIGURAS Figura 1.1 Evolução da Maturidade das TIs... 2 Figura 2.1 O Ciclo da Informação de Yoneji Masuda Figura 2.2 Macroprocessos de Mineração de Dados Figura 2.3 Evolução dos Sistemas Especialistas Figura 2.4 Estágios para Incremento da Densidade de Inteligência Figura 2.5 Engenharia do Conhecimento Figura 3.1 Evolução da Computação Eletrônica Figura 3.2 Fotoperceptron de Rosenblatt Figura 3.3 Perceptron de Minsky e Papert Figura 3.4 Separabilidade no Perceptron Figura 3.5 Problema XOR no Perceptron Figura 3.6 Rede para Solução de Problemas XOR Figura 3.7 Problema de Separabilidade Não-Linear Figura 3.8 Processamento Simbólico e Subsimbólico Figura 3.9 Rede de LTGs de Duas Camadas com Alimentação Progressiva Figura 3.10 LTG Simbólico e Função de Transferência Figura 3.11 LTG da Função Booleana Y(X 1,X 2,X 3 )=(~X 1 )X 2 + X 2 (~X 3 ) Figura 3.12 Mapa de Karnaugh da Função Limiar Y(X 1,X 2,X 3 )=(~X 1 ) X 2 + X 2 (~X 3 ) Figura 3.13 XNOR com PTG(2) Figura 3.14 Mapas de Karnaugh para XNOR com PTG(2) Figura 3.15 Realização de Função XNOR e Superfície de Separação com QTG Figura 3.16 Rede Neural com Camada de Pré-processamento Figura 3.17 Rede Neural Feedforward com k LTGs na Camada Oculta Figura 3.18 Conceito de Pontos em Posição Geral Figura 3.19 Função Sigmoidal (ou S) Figura 3.20 Unidade Computacional do Perceptron... 77

12 xii Figura 3.21 Unidade Linear ADALINE Figura 3.22 Função Critério E(w) Unidimensional com Mínimo Local em W* Figura 3.23 Arquitetura de Rede Feedforward Interconectada Figura 3.24 Topologias de Redes Neurais Figura 4.1 Topologia de Rede Neural ART Figura 4.2a Seqüência de Treinamento em ART1 (1º Ciclo) Figura 4.2b Seqüência de Treinamento em ART1 (2º Ciclo) Figura 4.3 Algoritmo de Redes Neurais ART Figura 4.4 Topologia de Redes Neurais ART Figura 4.5 Algoritmo de Redes Neurais Fuzzy-ART Figura 4.6 Representação Geométrica de Fuzzy-ART em R Figura 5.1 DHFs de Implementações do Modelo ART em MATLAB Figura 5.2 Comportamento de Parâmetros em ART Figura 5.3 Curvas Típicas de Clustering em ART Figura 5.4 Clustering em Função do Viés dos Dados em ART Figura 5.5 Curvas da Função r = f( cp,cos(u,p)) Figura 5.6 Curvas Típicas de Clustering em ART Figura 5.7 Curvas da Função f(x)=2θx 2 /(θ 2 +x 2 ) Figura 5.8 Comportamento de Parâmetros em Fuzzy-ART Figura 5.9 Curvas de Clustering de ART1 e Fuzzy-ART Figura 6.1 Representações de Dados para Redes Neurais Figura 6.2 Adensamento de Bits 1 na Codificação Termômetro Figura 6.3 Representação de Features em ART Figura 6.4a Clusters de ART2 com Features Normalizadas Figura 6.4b Clusters de ART2 com Features Não-normalizadas Figura 6.5 Clusters de Fuzzy-ART Representados com Barras Figura 6.6 Padrões de Entrada versus Clusters de ART Figura 6.7 Curvas da Relação entre n, np, ρ e TR Figura 7.1 Arquitetura ART Cascata Figura 7.2 Arquitetura de Rede Neural Modular Figura 8.1 Funções de Clustering para Redes ART

13 xiii LISTA DE TABELAS Tabela 2.1 Dados, Informação e Conhecimento... 9 Tabela 3.1 Exemplo de Limitação do Perceptron Tabela 3.2 Aplicações de Redes Neurais nos Negócios Tabela 3.3 Número de Funções Limiar versus Número de Funções Booleanas Possíveis Tabela 3.4 Graus de Liberdade de LTGs versus QTGs Tabela 3.5 Número de Funções Booleanas com PTGs de n Tabela 3.6 Modelos e Funções de Redes Neurais Tabela 4.1 Fatores das Camadas F1 e r Tabela 6.1 Formação de Clusters em Função da Codificação em ART Tabela 6.2 Critérios de Seleção de Redes ART

14 xiv LISTA DE ABREVIATURAS [HAS95,30] autor HASSOUN, obra citada de 1995, página 30 ADALINE Adaptive Linear Combiner Element AHK Adaptive Ho-Kashyap ANN Artificial Neural Network ART Adaptive Resonance Theory BI Business Intelligence BP Back Propagation CAS Center for Adaptive Systems CEO Chief Executive Officer CIO Chief Information Officer CPF Cadastro de Pessoa Física CRM Customer Relationship Management DHF Diagrama Hierárquico de Funções DN Distribuição Normal (Gaussiana) DU Distribuição Uniforme DW Data Warehouse ERP Enterprise Resource Planning ETI Estações de Trabalho Inteligentes EUA Estados Unidos da América GSH Grandes Sistemas Híbridos GSR Grandes Sistemas Restritos HD Hard Disk IA Inteligência Artificial KADS Knowledge Analysis and Documentation System KB Bytes KBS Knowledge-Based System KFM Kohonen Feature Map LMS Least Mean Square LTG Linear Threshold Gate

15 xv LTM Long Term Memory MIT Massachussetts Institute of Technology MS Microsoft NCATPO Novos Conceitos em Análise de Tarefas e Projeto Organizacional OCR Optical Character Recognition OLAP On Line Analytical Processing OLTP On Line Transaction Processing PCA Principal-Component Analysis PNB Produto Nacional Bruto PTG Polinomial Threshold Gate QTG Quadratic Threshold Gate RAM Random Access Memory RAUSP Revista de Administração da Universidade de São Paulo SHMG Sistemas Híbridos Muito Grandes SIAPE Sistema Integrado de Administração de Recursos Humanos SMP Symmetric Multiprocessor SNNS Stuttgart Neural Network Simulator SOFM Self Organizing Feature Map STI Sistemas Tutoriais Inteligentes STM Short Term Memory TI Tecnologia da Informação TOT. - Total USP Universidade de São Paulo WTA Winner Take All WWW World Wide Web XNOR Exclusive-not Or XOR Exclusive-Or

16 xvi RESUMO Esta dissertação se concentra no mapeamento de parâmetros técnicos de configuração e na aplicação experimental de um conjunto de algoritmos de redes neurais não-supervisionadas baseadas na assim denominada Teoria da Ressonância Adaptativa (ART), desenvolvida por Gail Carpenter e Stephen Grossberg para representar os processos cerebrais da aprendizagem. Essa abordagem de redes neurais artificiais trata de conceitos de reconhecimento de padrões adaptados para atenuação do problema da dualidade entre estabilidade e plasticidade presente em outros processos de aprendizagem com redes neurais. Entretanto, para ser mais eficiente que os algoritmos alternativos disponíveis na mineração de dados, as variantes do modelo ART devem ser apropriadamente selecionadas, configuradas, implementadas e validadas com saídas corretamente interpretadas em cada tipo de missão crítica para o qual são solicitadas. Com isto em mente, o autor testou implementações com as variantes ART1, ART2 e Fuzzy-ART e executou cerca de oitocentos experimentos com diferentes combinações de parâmetros de configuração simulando problemas reais de mineração de dados e, em alguns casos, minerando dados reais mesmo. Espera-se que os resultados experimentais produzidos em laboratório possam ser úteis para a desmistificação da tecnologia ART, contribuindo para sua popularização e emprego, em larga escala, no universo das organizações privadas e públicas.

17 xvii ABSTRACT This dissertation focus on mapping technical parameters and experimental applications of a set of unsupervised neural networks algorithms based on the so called Adaptive Resonance Theory (ART), developed by Gail Carpenter and Stephen Grossberg to represent the brain learning processes. This approach of artificial neural networks deals with pattern recognition concepts fitted to attenuate the problema of stability-plasticity duality present in other learning processes with neural networks. Therefore, to be more efficient than alternative algorithms available, ART model variants must be properly selected, configured, implemented and validated with outputs correctly interpreted faced each kind of critical mission they are required for. With this point of view, the author tested implementations with ART1, ART2 and Fuzzy-ART variants and executed almost eigth hundred experiments with different parameter configurations simulating real problems in datamining and, in some cases, even mining real problems data. One expect that the experimental outcomes produced in laboratory may be useful to ART technology demystification and to contribute to its popularization and employment in large scale abroad private and public organizations.

18 1. INTRODUÇÃO O momento atual apresenta uma conjugação de fatores tecnológicos, culturais e econômicos propícia para uma mudança de paradigma quanto ao papel da computação nas organizações, evoluindo a partir dos processos e dos dados para o conhecimento. A abundância de dados armazenados em sistemas legados de transações on line (OLTP) da era da automação de processos e dos bancos de dados, por um lado; a escalada do poder computacional dos microcomputadores a custos acessíveis, por outro lado; e, principalmente, a motivação empresarial de um mundo globalizado e extremamente competitivo completam o cenário onde conhecimentos de negócios, explícitos ou implícitos, se tornam "o mais desejável produto final da computação." [FAY96,vii] Esse cenário apresenta um contraste temporal marcante entre o que existe hoje, em termos de conhecimento gerado a partir dos dados disponíveis, e o que se busca avidamente. John Naisbett resume a situação na seguinte metáfora: "Estamos nos afogando em informações, mas morrendo de fome de conhecimento." [FAY96,1] As tecnologias úteis para aquisição de conhecimento em qualquer atividade humana, a partir de massas de dados preexistentes, derivam de campos de pesquisa estatística e da assim denominada Inteligência Artificial (IA). O corpo de conhecimentos de IA se baseia, conceitualmente, nos conhecimentos de outras disciplinas tais como biologia, neurologia, psicologia, estatística e ciência da computação. O que, de fato, se produz no campo da IA é a "cola" para integração e combinação de conceitos dessas disciplinas subjacentes em aplicações complexas

19 2 que exigem abordagem multidisciplinar. Essas tecnologias podem ser exploradas em todo seu potencial somente porque tecnologias mais fundamentais como redes de comunicação de dados, sistemas de bases de dados e microcomputadores estão disponíveis. A Figura 1.1, a seguir, mostra o ritmo de maturação dessas tecnologias de informação (TI) e da IA desde [DHA97,viii] Maturidade Redes PC Bases de Dados IA Figura Evolução da Maturidade das TIs Dhar e Stein testemunham a angústia do público acerca da utilização de tecnologias de IA e concluem que a mineração de dados ainda não deslanchou porque os empresários não entendem os conceitos técnicos e como essas tecnologias podem ser utilizadas de forma lucrativa nos negócios. A respeito dessa barreira entre tecnólogos e empresários, afirmam esses autores que livros técnicos sobre IA, teoria da decisão e estatística são demasiado técnicos ou abstratos para

20 3 empresários, enquanto outros são muito superficiais para lhes dar uma sólida compreensão das tecnologias; para eles, é preciso que a tecnologia seja trazida ao nível do chão sem perda de sua essência e a questão central é como estabelecer parâmetros comparativos de avaliação e seleção dessas tecnologias em termos de desempenho no ambiente de negócios. Outro aspecto importante da IA, apontado pelos autores, e ainda não compreendido adequadamente por CIOs e CEOs se refere aos processos de aquisição de conhecimentos. Enquanto muitas organizações têm muitos dados armazenados em seus sistemas, a maioria delas não tem profissionais com o expertise necessário para projetar sistemas de IA, em virtude dos custos inerentes aos recursos humanos com esse perfil. [DHA97,vii-ix] A motivação para esta dissertação não é muito diferente da apresentada em [DHA97] e outras referências como [ADR98], [BIG96] e [FAY96], obras que contribuem para a construção da ponte entre pesquisadores, CIOs e CEOs. De fato, o objetivo deste trabalho de pesquisa é mapear o espaço multidimensional dos parâmetros de configuração de um modelo específico de redes neurais a fim de desmistificá-lo perante a comunidade de profissionais de TI e apresentá-lo, concomitantemente, como solução viável para uma imensa gama de problemas de mineração de dados no mundo real. A literatura disponível no formato de livro é pouco volumosa, apesar da farta publicação de artigos técnicos no ambiente acadêmico. Em [DHA97] encontrase um texto didático sobre o tema para públicos variados, principalmente para não matemáticos e não profissionais de TI; [ADR98] e [BIG96] se concentram mais na estruturação de problemas para aplicação de soluções com redes neurais, mas sem aprofundamento técnico nos modelos e algoritmos; [FAY96] apresenta uma

21 4 coletânea de artigos relatando interessantes conceitos e soluções para produção de conhecimentos a partir de bases de dados existentes. Os trabalhos mais aprofundados, do ponto de vista puramente técnico, são encontrados em [FRE93], [HAS95], [JAI00] e [SER98]. A obra de Hassoun demonstra, com rigor matemático, os fundamentos técnicos dos algoritmos de redes neurais de praticamente todos os modelos conhecidos; os trabalhos de Freeman et alii e Serrano-Gotarredona et alii oferecem pormenores sobre os algoritmos e respectivos processos internos de vários modelos de redes neurais, em particular ART1, ART2 e Fuzzy-ART; Serrano-Gotarredona et alii apresentam, ainda, uma série de implementações das variantes ART1, Fuzzy-ART, ARTMAP e Fuzzy-ARTMAP com códigos-fonte desenvolvidos em linguagem MATLAB. A novidade fica por conta do trabalho de Jain et alii, editores que consolidaram num único volume oito artigos de diversos autores sobre as mais recentes inovações do modelo ART. Os artigos de Carpenter e Grossberg são, na maior parte, contribuições originais que lançaram as bases conceituais da Teoria da Ressonância Adaptativa (acrônimo ART) e todas as principais variantes do modelo. Essa teoria descreve, de forma mais verossímil que as demais abordagens de redes neurais, os mecanismos de aprendizado do cérebro, razão pela qual foi selecionada como tema central da pesquisa. A monografia de Nehme e Mendes e a tese de doutorado de Nehme ([NEH94] e [NEH96], respectivamente) são textos igualmente úteis porque apresentam, com rigor matemático, conceitos empregados em algoritmos para reconhecimento de padrões temporais, assunto que extrapola o escopo da dissertação.

22 5 Outro artigo paradoxalmente importante, no contexto deste trabalho, porque de certa forma o justifica por antítese, encontra-se em [LAW96]. Lawrence evidencia, nesse artigo, as dificuldades técnicas de dimensionamento ótimo de redes neurais com algoritmo backpropagation, o modelo mais conhecido de redes neurais, ainda que um dos mais polêmicos também. A dissertação de Goldschmidt constitui um texto introdutório para estudos de problemas de reconhecimento da fala (palavras isoladas), tema que despertou interesse na comunidade de TI nos últimos anos. Com Müller e Weenink ([MÜL93] e [WEE97]) observa-se algumas modificações das variantes do modelo ART; no primeiro artigo de Goertzel (ver [GOE00]) os problemas de categorização e similaridade são revisitados com novas propostas. E, para não ignorar o instigante (e interminável) debate em torno dos fundamentos cognitivos da mente humana, tema predileto de proeminentes teóricos da IA, recomenda-se a leitura das obras de Penrose (uma delas citada nas referências bibliográficas) e Freedman e dos artigos de Lucas, Goertzel (novamente) e Chalmers. Finalmente, com reminiscências e reverência ao gênio de Alan Turing, o paper de Copeland e Proudfoot sela a coletânea de IA deste trabalho. A metodologia de pesquisa adotada é predominantemente experimental, onde testes de laboratório foram executados com implementações de variantes do modelo ART para o mapeamento dos espaços de parâmetros de configuração e mensuração de desempenho dos algoritmos. As conclusões devem ser consideradas, portanto, resultados provisórios tendo em vista sua natureza

23 6 indutiva, sujeitas à crítica de Popper 1 (ver [MAG73]). Espera-se, contudo, que maior confiança nas conclusões da pesquisa possa ser alcançada a partir de futuras experiências de desenvolvimento de sistemas para mineração de dados com o emprego dessa tecnologia, expondo continuamente os resultados experimentais ao falseamento. Os recursos computacionais utilizados nas experiências não excedem dois microcomputadores padrão IBM PC (estações de trabalho), um microcomputador servidor de médio porte com tecnologia SMP (dois processadores) e o software de desenvolvimento (mono-usuário) MATLAB 5.0, que interpreta bibliotecas de funções desenvolvidas em linguagem C. Os sistemas operacionais utilizados são MS Windows 98, para as estações de trabalho, e MS Windows NT 4.0, para o servidor. O texto contém oito capítulos, contando-se a introdução e as conclusões, desenvolvidos de modo a conduzir o leitor de um nível mais genérico de abstração para um nível técnico mais aprofundado acerca do tema, sem contudo perder a noção de utilidade que é a motivação maior deste trabalho. No Capítulo 2 apresenta-se as três visões estanques, portanto limitadas, do público envolvido na mineração de dados, confrontando-se o pensamento dos matemáticos, dos executivos e dos analistas de sistemas. A evidência dessas diferenças é importante justamente para se entender quais são as 1 Karl Popper, filósofo da ciência contemporânea, propõe que os cientistas não devam buscar a comprovação de suas teorias, mas a sua negação, submetendo-as à prova de falseamento sempre que possível. Enquanto as teorias resistirem a essas tentativas de negação, constituirão um corpo de conhecimentos aceito provisoriamente pela comunidade científica.

24 7 barreiras culturais e de linguagem a serem superadas e assim buscar, nos três capítulos finais, propostas de soluções para o impasse. O Capítulo 3 apresenta, de forma resumida, os fundamentos teóricos das redes neurais, suas vantagens e desvantagens frente a outras tecnologias utilizadas para mineração de dados. A partir do Capítulo 4 o argumento dissertativo concentra-se no modelo de redes neurais objeto de estudo; o texto evolui com a análise da Teoria da Ressonância Adaptativa (ART) no Capítulo 4, apresentação, testes e mapeamento de espaços de parâmetros no Capítulo 5, métodos e técnicas de estruturação de problemas de mineração de dados no Capítulo 6 e a evolução de conceitos e respectivas aplicações no Capítulo 7. O Capítulo 8 apresenta as conclusões da dissertação, abordando aspectos de redes neurais ART e de gestão do conhecimento nas organizações. Contudo, o cerne da pesquisa, cujos resultados definem, a título de conclusão, o mapeamento teórico de parâmetros de configuração de redes neurais modelo ART para aplicações específicas, encontra-se no Capítulo 5. E finalmente, para profissionais de TI, as duas fases mais importantes de um projeto de mineração de dados, no aspecto técnico, são abordadas nos Capítulos 5 e 6: no Capítulo 5, busca-se soluções genéricas de parametrização de aplicativos para classes de problemas e, no Capítulo 6, discute-se métodos e técnicas de preparação de massas de dados, seleção correta de variantes de redes neurais modelo ART, validação e interpretação de resultados.

25 8 2. MINERAÇÃO DE DADOS Gastamos muito tempo e dinheiro levando água ao cavalo, mas não sabemos se ele está com sede, nem temos idéia de como fazê-lo beber. (Conforme Davenport, de um gerente da Pacific Bell). Afinal, o que é mineração de dados? Como é que se extrai informações valiosas dos dados? E quando é que as informações podem se tornar valiosas? Certamente, a primeiro dificuldade que se apresenta ao público, em geral, e profissionais de TI é a conceituação, em linguagem corrente, de mineração de dados. Davenport define dados como "observações sobre o estado do mundo"; o simples registro da quantidade de objetos ou seres de um conjunto ou habitat é um dado ou "observação de um fato bruto". Informação, para Drucker, é um conjunto de dados dotados de relevância e propósito; informação, ao contrário dos dados, exige análise e seu valor é mais subjetivo que o valor dos dados. Conhecimento é a informação mais valiosa porque alguém a contextualizou, deu-lhe um significado, uma interpretação, acrescentou a ela seu próprio saber, inseriu-a num corpo de conhecimentos, sintetizou-a com outras informações. [DAV00,19] A Tabela 2.1 apresenta os principais atributos que diferenciam essas três entidades. A idéia de extração de conhecimentos a partir de dados, processo conhecido como mineração de dados na atualidade, não é inovadora e está presente, de forma bastante didática, na obra de Masuda, talvez o mais eficiente profeta da tecnologia da informação. Em [MAS82,70-71], esse visionário ressalta que "O computador não apenas produz informação, mas produz informação cognitiva sofisticada. Aqui 'informação cognitiva' refere-se à informação que é uma projeção do

26 9 futuro; que é lógica e seletora de ações. Projeção implica a informação cognitiva ser usada para detecção e previsão. 'Lógica' significa a existência de um objetivo e de relações finais, de causa e efeito, dentro da informação cognitiva; 'seletora de ações' significa que a informação é usada para a seleção de ações e meios mais apropriados para atingir um objetivo. O fato do computador poder produzir essa informação, cognitivamente e em grande quantidade, é uma contribuição significativa para a amplificação do trabalho mental." ATRIBUTO Conceito Características ENTIDADE Dados Informação Conhecimento simples observação dados dotados de informação valiosa da sobre o estado do relevância e propósito mente humana mundo facilmente requer análise inclui reflexão, estruturados exige certo síntese, contexto facilmente obtidos consenso para ter de difícil mecanicamente significado estruturação freqüentemente exige, de difícil captura quantificados necessariamente, a mecanicamente facilmente mediação humana freqüentemente transferíveis tácito de difícil transferência Tabela Dados, Informação e Conhecimento Masuda defende que os primatas, inclusive o homem, utilizam dois tipos de informação: a cognitiva e a afetiva. A informação afetiva se baseia na

27 10 sensibilidade e na produção de emoções, enquanto a informação cognitiva possibilita a seleção de ações propositais em resposta a mudanças em relações situacionais. A "informação cognitiva", às vezes confundida com "conhecimento" 2, é o objeto antológico da mineração de dados, possibilitando a "interação ativa com o ambiente externo, resultando em mudança, a partir da qual ocorrem progressos na vida da humanidade." [MAS82,71]. Os processos pelos quais se descobre essas informações cognitivas a partir de dados são, portanto, os processos de aprendizado utilizados na mineração de dados, uma vez que mudanças de comportamento são expressões materiais externas do conceito de aprendizado. A questão central, contudo, continua sem resposta: como obter informação cognitiva a partir de dados? O que se discute, de fato, é o processamento dos dados de tal forma que a partir desses se possa produzir informação com algum valor, o que, para Masuda, constitui o "Ciclo da Informação" da Figura 2.1. De acordo com esse ciclo, o sujeito fixa sua atenção no objeto e nele percebe um sinal, identificando-o e avaliando-o de acordo com um padrão de julgamento adquirido, selecionando a seguir um curso de ação e, então, tendo atingido algum valor de uso, implementa a ação. [MAS82,72] De Ville sugere que os primeiros mineradores de dados foram os arqueólogos e antropólogos descobrindo desenhos em cavernas e, com base em suas interpretações, teorizando sobre a vida do homem na Terra em tempos remotos. Esse autor afirma que (...) mineração de dados tem suas raízes em uma das mais antigas atividades humanas: o desejo de representar suas experiências em 2 Masuda conceitua "conhecimento" como a informação cognitiva que tenha sido generalizada e abstraída de uma compreensão das relações de causa e efeito de um fenômeno particular que ocorre no ambiente externo. [MAS82,74].