Data Mining na Web para Inteligência Competitiva

Transcrição

1 Data Mining na Web para Inteligência Competitiva Simone de Almeida (CEFET/PR) Rui Francisco Martins Marçal (CEFET/PR) Luciano Scandelari (CEFET/PR) Resumo Estudos sobre a relevância do conhecimento organizacional têm sido cada vez mais freqüentes nos últimos anos. A tecnologia passa a ser o ponto fundamental para possibilitar a conquista da excelência, possuindo como aliados a rede mundial, sistemas de informação e os computadores. A tecnologia da informação e da comunicação derruba as fronteiras entre países, criando novas oportunidades de negócio e trazendo, atrelada a si, uma crescente concorrência. A tecnologia aproxima as pessoas, as comunidades e os países, possibilitando que informações e conhecimentos possam ser trocados com grande facilidade. A dificuldade encontrada deve-se ao fato de que o valor não se encontra no domínio da informação, mas em como trabalhar com o conhecimento a ela relacionado. Este artigo mostra alguns tipos de aplicações de Sistema Baseado em Conhecimento (SBC), o processo de desenvolvimento de um SBC apresentando algumas perspectivas futuras e uma aplicação prática de Web Mining. Palavras-chave: Conhecimento, Data Mining, Inteligência Competitiva. 1.Introdução No início da década de 90, a idéia de organização voltada para o aprendizado foi difundida por Senge (1990), cuja base teórica é a de que as empresas conquistam suas vantagens competitivas através de sua capacidade de aprender consigo mesmas e com outras organizações. A empresa é um conjunto de pessoas trabalhando para produzir algo: produtos, serviços ou ambos. A eficácia com que elas realizam suas atividades está apoiada no conhecimento adquirida e acumulada nas rotinas, nos processos, na capacidade de seus colaboradores e nos equipamentos de produção. Leonad-Barton (1998) amplia este conceito e preconiza que as organizações, além de instituições financeiras, são, antes de tudo, instituições do saber. Quando se fala em conhecimento, Rezende (2003) apresenta algumas hipóteses e delimitações que são necessárias. Em primeiro lugar, pode-se pensar em níveis de conhecimento: fatos (relações arbitrárias entre objetos, símbolos, eventos etc); conceitos (resultam de idéias abstratas); regras (conjunto de operações e passos que orientam a ação, desenvolvidas a partir da análise de fatos e conceitos, correspondente a aplicação do conhecimento) e metaregras (responsável pela criação e aplicação de novas regras e situações novas, correspondentes à geração de conhecimento novo). Uma decisão passa a ser o uso explícito de um conhecimento. O tipo de conhecimento necessário à solução dos problemas existentes determina quais fontes de informação, e suas disponibilidades, serão utilizadas pelos indivíduos. Isto significa que conhecimento pode ser gerado de diversas maneiras, a partir da combinação adequada de diferentes informações. Assim, uma decisão pode ser tomada por meio da análise lógica

2 (apoiada em dados obtidos de relatórios, entrevistas e outros meios) ou pode estar embasada em dados heurísticos ou intuitivos (REZENDE, 2003). A extração de Conhecimento, geralmente referenciada na literatura como Knowledge Discovery in Database (KDD) ou Mineração de Dados (MD) ou ainda Data Mining (DM), é uma área multidisciplinar que incorpora técnicas utilizadas em diversas áreas como Base de Dados, Inteligência Artificial e Estatística. A definição aceita de DM foi elaborada por Fayyad, Piatetsky-Shapiro, & Smyth (1996a) como sendo: Extração de Conhecimento de Base de Dados é o processo de identificação de padrões válidos, novos, potencialmente úteis e compreensíveis embutidos nos dados. 2.O processo de Data Mining Há muitas abordagens para a divisão das etapas do processo de Extração de Conhecimento. Inicialmente foi proposto por Fayyad, Pietetsky-Shapiro, & Smyth (1996b) uma divisão do processo em nove etapas. Já em Weiss & Indurkhya (1998), essa divisão é composta por apenas quatro etapas. No entanto, Rezende (2003) propõem três grandes etapas: Préprocessamento, Extração de Padrões e Pós-processamento. Foram incluídas nessa divisão uma fase anterior ao processo de Data Mining, que se refere ao conhecimento do domínio e identificação do problema, e uma fase posterior ao processo, que se refere à utilização do conhecimento obtido. Na primeira fase é realizado um estudo do domínio da aplicação e a definição de objetivos e metas a serem atingidas no processo de Data Mining. Algumas questões importantes devem ser respondidas segundo Rezende (2003), nessa fase de identificação do problema, como: - Quais são as principais metas do processo? - Quais critérios de desempenho são importantes? - O conhecimento extraído deve ser compreensível a seres humanos ou um modelo do tipo caixa-preta é apropriado? - Qual deve ser a relação entre simplicidade e precisão do conhecimento extraído? Além dessa análise inicial para a definição das principais metas, objetivos e restrições, o conhecimento sobre o domínio fornece um subsídio para todas as etapas do processo de Extração de Conhecimento. Esse conhecimento pode ajudar na escolha do melhor conjunto de dados para se realizar a extração de padrões. Na fase de Extração de Padrões, o conhecimento sobre o domínio pode ajudar na escolha de um critério de preferência entre modelos gerados, no ajuste dos parâmetros do processo de indução, ou mesmo na obtenção de um conhecimento inicial a ser estabelecido como entrada do algoritmo de mineração para aumentar a eficiência no aprendizado dos conceitos e melhorar a precisão do modelo final. Na última etapa, o conhecimento adquirido pelos algoritmos de Extração de Padrões deve ser avaliado. Na segunda fase, Pré-processamento, os dados disponíveis para análise, geralmente não estão num formato adequado para a Extração de Conhecimento. Diversas transformações nos dados podem ser realizadas, entre elas: - Extração e Integração: os dados disponíveis podem se apresentar em diversos formatos, como arquivo-texto, arquivos no formato de planilhas, Banco de Dados ou Data Warehouse. Dessa forma, há necessidade de unificação, a qual será aplicada como entrada para o algoritmo de Extração de Padrões. - Transformação: após a extração e integração dos dados, algumas transformações podem ser realizadas aos dados, como: resumo, quando dados sobre vendas são agrupados para

3 formar resumos diários. As transformações de dados são extremamente importantes em alguns domínios, por exemplo, em aplicações que envolvem dimensões temporais como predições no mercado financeiro. - Limpeza: os dados disponíveis para aplicação dos algoritmos de Extração de Padrões podem apresentar problemas advindos do processo de coleta. Esses erros podem ser de digitação ou leitura de dados pelos sensores. Como o resultado do processo de extração geralmente será aplicado em um processo de tomada de decisão, a qualidade dos dados é um fator extremamente relevante. A Limpeza dos dados pode ser realizada utilizando o conhecimento do domínio. Por exemplo, pode-se encontrar registros com valor inválido em algum atributo, granularidade incorreta ou exemplos errôneos. - Seleção e Redução de Dados: em virtude das restrições de capacidade de memória ou desempenho (tempo de processamento), o número de exemplos e de atributos disponíveis para análise pode inviabilizar a utilização de algoritmos de Extração de Padrões. Como solução pode ser aplicado um método para redução dos dados antes de começar a busca de padrões. Esta redução pode ser realizada de três formas (WEISS & INDURKHYA, 1998): redução do número de exemplos, de atributos ou de valores de um atributo. A fase de Extração de Padrões é direcionada ao cumprimento dos objetivos definidos na Identificação do Problema. Nessa fase é realizada a escolha, configuração e execução de um ou mais algoritmos para extração do conhecimento, portanto compreende a escolha da tarefa de Data Mining a ser aplicada, a definição do algoritmo e a extração dos padrões propriamente dita. A disponibilização do conjunto de padrões extraídos é incorporada a um Sistema Inteligente, ocorrendo após a análise e/ou o processamento dos padrões na etapa de Pós-processamento. A última fase de Pós-processamento, a obtenção do conhecimento não é o passo final do processo de Extração de Conhecimento. O conhecimento extraído pode ser utilizado na resolução de problemas da vida real, seja por meio de um Sistema Inteligente ou de um ser humano como apoio a algum processo de tomada de decisão Para isso é importante que algumas questões sejam respondidas aos usuários (LIU & HSU, 1996): - O conhecimento extraído representa o conhecimento do especialista? - De que maneira o conhecimento do especialista difere do conhecimento extraído? - Em que parte o conhecimento do especialista está correto? Os algoritmos de Extração de Padrões podem gerar uma quantidade enorme de padrões, muitos dos quais podem não importantes, relevantes ou interessantes para o usuário. Diversas medidas para avaliação de conhecimento tem sido pesquisadas com a finalidade de auxiliar o usuário no entendimento e na utilização do conhecimento adquirido. Estas medidas podem ser divididas entre medidas de desempenho e medidas de qualidade. Um dos objetivos principais do Processo de Extração do Conhecimento é que o usuário possa compreender e utilizar o conhecimento descoberto. Após a análise do conhecimento, caso este não seja de interesse do usuário final ou não cumpra com os objetivos propostos, o processo de extração pode ser repetido ajustando-se os parâmetros ou melhorando o processo de escolha dos dados para a obtenção de resultados melhores numa próxima iteração. 3. Tecnologias de Suporte à Data Mining O processo de Data Mining é feito incorporando-se várias técnicas de diferentes áreas como (REZENDE, 2003):

4 - Aprendizado de Máquina: extrair conhecimento de Bases de Dados pode envolver, entre outras coisas, a utilização de algoritmos de Aprendizagem de Máquina capazes de generalizar os exemplos encontrados em um grande repositório de dados na forma de regras de alto nível compreensíveis ao ser humano. As técnicas de Aprendizagem de Máquina parecem estimular muito os pesquisadores da área e talvez a parte do processo de Data Mining que contenha substancialmente os maiores conteúdos científicos. - Data Warehousing: é um processo, para montar e gerenciar repositórios de dados a partir de várias fontes com o propósito de ter uma visão detalhada e singular de parte ou do todo de um negócio. O produto final obtido de um projeto de Data Warehousing é o seu Data Warehouse. - Estatísticas: é a área da matemática que estuda a coleta, organização e interpretação de dados numéricos, especialmente a análise das características da população por inferências a partir de amostras. As técnicas de estatísticas possuem importância dentro do processo Data Mining. Boa parte dos métodos utilizados em Data Mining tiveram suas origens dentro da Estatística (DEGROOT, 1986). - Visualização de Dados: as técnicas e ferramentas para Visualização de Dados são instrumentos indispensáveis ao processo de Data Mining. Elas podem ser usadas durante a execução das etapas de extração de conhecimento melhorando a compreensão dos resultados obtidos e a comunicação entre os usuários. As técnicas de Visualização de Dados estimulam naturalmente a percepção e a inteligência humana, aumentando a capacidade de entendimento e associação de novos padrões. Logo, a Visualização de Dados utiliza a percepção humana como um primeiro método para descobrir valores. Poderosas ferramentas de visualização que consigam gerar diversas formas de visualização (árvores, regras, gráficos) combinadas com técnicas de Data Mining podem melhorar muito o processo DM (FAYYAD, GRINSTEIN & WIERSE, 2002). 4. Algumas Perspectivas Futuras Como Data Mining é uma área relativamente recente, diversas dificuldades e desafios estão surgindo continuamente, as quais precisam ser atacadas, como: - Interação com Usuário: muitas das tecnologias de Data Mining existentes não são realmente interativas e não conseguem incorporar facilmente o conhecimento prévio a respeito de um domínio de aplicação. O uso do conhecimento a priori relevante é de grande importância para o processo de Data Mining (PAZZANI & KIBLER, 1992). Podese tentar incorporar um Sistema Baseado em Conhecimento para tentar colher o conhecimento de especialistas em uma Base de Conhecimento; - Interação com outros Sistemas: um sistema isolado de descobrimento pode não possuir muita utilidade se ele não puder ser integrado a outros sistemas, como gerenciadores de Bancos de Dados, ferramentas analíticas e de visualização; - Suporte a Novas Tecnologias de Base de Dados: com a evolução da tecnologia de armazenamento, os dados armazenados passarão a conter além de textos e números, objetos gráficos, multimídias, bem como dados temporais, entre outros. Gerenciadores de Base de Dados orientados a objetos podem tratar este tipo de problema de armazenamento, facilitando a geração de metadados; - Data Mining em um Ambiente de Rede e Distribuído: o rápido crescimento de recursos disponíveis na Internet demanda uma grande necessidade por pesquisas para o desenvolvimento de ferramentas, técnicas e sistemas que possam permitir a realização de um processo de Data Mining nesse ambiente conectado e distribuído. Ainda, a tendência da área de Data Mining é guiar-se para um descobrimento de conhecimento colaborativo envolvendo uma equipe de analistas e especialistas do domínio que

5 utilizarão Bases de Dados distribuídas pela rede. A pesquisa atual de agentes inteligentes é um começo para atingir os desafios impostos à área de Data Mining pelas novas tecnologias de www (World Wide Web) e de Base de Dados multimídia (REZENDE, 2003). Como qualquer área em desenvolvimento, novos desafios devem ser continuamente superados. Uma síntese dessas tendências em termos de tipos de dados pode ser visualizada na Figura 1. Metadados Multimídia Base de Dados Heterogênea, Distribuída ou ligadas Data Mining em Bases de Dados Relacionais Texto WEB Tecnologias de Suporte à Data Mining Fonte: Rezende (2003, p.334) FIGURA 1 Tendências e perspectivas futuras 5. Web Mining Uma Web Mining agrupa em três diferentes abordagens um conjunto de ferramentas que, além de descobrir as fontes de informações relevantes, pretende mapear e analisar o padrão de acesso e armazenamento de informações na Web. As três abordagens, mostradas na Figura 2, têm sido largamente pesquisadas. Web Mining Web Mining de conteúdo Web Mining de estrutura Web Mining de uso Conteúdo de Página Resultado de Busca Padrão de acesso geral Personalização de uso Fonte: Rezende (2003, p. 366) FIGURA 2 Abordagem de Web Mining - Web Mining de Conteúdo: A maioria das páginas da Web possui vários documentos, que podem ser analisados pelo uso de procedimentos de Mineração de textos. Esses procedimentos têm a capacidade de reestruturar o conteúdo dos documentos em uma representação apropriada para a manipulação por programas que podem extrair o conhecimento dos documentos propriamente ditos ou dos resultados de buscas por informações.

6 - Web Mining de Estrutura: Uma visão interessante em Web Mining é que a Internet possui mais informações que somente o conteúdo de suas páginas. A referência cruzada entre sites ou páginas de um mesmo site contém em si um conhecimento implícito a respeito do documento propriamente dito. Essa técnica pretende analisar as referências realizadas na Web de forma a descobrir páginas pertinentes a uma determinada área de conhecimento. - Web Mining de Uso: Servidores Web armazenam dados em relação ao acesso e suas páginas de forma permanente. Apesar de geralmente os registros de acesso serem limitados a análise desses registros, eles podem explicar o comportamento de usuários que buscam informações sobre determinado assunto e auxiliar na estruturação de um site. Alguns programas são associados a esses registros para enriquecer a quantidade e o tipo de informação sobre o acesso a determinado site. Em empresas que possuam Intranet, essa análise pode facilitar e otimizar a infra-estrutura organizacional e formação de grupos de trabalho. Duas tendências para análise desses dados mostram-se claras: a determinação de padrões de acesso geral e a personalização de uso (REZENDE, 2003). 6. Uma aplicação Web Mining Um grupo de empresários voltados para o turismo na Região Sul do Brasil resolveu montar um sistema on-line que mantem empresas de pequeno e médio porte atualizadas com informações que permite detectar áreas em regiões próximas ou distantes para comercializar seus produtos e descobrir possíveis competidores / parceiros e suas ações nas áreas eleitas. Trata-se de uma aplicação prática de Web Mining, que forneceu resultados significativos e tem grande importância para a área de inteligência competitiva. A Internet é agora um dos maiores repositórios mundiais de informação. Entretanto, a maioria das informações disponíveis na Internet não está na forma mais adequada para ser tratada por meios computacionais. Essas informações conhecidas como dados não-estruturados, estão na forma de textos, imagens, gráficos, vídeos ou sons. Estima-se que 80% das informações que uma empresa utiliza não estão armazenados em bancos de dados na forma de números e caracteres (ZANASI, 2001). Um mecanismo de crawler (sistema automático de busca) procura por páginas interessantes nos diferentes sites da Web. Os resultados das pesquisas realizadas na Web geram um repositório relativo àquela pesquisa e pode-se realizar a indexação dos documentos através de clustering (técnica de agrupamento), etc. Foi utilizado um software que efetua busca conceitual: interpreta as buscas em linguagem natural, processa as palavras que tem vários significados, busca palavras-chave, avalia a quantidade de informação em cada palavra-chave, expande a busca por thesaurus e indica o nível de relevância de cada página (KOSALA & BLOCKEEL, 2000). Os resultados obtidos pela presente metodologia são muito superiores aos resultados de buscas exaustivas com os utilitários disponíveis na Web. A informação gerada atende plenamente às facilidades esperadas pelos usuários. A metodologia usada encontra aplicação em qualquer atividade de busca de oportunidades de negócios e inteligência competitiva (SHAKYA, 2002).

7 A World Wide Web é um repositório de dados fracamente acoplados que pode ser usado como um repositório central apenas se os dados em cada site forem armazenados com alguma semântica comum. Entretanto, é possível minerar os dados de diversos sites da Web e introduzir semântica neles. A atividade de minerar grande coleção de documentos HTML dos Web site fornece informação rica e vasta. Essa informação, no entanto, é codificada em um formato difícil de decifrar e extrair. Uma vez implementada a estratégia, pode-se disponibilizar a atualização das informações e também aumentar o domínio de prospecção (LIU, MA, & YU, 2001). 7. Conclusão A Internet, sem nenhuma dúvida, revolucionou o conceito de Sistema de Informação. A explosão de tipos de informações associadas a um assunto como a referência a vídeos, áudios, fotos, gráficos, dados ou simplesmente textos, dificultam sua obtenção de uma forma padronizada que possibilite sua utilização. As grandes corporações contam, também com uma intranet (uma rede interna geograficamente distribuída). Há necessidade, portanto de algoritmos inteligentes de busca de informações que possam não só filtrar os sites que aparecem múltiplas vezes, como também determinar o nível de detalhe requerido em cada pesquisa. Isso sem falar do conhecimento implícito, quase escondido que existe nessa área. A capacidade dos algoritmos de Mineração de Dados e de Textos em manipular grandes massas de dados e textos, extraindo informações relevantes a partir de critérios preestabelecidos sobre o grau de pertinência e importância de um dado agrega considerável valor aos algoritmos de busca de informação. Mesmo considerando todos os problemas ainda existentes na área para a implantação de sistemas mais complexos para o tratamento de textos, pode-se considerar que é apenas uma questão de tempo para que novas soluções para estes problemas não tão novos apareçam. Essa área de pesquisa, no entanto, tende a crescer rapidamente em virtude principalmente da enorme quantidade de textos produzidos pela Web, e pelo grande interesse que essa disponibilidade acarreta de modo geral. Pode-se encontrar textos dos mais diversos assuntos disponíveis em qualquer tempo pela Intranet. Além disso, as empresas redescobriram suas informações já armazenadas em textos e estão utilizando essas informações como uma vantagem competitiva em relação aos seus concorrentes. O Data Mining apresentou os principais recursos que a inteligência competitiva pudesse ser efetivada na prática (ZANASI, 2000). 8.Referências DEGROOT, T. (1986) - Probability and Stastistics. Addison Wesley, MA. FAYYAD, U., G. G. Grinstein, & A. Wierse (2002) - Information Visualization in Data Minin and Knowlwdge Discovery. Morgan Kaufmann Publishers. FAYYAD, U., G. Piatetsky-Shapiro, & P. Smith (1996a) - From data mining to knowledge discovery: na overview..1-34p.

8 FAYYAD, U., G. Piatetsky-Shapiro, & P. Smith (1996b) - The KDD process for extracting useful knowledge from volumes of data: Comunications of the ACM p. FAYYAD, U., G. Piatetsky-Shapiro & P. Smith (1996c) - Knowledge Discovery and data mining: Towars a unifying framework. KOSALA, R. & H. Blockeel (2000) - Web mining research: A SURVEY. Sigkdd Explorations. LEONARDO-BARTON, D. (1998) - Nascentes do saber: criando e sustentando as fontes de inovação.rio de Janeiro: Fundação Getúlio Vargas, 368p. LIU, B. & W. Hsu (1996) - Post-analysis of learned rules, p. LIU, B., Y. Ma & P. Yu (2000) - Discovering unexpected information from your competitors web site. Em KDD, San Francisco, p. PAZZANI, M. & D. Kibler (1992) - The utility of knowledge in inductive learning. Machine Learning. 9,57-94 p. REZENDE, Solange, O. (2003) - Sistemas Inteligentes: fundamentos e aplicações. São Paulo: Manole, 525 p. SHAKYA, S. (2002) - Advanced data mining techniques using Visual Basic 6.0, ASP, XML, MSHRTML and MSXML. ASP Today. SENGE, Peter M. (1990) - A Quinta Disciplina: arte, teoria e prática da Organização de Aprendizagem. São Paulo: Best Seller, 352p. WEISS, S. M. & N. Indurkhya (1998) - Predictive Data Mining : a Practical Guide. San Francisco, CA. ZANASI, A. (2000) -Web Mining through the on-line analyst.. Em N. Ebecken & C. Brebbia (eds.), Second International Conference on Data Mining, England. Computational Machanics Publications. ZANASI, A. (2001) - Text mining: the new competitive intelligence frontier. Em VSST Conference Proceedings, Barcelona.

9 SIGNIFICA DO SISTEMA DE CRAWLER. Os sistemas de busca baseados em "crawler" possuem três elementos principais. O primeiro é o "spider", também chamado de "crawler". O "spider" visita as páginas web, as lê, e depois segue os links para outras páginas dentro do site. O "spider" volta ao web site regularmente, como por ex. uma ou duas vezes por mês, para procurar por alterações. Tudo o que o "spider" encontra vai para a segunda parte do sistema de busca, o "index" (índice). O "index", algumas vezes chamado de catálogo, é como se fosse um livro gigante contendo uma cópia de todas as páginas web que o "spider" encontra. Se uma página web muda, então esse livro é atualizado com a nova informação. Algumas vezes pode demorar para que novas páginas ou alterações que o "spider" encontra sejam adicionados no "index". Assim, uma página web pode já ter sido visitada (spidered) mas não indexada ainda. Até que ela seja indexada - adicionada no "index" - ela não está disponível à pesquisas com os sistema de busca. A terceira parte de um sistema de busca é o "software". Este é o programa que peneira (analisa) através de milhões de páginas gravadas no "index" para encontrar combinações para a pesquisa e ranqueá-las segundo o que acredita ser mais relevante