WEB MINING UM ESTUDO SOBRE WEB CONTENT MINING

Transcrição

1 UNIVERSIDADE TIRADENTES CENTRO DE CIÊNCIAS FORMAIS E TECNOLÓGICAS TECNOLOGIA EM PROCESSAMENTO DE DADOS WEB MINING UM ESTUDO SOBRE WEB CONTENT MINING BRUNO CAMPOS ALMEIDA ORIENTADOR PROF. Msc. KELLYNE MARQUES SANTOS Aracaju Dezembro de 2004

2 UNIVERSIDADE TIRADENTES CENTRO DE CIÊNCIAS FORMAIS E TECNOLÓGICAS TECNOLOGIA EM PROCESSAMENTO DE DADOS WEB MINING UM ESTUDO SOBRE WEB CONTENT MINING Monografia apresentada como um dos pré-requisitos para obtenção do grau de Tecnólogo em Processamento de Dados BRUNO CAMPOS ALMEIDA ORIENTADOR PROF. Msc. KELLYNE MARQUES SANTOS Aracaju Dezembro de 2004

3 WEB MINING UM ESTUDO SOBRE WEB CONTENT MINING BRUNO CAMPOS ALMEIDA DATA: / / BANCA (1º Examinador) Kellyne Marques Santos (2º Examinador) Methanias Colaço Rodrigues Júnior (3º Examinador) André Vinícius R. P. Nascimento

4 Gostaria de agradecer a minha família, principalmente aos meus pais e a todos que colaboraram e auxiliaram na minha formação. 11

5 AGRADECIMENTOS Ao Senhor Deus, nosso Pai, pela Benção da vida e que está presente em todos os momentos da minha existência e com sua sabedoria infinita ilumina sempre o meu caminho. Aos meus pais que sempre me incentivaram em meus estudos, influenciando na minha formação e na busca dos meus objetivos. Aos meus irmãos Breno e Lara pelos constantes incentivos. A minha noiva Ligia Karla pelo incondicional apoio. Aos colegas de trabalho do G.Barbosa pela força e incentivo constantes. A todos Colegas, Professores e funcionários da Universidade Tiradentes UNIT que me acompanharam direta ou indiretamente nesta jornada. A professora Kellyne Marques, por ter aceitado ser minha orientadora, por estar sempre disponível para esclarecer minhas dúvidas e pela orientação firme e segura. Meus Sinceros Agradecimentos. 12

6 Tente, e não diga que a vitória está perdida. Se é de batalhas que se vive a vida. Tente outra vez. Raul Seixas 13

7 RESUMO A Web é atualmente a maior fonte de informação eletrônica que dispomos. Entretanto, por causa da sua natureza dinâmica, a tarefa de encontrar informações relevantes se torna muitas vezes uma experiência árdua. Para tornar a Internet uma ferramenta mais utilizável, eficaz e compreensível, é possível utilizar a abordagem da mineração de dados - na exploração das informações contidas na Web, considerando o sucesso da sua aplicação em bancos de dados tradicionais e, uma vez que a Web é uma potencial área para a aplicação de suas técnicas. Sendo que, a Internet, na visão da mineração web, envolve três tipos de informações: os dados da própria World Wide Web - foco da mineração de conteúdo da Web; os dados de log, que informam quem são os usuários que estão navegando nas páginas Web - foco da mineração de uso da Web; e os dados de estrutura da web - foco da mineração de estruturas da web. Diante da grande massa de dados não estruturados contidos na Internet, a mineração do conteúdo da Web se mostra relativamente semelhante ao processo de mineração convencional, onde o objetivo é identificar padrões de comportamento e extrair conhecimento a partir de um conjunto de dados, neste caso, relacionados a documentos Web, armazenados ou não num ambiente de Web Warehouse. Além disto, graças a sua diversidade de tipos de dados e a natureza não estruturada destes, deve-se aplicar uma metodologia particular para a efetivação do processo de mineração em suas bases. Este trabalho realiza um estudo mais específico sobre a mineração de conteúdo da Web, área que envolve, basicamente, a mineração de dados contidos em documentos extraídos a partir da Internet, observando os aspectos teóricos e técnicos envolvidos nesta tecnologia. Palavras-chave: Mineração de dados Web, Mineração de conteúdo, Ferramentas de mineração. 14

8 ABSTRACT The Web is currently a huge source of electronic information that we make use. However, because of its dynamic nature, the task to find relevant information becomes an arduous experience. To make the Internet a more usable, efficient and understandable tool, it s possible to use the approach of data mining - in the exploration of the information contained in the Web, considering the success of its application in traditional databases and, that the Web is one of the potential areas for the application of its techniques. In the vision of the mining web, the Internet involves three types of information: the data of the proper World Wide Web - focus of the web content mining; the logs data, that informs who are the users on the Web pages - focus of the web usage mining; and the data structure of web - focus of the web structure mining. Considering the great mass of non-structured data contained in the Internet, the web content mining seems to be similar to the process of conventional mining, which the objective is identify behavior standards and extract knowledge from a data set, in this case, related to Web documents, stored or not in a Web Warehouse environment. Moreover, its diversity of data types and the nature non-structured needs a particular methodology to apply the mining process in its databases. This work makes a more specific study on the web content mining, area that involves, basically, the mining of data contained in documents extracted from the Internet, observing theoretical and technical aspects of this technology. Keywords: Web Mining, Web Content Mining, Web Mining Tools. 15

9 LISTA DE TABELAS Tabela 1 - Tarefas realizadas por técnicas de mineração de dados [4]...29 Tabela 2 - Tabela Demonstrativa de Web Mining (FLORESCU ET., 1998) apud [13]...32 Tabela 3 - Comparação entre Mecanismos de Pesquisa e Agentes Inteligente [15]...60 Tabela 4 Comparativo das Ferramentas de Web Mining...78 LISTA DE FIGURAS Figura 1 - Etapas do processo de KDD definidas por Fayyad. [4]...24 Figura 2 - Sub-Áreas da Mineração na Web [12]...37 Figura 3 - Linha de Investigação da Web Mining (ZAÏANE, 1998a) apud [8]...44 Figura 4 - Exemplo de um arquivo de Log [11]...47 Figura 5 - Índice de uso de Softwares de Web Mining - fonte: Kdnuggets.com [22]...65 Figura 6 - Interface Gráfica do Clementine [24]...67 Figura 7 - Interface Gráfica do Webtrends [27]...70 Figura 8 - Algumas métricas utilizadas pela WebTrends [21]...72 Figura 9 - Interface gráfica do SAS [23]...73 Figura 10 - Interface web do NetTracker [25]

10 LISTA DE SIGLAS BD - Banco de Dados FTP - File Transfer Protocol HTML - Hypertext Markup Language JDBC - Java Database Connectivity JRE Java Runtime Environment KDD - Knowledge Discovery Database OLAP - On-Line Analytical Processing SGBD s - Sistemas Gerenciadores de Banco de Dados SP - Service Pack WAP - Wireless Aplication Protocol WCM Web Content Mining WM Web Mining WSM - Web Structure Mining WUM Web Usage Mining WWW World Wide Web 17

11 SUMÁRIO RESUMO...14 ABSTRACT...15 LISTA DE TABELAS...16 LISTA DE FIGURAS...16 LISTA DE SIGLAS CAPÍTULO...23 Data Mining O Processo de KDD Definindo Data Mining Técnicas de Data Mining CAPÍTULO...31 Web Mining Definindo Web Mining Web Warehousing Definindo Web Warehousing Considerações Subáreas da Web Mining Recuperação de Informação (descobrimento de recursos) Seleção da informação / Extração e pré-processamento Generalização Análise Técnicas de Data Mining Aplicados a Web A influência da Web no surgimento da Tecnologia Taxonomia da Web Mining Problemas Relacionados com a Tecnologia CAPÍTULO...49 Web Content Mining Definindo Web Content Mining O Processo de WebKDD para WCM Categorias da Mineração do Conteúdo da Web Mineração para Busca de Resultados Mineração de Conteúdo de Páginas Abordagens da Mineração do Conteúdo da Web Abordagem Baseada em Agentes Abordagem Baseada em Banco de Dados

12 4 CAPÍTULO...64 Ferramentas de Web Mining Considerações Clementine WebTrends SAS NetTracker Comparativo das Ferramentas de Web Mining Fornecedores de Bancos de Dados com foco na Web...79 CONCLUSÃO...81 REFERÊNCIAS BIBLIOGRÁFICAS...84 BIBLIOGRAFIA

13 INTRODUÇÃO Atualmente o ambiente de negócios cresce muito, e com ele cresce também a quantidade de informações armazenadas, tornando a tecnologia da informação o fator chave para se conseguir destaque no mercado. Ela é quem determinará a alta eficiência de uma organização e distinguirá os competidores que sobreviverão dos que cairão por terra. A melhor utilização da tecnologia da informação por parte dos competidores se apresenta como uma vantagem, pois esta agrega valores nas decisões a serem tomadas, sendo que estas decisões são cruciais e devem ser o mais eficientes possíveis. Uma melhor análise dos dados visa descobrir o que é realmente relevante para uma tomada de decisão. Então, nesta busca pela melhor utilização da tecnologia da informação, organizações estão migrando cada vez mais para o processo de descoberta de conhecimento em bases de dados, cujo objetivo principal é a mineração de dados para obtenção de conhecimento útil e respectivo lucro através da aplicação desse conhecimento descoberto. Além das organizações buscarem se aprimorar cada vez mais nesta área de descoberta de conhecimento em bases de dados, o crescente avanço da Internet e da multiplicação das bases de dados na Web fez com que estas organizações buscassem também concorrer dentro do ambiente WWW (World Wide Web). Devido à invasão da Web pelas organizações e ao consecutivo aumento explosivo das fontes de informação disponível neste ambiente, tornou-se necessário para as organizações utilizarem ferramentas automatizadas para achar, extrair, filtrar, e avaliar 20

14 informações e recursos desejados, visando obter lucro também dentro da Web. Desta forma deu-se origem ao termo descoberta de conhecimento na Web, mais conhecido como mineração de dados na Web (Web Mining). A expansão da Internet fez com que a globalização da informação se tornasse um fato real e com isso, a luta para obtê-la de forma rápida e eficiente cresceu muito. Diante dessas necessidades, técnicas para mineração de dados na Web também são aplicadas neste ramo, visando um melhor desempenho na busca do conhecimento desejado. Este trabalho foi dividido em quatro capítulos. O primeiro capítulo apresenta uma breve introdução sobre uma das etapas do processo de descoberta de conhecimento em banco de dados (KDD Knowledge Discovery in Databases), a mineração de dados, onde serão abordadas definições da tecnologia, as etapas do processo de KDD e técnicas aplicadas na mineração de dados. No segundo capítulo serão abordadas definições da tecnologia da mineração na Web (Web Mining), suas sub-áreas, técnicas de data mining aplicados na Web, influência da Web no surgimento da tecnologia, a taxonomia ou categorias da mineração na web e por fim problemas relacionados com o uso da tecnologia. No terceiro capítulo serão abordadas definições da mineração de conteúdo na Web (Web Content Mining), serão apresentadas considerações sobre o ambiente do Web Warehouse, definições acerca do mesmo, o processo de Webkdd, categorias da mineração do conteúdo da Web. - a mineração para busca de resultados e a mineração do conteúdo de páginas, e por fim as abordagens da mineração do conteúdo da Web. 21

15 No quarto e último capítulo serão apresentadas ferramentas de Web Mining, onde serão exibidas características e peculiaridades sobre as mesmas, como por exemplo: tipo de informações suportadas, interface de manipulação, entre outros; será realizado um comparativo entre as mesmas e ao final serão apresentados os bancos de dados com foco na Web. 22

16 1 - CAPÍTULO Data Mining Neste capítulo serão apresentadas de forma geral definições do processo de descoberta de conhecimento em bancos de dados (KDD) Knowledge Discovery in Database, bem como as etapas envolvidas no mesmo. Em seguida, será abordada de forma superficial data mining, uma destas etapas, e o uso de suas técnicas para busca de padrões 1 nos dados minerados. 1.1 O Processo de KDD A descoberta do conhecimento em base de dados (KDD) é o processo não trivial de identificação de padrões a partir de dados, que sejam válidos, novos, potencialmente úteis e compreensíveis [2]. A finalidade do processo de KDD é fazer com que os padrões sejam facilmente entendidos pelos usuários, facilitando a compreensão dos dados armazenados a fim de gerar conhecimento [4]. 1 Padrões podem ser definidos como eventos ou conjunto de eventos que ocorrem freqüentemente em um repositório de dados. 23

17 Figura 1 - Etapas do processo de KDD definidas por Fayyad. [4] Esta abordagem define a iteratividade das etapas e a interatividade do usuário no processo. A cada etapa o usuário analisa as informações geradas, procura incorporar sua experiência e toma decisões para obter resultados cada vez melhores. O processo é composto de cinco etapas (conforme Figura 1) [4]. Seleção dos Dados: Depois de definido os objetivos, parte-se para a etapa de seleção dos dados, onde serão selecionados os dados ou atributos importantes para o usuário, a partir da(s) base(s) de dados disponíveis. A boa escolha dos dados se mostra relevante neste ponto, pois é a partir desses subconjuntos de dados, que será(ão) aplicado(s) o(s) algoritmo(s) no processo da descoberta do conhecimento. Pré-Processamento: Após a etapa da seleção dos dados, inicia-se a limpeza e pré-processamento dos mesmos, nessa etapa do processo serão eliminados os dados inconsistente e redundante para o processo. 24

18 Transformação: Nesta etapa os dados devem estar no formato exigido pelos algoritmos escolhidos na etapa de mineração, portanto, o ideal seria primeiramente definir a técnica e o algoritmo minerador que serão utilizados, para transformar os dados para o formato adequado ao algoritmo escolhido. Mineração de Dados (Data Mining): Etapa caracterizada pela busca de padrões nos dados. Nesta etapa é escolhido o método de mineração e são definidos os algoritmos que realizarão a busca pelo conhecimento implícito e útil do repositório de dados. É a fase mais importante do processo de KDD onde os dados são transformados em informação. Interpretação dos resultados: Esta é a última etapa do processo de KDD, onde é realizada a interpretação dos dados obtidos após a aplicação do algoritmo minerador. Nessa etapa são utilizadas técnicas de representação do conhecimento a fim de apresentar ao usuário o conhecimento minerado. Antes do início do processo de KDD, faz-se necessária uma análise do problema a ser resolvido pelo processo de descoberta de conhecimento. O perfeito entendimento do problema é importante para definir corretamente os objetivos do processo de KDD. A partir daí é feita uma análise dos dados disponíveis para a solução do problema [4]. 25

19 1.2 Definindo Data Mining Data Mining (ou mineração de dados) é o processo de extrair informação válida previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar decisões cruciais (KIMBALL, 2002) apud [1]. Segundo (BRUSSO, 1998) apud [5] mineração de dados é uma etapa na descoberta do conhecimento em bancos de dados que consiste no processo de analisar grandes volumes de dados sob diferentes perspectivas, a fim de descobrir informações úteis que normalmente não estão sendo visíveis. Para isto são utilizadas técnicas que envolvem métodos matemáticos, algoritmos e heurísticas 2 para descobrir padrões e regularidades entre os dados pesquisados. Resumidamente data mining é um passo do processo de KDD que consistem na aplicação de análises sobre os dados e descoberta de algoritmos que produz um enumerado de padrões ou modelos sobre os dados [2]. 1.3 Técnicas de Data Mining As técnicas de mineração de dados consistem na especificação de métodos que nos garantam descobrir padrões de interesse das organizações. Dentre as principais técnicas utilizadas na mineração de dados destacam-se [3]: 2 Heurísticas são processos ou regras de pesquisa e busca de soluções, conduzidos por processos de associações de idéias em geral incompletas, pela complexidade que os problemas tratados envolvem, procurando simular ou substituir os processos de inferência dedutiva do raciocínio humano [5]. 26

20 Análise de Regras de Associação: Uma regra de associação é um padrão da forma X Y, onde X e Y são conjuntos de valores (artigos comprados por um cliente, sintomas apresentados por um paciente, etc). Consideremos por exemplo um supermercado, o seguinte padrão: Clientes que compram pão também compram leite essa relação representa uma regra de associação que reflete um padrão de comportamento dos clientes. Análise de Padrões Seqüenciais: Um padrão seqüencial é uma expressão da forma <I 1...I n >, onde cada I i é um conjunto de itens. A ordem em que estes conjuntos estão alinhados, reflete a ordem cronológica em que aconteceram os fatos representados por estes conjuntos. Assim, por exemplo, a seqüência: {carro}, {pneu, toca-fitas} representa o padrão Clientes que compram carro, tempos depois compram pneu e toca-fitas de carro. Classificação e predição: Classificação é o processo de encontrar um conjunto de modelos (funções) que descrevem e distinguem classes ou conceitos, com o propósito de utilizar o modelo para predizer a classe de objetos que ainda não foram classificados. O modelo construído baseia-se na análise prévia de um conjunto de dados de amostragem ou dados de treinamento, contendo objetos corretamente classificados. Por exemplo, suponha que o gerente do supermercado esteja interessado em descobrir que tipo de característica de seus clientes os classificam em bom 27

21 comprador ou mau comprador. Um modelo de classificação poderia incluir a seguinte regra: Clientes da faixa econômica B, com idade entre 50 e 60 anos são maus compradores. Em algumas aplicações, o usuário está mais interessado em predizer alguns valores ausentes em seus dados, em vez de descobrir classes de objetos. Isto ocorre, sobretudo quando os valores que faltam são numéricos. Neste caso, a tarefa de mineração é denominada Predição 3. Análise de Clusters (Agrupamentos): Diferentemente da classificação e predição onde os dados de treinamento estão devidamente classificados, a análise de clusters consiste em identificar agrupamentos de objetos, agrupamentos estes que identificam uma classe. Por exemplo, poderíamos aplicar a técnica sobre o repositório de dados de um supermercado a fim de identificar grupos homogêneos de clientes, por exemplo, clientes aglutinados em determinados pontos da cidade que costumam vir ao supermercado aos domingos, enquanto clientes aglutinados em outros pontos da cidade costumam fazer suas compras às segundas-feiras. Análise de Outliers (Exceções): Um banco de dados pode conter dados que não apresentam o comportamento geral da maioria. Estes dados são denominados outliers. Muitos métodos de mineração descartam estes outliers como sendo ruído indesejado. Entretanto, em algumas aplicações, tais como detecção de fraudes, estes eventos raros podem ser mais 3 Predição pode ser definida como a previsão de um valor de um atributo específico [18]. 28

22 interessantes do que eventos que ocorrem regularmente. Por exemplo, podemos detectar o uso fraudulento de cartões de crédito ao descobrir que certos clientes efetuaram compras de valor extremamente alto, fora do seu padrão habitual de gastos [3]. resumida na Tabela 1. As técnicas de mineração de dados, descritas acima, são apresentadas de forma Tabela 1 - Tarefas realizadas por técnicas de mineração de dados [4] Diante das técnicas supracitadas, constata-se que cada uma delas possui um propósito peculiar e percebemos que não há uma técnica que solucione todos os problemas de 29

23 mineração de dados. Diferentes métodos servem para diferentes propósitos e a técnica a ser adotada dependerá da tarefa específica a ser executada e dos dados disponíveis para análise. 30

24 2 - CAPÍTULO Web Mining Neste capítulo será desenvolvida uma discussão preliminar sobre o web mining. Primeiramente serão apresentadas algumas definições, suas subáreas, depois será abordada a influência da Internet na busca de conhecimento a partir do ambiente web. Será descrito de forma geral as categorias ou taxonomia da mineração da web, bem como alguns problemas relacionados com o uso da tecnologia. 2.1 Definindo Web Mining Web mining pode ser definido como uma tecnologia que integra vários campos de pesquisa, tais como: Data mining, linguagens de programação, estatística, entre outros. Ainda não há um consenso sobre a definição de web mining na literatura (WANG, 1997) apud [6]. Muitas pesquisas exploram aspectos diferentes deste conceito. A seguir serão apresentadas algumas definições sobre a tecnologia de web mining: Para (ZAÏANE, 1998) apud [8], web mining é definido como sendo a extração de padrões interessantes potencialmente úteis e de informação implícita de artefatos ou atividades relacionados com a World Wide Web. 31

25 De forma sucinta web mining pode ser definida como o uso de técnicas de data mining com a finalidade de descobrir e extrair informações de documentos e serviços da Web (ETZIONE, 1996) apud [9]. A tabela a seguir (Tabela 2) apresenta as principais categorias e fontes de dados oriundos da Web, bem como os métodos para a extração desses dados. Tabela 2 - Tabela Demonstrativa de Web Mining (FLORESCU ET., 1998) apud [13] 32

26 2.2 Web Warehousing Definindo Web Warehousing Para acessar e gerenciar as informações disponibilizadas na Internet, colocadas em locais distintos, e através de métodos completamente diferentes, é necessário que se utilize um sistema que possa criar uma relação entre as informações assemelhadas, ou seja, informações que abordem sobre o mesmo assunto, ainda que estes dados se encontrem distantes entre si, e que não estejam formatados adequadamente para a visualização do usuário. Este tipo de sistema, que estabelece conexões entre informações encontradas na Internet, e disponibilizadas por diferentes meios de publicação, agregando e armazenando esses dados provenientes da Web em um único local, é conhecido como Web Warehousing [10]. Segundo Mattison [7], web warehousing é uma abordagem para a construção de sistemas computadorizados no qual têm como suas principais funções a identificação, catalogação, recuperação, possibilidade de armazenamento e análise de informações (no formato de dados, textos, gráficos, imagens, sons, vídeo e outros objetos multimídia) através do uso da tecnologia Web, a fim de ajudar os indivíduos a encontrar a informação que estão procurando e analisá-las de forma eficaz Considerações Quando mencionado que a Internet é a principal fonte de dados de um ambiente de Web Warehousing, isto indica que informações adicionais, não provenientes da Internet, 33

27 podem ser incorporadas ao ambiente, agregando mais valor ao conteúdo armazenado. Essas informações adicionais podem estabelecer ligações entre o conhecimento adquirido por meio de dados extraídos a partir da Internet, com informações extraídas de ambientes de tomada de decisão, como Data Warehouse e Data Mining, e até de pessoas, as quais poderiam transferir seus conhecimentos sobre determinado assunto para o ambiente de Web Warehousing, produzindo uma explicação de causa e efeito entre os acontecimentos. Uma questão relacionada à mineração do conteúdo de páginas Web é que, as informações oriundas da Internet necessitam que uma análise prévia das informações seja feita, selecionando-se os dados úteis a serem minerados. Dessa forma, a idéia básica é aproximar o processo de mining tradicional, realizados em dados estruturados, ao processo de mineração na Web. Nesse sentido, uma forma de adequação do processo é a criação de um ambiente de Web Warehousing para o armazenamento das informações extraídas da Web. A fundamentação metodológica do ambiente de Web Warehousing é baseada em vertentes, derivações e adequações das teorias relacionadas aos processos de Data Warehouse tradicional 4, assim como às relacionadas às de interface entre Internet e banco de dados. 4 Para maiores esclarecimentos sobre Data Warehouse procurar (COLAÇO, 2004). 34

28 Neste sentido, para que um sistema de Web Warehousing alcance o objetivo de criar um ambiente adequado para o arquivamento e a recuperação dos dados, assim como os sistemas gerenciadores de banco de dados tradicionais, é necessário que ele tenha a capacidade de armazenar as informações oriundas da Internet que se relacionam entre si de forma já acopladas, e que esse armazenamento seja em função do tempo, da mesma forma que em um sistema de Data Warehouse tradicional, onde as informações pertinentes a um mesmo tema são armazenadas em tabelas de fato, e suas diferentes formas, ou variâncias de consulta, são armazenadas em tabelas de dimensão, compondo assim um modelo de Data Mart departamental [10]. Desta forma, um sistema ou ambiente de Web Warehousing deve poder armazenar essas informações peculiares entre si através de tuplas, assim como em sistemas de banco de dados tradicionais. No caso do ambiente Web, essas tuplas são chamadas de tuplas Web, pois armazenam dados captados da Internet. Ainda seguindo uma analogia com os SGBD s tradicionais sistemas gerenciadores de banco de dados relacional, local onde são armazenados dados, a manipulação dessas tuplas web, contidas dentro das tabelas web - tabela web é um conjunto de gráficos direcionados, consistindo de nós, que são as páginas web propriamente ditas, e hiperlinks, que são as conexões entre as páginas.- nas tabelas web são realizadas através de operadores, que no caso do ambiente da Internet são chamados de operadores web os quais estarão fundamentados sobre semânticas específicas para a Internet, relacionadas diretamente à estrutura diferenciada dos seus dados [10]. 35

29 Esses operadores fornecerão ao sistema a capacidade básica de manipulação e especificação de acoplamento entre tuplas web, no sentido de estabelecer o relacionamento das informações correlatas contidas nas tabelas web. Esses operadores web devem ainda incluir as operações algébricas tradicionais, como derivação, seleção, junção, interseção, dentre outras. Assim como no ambiente de Web Warehousing deve possuir um conjunto de operadores web para a manipulação das informações provenientes da Web, ele deve oferecer, ainda, um conjunto de operadores de visualização dos dados armazenados no ambiente de Web Warehousing, com o objetivo de estabelecer novas perspectivas e visões das informações nele contida. Traçando ainda um paralelo com um sistema gerenciador de banco de dados tradicionais, estas tuplas devem ser armazenadas em tabelas, que, no caso específico dos sistemas de Web Warehousing, são referenciadas como tabelas web. E um conjunto de tabelas de um SGBD constituem um esquema web, se este contiver as tabelas web do Web Warehousing, que é uma representação da estrutura topológica das informações contidas na Web [10]. Segundo Mattison [7], tudo que os Data Warehouses podem fazer hoje, os Web Warehouses serão capazes de fazer num futuro próximo. Para maiores esclarecimentos a respeito do ambiente de Web Warehousing, a arquitetura geral, o acoplamento das informações extraídas a partir da Web, o comportamento da álgebra relacional voltado ao ambiente supracitado, bem como os principais operadores de 36

30 visualização dos dados armazenados em um ambiente dessa natureza, procurar referência em [7] e [10]. 2.3 Subáreas da Web Mining De acordo com (ETZIONE, 1996) apud [12] a tecnologia da Web mining é decomposta em quatro subaéreas que se assemelham ao processo de KDD apesar de não serem denominados desta forma, vistas na figura abaixo e que são brevemente mencionadas a seguir: Figura 2 - Sub-Áreas da Mineração na Web [12] Recuperação de Informação (descobrimento de recursos) A recuperação de informação ou descobrimento de recursos trata da automatização do processo de recuperação de documentos relevantes, que inclui, principalmente, representação, indexação e busca por documentos. 37

31 Um índice é basicamente uma coleção de termos retirados dos documentos com ponteiros para os lugares onde a informações sobre os documentos podem ser encontrados (PAL, 2000) apud [12]. A indexação 5 de páginas Web, para facilitar o processo de recuperação, é bem mais complexa que o processo de indexação em bancos de dados tradicionais. A enorme quantidade de páginas na Web, seu dinamismo e atualizações freqüentes fazem da indexação uma tarefa aparentemente impossível. E, na verdade, esse é um dos grandes desafios dos serviços de busca atuais: indexar toda a Web. Os serviços de busca programas destinados a consultar e recuperar informações armazenadas tanto em bancos de dados, páginas HTML ou texto ainda estão bem longe disso e isso influi na recuperação das informações desejadas, pois algumas vezes os usuários buscam uma informação que está justamente na porção da Web que ainda não foi indexada Seleção da informação / Extração e pré-processamento Uma vez tendo sido os documentos recuperados, o próximo passo é transformar ou pré-processar esses documentos de forma que algoritmos de mineração de dados e aprendizagem de máquina possam ser aplicados de forma efetiva. O campo disciplinar conhecido como extração de informação presta um grande serviço à mineração da Web, no que diz respeito à fase de extração e pré-processamento da informação. Denomina-se extração de informação a tarefa de identificar fragmentos específicos que constituem o núcleo semântico de um documento em particular e construir modelos de representação da informação (conhecimento) a partir dele (PAL, 2002) apud [12]. 5 Indexação é essencialmente um processo de classificação onde é realizada uma análise conceitual do documento ou elemento de informação. 38

32 O problema é que para cada documento da Web temos que escrever um código específico, tornando o trabalho manual. Como os documentos da Web não possuem uma semântica agregada às informações que contém, e nem mesmo um padrão de como apresentar essas informações ao usuário, temos que aprender acerca da estrutura individual de cada documento e escrever código para essa estrutura em particular. Daí a dificuldade de estendermos ou generalizarmos esse código para outros documentos. Vários métodos foram desenvolvidos para a extração de informação tanto em documentos desestruturados quanto em semi-estruturados [12]: (KUSHMERICK, 1997), por exemplo, descreve vários aspectos e técnicas da extração da informação; (FREITAG, 1998) fala sobre a aplicação de algoritmos de aprendizagem de máquina para a extração de informação de documentos HTML; (SODERLAND, 1999) fala sobre aprendizagem de regras para a extração de informação de documentos semi-estruturados e texto comum. É importante salientar a diferença entre as fases de recuperação e extração de informação. As técnicas de extração de informação buscam derivar conhecimento de documentos recuperados segundo a forma como um documento está estruturado e representado enquanto as técnicas de recuperação de informação visualizam o documento apenas como um conjunto de palavras (PAL, 2002) apud [12]. 39

33 2.3.3 Generalização Após as informações terem sido extraídas e algum modelo de representação das informações ter sido construído, são utilizadas técnicas de mineração de dados e aprendizagem de máquina para descobrir novo conhecimento. Um Exemplo que nos daria uma idéia de como seria uma saída de um desses algoritmos é dado abaixo [12]: a) 70 % das pessoas que acessam um determinado web site na seção sobre natação também acessam sobre artes marciais; b) 80 % dos sites que abordam o tema Fórmula 1 possuem links apontando para sites que falam da vida de Ayrton Senna; No primeiro exemplo, a saída poderia dar uma indicação ao administrador da loja virtual sobre as preferências e perfis de seus clientes, de forma a montar estratégias de vendas que possam impelir o usuário a comprar mais. No outro exemplo, descobre-se uma relação interessante entre os sites, norteando os usuários interessados nesse tópico. O maior problema em aprender ou descobrir novos conhecimentos da Web é a falta de semântica das informações. Muitos algoritmos de mineração de dados requerem como entrada exemplos positivos e negativos de algum conceito. Se, por exemplo, tivéssemos um conjunto de páginas da Web marcadas como exemplos positivos e negativos do conceito portal, seria fácil modelar um algoritmo para a classificação automática de novas páginas como portais ou não portais. Embora a Web atual dificulte o processamento das suas 40

34 informações por parte das máquinas, a Web Semântica (BERNERS LEE, 2001) apud [12] fornece uma solução a este problema. Agrupamento ou clustering é uma técnica de classificação que não requer entradas com marcação semântica, e por isso tem sido aplicada com sucesso em grandes conjuntos de documentos HTML (CUTTING, 1992) apud [12] Análise Uma vez os padrões tendo sido descobertos os analistas precisam de técnicas e ferramentas apropriadas de modo a entender, visualizar, interpretar e validar esses padrões. O sistema WEB-MINER ferramenta inteligente de busca (MOBASHER, 1997), por exemplo, propõem uma linguagem para a consulta estruturada do conhecimento descoberto (na forma de regras de associação e padrões seqüenciais). Outros sistemas utilizam técnicas OLAP (Online Analytical Processing) tecnologia de banco de dados multidimensional usados para suporte à decisão. (GIRARDI, 1998) apud [12]. 2.4 Técnicas de Data Mining Aplicados a Web A mineração de dados é um termo que se popularizou por denominar o processo de descoberta de conhecimento em bases de dados, apesar desta se caracterizar apenas por uma das fases do processo de KDD. A maioria das técnicas da mineração de dados foram desenvolvidas para a descoberta de conhecimento em grandes bases de dados de caráter numérico\textual, e estão 41

35 sendo adaptadas para a mineração da web, para as diferentes aplicações que advêm desta nova área [11]. As técnicas mais utilizadas para a mineração de dados na Web são: Regras de Associação: No contexto da Web, serve, por exemplo, para relacionar páginas que foram freqüentemente referenciadas em conjunto, ou associar perfil de usuário/site aos acessos às páginas, por exemplo, Se um usuário visitou uma página A, qual a probabilidade deste mesmo usuário visitar a página B (ZAÏANE, 2001) apud [11]. Padrões Seqüenciais: Definem se a presença de um conjunto de itens (no caso de páginas web) é seguida por outro item em um dado tempo e ordem, no conjunto de sessões estabelecidas. Pode ser utilizada para prever visitas com base em acessos anteriores dos usuários, análise temporal de seqüências de acessos dos usuários (SPILIOPOULOU, 1999) apud [11]. Classificação: Na Web, utiliza um conjunto de exemplos para desenvolver um modelo que encontre características discriminantes de uma população de registros (COOLEY, 2000) apud [11]. Agrupamento ou Clustering: Permite o agrupamento de dados baseados em características similares. Pode ser utilizada para a obtenção de grupos 42

36 de usuários com perfis semelhantes ou agrupar páginas por padrões de acesso. (SRIVASTAVA, 2000), (PARK, 2000) apud [11]. 2.5 A influência da Web no surgimento da Tecnologia Com o crescimento explosivo de fontes de informação disponível na Web, tornouse necessário para os usuários, principalmente os de níveis decisórios, a utilização de mecanismos automatizados de extração de padrões e tendências na World Wide Web. [5]. A partir deste contexto, a Internet determinou um incremento substancial na utilização de informações digitais. A Web é um grande difusor desse tipo de informação, as quais podem ser obtidas a um baixo custo. As informações contidas na Internet são importantes não apenas para as pessoas, mas para as organizações também, especialmente quando decisões críticas precisam ser tomadas. [10]. A grande maioria dos usuários realiza diariamente extrações de informações da Internet a partir de ferramentas de busca - search engines, ou navegadores web - browsers. Contudo, esses dois mecanismos de busca não retornam necessariamente as informações que os usuários estão buscando, tanto em termos de volume quanto em termos de conteúdo [10]. O crescimento da disponibilização de informações on-line, combinado com a falta de estrutura mínima para a maioria dos dados web, proporcionou o surgimento de ferramentas computacionalmente eficientes, para a mineração de informações na Web [10]. 43

37 2.6 Taxonomia da Web Mining Web mining pode ser amplamente dividido em três categorias distintas, de acordo com o tipo de dados a ser minerado. Figura 3 - Linha de Investigação da Web Mining (ZAÏANE, 1998a) apud [8] descrita [11]. Conforme figura acima (Figura 2) a taxonomia da tecnologia será brevemente Mineração do Conteúdo da Web (WCM): Descreve a descoberta de informações úteis de conteúdos, dados e documentos Web, através da busca automática de informação de pesquisa on-line. A Web é basicamente formada por diferentes tipos de dados, tais como: textos, imagem, áudio, vídeo, metadados, hyperlinks, etc. Este conjunto diversificado de dados compõe o conteúdo da Web e são denominados 44

38 dados semi-estruturados, devido à sua representação estrutural heterogênea, não sendo nem completamente não-estruturado, nem estritamente tipados (ABITEBOUL, 2000) apud [11]. A mineração do conteúdo na Web pode ser vista sob dois aspectos, que são: aspecto da recuperação da informação (Information Retrieval - IR) baseada em agentes inteligentes e aspecto de banco de dados. O objetivo da mineração sob aspecto da IR é principalmente assistir e melhorar a busca de informações para o usuário através da filtragem de conteúdo, baseando-se principalmente na inferência ou solicitação de perfis de usuário. Já o objetivo da mineração de conteúdo na Web sob o aspecto de banco de dados é procurar modelar os dados da Web e integrar estes dados em consultas mais sofisticadas do que aquelas baseadas por palavraschave. O aspecto de banco de dados na mineração de conteúdo, procura explorar a estrutura interna dos documentos Web (estrutura intradocumento). Esta categoria será melhor descrita no capítulo subseqüente. Mineração da Estrutura da Web (WSM): Procura descobrir um modelo sobre a estrutura de links da Web. O modelo é baseado na topologia de hyperlinks, com ou sem a descrição destes links. Este modelo pode ser utilizado para categorizar páginas Web e ser útil na geração de informações similares e relacionadas entre diferentes sites Web. O objetivo 45

39 da mineração da estrutura da Web é encontrar a estrutura de hyperlinks interna à própria Web (estrutura inter-documento). Mineração do Uso da Web (WUM): Identifica a descoberta de padrões de acesso através da análise de interação do usuário com a Web. Os dados de uso da Web incluem basicamente os dados obtidos através dos registros de acesso aos servidores Web. A mineração do uso da Web está focada em técnicas que possam descrever e predizer o comportamento do usuário, enquanto este usuário estiver interagindo com a Web. A exploração de dados sobre a utilização da Web pode ser classificada dentro de duas principais categorias: aprendizagem do perfil do usuário ou modelos de usuários em interfaces adaptativas (personalização), e aprendizagem de padrões de navegação do usuário. 2.7 Problemas Relacionados com a Tecnologia A falta de estruturação dos dados na Web fazem com que a descoberta de conhecimento automatizada se torne difícil. As máquinas tradicionais de pesquisa, como por exemplo, Altavista, derivam de informações estruturais que não categorizam, filtram e não interpretam documentos. 46

40 A descoberta de associações e a informação de estatística só serão úteis se os dados representados no log 6 do servidor mostrar um quadro preciso de acessos dos usuários de um Web Site. A figura 4 mostra uma porção de um arquivo de log tipo texto, onde pode ser identificado quem, quando e como o usuário acessou um determinado site. Figura 4 - Exemplo de um arquivo de Log [11] Um problema relacionado, mas difícil de ser determinado é: quando houverem acessos que não poderão ser registrados pelo acesso de logs. Mecanismos como local caches e Proxy servers podem prejudicar a extração dos dados no Web Site. Um outro problema ainda associado aos servidores Proxy (Proxy servers) é a própria identificação do usuário. O uso de um nome de máquina para identificar um único usuário, pode, na realidade, mascarar a existência de vários usuários que estão agrupados como se fosse um só [6]. 6 Logs são arquivos texto gerado por um servidor Web na qual são registradas todas as suas requisições. 47

41 Ainda podemos citar o problema da persistência dos dados na Web. A característica da dinamicidade da Web possui pontos positivos, contudo as informações contidas na Internet podem não persistir após suas seguidas atualizações, as quais na maioria das vezes são atualizações programadas, mas que, por vezes, podem ser indevidas ou acidentais. Um outro ponto peculiar ao assunto é que, ao mesmo tempo em que a Internet contém uma grande quantidade de informações úteis, os documentos oriundos dela diferem no que diz respeito à qualidade dos seus próprios dados. Isto significa dizer que grande parte das informações disponibilizadas, especialmente aquelas criadas pelas pessoas, não é editada e auditada cuidadosamente, implicando em conteúdos nem sempre confiáveis [10]. Pode-se destacar também a inconveniência na mineração para a busca de resultados onde a mineração é limitada por palavras-chave ou frases, a precisão desses resultados é baixa, além de existir uma quase que inevitável repetição das informações extraídas. Entretanto, um dos maiores problemas na realização de pesquisa de conteúdo na Internet é a existência de dados completamente irrelevantes nos resultados obtidos como retorno das consultas. Isso torna o processo de obtenção de conhecimento relacionado a determinado assunto extremamente improdutivo, trabalhoso e com forte propensão a erros [10]. Estes fatores, atualmente, motivam pesquisadores a desenvolver ferramentas mais inteligentes para a recuperação dessas informações oriundas da grande rede, como agentes inteligentes da Web, e também para estender técnicas de mineração de dados para prover um alto nível de organização para os dados semi-estruturados disponíveis na Internet [6]. 48

42 3 CAPÍTULO Web Content Mining Neste capítulo será apresentado um estudo sobre a mineração de conteúdo da web ou web content mining, no mesmo serão abordados algumas definições pertinentes à tecnologia, a apresentação do ambiente de web warehouse - ambiente onde são armazenados dados oriundos da web que por sua vez irá referenciar definições e considerações do ambiente, bem como alguns pontos a serem considerados no processo da mineração na web em si, o Webkdd. Serão apresentadas as duas categorias do processo e as abordagens dadas nessa categoria de mineração. 3.1 Definindo Web Content Mining A mineração de conteúdo da Web pode ser definida como a descoberta de informações úteis do conteúdo, dados, documentos e serviços da Web (PAL, 2000) apud [12]. Vale salientar que o conteúdo da web não se constitui apenas de texto ou hipertexto, mas abrange uma ampla variação de tipos de dados, tais como: áudio, vídeo, dados simbólicos, metadados e vínculos de hipertexto. Segundo MACHADO [11], a mineração do conteúdo da web pode ser definida como a descoberta de informações úteis de conteúdos, dados e documentos da Web, através da busca automática de informações de pesquisas on-line. 49

43 De forma sucinta, a mineração de conteúdo da web pode ser definida como o processo de extração de conhecimento do conteúdo da web [6]. Apesar de já existir uma área de pesquisa destinada ao estudo da mineração de dados multimídia, o foco ainda são os dados de texto e hipertexto que na verdade são os que constituem a maioria de tipos de dados na web (ZAIANE, 1998) apud [12]. Os dados de texto da web podem ser de três tipos: desestruturados, tais como texto comum; semi-estruturados, tais como documentos HTML, e estruturados, tais como tabelas de bancos de dados [12]. 3.2 O Processo de WebKDD para WCM De fato o processo de WebKDD (Knowledge Discovery in Web Database) sobre o conteúdo da web é análogo às técnicas tradicionais de KDD desde que encontremos tipos similares de conhecimento a partir de dados desestruturados oriundos de documentos web. Considere a seguir as seguintes características do processo de Webkdd no contexto de um ambiente de Web Warehousing [16]. Quanto à similaridade e diferenças entre o contexto do web warehousing e do mining tradicional. Nos bancos de dados relacionais, os dados são estruturados e muito bem arranjados em uma estrutura tabular definida, usando atributos cujo domínio são conhecidos. No caso dos dados web alguns tipos de documentos são totalmente desestruturados, e diferentes 50

44 atributos nos documentos podem conter significavelmente semântica similar através da world wide web ou vice e versa. Por exemplo, um web site pode mostrar o preço de um mesmo carro em figura numérica outros podem exibir na forma de texto. Um atributo pode ter um valor atômico em um documento, mas um conjunto deles em outros documentos. A fim de realizar a mineração do conteúdo, deve-se primeiramente resolver problemas com integração de semântica através dos documentos web. Quanto à seleção dos tipos de dados na world wide web com o intuito de realizar o processo de Webkdd. O processo precisa selecionar informações úteis antes de analizá-las. Não é uma prática aconselhável esperar sistemas de data mining pesquisar na web inteira para descobrir conhecimento requisitado pelo usuário. No caso, a mineração baseia-se nos metadados disponíveis. Uma quantidade grande de redundância e partes não importante de informações é recuperada, logo, dependendo da espécie do tipo de conhecimento a ser minerado um outro nível de seleção de dados deve ser aplicado com a intenção de extrair dados relevantes dentro de um apropriado modelo de dados. Quanto à limpeza dos dados selecionados que serão minerados efetivamente. Este é uma etapa que se dá depois que os dados são selecionados para a mineração. Antes da mineração, há a necessidade de transformar os dados da web em algum modelo de dados, no qual terá que ser bem compreendido. Por exemplo, neste passo do processo há a 51

45 transformação dos dados web na forma de tuplas web, essas tuplas web irão ser constituídas de nós e links que por sua vez haverão palavras-chave especificadas sobre os mesmos. Nessa fase também serão usados operadores algébricos para filtrar as informações irrelevantes. Quanto ao tipo de conhecimento que pode ser descoberto no contexto de web warehouse. Tipos de conhecimento podem ser descobertos através das seguintes formas: regras de generalização, regras de características, regras de descriminação, regras de classificação, regras de associação e regras de desvio (CHEN, 1996) apud [16]. Quanto à descoberta de tipos de informações ocultas no ambiente de web warehouse. A fonte de onde se extrai os dados web é heterogênea, diversificada e desestruturada o que dificulta a categorização dos dados. Em muitos casos, o usuário estaria mais inseguro sobre o conhecimento oculto por trás dos documentos web do que em um banco de dados. Logo um processo interativo e iterativo faz-se necessário para habilitar a mineração exploratória na busca de conhecimento. Uma linguagem de mineração adequada é essencial na materialização do processo interativo. Quanto à execução interativa da mineração do conteúdo web. A descoberta de conhecimento por parte dos usuários leva os mesmos a tomar decisões complexas. Por exemplo, uma interface de consulta é freqüentemente necessária para especificar os conjuntos de dados de interesse a ser estudado, o tipo de regras a ser descoberta, etc. Uma interface gráfica 52

46 ajuda na mineração interativa (HAN, 1995) apud [16], pois facilita a modificação da interatividade dos valores obtidos no inicio do processo. 3.3 Categorias da Mineração do Conteúdo da Web A mineração do conteúdo da Web possui duas categorias ou subáreas específicas [15]: a mineração para busca de resultados, mais conhecida como search engine e a mineração de conteúdo de páginas, que serão apresentadas a seguir Mineração para Busca de Resultados Dado o cenário atual da Web, contendo bilhões de informações, não é de se estranhar que uma das maiores fontes de informação para pessoas e organizações seja a própria Web. Apesar disto, é difícil localizar informações relevantes acerca de determinado assunto somente através dos links dos documentos de hipertexto. Para permitir a busca de informações mais eficientemente foram criados os índices de documentos, conhecido como Search Engines. Como exemplo de sites que oferecem este tipo de serviço estão: o AltaVista 7, Excite 8 e InfoSeek 9 estes tipos de sites podem funcionar basicamente de duas maneiras (COSTA, 1996) apud [15]. Coleta de dados e indexação: Agentes - conhecidos como robôs, percorrem a Web, coletam, armazenam e indexam as informações

47 Meta-índice: Utilizam os próprios índices de pesquisa para realizar a pesquisa. Estes sites indexam strings em páginas HTML e, portanto, apresentam problemas relacionados com questões de relevância e abrangência [15]. A criação desses sites de pesquisa foi um grande avanço para os usuários da Web, pois facilitou bastante a pesquisa na rede, mas trouxe consigo os problemas supracitados. Em geral, quanto mais abrangente é uma pesquisa menos relevante são os resultados e, vice-versa, ou seja, quanto mais relevante é uma pesquisa menos abrangente são os resultados (COSTA, 1996) apud [15]. O ponto central dessa questão é que a Web não foi planejada e projetada para armazenar informações de forma organizada e ordenada, pelo contrário, sua heterogeneidade e falta de estrutura existente em suas fontes de informação, através dos documentos de hipertexto, faz com que a descoberta automatizada de conhecimento, a organização e administração das informações nesse meio de comunicação, tornem-se atividades difíceis de se executar [15]. As ferramentas de procura e indexação tradicionais que atuam na Web provêem um pouco de conforto para os usuários, porém elas geralmente não provêem informação estrutural, categorização, filtragem e interpretação de documentos. Diante disso, pode-se citar que, quando a maior parte dos usuários realiza buscas de informação da Web por meio dessas ferramentas, as mesmas não retornam necessariamente 54