SISTEMA HIPERMÍDIA ADAPTATIVO BASEADO NO DESCOBRIMENTO E ANÁLISE DE PADRÕES DE USO UTILIZANDO MINERAÇÃO DA WEB

Transcrição

1 PEDRO HENRIQUE DE OLIVEIRA E SILVA SISTEMA HIPERMÍDIA ADAPTATIVO BASEADO NO DESCOBRIMENTO E ANÁLISE DE PADRÕES DE USO UTILIZANDO MINERAÇÃO DA WEB Orientador: Prof. Dr. Gray Farias Moita CEFET-MG CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO MESTRADO EM MODELAGEM MATEMÁTICA E COMPUTACIONAL Belo Horizonte MG 2010

2 PEDRO HENRIQUE DE OLIVEIRA E SILVA SISTEMA HIPERMÍDIA ADAPTATIVO BASEADO NO DESCOBRIMENTO E ANÁLISE DE PADRÕES DE USO UTILIZANDO MINERAÇÃO DA WEB Dissertação apresentada ao Curso de Mestrado em Modelagem Matemática e Computacional (MMC) do Centro Federal de Educação Tecnológica de Minas Gerais, como requisito parcial à obtenção do título de Mestre em Modelagem Matemática e Computacional. Área de pesquisa: Sistemas Inteligentes Orientador: Prof. Dr. Gray Farias Moita CEFET-MG MESTRADO EM MODELAGEM MATEMÁTICA E COMPUTACIONAL CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO Belo Horizonte MG 2010

3 Folha de aprovação do projeto. Esta folha será fornecida pelo Programa de Pós-Graduação e deverá substituir esta.

4 Dedico este trabalho à minha família, especialmente à minha mãe pelo total apoio, compreensão, dedicação e por me mostrar que a educação é um importante caminho a seguir. i

5 AGRADECIMENTOS Primeiramente agradeço a Deus por seu amor incondicional, pela força e determinação a mim proporcionada, para cumprir mais uma etapa da minha vida. Gostaria de expressar a minha profunda gratidão ao meu orientador e conselheiro Prof. Dr. Gray Farias Moita, não só pela suas orientações mas também por suas ideias, pelo incentivo, pelo tempo dedicado a meu favor, pelas oportunidades oferecidas e por sua amizade. Sou grato a todos os colegas, amigos e professores do Mestrado em Modelagem Matemática e Computacional do CEFET-MG, pela colaboração e disponibilidade em trocar idéias e apoio durante o mestrado. À minha segunda família, tia Marlene, Cida, Acir e Matheus, um agradecimento especial por me acolherem durante a realização do mestrado. Sem vocês, este não seria concretizado. Finalmente, agradeço à minha namorada, pelo apoio e compreensão nos momentos de impaciência e ausência e à minha família. Pelo amor, carinho, dedicação, compreensão, paciência, incentivo, apoio, confiança, o meu mais profundo e sincero reconhecimento. ii

6 Resumo Este trabalho propõe uma abordagem sistemática sobre o emprego de técnicas de Mineração do Uso da Web, mais especificadamente as Regras de Associação, para o desenvolvimento de Sistemas Hipermídia Adaptativos. Hipermídia Adaptativa é a área da ciência da computação que se ocupa do estudo e desenvolvimento de sistemas, arquiteturas, métodos e técnicas capazes de promover a adaptação de hiperdocumentos e hipermídia, em geral, às expectativas, necessidades, preferências e desejos de seus usuários. Essas novas oportunidades de exploração dos interesses dos usuários também trazem desafios interessantes. Entre eles, destaca-se a operação autonômica do sistema, ou seja, de forma totalmente automática, sem intervenção humana. Para que isso se torne realidade, a aplicação deve ser adaptativa, no sentido em que o sistema altere seu conteúdo (informação) e a navegação (links) a serem apresentados para os usuários de acordo com seu modelo de usuário (construído a partir de dados do usuário), gerando uma interface que disponibilize a informação apropriada, com leiaute adequado. Para facilitar a Mineração do Uso da Web foi utilizado o conceito de Arquitetura Orientada a Serviços (SOA - Service Oriented Architecture). Essa arquitetura se preocupa com a construção independente de serviços, negócios alinhados que podem ser combinados em significantes processos de negócio de alto nível e soluções dentro do contexto do empreendimento. A Mineração do Uso da Web tenta descobrir informações úteis a partir de dados secundários obtidos das interações dos usuários com a Web. Essa técnica apresenta desafios e oportunidades para a mineração (o descobrimento de informação e o conhecimento da Web), tornando possível a adaptação ou personalização eficaz de Sistemas Hipermídia Adaptativos, adaptando o ambiente Web para cada modelo de usuário. Para demonstrar a viabilidade, um estudo de caso objetivando a utilização da Mineração do Uso da Web para a extração de Regras de Associação, como suporte à adaptação de Sistemas Hipermídia é apresentado, em que são detalhados os resultados obtidos a partir dos modelos de usuário extraídos do arquivo de log do sítio do CEFET-MG ( PALAVRAS-CHAVE: Sistemas Hipermídia Adaptativos, Mineração do Uso da Web, Regras de Associação, Arquitetura Orientada a Serviços, Serviços Web.

7 Abstract This work proposes a systematic approach on the use of techniques of Web Usage Mining, more specifically the Association Rules, for the development of adaptive hypermedia systems. Adaptive Hypermedia is the area of computer science which deals with the study and development of systems, architectures, methods and techniques to promote the adaptation of hyperdocuments and hypermedia, in general, to an user s expectations, needs, preferences and desires. These new opportunities for exploration of the interests of users also bring interesting challenges. Among them, there is the autonomic operation of the system, i.e. in a fully automatically manner, without human intervention. For this to become reality, the application must be adaptive in the sense that the system changes its content (information) and navigation (links) to be presented to users according to their user model (built from user data), generating an interface that provides the appropriate information, with proper layout. To facilitate the use of Web Mining the concept of Service Oriented Architecture (SOA) was used. This architecture is concerned with the construction of independent services, business line that can be combined into meaningful business processes and high level solutions within the context of the enterprise. The Web Usage Mining attempts to discover useful information from secondary data obtained from user interactions with the Web. This technique presents challenges and opportunities for mining, the discovery of information and knowledge of the Web, making possible the effective adaptation or customization of Adaptive Hypermedia Systems by adapting the environment for each user. To demonstrate the feasibility, a case study aiming at the use of Web Usage Mining for the extraction of association rules, as the support for the adaptation of hypermedia systems, is presented. The results from the models derived from the user log file obtained from the CEFET-MG Web Site ( are shown. KEY WORDS: Adaptive Hypermedia Systems, Web Usage Mining, Association Rules, Service Oriented Architectures, Web Services.

8 Lista de Figuras 1 Etapas do KDD modificado de Shapiro, Fayyad e Smith (1996)..... p Taxonomia da mineração da Web. Fonte: Zaiane (2000) p Processo de Mineração do Uso da Web. Fonte: Zaiane (2000).... p Diagrama simplificado de acesso à Web. Fonte: Cooley (2000)... p Exemplo de entrada no log. Fonte: Onoda (2006) p Etapas na preparação dos dados para a Mineração do Uso da Web. Fonte: Zaiane (2000) p Referências ausentes devido ao cache. Fonte: Liu (2007) p Espaço de busca para conjunto de itens A = {a,b,c,d,e}. Fonte: Hipp, Güntzer e Nakhaeizadeh (2002) p Separação de itemsets frequentes e não-frequentes no espaço de busca de A = {a,b,c,d,e}. Fonte: Hipp, Güntzer e Nakhaeizadeh (2002) p Algoritmo APRIORI. Fonte: Agrawal e Srikant (1994) p Função APRIORI-GEN. Fonte: Liu (2007) p Algoritmo para a geração de regras de associação. Fonte: Agrawal e Srikant (1994) p Processo de adaptação nos SHA. Fonte: Brusilovsky (2000)..... p Os temas são adaptáveis no igoogle. Fonte: Google (2010) p Arquitetura de um Sistema Hipermídia Adaptativo. Adaptada de Motta et al. (2003) p Exemplo uso do método de conteúdo adicional p Exemplo uso do Stretchtext p. 46

9 18 Exemplo do uso da técnica de anotação de links p Modelo do processo de desenvolvimento de Sistemas Hipermídia Adaptativos p Exemplo de log de servidor da Web p Processo de identificação e captura dos dados comportamentais do usuário p Interface do Sistema Hipermídia Adaptativo utilizando anotação adaptativa p Modelo do Banco de Dados p Estrutura básica do ambiente Web adaptativo proposto p Leiaute da página principal do Web adaptativo p Modelo em HTML da página principal p Transformações realizadas pelo sistema hipermídia adaptativo.... p Regra de Associação gerada p Caminho a percorrer no sistema não adaptativo p Caminho a percorrer no sistema adaptativo p Modelo 1 de adaptação realizado pelo sistema adaptativo p Modelo 2 de adaptação realizado pelo sistema adaptativo p Modelo 3 de adaptação realizado pelo sistema adaptativo p Modelo 4 de adaptação realizado pelo sistema adaptativo ao ser acessado por um novo visitante p Sistema Hipermídia Adaptativo sem as transformações p. 82 vi

10 Lista de Tabelas 1 Detalhamento do log. Fonte: Onoda (2006) p Tabela Booleana de itens-transações p Tabela de itens-transações p Relação de Itens comprados por transação. Fonte: Domingues (2004) p Itemsets frequentes. Fonte: Domingues (2004) p Adaptativo versus Adaptável. Batista (2007) p Técnicas de adaptação utilizadas p Fases do Processo de Desenvolvimento do Sistema Hipermídia Adaptativo p Tabela URLs p Tabela Grupos de Acesso p Tabela Endereço IPs p Tabela Grupos Acesso URLs p Tabela Grupos URLs Mais Acessadas p Descrição do conjunto de dados utilizados nos experimentos..... p Avaliação dos resultados pelos usuários p. 81

11 Lista de Abreviaturas e Siglas AG s Algoritmos Genéticos BD Banco de Dados CEFET-MG Centro Federal de Educação Tecnológica de Minas Gerais CLF Commom Log Format DCBD Descoberta de Conhecimento em Bases de Dados HTML HyperText Markup Language HTTP Hypertext Transfer Protocol IA Inteligência Artificial IP Internet Protocol IIS Internet Information Services ISP Internet Service Provider KDD Knowledge Discovery in DataBases SHA s Sistemas Hipermídia Adaptativos OLAP Online Analytical Processing RI Recuperação de Informações RNA Rede Neural Artificial SOA Arquitetura Orientada Serviços UDDI Universal Description, Discovery and Integration URL Uniform Resource Locator W3C World Wide Web Consortium

12 WSDL Web Service Definition Language Web (Ver WWW) WWW World Wide Web XML Extensible Markup Language ix

13 Sumário 1 INTRODUÇÃO p Objetivo e Motivação do Trabalho p Principais Contribuições deste Trabalho p Organização do Trabalho p. 6 2 MINERAÇÃO DE DADOS E REGRAS DE ASSOCIAÇÃO p Mineração de Dados p Técnicas e Algoritmos de Mineração de Dados p Mineração de Dados na Web p Mineração do Uso da Web p Fontes de tipos de dados p Etapas do Processo p Coleta de Dados e Pré-Processamento p Análise e Descobrimento de Padrões p Regras de Associação p Conceitos Básico sobre Regras de Associação p Base de Dados p Geração de Itemsets Frequentes p Cálculo das Medidas de Confiança e Suporte.... p Definição da Técnica de Regras de Associação... p O Algoritmo Apriori p O Algoritmo Simples para Gerar Regras de Associação.... p. 35

14 3 SISTEMAS HIPERMÍDIA ADAPTATIVOS p Sistemas de Hipermídia Adaptativa - SHA p Formas de Adaptação p Arquitetura básica de um SHA p Modelo do Usuário p TÉCNICAS E MÉTODOS ADAPTATIVOS PARA SISTEMAS HIPERMÍDIA ADAPTATIVOS p Métodos e Técnicas de Adaptação do Conteúdo p Métodos e Técnicas de Adaptação da Apresentação da Interface... p Métodos e Técnicas para o Suporte à Navegação Adaptativa..... p MODELO E TÉCNICAS PARA O DESENVOLVIMENTO DO SISTEMA HI- PERMÍDIA ADAPTATIVO p Modelo Proposto p Técnicas Utilizadas p APLICAÇÃO DOS MODELOS E TÉCNICAS NO SISTEMA HIPERMÍDIA ADAPTATIVO p Antecedentes p Desenvolvimento do Sistema Hipermídia Adaptativo p Modelo de Usuário p Captura dos Dados do Usuário p Modelo de Domínio p Modelo de Navegação p Modelo de Adaptação p Banco de Dados p Tabela URLs p Tabela Grupos de Acesso p. 65 xi

15 Tabela Endereços IPs p Tabela Grupos Acesso URLs p Tabela URLs Mais Acessadas p IMPLEMENTAÇÃO DO SISTEMA HIPERMÍDIA ADAPTATIVO p Estrutura do Sistema Hipermídia Adaptativo p Ferramenta de Mineração de Dados p Interface do Ambiente Adaptativo Proposto p EXPERIMENTOS p Mineração das Regras de Associação p Experimentos com o Sistema Hipermídia Adaptativo p Avaliação dos Resultados pelos Usuários p CONCLUSÃO p Considerações Finais p Trabalhos Futuros p. 84 Referências p. 86 xii

16 1 1 INTRODUÇÃO O uso da Word Wide Web, ou simplesmente a Web, para a busca de informações ou a realização transações pessoais e comerciais, tem se tornado comum nos dias de hoje, tornando-a um grande e autônomo sistema de informações distribuído e heterogêneo, utilizado como fonte de informações nas mais diversas áreas do conhecimento, seja por motivos profissionais ou simplesmente por lazer (SILBERSCHATZ; STONEBRAKER; ULLMAN, 1996). Hoje é possível encontrar quase todo tipo de informação na Web; sendo ela considerada o maior repositório mundial de informação. Isto define bem o potencial da rede mundial de computadores no mundo globalizado em que se vive atualmente. Pessoas de diferentes nacionalidades, falando as mais diversas línguas, com interesses e conhecimentos variados, podem trocar e compartilhar informações, colocando suas informações disponíveis publicamente e, ao mesmo tempo, procurando por conhecimento e experiências que outros adquiriram e vivenciaram. Apesar do crescimento exponencial da Web, a capacidade do indivíduo de ler e digerir o conteúdo é essencialmente limitada. A Web é uma coleção de fontes de informação semi-estruturada ou, frequentemente, estruturada, vista de forma complexa e dinâmica. Sua grande quantidade de informação, a constante mudança de ambiente, a má compreensão das necessidades e preferências dos usuários, bem como a falta de mudança dos modelos de dados existentes na Web, faz com que o seu grande potencial não seja completamente atingido. O uso da Web gera uma grande coleção de dados (seqüência de clique) registrada na forma de um log (termo utilizado para descrever o processo de registro de eventos relevantes num sistema computacional) de cada ação efetuada pelos visitantes de um Web site. Nesse contexto, surgem os mecanismos que resgatam esses dados transformando-os em informações úteis. Esses mecanismos consistem-se daquilo que é chamado de Web Mining, uma aplicação natural das técnicas de mineração de

17 1 INTRODUÇÃO 2 dados voltada para a Web. A Web possui diferentes características, que fazem da mineração e descoberta destas informações um fascinante conhecimento e uma tarefa desafiadora. Liu (2007) descreve algumas dessas características: A quantidade de dados/informação na internet é enorme e crescente. Dados de todos os tipos existem na internet (por exemplo, tabelas estruturadas, arquivos de multimídia, imagens, áudios e vídeos). A informação na Web é heterogênea. Devido a diversos autores de páginas Web, páginas iguais podem apresentar informações semelhantes usando diferentes meios ou formatos. Uma quantidade significante de informação na Web é conectada. Diversos hiperlinks interligam páginas Web. Dentro de um site, os hiperlinks servem como mecanismos de organização de informação. A Web também proporciona a prestação de serviços. A maioria dos sites comerciais permite às pessoas executarem operações úteis, por exemplo, comprar produtos, pagar contas e preencher formulários. A Web é dinâmica. As informações na internet mudam constantemente. Manter o ritmo das mudanças e monitorar as mesmas são assuntos importantes para muitas aplicações. A Web é uma sociedade virtual. A Web não está só voltada aos dados, informação e serviços, mas também às interações entre pessoas, organizações e sistemas automatizados. As pessoas podem se comunicar de qualquer lugar com outras pessoas fácil e imediatamente, como também expressar seus comentários em qualquer fórum, blogs e sites de relacionamento. Todas essas características apresentam desafios e oportunidades para a mineração de dados, o descobrimento de informação e o conhecimento da internet, tornando possível a adaptação, personalização, ou padronização da Web, adaptando o ambiente Web para cada usuário ou grupos de usuários. A mineração de dados na Web é uma das etapas de um processo maior, denominado Descoberta de Conhecimento em Base de Dados (DCBD). Esse processo constitui-se de várias etapas que, juntas, propiciam a descoberta de conhecimento. Como exemplo de aplicação prática de

18 1 INTRODUÇÃO 3 DCBD e mineração de dados, Dias (2008) descreve o caso de uma aplicação em base de dados que continha informações sobre o histórico de logs do site do CEFET-MG. Através do uso de mineração pode-se extrair informações relevantes sobre o comportamento e as preferências dos usuários de um Web site. Por meio da mineração dos arquivos de log, pode-se obter conhecimentos aprofundados a respeito dos usuários que se conectaram a um Web site e assim adaptá-lo, segundo as necessidades de seus usuários. Esse conhecimento obtido pela mineração de dados pode ser utilizado tanto para a adaptação, como na estruturação de sites de acordo com o perfil de cada internauta ou grupo. Essa adaptação é atualmente conhecida como a chave para o sucesso nos negócios (ALLEN; KANIA; YAECKEL, 2001). A mineração de dados na Web concentra-se em três atividades básicas, segundo Zaiane (2000): a mineração do conteúdo, referindo-se basicamente a mineração do conteúdo textual das páginas Web; a mineração da estrutura, referindo-se basicamente à mineração de links entre as páginas Web; e a mineração do uso, concentrandose basicamente na mineração dos hábitos e ações tomadas pelos usuários da internet. Como exemplo de sucesso na aplicação da mineração do uso para a adaptação de sistemas hipermídia, pode-se citar Pierrakos et al. (2003), que descreve os benefícios da mineração de uso da Web para a adaptação de sistemas hipermídia baseados nas necessidades de seus usuários. No caso descrito, é apresentada a adaptação de sistemas hipermídia através de políticas de mineração de dados para a personalização e implementação de variadas funcionalidades em Web sites. A adaptação dos serviços oferecidos para um sistema hipermídia é um passo importante no sentido de aliviar a sobrecarga de informações, tornando a Web um ambiente amigável para o usuário e, portanto, estabelecendo relações de confiança entre o site e o visitante. Em Mobasher et al. (2000), a adaptação da Web é definida como a tarefa de tornar os sistemas de informação, baseados na internet, adaptáveis às necessidades e interesses de cada usuário. Tipicamente, um sistema hipermídia adaptativo reconhece seus visitantes, coleta informações sobre suas preferências e adapta os seus conteúdos (informações) e sua navegação (links), a fim de corresponder às necessidades dos mesmos. A adaptação de Web sites melhora a experiência do site com seus usuários, apresentando a informação que o visitante quer ver de forma adequada e no momento oportuno. Em e-business, a adaptação de Web sites, além disso, fornece mecanismos para aprender mais sobre as necessidades do cliente, identificar

19 1.1 Objetivo e Motivação do Trabalho 4 as tendências futuras e, eventualmente, aumentar a fidelidade do cliente ao serviço prestado. A fim de se tornar possível a construção de Sistemas Hipermídia Adaptativos, surge uma clara demanda em se utilizar técnicas de Mineração do Uso da Web, mais especificadamente, Regras de Associação, que são utilizadas para descobrir elementos que ocorrem em comum dentro de um determinado conjunto de dados. Essa técnica tem despertado grande interesse nos pesquisadores de Mineração de Dados e nas organizações. Os trabalhos pioneiros em Mineração do Uso da Web (SRIVASTAVA et al., 2000), não consideraram amplamente a sua utilização para a adaptação de sistemas hipermídias. Seu foco principal foi sobre a descoberta de conhecimento na tomada de decisão, expresso em termos de modelos descritivos de dados para serem avaliados e explorados por peritos humanos. No entanto, a Mineração do Uso da Web também pode ser uma ferramenta útil para a adaptação de sistemas hipermídias. Tudo que é necessário para uma aplicação de Mineração do Uso da Web, visando a adaptação de um Web site, é uma mudança de foco - passar do tradicional (suporte à decisão da informação descoberta e modelagem estática de dados de uso para a descoberta de conhecimento operacional) para a adaptação e a modelagem dinâmica de usuários. Este tipo de conhecimento pode ser entregue diretamente de volta para os usuários, por meio da adaptação de Web sites, a fim de melhorar a sua experiência no site, sem a intervenção de um perito humano. Assim, é hoje amplamente reconhecido que a Mineração do Uso da Web é uma fonte valiosa de ideias e soluções para adaptação de sistemas hipermídia. 1.1 Objetivo e Motivação do Trabalho O objetivo deste trabalho é o desenvolvimento de um Sistema Hipermídia Adaptativo baseado no comportamento dos seus usuários usando técnicas de mineração de dados na Web, mais especificadamente Mineração do Uso da Web (Web Usage Mining), para a extração de regras de associação entre conjuntos de páginas Web e seus visitantes, possibilitando a implementação de um sistema que procure orientar o usuário na sua navegação. Os sistemas hipermídia adaptativos são voltados para a divulgação de produtos e serviços. Esses sistemas são compostos por um grande número de páginas organi-

20 1.2 Principais Contribuições deste Trabalho 5 zadas de acordo com a estrutura organizacional do Web site. Essa estrutura permite o agrupamento de usuários por perfis, podendo realizar a adaptação do sistema hipermídia por grupos de usuários, denominado de modelos de usuários, onde este modelo representa todas as informações sobre os usuários do sistema. A internet, nos últimos anos, teve uma explosão rápida na sua utilização e dá atualmente acesso a diversas informações de todas as naturezas em seus trilhões de sites disponíveis no mundo inteiro. A internet pode ser vista como uma gigantesca rede de informações que pode ser utilizado de diversas formas. No entanto, a internet ainda possui muitos problemas sem solução, como por exemplo, o problema de navegabilidade que se constitui na organização da informação para que o usuário navegue de forma intuitiva e saiba onde está, de onde veio e quais são as suas possibilidades futuras de acesso. Diversos fatores podem ser apontados para a persistência deste problema. O fato é que as estruturas dos sites não auxiliam o usuário a encontrar sua página alvo. Os textos dos links são imprecisos, ou seja, os links que levam o usuário à sua página alvo estão em páginas diferentes das quais o usuário espera, como citado por Yang (2001). Esse problema leva os usuários a usar uma seqüência de ligações ( links ) mais longa do que a necessária ou até mesmo desistir da procura antes de encontrar a sua página alvo, prejudicando sua navegação. Nesse contexto, surge uma clara demanda por métodos que visem melhorar este cenário do ponto de vista da navegação. Um sistema hipermídia adaptativo contribui no sentido de indicar caminhos para que o usuário chegue até seu objetivo e melhore sua navegação, fazendo com que ele use apenas a quantidade necessária de links para se deslocar dentro do ambiente Web até sua página alvo. 1.2 Principais Contribuições deste Trabalho O desenvolvimento de Sistemas Hipermídia Adaptativos utilizando a Mineração de Dados na Web, proposta neste trabalho, oferece as seguintes contribuições: Uma abordagem sistemática sobre a questão da adaptação em tempo real das aplicações Web utilizando técnicas de mineração de dados da Web, facilitando a incorporação deste aspecto às aplicações. Auxílio na compreensão das alterações no Web site, exibindo todas as interações entre as adaptações.

21 1.3 Organização do Trabalho 6 Conhecimento do desempenho da técnica de mineração de regras de associação em sistemas hipermídia adaptativos. Investigação da questão da adaptação em vários aspectos, desde o projeto à implementação das aplicações, definindo o conhecimento das abordagens existentes e como estas são aplicáveis em cada estágio do desenvolvimento da aplicação. Um sistema hipermídia adaptativo que soluciona o problema de determinar o menor caminho para o usuário, usando a sua própria navegação para o processo de aprendizagem. 1.3 Organização do Trabalho Neste capítulo foi apresentado o contexto em que se insere este trabalho, bem como o objetivo e as principais contribuições do mesmo. O restante da dissertação está organizado da maneira descrita a seguir. No Capítulo 2 é descrito, de modo geral, o processo de Mineração de Dados na Web, abordando as etapas de Pré-processamento dos dados, Extração de Padrões e Pós-processamento do conhecimento extraído. Também são apresentados nesse capítulo, uma definição das técnicas de Mineração do Uso da Web e de Regras de Associação, objeto de estudo deste trabalho para a adaptação de sistemas Web, bem como exemplificações de uso, o algoritmo Apriori (que sob aspecto histórico é considerado um dos mais importantes) e um algoritmo simples para gerar Regras de Associação proposto em Agrawal e Srikant (1994). O Capítulo 3 apresenta a fundamentação teórica sobre Hipermídia Adaptativa, Sistemas de Hipermídia Adaptativa e o estado da arte em Web adaptativa. O Capítulo 4 explica as técnicas e os métodos adaptativos para Sistemas Hipermídia Adaptativos, tanto para a apresentação adaptativa, quanto para a navegação adaptativa. No Capítulo 5 são apresentados o modelo e as técnicas utilizadas para o desenvolvimento do Sistema Hipermídia Adaptativo proposto. O Capítulo 6 descreve a aplicação do modelo e das técnicas apresentadas no Capítulo 5 durante o desenvolvimento do sistema hipermídia adaptativo.

22 1.3 Organização do Trabalho 7 No Capítulo 7, descreve-se como foi realizada a implementação do modelo proposto, considerando-se seu ambiente de desenvolvimento e sua arquitetura básica e explicando-se cada módulo. O Capítulo 8 descreve os experimentos realizados, detalhando-se a quantidade de dados utilizados, os modelos de usuários gerados e as adaptações realizadas pelo sistema hipermídia adaptativo. No Capítulo 9, apresentam-se as conclusões, bem como algumas propostas de desenvolvimentos futuros. Completa o documento a bibliografia.

23 8 2 MINERAÇÃO DE DADOS E REGRAS DE ASSOCIAÇÃO A Mineração de Dados é um processo de natureza iterativa (podendo ser repetido várias vezes para melhorar o processo de seleção dos dados ou para ajustar parâmetros, objetivando melhores resultados numa próxima iteração) e interativa (baseado na interação dos especialistas de domínio, responsáveis pela execução do processo e usuários). Embora a mineração da Web utilize várias técnicas de mineração de dados, não é meramente uma aplicação de mineração de dados tradicional, devido à natureza heterogênea e semiestruturada ou não dos dados da Web. O processo de mineração da Web se apresenta como uma tecnologia automatizada para análise de grandes volumes de dados e obtenção de conhecimento, podendo ser classificado como Mineração de Dados Preditiva ou Descritiva, de acordo com os objetivos que se quer atingir com a utilização do processo (REZENDE et al., 2003). A Mineração de Dados Preditiva consiste na generalização de exemplos com suas respectivas classes (atributo meta) conhecidas em uma linguagem ou modelo capaz de predizer o atributo meta de um novo exemplo. Os dois principais tipos de problemas de predição são Classificação (MITCHELL, 1998) e Regressão (WEISS, 1998). Já Mineração de Dados Descritiva consiste na identificação de padrões intrínsecos ao conjunto de dados, sendo que esses dados não possuem um atributo meta especificado, como acontece na predição. Alguns dos problemas de descrição são Regras de Associação (AGRAWAL; SRIKANT, 1994), Clustering e Sumarização (MITCHELL, 1998). Dentre os problemas descritivos, a técnica de Regras de Associação obtém grande destaque, seja na área acadêmica (SRIKANT, 2001) ou na área de aplicações práticas (SHAPIRO, 1999). A importância de ambos os tipos para uma determinada aplicação de mineração de dados pode variar consideravelmente, porém, segundo Fayyad, Piatetsky e Smyth

24 2.1 Mineração de Dados 9 (1996), no contexto da descoberta de conhecimento em bancos de dados, os padrões descritivos tendem a ser mais importantes do que os preditivos. Por outro lado, John (1997) afirma que esse tipo de padrão é mais difícil de avaliar, pois seu valor verdadeiro não deixa claro se ele sugere alguma ação para o especialista do domínio e quão efetiva essa ação seria. Isso se deve ao fato de a predição normalmente ser utilizada quando se tem um problema claro e bem especificado a ser resolvido, de forma que se busca, através da mineração, uma resposta para o mesmo. No caso da descrição, tem-se apenas um volume de dados como ponto de partida, cabendo ao analista descobrir se algo pode ser feito com as informações extraídas. O objetivo deste capítulo é apresentar uma visão geral do processo de mineração de dados, da mineração de dados na Web, mais especificadamente a Mineração do Uso da Web, e da técnica de regras de associação. 2.1 Mineração de Dados A capacidade de se produzir e armazenar dados tem crescido de forma impressionante nas últimas décadas e esse crescimento continuará sendo uma tônica dominante neste novo milênio. A expansão da utilização do computador e da internet tem sido preponderante neste sentido. Entretanto, o principal objetivo da utilização do computador ainda tem sido o de resolver problemas operacionais das organizações. Estas, em sua grande maioria, ainda não utilizam recursos computacionais na tomada de decisões, apesar de possuírem vastas quantidades de dados que ficam, muitas vezes, retidas em cofres de dados. Estas organizações possuem grandes dificuldades na análise e identificação de formas de exploração dos seus dados e mais ainda na transformação desses vastos repositórios de dados em conhecimento. Os recursos tecnológicos atualmente disponíveis facilitam enormemente o processo de coleta e armazenamento de dados, o que tem impulsionado o desenvolvimento de novas tecnologias capazes de tratar esses dados, transformá-los em informações úteis e extrair conhecimentos, conhecido como Descoberta de Conhecimento em Banco de Dados (Knowledge Discovery in DataBases - KDD) (LEE, 2004). A tecnologia de mineração de dados, Data Mining, é definida por Shapiro, Fayyad

25 2.1 Mineração de Dados 10 e Smith (1996) como o processo não trivial de identificação de padrões válidos, novos, potencialmente úteis e compreensíveis em dados. Em tal definição, dados são um conjunto de fatos e padrão corresponde a uma expressão em alguma linguagem descrevendo um subconjunto dos dados. O termo processo informa que KDD compreende vários passos, envolvendo a preparação de dados, a busca por padrões e a avaliação do conhecimento obtido, podendo tais passos serem repetidos em múltiplas iterações. O termo trivial indica que o processo não é direto e pode envolver o uso de técnicas de busca e algoritmos, envolvendo aprendizado de máquinas, estatísticas e inteligência artificial. Por isso, a mineração de dados exige maior rigor no seu processo de desenvolvimento. Ela surgiu com o intuito de ser aplicada em sistemas de descoberta de conhecimentos em grandes bancos de dados, com o objetivo de extrair informações relevantes, através da identificação de padrões, associações ou classificações. Uma aplicação de mineração de dados normalmente começa com uma compreensão do domínio de aplicação por analistas de dados, que identificam fontes de dados satisfatórias e os dados designados. Com os dados, o KDD pode executar as etapas de: seleção de dados; pré-processamento e transformação; mineração de dados; interpretação e avaliação dos resultados. A Figura 1 ilustra esses passos, que são brevemente descritos em seguida. Na etapa da seleção dos dados, os mesmos podem ser obtidos de várias fontes, sendo selecionados aqueles que são viáveis à descoberta do conhecimento no domínio da aplicação em questão. Uma limpeza dos dados é realizada na etapa de préprocessamento e transformação. Também nesta fase pode ser realizada a conversão dos dados para um formato comum. Na seqüência, tem-se a etapa que corresponde ao núcleo de todo o processo, que é o Data Mining - mineração de dados. Nessa etapa são executados os algoritmos de mineração, que são específicos para determinado fim.

26 2.1 Mineração de Dados 11 Figura 1: Etapas do KDD modificado de Shapiro, Fayyad e Smith (1996). Neste sentido, a presente seção apresenta também as principais características dessa tecnologia, capaz de transformar dados em conhecimentos, a qual é utilizada no modelo a ser apresentado posteriormente Técnicas e Algoritmos de Mineração de Dados A mineração de dados possui não só uma ampla série de tipos de padrões, mas também de técnicas, algoritmos e procedimentos. Várias técnicas de diversas áreas têm sido propostas, cada uma com suas vantagens e desvantagens. Elas são baseadas em métodos estatísticos, redes neurais e árvores de decisão, conjuntos difusos e algoritmos genéticos, dentre outros. A seguir são mostrados, resumidamente, os fundamentos das principais técnicas para a mineração de dados: 1. Algoritmos de Associação: Algoritmos de Associação encontram correlações entre atributos diferentes em um conjunto de dados. A aplicação mais comum desse tipo de algoritmo é para criar regras de associação. Possui numerosas aplicações, tais como, planejamento de estoque, mala direta para marketing direcionado e planejamento de promoções de vendas. 2. Algoritmos de classificação: Algoritmos de classificação preveem uma ou mais variáveis discretas, com base nos outros atributos do conjunto de dados. As técnicas de mineração de dados por classificação utilizam-se de dados sobre o passado para predizer a classe de objetos que ainda não foram classificados.

27 2.1 Mineração de Dados 12 O modelo construído baseia-se na análise prévia de um conjunto de dados de amostragem ou dados de treinamento, contendo objetos corretamente classificados. 3. Algoritmos de Agrupamento: Diferentemente do algoritmo de classificação, os Algoritmos de Agrupamento têm como objetivo separar objetos ou observações em grupos, onde os objetos mais semelhantes estejam em um mesmo grupo e objetos distintos estejam em grupos diferentes. Portanto, seu objetivo principal é identificar estruturas ou grupos presentes em dados. 4. Algoritmos Genéticos: Algoritmos Genéticos (AG s) constituem uma técnica de busca e otimização, altamente paralela, inspirada no princípio Darwiniano de seleção natural e reprodução genética (GOLDBERG, 1989), que incorporam uma solução potencial para um problema específico numa estrutura semelhante a de um cromossomo e aplicam operadores de seleção e cruzamento (cross-over) a essas estruturas de forma a preservar informações críticas relativas à solução do problema. Normalmente os AG s são vistos como otimizadores de funções, embora a quantidade de problemas para o qual os AG s se aplicam seja bastante abrangente. 5. Redes Neurais Artificiais: Uma Rede Neural Artificial (RNA) é uma técnica computacional que constrói um modelo matemático, emulado por computador, de um sistema neural biológico simplificado, com capacidade de aprendizado, generalização, associação e abstração. As RNA s tentam aprender padrões diretamente dos dados através de um processo de repetidas apresentações dos dados à rede, ou seja por experiência. Dessa forma, uma RNA procura por relacionamentos, constrói modelos automaticamente, e os corrige de modo a diminuir seu próprio erro. Semelhante ao sistema biológico, uma RNA possui, simplificadamente, um sistema de neurônios, ou nós, e conexões ponderadas (equivalente às sinapses). Numa RNA, os nós são organizados em camadas, com conexões entre elas, e a cada conexão é atribuído um peso. Uma RNA pode conter uma ou mais camadas escondidas, de acordo com a complexidade do problema. O processo de aprendizado é um processo de tentativa e erro no qual os pesos entre as conexões vão sendo corrigidos a cada iteração até convergirem. Quando há a convergência, diz-se que a rede neural está treinada e aprendeu o conceito para o qual foi projetada.

28 2.2 Mineração de Dados na Web Mineração de Dados na Web Nos últimos anos tem crescido a aplicação da mineração de dados em um ambiente altamente dinâmico, a Web. Esta aplicação tem sido denominada de mineração de dados na Web ou Web Mining e o crescimento de sua importância pode ser atribuído a alguns fatores, como: a inexistência de padrões, a falta de estruturação e a heterogeneidade do ambiente Web. A Web apresentou um crescimento acentuado e, como conseqüência, um aumento significativo no acúmulo de informações, que mudam muito rapidamente. Nesse contexto, observa-se a existência de um mundo de dados altamente dinâmico, e com extrema riqueza. Sendo assim, torna-se um meio de grande interesse para aplicação da mineração de dados para um melhor aproveitamento das informações através da descoberta e extração de conhecimento. A Web, segundo Zaiane (2000), pode ser definida como uma fonte de matériaprima, amplamente distribuída, altamente heterogênea, semi estruturada ou não estruturada, interconectada, evolutiva e um repositório de informações de hipertexto / hipermídia. Este meio, apesar da abundância e diversidade de informações, apresenta problemas para o seu uso, devido à dinamicidade e diversificação das estruturas que o caracterizam. A mineração de dados na Web pode ser definida da seguinte forma (COOK; HOLDER, 2000): É a descoberta e análise de informação útil originada na Web. Sendo assim, mineração de dados na Web configura-se em um processo não trivial de mineração ambientado na Web. A mineração de dados na Web tem como objetivo obter o conhecimento ou descobrir informações úteis através da estrutura da Web (hyperlink), do conteúdo da página, e dos dados do uso. Mineração da Estrutura da Web: descobre o conhecimento útil de hiperlinks, que representam a estrutura da Web. Por exemplo, a partir dos links, podese descobrir novas páginas importantes da Web, que, aliás, é uma tecnologiachave usada em sistemas de busca. Pode-se também descobrir comunidades de usuários que compartilham interesses em comum. A mineração de dados tradicional não executa essas tarefas, porque normalmente não há estrutura de links em uma tabela relacional. Os principais conceitos da Mineração da Estrutura da Web são:

29 2.2 Mineração de Dados na Web 14 Figura 2: Taxonomia da mineração da Web. Fonte: Zaiane (2000) Concentrador (hub): página Web conectada a uma coleção de sites relevantes para determinado tópico; Autoridade (authority): página Web apontada por vários concentradores; Relacionamento mútuo de reforço: uma autoridade boa é aquela apontada por muitos concentradores bons; um concentrador bom é a página que aponta para muitas autoridades boas. Mineração do Conteúdo da Web: descreve a descoberta de informações úteis de conteúdos, dados e documentos Web, pela busca automática de informações de pesquisa on-line (LOTON, 2002). Por exemplo, pode-se automaticamente classificar e agrupar páginas Web de acordo com seus tópicos. Essas tarefas são semelhantes às tarefas de mineração de dados tradicionais. No entanto, também pode-se descobrir padrões em páginas da Web para extrair dados úteis como descrições de produtos, lançamentos de fóruns, entre outros, para muitos propósitos. Além disso, obtêm-se o conhecimento de opiniões dos clientes e postagens de fórum para descobrir os sentimentos dos consumidores. Estas não são tarefas tradicionais da mineração de dados. Mineração do Uso da Web: refere-se à descoberta de padrões de acesso do usuário a partir de registros do uso da Web, que registram todos os cliques, que ações são feitas por cada usuário. Para a mineração do uso da Web, são aplicados vários algoritmos de mineração de dados. Uma das questões-chave na mineração do uso da Web é o pré-processamento de dados de páginas visitadas em logs, a fim de produzir os dados corretos para a mineração.

30 2.3 Mineração do Uso da Web 15 Devido à riqueza e à diversidade de informações existentes na Web (há um grande número de tarefas referentes à tarefa de mineração da Web), o presente trabalho concentra-se na aplicação da Mineração do Uso da Web, apresentando tarefas importantes e alguns de seus algoritmos. O processo de mineração da Web é semelhante ao processo de mineração de dados convencionais. A diferença é geralmente na coleta de dados. Na mineração de dados tradicional, os dados são, muitas vezes, já recolhidos e armazenados em um Data Warehouse. Para a mineração na Web, a coleta de dados pode ser uma tarefa importante. 2.3 Mineração do Uso da Web Com o contínuo crescimento e proliferação do comércio eletrônico, serviços Web e sistemas de informação baseados na Web, os volumes de dados e de Clickstream (sequência de cliques) do usuário coletados por organizações baseadas na Web em suas operações diárias, atingiram proporções astronômicas. A análise desses dados pode ajudar essas organizações a determinar as preferências, desejos, objetivos dos seus clientes, desenhar caminhos estratégicos de marketing através de produtos e serviços, avaliar a eficácia das campanhas promocionais, melhorar a funcionalidade dos aplicativos baseados na Web, fornecer um conteúdo mais personalizado aos visitantes, e encontrar a estrutura lógica mais eficaz para o seu espaço Web. Este tipo de análise envolve a descoberta automática de padrões e relações significativas de uma grande coleção de dados semiestruturados, muitas vezes armazenados em aplicações Web e logs de acesso ao servidor, bem como nas respectivas fontes de dados operacionais. A mineração do uso da Web ou Web Usage Mining refere-se à descoberta e análise automática de padrões em dados, de páginas visitadas e associadas, coletados ou gerados como resultado de interações do usuário com os recursos da Web em um ou mais sites da Web, (COOLEY; MOBASHER; SRIVASTAVA, 1997a), (MOBASHER, 2006), (SRIVASTAVA et al., 2000). O objetivo dessa abordagem é capturar, modelar e analisar os padrões comportamentais e perfis de usuários que interagem com um Web site. Os padrões descobertos são geralmente representados como conjuntos de páginas, objetos ou recursos que são acessados com freqüência por grupos de utilizadores com necessidades ou interesses comuns.

31 2.3 Mineração do Uso da Web 16 Na sequência do processo padrão de mineração de dados (FAYYAD; PIATETSKY; SMYTH, 1996), o uso global do processo de mineração da Web pode ser dividido em três fases interdependentes: coleta dos dados e pré-processamento, descoberta de padrões e análise de padrões. Na fase de pré-processamento, os dados de clickstream são limpos e particionados em um conjunto de transações do usuário que representam as atividades de cada usuário durante diferentes visitas ao site. Outras fontes de conhecimento, tais como o conteúdo do site ou da estrutura, bem como o conhecimento semântico das ontologias de domínio do site (tais como catálogos de produtos ou hierarquias conceito), também podem ser usadas no pré-processamento dos dados. Na fase de descoberta de padrões, estatísticas, banco de dados e operações de máquinas de aprendizagem são utilizados para obtenção de padrões escondidos, refletindo o comportamento típico dos usuários, bem como resumos estatísticos sobre os recursos da Web, sessões e usuários. Na fase final do processo, os padrões descobertos e as estatísticas são processados e filtrados, possivelmente resultando em modelos de usuários agregados que podem ser utilizados como entradas em aplicações, tais como sistemas de recomendação, ferramentas de visualização e análise Web e ferramentas de geração de relatórios. O processo global é representado na Figura 3. Figura 3: Processo de Mineração do Uso da Web. Fonte: Zaiane (2000) No restante desta seção, é apresentada uma análise detalhada da mineração do

32 2.3 Mineração do Uso da Web 17 uso da Web como um processo. São discutidos os conceitos relevantes e as técnicas comumente utilizadas em todas as diversas fases mencionadas previamente Fontes de tipos de dados No ambiente Web, as principais fontes de dados são os arquivos de registro (log) do servidor Web, que incluem logs de acesso dos usuários que visitam determinado Web site e logs de servidores de aplicações Web. Esses arquivos de logs, gerados automaticamente pelo servidor Web, são simplesmente um relatório de quais endereços IP s requisitaram quais objetos. Além do servidor Web, outras fontes de dados podem ser utilizadas, tais como, o computador do usuário, o servidor proxy, sniffer e servidores de conteúdo, conforme mostrado na Figura 4. Figura 4: Diagrama simplificado de acesso à Web. Fonte: Cooley (2000) Na Figura 4 é mostrado um esquema simplificado de acesso à internet. O servidor ISP (Internet Service Provider) é o provedor de acesso onde o usuário tem conta. No servidor Web é onde fica hospedado o Web site. O servidor de conteúdo é utilizado para a publicação de informações dinâmicas no site, através de uma estrutura prédefinida. Considerando que na Mineração do Uso da Web as principais fontes de dados são os arquivos de log do servidor Web, é importante conhecer os principais formatos existentes, que dependem da configuração e tipo do servidor: Common Log Format (CLF): também conhecido como NCSA Common Format, é o formato mais utilizado atualmente, originalmente definido pela NCSA (National Center for Supercomputing Applications) e disponível numa variedade de servidores Web, incluindo Apache e IIS (da Microsoft); Combined Log Format: é uma extensão do Common Log Format, acrescenta informações sobre o agente de usuário e referidor;

33 2.3 Mineração do Uso da Web 18 W3C Extended Logfile Format: é um log customizável, baseado também no Common Log Format, que permite a configuração do log do servidor de forma a coletar somente as informações necessárias para a análise. Detalhes deste formato estão disponíveis em Baker e Connolly (1996); IIS Logfile Format: é um formato fixo utilizado pelo Internet Information Server (IIS) da Microsoft, baseado no Common Log Format, mas que permite armazenar informações adicionais, incluindo tempo gasto e número de bytes enviados (diferentemente dos bytes recebidos no CLF). Independentemente do formato, uma entrada sempre é gravada como uma única linha em texto (ASCII), separado por tabulações e espaços. Na Figura 5 é mostrado um exemplo de entrada em um arquivo de log no formato Combined Log Format. Figura 5: Exemplo de entrada no log. Fonte: Onoda (2006). O detalhamento dos campos do exemplo da Figura 5 é mostrado na Tabela Etapas do Processo Em um cenário ideal, as informações contidas nos arquivos de log poderiam ser utilizadas para reconstruir, de forma simples, a navegação dos usuários. Entretanto, segundo Onoda (2006), este processo torna-se complexo devido às seguintes dificuldades: Identificação de usuários: um usuário pode ter múltiplos fluxos de navegação ou pode acessar a Web de diversos computadores; Existência de dados não registrados no arquivo de log: por exemplo, dados tipo POST não são armazenados no log; Dados incompletos: são consequências do armazenamento das páginas em cache, da utilização de ponteiros de retorno e avanço e da inexistência de informação de fim de sessão;

34 2.3 Mineração do Uso da Web 19 Conteúdo Campo Definição Endereço IP ou nome do shasta Remote host computador que fez a solicitação HTTP..ig.com.br Será gravado o nome se o servidor estiver com o recurso de pesquisa reverva de DNS ativo. Raramente utilizado, o campo foi - Authentication destinado a identificar o requisitante server Se esta informação não foi gravada, um hífen (-) é colocado. Mostra o usuário autenticado, se for solicitado para acesso. Como esta - Authenticated autenticação é enviada em texto livre, username não é prático para a segurança. Geralmente é preenchido com um hífen (-). Data e hora, incluindo diferença de fuso horário em relação à hora de Greenwich [01/May/2003: Date and time (GMT - Greenwich Mean Time). 09:25: ] Comparando estes É a linha da solicitação do HTTP. Existem três tipos de solicitação: GET é a requisição padrão por um documento ou programa, POST diz ao servidor que os GET/guiafriburgo Requested dados estão no corpo da mensagem, /hospedagem information HEAD é utilizado por programas de HTTP/1.1 validação de links (e não browsers) e envia somente a informação do cabeçalho HTTP. Também é gravada a versão do protocolo HTTP. Há cinco classes de códigos: informacional (série 100), sucesso (série 200), 200 HTTP status redirecionamento (série 300), erro no cliente (série 400) e erro no servidor (série 500). Para transações GET (HTTP), este 5217 Content length campo indica a quantidade de bytes returned transferidos. Para outras, este campo é preenchido com um hífen (-) ou um zero (0). Indica a página que contém o link para.com.br/guia Referring URL o documento requisitado, ou seja, é a friburgo/hospedagem página onde o visitante estava quando /hospedagem.htm fez a solicitação. Mozilla/4.0 (compatible; Fornece a descrição da aplicação que MSIE 5.0; Windows 98; User agent fez a requisição, que pode ser um DigExt) browser, robô ou spider. Tabela 1: Detalhamento do log. Fonte: Onoda (2006)