Aplicação de técnicas de Mineração de Dados para descoberta de padrões na Web Motivações:

Transcrição

1 Aplicação de técnicas de Mineração de Dados para descoberta de padrões na Web Motivações: Encontrar informação relevante Gerar conhecimento a partir da informação disponível na Web Personalizar a informação Aprender sobre consumidores ou usuários individuais 1

2 Mineração de conteúdo (Web content mining) Extração de conhecimento do conteúdo de páginas e suas descrições Mineração de estrutura (Web structure mining) Obtenção de conhecimento a partir da organização da web e da referência cruzada de ligações. Mineração de uso (Web usage mining) Geração de padrões interessantes com o uso dos registros de acesso da web 2

3 Extração de conhecimento do conteúdo de páginas e suas descrições Inclui a Mineração de texto (text mining) Aplicações Classificação de textos Detecção e acompanhamento de evento Extração de regras 3

4 Texto livre Representação: bag of words Palavras do texto são atributos Booleano Baseado em frequência Ignora a sequência em que palavras aparecem Usa estatísticas sobre palavras isoladas 4

5 Outras formas de seleção: Remover pontuação, palavras pouco frequentes, palavras muito frequentes Stemming extrair o radical das palavras Outras formas de representação: Posição da palavra no documento N-grams (sequências de palavras de tamanho até n) 5

6 Tem informação estrutural adicional (HTML e hiperlinks) no documento de hipertexto Aplicações: Classificação de hipertextos Agrupamento Aprendizado de relações entre documentos web Extração de Padrões ou regras 6

7 Tenta descobrir o modelo por trás da estrutura de links na web. Informação extraída: Links apontando para um documento podem indicar sua popularidade Links saindo de um documento podem indicar a riqueza ou variedade de tópicos tratados pelo documento 7

8 Páginas = nós, hyperlinks = arcos conectando páginas 8 Hyperlinks tem duas finalidades: Permitir navegação Apontar para páginas com autoridade no mesmo tópico da página contendo o link

9 9

10 Qualidade da página web Autoridade de uma página Ranking de páginas Estruturas interessantes co-citação, escolha social, etc 10

11 Aplicação das técnicas de mineração de dados para descobrir padrões de uso a partir de registros de acesso à web Tendências: extração de padrão geral de acesso personalização 11

12 Extração de padrão geral de acesso Analisa dados do web log file e outras fontes para descobrir padrões e tendências de acesso Pode ser usado para: Reestruturação dos sites em grupos mais eficientes Localizar pontos para propaganda mais efetiva Direcionar campanhas específicas para usuários específicos 12

13 Uso personalizado Analisa tendências de usuários individuais Pode ser utilizado para: Personalizar dinamicamente a cada usuário, com base no padrão de acesso ao longo do tempo a informação apresentada, a profundidade do site e o formato dos recursos 13

14 Dados do servidor Web Web server log Cookies Dados de consultas 14

15 Dados do cliente Agente remoto (Javascripts ou Java applets) Modificação do código fonte de um browser Requer a cooperação do usuário 15

16 Dados do proxy Web proxy atua como um nível intermediário entre browsers de clientes e servidores web Pode ser usado para reduzir o tempo de carregar uma página web Desempenho depende da habilidade de prever acessos futuros Dados podem revelar requisição de múltiplos usuários a múltiplos servidores web 16

17 Tipos de logs Error Segurança Referência Browser (Agente) Accesso 17 Formatos Common Log Extended log formats

18 18

19 Este arquivo de log mostra visitas ao web site Exploit Interactive de 00:00:00 em 25 de Dezembro de 1999: A visit from an AltaVista robot in UK, downloading several text files A visit from a FAST-Crawler robot in Norway A visit from a PC (WinNT) user of an IE browser who followed a link at < analog/webtechs.html> and downloaded a HTML page and several images 19

20 KDnuggets.com Server Web server log Conteúdo da Página [16/Nov/2005:16:32: ] "GET HTTP/1.1" [16/Nov/2005:16:32: ] "GET /gps.html HTTP/1.1" [16/Nov/2005:16:32: ] "GET /jobs/ HTTP/1.1"

21 Uma linha (exemplo) do log [16/Nov/2005:16:32: ] "GET /jobs/ HTTP/1.1" " "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;.NET CLR ) [16/Nov/2005:16:32: ] "GET /jobs/ HTTP/1.1" " +mining&hl=en&lr=&start=10&sa=n" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;.NET CLR )" 21

22 IP address pode ser convertido para o nome do host, por exemplo: xyz.example.com 22

23 A última parte do domínio é o TLD TLD Generico.com (comercial) geralmente mas não necessariamente USA.net (ISP, network providers).edu US educacional, e.g. conncoll.edu Outros:.gov (governo),.org (organizações sem fins lucrativos), 23

24 Alguns dos mais comuns 24

25 - Name: nome do usuário remoto (normalmente omitido e trocado por um traço - ) - Login: Login do usuário remoto (também é normalmente omitido e trocado por um traço - ) 25

26 [16/Nov/2005:16:32: ] Date: DD/MM/AAAA Time: HH:MM:SS Time Zone: (+ -)HH00 relativo ao GMT 26

27 "GET /jobs/ HTTP/1.1" 27 Method: GET HEAD POST OPTIONS URL: Relativo ao domínio Protocolo HTTP: e.g. HTTP/1.0 or HTTP/1.1 Nota: a requisição é armazenada como é enviada, assim, pode conter erros, falhas, e qualquer tipo de coisa estranha.

28 Status (Response) code. Os mais importantes são: 200 OK (é o mais frequente, ainda bem!) 206 acesso parcial 301 redirecionamento permanente 302 redirecionamento temporário 304 não modificado 404 não encontrado

29 15140 O tamanho do objeto retornado ao cliente (em bytes) Pode ser - se o código de status for

30 +for+data +mining&hl=en&lr=&start=10&sa=n URL que da qual o visitante veio (neste exemplo é uma query do Google: salary for data mining, 2a. Página de resutados começando de 10) Também pode ser uma página estática, interna, externa ou - no caso de uma requisição direta (bookmark, por exemplo) Esta é uma informação valiosa 30

31 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;.NET CLR )" User agent (browser) Por razões históricas, quase todos os browsers começam com Mozilla Em muitos casos pode-se ter informações adicionais: Browser type, version : MSIE Internet Explorer 6.0 OS: Windows NT 5.1 (XP SP2) with.net Framework 1.1 installed 31

32 Free Analog, awstats, webalizer Google analytics Comerciais WebTrends, WebSideStory, 32

33 Podem fazer análises e emitir relatórios como por exemplo: lista de IPs conectados a um website pie chart detalhando quais arquivos foram acessados com mais frequência, e muitos outros 33

34 34 Usuário Click-streams seqüência de requisições de acessos a páginas. Os dados disponíveis pelo servidor nem sempre fornece informação para reconstruir um click-stream completo para um site Visões de páginas uma única ação do usuário e pode consistir de vários arquivos: frames, gráficos, scripts. O usuário requer uma web-page e não cada um dos componentes.

35 Sessões click-stream de páginas para um único usuário por toda a web. Tipicamente, apenas a parte de cada sessão de usuário acessando um site específico pode ser usada para análise, pois informações de acesso não são públicas. 35

36 Visita ou sessão do servidor conjunto de acessos a páginas em uma sessão de usuário para um web site em particular. Um conjunto de visitas é a entrada necessária para qualquer ferramenta de análise de uso ou de mineração de dados. Episódios subconjunto de uma sessão de usuário ou de servidor que tem significado semântico. 36

37 Pré-processamento Descoberta de Padrões Análise de Padrões 37

38 38

39 Pré-processamento Consiste em converter os dados disponíveis nas várias fontes de dados identificando itens necessários para a descoberta de padrões. Considerada a etapa mais difícil em Web usage mining devido aos dados disponíveis não serem completos 39

40 Identificar: Usuários Sessões do servidor Usando: Endereço de IP Agente Cadeia de requisições (click-streams) 40

41 Problemas: IP único / Múltiplas sessões de servidor Um proxy pode ter vários usuários acessando um Web site, no mesmo período de tempo registros do usuário não serão sequenciais nem no tempo correto. Múltiplos IPs / Sessão de servidor única por motivo de segurança, o provedor pode atribuir aleatoriamente um entre vários endereços de IP a cada requisição de um usuário. 41

42 Múltiplos IP / Usuário único um usuário que acessa a Web de máquinas diferentes terá IPs diferentes a cada sessão, dificultando registro de visitas repetidas do mesmo usuário. Múltiplos agentes / Usuário único o usuário pode usar diferentes browsers, de uma mesma máquina, pode parecer mais de um usuário. 42

43 43 Exemplo- web server log

44 Soluções: usar Cookies logins IP/agentes/caminhos 44

45 (depois de identificados cada usuário) Dividir o click-stream de cada usuário em sessões Dificuldades: saber quando um usuário saiu de um website Requisições de outros websites não estão disponíveis Usar intervalo de tempo 45

46 Inferir referências a páginas em cache Exige monitoramento de uso do lado do cliente O campo de referência pode ser usado para detectar quando paginas em cache foram vistas 46

47 47

48 IP é responsável por 3 sessões IPs e são responsáveis por uma sessão. Usando informações de referência e agente, linhas 1 a 11 podem ser divididas em: A-B-F-O-G L-R A-B-C-J 48 Complementando os caminhos seriam adicionadas páginas: A-B-F-O-F-B-G L-R A-B-A-C-J

49 Tempo de acesso real 49

50 50

51 Web robots são programas que percorrem automaticamente a estrutura de hyperlinks para localizar e recuperar informações. Porque distinguir: Recuperam informação não autorizada Sobrecarga de tráfego Dificultam o acompanhamento de clik-streams 51

52 Depois de identificadas as sessões, transações devem ser inferidas Possível critério: transação é um caminho dentro de uma sessão, terminando em uma página de conteúdo Páginas devem estar classificadas em : navegação e conteúdo 52

53 Algoritmos e métodos de mineração de dados são aplicados aos dados obtidos da web Análises estatísticas Método mais comum Análises estatísticas descritivas: média, frequência, mediana..) Variáveis: visões de páginas, tempo de permanência, comprimento do caminho de navegação. Utilidade: melhorar desempenho do sistema, melhorar a segurança, facilitar tarefas de modificação do site, apoiar decisões de mercado 53

54 Características: Pode relacionar páginas que são acessadas com mais frequência em uma mesma sessão. Podem não estar relacionadas por um link Exemplo: relação entre usuários que visitaram uma página de produtos eletrônicos e aqueles que visitaram uma página de equipamentos esportivos 54

55 Utilidade: Aplicações de negócios e comércio Reestruturação de web sites Pré-recuperação de documentos para reduzir a latência percebida pelo usuário para carregar página de um site remoto 55

56 60% dos clientes que acessaram /products também acessaram /products/software/ webminer.htm 30% dos clientes que acessaram /specialoffer.htm submeteram um pedido on-line para /products/software 56

57 57 Características Grupos de usuários: identifica grupos de usuários com padrões de navegação semelhantes Grupos de páginas: identifica grupos de páginas tendo conteúdo semelhante Utilidade: Inferir dados demográficos para segmentação de mercado em e-commerce Personalização Sites de busca Provedores de assistência na web

58 Páginas podem ser criadas para sugerir hyperlinks para o usuário de acordo com as consultas do usuário ou históricos de necessidades de informação 58

59 Características: Identifica atributos que melhor descrevem as características de uma dada classe Exemplo: 30% dos usuários que compraram alguma coisa no setor Produto/Musica estão na faixa de anos e moram na região sudeste. Utilidade: Permite define perfis de usuários que pertencem a uma classe ou categoria 59

60 Clientes que frequentemente acessam / products/software.webminer.htm tendem a ser de instituições de ensino Clientes que fizeram pedido on-line para software tendem a ser estudantes na faixa etária de e moram nos EUA 75% dos clientes que fizeram download de softwares de products/software/demos visitam entre 7 e 11 pm nos finais de semana 60

61 Filtra as regras ou padrões que não tem utilidade 61

62 62