Detecção de Réplicas de Sítios Web Usando Aprendizado Semi-supervisionado baseado em Maximização de Expectativas. Cristiano Rodrigues de Carvalho

Transcrição

1 Detecção de Réplicas de Sítios Web Usando Aprendizado Semi-supervisionado baseado em Maximização de Expectativas Cristiano Rodrigues de Carvalho Orientador: Nivio Ziviani Co-orientador: Adriano Veloso Departamento de Ciência da Computação Universidade Federal de Minas Gerais 19 de Setembro de

2 Problema 29% de conteúdo duplicado na Web Duplicação intra-sítios e inter-sítios Sistemas de busca armazenam cópias da Web Desperdício de recursos, anomalias no ranking, respostas repetidas Reduzir o número de duplicatas através da detecção réplicas de sítios web 2

3 Sítios Web Sítios: páginas web que compartilham o mesmo nome de servidor 3

4 Máquinas de Busca: Componentes Web Interface Web Coletor Web Processador de Consultas Indexador Repositório Local Índice Invertido 4

5 Desafios sítios pares Problema quadrático 5

6 Desafios Vários IPs para um único sítio e vários sítios para um único IP. 6

7 Desafios Pequena interseção de páginas conhecidas de sítios replicados Sítios muito similares que não são réplicas (cifras) 7

8 Solução Proposta Algoritmo baseado em aprendizado de máquina Duas fases: Seleção de sítios candidatos a réplica Classificação de pares candidatos Necessidade de treino rotulado Abordagem semi-supervisionada para aquisição de exemplos 8

9 Trabalhos Relacionados - Inter-sitios Estudo sobre replicação na Web [Bharat et al.,1999] Heurísticas para detecção de réplicas [Bharat et al.,2000] Uso eficiente de informações de conteúdo NormPaths [da Costa Carvalho et al.,2007] Estado-da-arte e baseline 9

10 Trabalhos Relacionados - Intra-sitios DUST (Different URLs with Similar Text) [Bar-Yossef et al., 2009] [Koppula et al., 2010] [Rodrigues et al., 2013] Detecção de conteúdo similar em URLs distintas Diversos trabalhos recentes 10

11 Metodologia

12 O Algoritmo Proposto Fase 1 Conjunto de Treino Fase 2 Base de Sítios Coletados Filtro Inicial Candidatos Avaliação Ranking de Réplicas 12

13 Filtro de Candidatos Caminho da URL Assinatura do Conteúdo 13

14 Avaliação de Candidatos Características de refinamento Distância de Edição (ndist) Correspondência de Nomes de Servidor (nmatch) Quatro Octetos (ip4) Três Octetos (ip3) Correspondência entre Caminhos Completos (fullpath) Algoritmo de Classificação LAC [Veloso & Meira Jr., 2011] 14

15 Modelos de Treino: PU == exemplo.com.br exemplo.gov.br == exemplo.br P U 15

16 Modelos de Treino: EM Passo E: Estimativa de dados Atualização de Variáveis Passo M: Atualização de Hipótese 16

17 Modelos de Treino: EM Passo E: Classificão (LAC) Transição de Rótulos (Limiar mínimo) Passo M: Atualização do Classificador Parâmetro a ser definido 17

18 Modelos de Treino: Escolha de Limiar Limiar global único Diferentes valores de teste (0.1 a 0.9) Limiar local ótimo Projeção de treino Abordagem de entropia mínima [Davis et al., 2012] 18

19 Modelos de Treino: Projeção de Treino p l ip4 ip3 ndist nmatch fullpath y 1 [ ] [ ] [8-10] [ ] [ ] y 2 [ ] [ ] [10-14] [ ] [ ] y 3 [ ] [ ] [8-10] [ ] [ ] y 4 [ ] [ ] [8-10] [ ] [ ] y 5 [ ] [ ] [5-8] [ ] [ ] y 6 [ ] [ ] [8-10] [ ] [ ] y 7 [ ] [ ] [10-14] [ ] [ ] y 8 [ ] [ ] [5-8] [ ] [ ] x [ ] [ ] [8-10] [ ] [ ]? ip4 ip3 ndist nmatch fullpath y 1 [ ] [8-10] [ ] y 2 [ ] [ ] [ ] y 3 [ ] [1-2] [ ] y 4 [ ] [ ] y 5 y 6 [ ] y 7 [ ] [ ] y 8 19

20 Modelos de Treino: Limiar ótimo 20

21 Modelos de Treino: PU == exemplo.com.br exemplo.gov.br == exemplo.br P U 21

22 Modelos de Treino: PU -> PN == exemplo.com.br exemplo.gov.br == exemplo.br Novos exemplos positivos P N 22

23 Modelos de Treino: NU Sítios que não são suspeitos N U 23

24 Modelos de Treino: NU -> NP Sítios que não são suspeitos N Novos exemplos positivos P 24

25 Combinação de Classificadores Agregação de resultados (PU + NU) Fronteira de Pareto Relação de dominância no espaço de predições Composta por candidatos que se destacam em um classificador ou possuem um balanceamento adequado entre ambos 25

26 Combinação de Classificadores 26

27 Algoritmo Completo Fase 1 Fase 2 P U PU EM Base de Sítios Filtro Inicial Candidatos Classificação Ranking PU Ranking NU Pareto Ranking PNU N U NU EM 27

28 Avaliação Experimental

29 Coleção Coleta entre Setembro e Outubro de 2010 Usando o coletor InWeb Nenhuma restrição ou filtro 30 milhões de páginas 583,411 sítios web ( pares possíveis) pares candidatos pares avaliados como réplicas 29

30 Dup-clusters intra-sítios (U A e U B ) inter-sítios (U A e U C ) 30

31 Dup-clusters: Distribuição 1e # dup-clusters # dup clusters K Tamanho do dup-cluster K 100K Sítios web Muitos dup-clusters contém poucas URLs Muitos dup-clusters contém poucos sítios 31

32 Inter-sítios vs. Intra-sítios # URLs duplicadas inter sítios # URLs duplicadas intra sítios Correlação entre o número de URLs duplicadas intra-sítios e inter-sítios por sítio web. 32

33 Distribuição de Similaridade Distribuição de similaridade (Y) Y 0.1 Y Coeficiente de Jaccard Concentração de réplicas (Y2) 33

34 Baselines NormPaths Detecção de réplicas de sítios B-SVM (Biased SVM)[Liu et al.,2003] Estado-da-arte em aprendizado semi-supervisionado com dados PU Limite Superior (Upper bound) Classificação com treino rotulado manualmente (Gabarito) 34

35 Resultados: ROC TPR PU data NU data PU + NU Norm Paths B-SVM Upper bound FPR 35

36 Resultados: Precisão e Revocação Precisão PU data NU data PU + NU Norm Paths B SVM Revocação 36

37 Resultados: Análise de Features AUC (Area Under the Curve) Individualmente Todas exceto Features PU NU PU NU ip ip nmatch ndist fullpath Todas

38 Resultados: Análise de Features AUC (Area Under the Curve) Individualmente Todas exceto Features PU NU PU NU ip ip nmatch ndist fullpath Todas

39 Resultados: Análise de Features AUC (Area Under the Curve) Individualmente Todas exceto Features PU NU PU NU ip ip nmatch ndist fullpath Todas

40 Resultados: Redução RR PU data NU data PU + NU Norm Paths Upper bound FPR 40

41 Resultados: Redução RR PU data NU data PU + NU Norm Paths B-SVM Upper bound FPR 41

42 Resultados: Taxa de Detecção Número de Candidatos Algorithms , , PU data NU data PU + NU NormPaths B-SVM Upper bound

43 Resultados: Taxa de Detecção Número de Candidatos Algorithms , , PU data NU data PU + NU NormPaths B-SVM Upper bound

44 Resultados: Redução Inter e Intra FPR # URLs duplicadas 6,948,501 # URLs intra-sítios 6,514,746 ɛ = ,374 ɛ = 0.1 1,628,685 # URLs inter-sítios 843, , ,384 1,331,215 # inter intra 409, , , ,927 ɛ = ,947 38,835 70, ,284 ɛ = ,683 98, , ,022 RR intra ɛ = ɛ = RR inter RR inter + intra ɛ = ɛ =

45 Conclusões Foi proposto um novo algoritmo para detecção de réplicas de sítios web em bases de máquinas de busca O método semi-supervisionado é capaz de criar de bons modelos de treino O algoritmo proposto obteve resultados superiores aos baselines A combinação com técnicas de detecção intra-sítios melhora a taxa de redução de duplicatas 45

46 Trabalhos Futuros Estudo de outras características como a conectividade entre sítios Criar estratégias para reavaliação de sítios replicados Propor abordagem para escolha justa de qual sítio deve ser eliminado da base (Fraudes). 46

47 Contribuições Desenvolvimento de novas técnicas de aprendizado de máquina para o problema de detecção de réplicas de sítios Coleção com dados a respeito de replicação Sítios coletados, rotulados e modelos de treino Artigo a ser submetido WWW 2015 (10 de Novembro) 47

48 Contribuições Artigo aceito no SPIRE 2013 Learning to Schedule Webpage Updates Using Genetic Programming Artigo em avaliação no Information Retrieval Journal A Genetic Programming Framework to Schedule Webpage Updates 48

49 Obrigado!