Renato Assunção UFMG

Transcrição

1 Renato Assunção UFMG

2 IR: O que existe de diferente na Web? (Kumar) Busca na Web: não e igual a busca numa base comum? Volume (> 40 bilhões = 4 * ver Mudança (23% por dia, conteúdo dinamico) Decaimento (meia-vida das páginas é curta) Heterogeneidade (HTML, AJAX (java+xml), pdf, images) Diferentes idiomas Duplicação (cópia exata, quase- cópia) Qualidade variável Problemas nos links (links maliciosos, 404 (broken link), redirecionamento, dead-ends)

3 Recuperação de informação na WEB PRIMEIRO PASSO: Criar um índice das páginas e de seus conteúdos: Web crawler indexar as páginas recuperar conteúdo Este índice deve ser constantemente atualizado SEGUNDO PASSO Recebe query de usuário: geralmente, mal formulada Encontra muitas páginas relevantes: milhares Passa a um algoritmo de PageRank para ordenar e exibir as páginas

4 Estrutura de Links da web Webpages são ligadas INLinks e OUTlinks Só os outlinks são criados. Porque as pessoas criam outlinks? dar autoridade e aprovação às páginas apontadas E uma indicação (latente) de que o apontador confia na página apontada.

5 Google s PageRank Sergey Brin and Larry Page Comecaram em 1995 enquanto estudantes de PhD em Stanford

6 Web como um grafo

7 O que e o rank de uma pagina P? Seja r(p) o rank da página P r(p) 0 Ele e uma medida da relevância da página na WEB Quando um procedimento de text mining identificar QUAIS os documentos que parecem relevantes para MINHA BUSCA, eles serão retornados numa dada ordem. Esta ordem e aquela determinada pelos rankings r(p)s das páginas que foram encontradas. Assim, a ordem de apresentação das páginas depende apenas dos valores de r(p), quanto maior r(p) mais a frente na lista.

8 Exemplo: r(p) s somam 100%

9 O que e o rank de uma página P? Seja r(p) 0 o rank da página P Esta medida Não depende de nenhuma query especifica não depende do interesse do usuário que vai fazer a busca Não depende do tipo de assunto pelo qual ele tem ou não tem interesse e um numero absoluto!! Ele e calculado de antemão e guardado numa tabela.

10 Como os rankings são usados? Suponha tabela com um ranking r(p) para cada página da web Os rankings r(p) s somam 100% A cada consulta especifica: Encontramos as páginas que parecem relevantes, um subconjunto de todas as paginas Pegamos os rankings r(p) s dessas páginas relevantes Este e apenas um subconjunto dos rankings e NÃO SOMAM 100% Retornamos as páginas relevantes na ordem dos seus r(p) s

11 Como obter o rank r(p)? Seja r(p) o rank da página P Seja B_P o conjunto de páginas que apontam para P Isto e, B_P = conjunto dos nós que levam diretamente a P em um único passo Para cada página Q em B_P, calcule seu rank r(q) A indicação de uma página que aponta para poucas outras páginas e mais relevante do que a indicação de uma página que aponta para milhares de outras

12 Relevância por indicação

13 Exemplo:

14 Procedimento recursivo Calculo-Definicao de r(p) depende do valor de r(q) das outras paginas vizinhas. O r(q) dessas vizinhas depende do rank r(p). Dilema do ovo e da galinha: começa com valor inicial fictício para r(p) e itere Suponha que existam n páginas em toda Web Comece com 1/n Itere sucessivamente ate convergir

15 Iteração matricial Procedimento iterativo em forma matricial Seja Procedimento iterativo em forma matricial Seja Então

16 A iteração matricial Iteração matricial Fica reduzida a t j t j t t t t P j 2PP j 3PPP... 0PP P P j Isto é, a j-ésima avaliação do vetor de page rankings é a potência j da matriz P aplicada ao vetor inicial (1º.)

17 Funciona... Mas como e porque? Processo iterativo converge ou pode prosseguir indefinidamente? Sob que circunstancias ou propriedades de P vamos ter convergencia? Vai convergir para algo que faz sentido no contexto de Web retrieval information? Converge sempre para um único vetor ou pode convergir para mais de um vetor? Depende dos valores iniciais r 0 (P i )? Quanto tempo para convergir?

18 Grafo matriz de vizinhança

19 Passeando aleatoriamente na Web P e a matriz de transicao de uma cadeia de Markov P = matriz estocastica: P ij 0 Linhas somam 1 Estados = nos do grafo Em cada instante, pule para nova pagina escolhendo um link ao acaso

20 Matriz de transicao P ij = Prob(de ir de i para j em um passo) P 2 = PP tambem e matriz estocastica elementos não-negativos somando 1 nas linhas P 2 ij = Prob (de ir de i para j em DOIS passos) Idem para P k

21 Autovetores e PageRank Teorema: Seja P a matriz n x n de transição de uma cadeia de Markov Suponha que a cadeia e aperiodica e irredutivel Entao existe um único vetor de dimensao n tal que: t P = t e t (1,...,1) = 1 Este vetor e chamado de distribuição estacionaria. ESTE VETOR E O RANKING DAS PAGINAS WEB!!!!! Alem disso, lim k P k = (1,...,1) t Isto implica que lim j j t = lim j j-1 t P = π 0 t lim j P j = t

22 Ajustando P Matriz P pode NÃO SER uma matriz estocastica Paginas sem OUTlinks: Documentos pdf Imagens Geram linhas com elementos P ij =0, que somam ZERO Isto e, substitua a linha nula por uma linha com todos os valores iguais a 1/numero de paginas na web Assim, se chegar nesta pagina, pula para uma outra pagina escolhida ao acaso na web.

23 Outro ajuste na matriz A matriz modificada para superar as paginas sem links e a matriz S. Precisamos de mais uma modificação. Existem também regiões quase absorventes que dificultam a convergência para uma dist estacionária São quase-cliques, grupos fechados de páginas que se interapontam mas que possuem poucas ligações com o resto da web.

24 Solução de Brin and Page: Teleportation Ocasionalmente, com probab (1- α) o surfista da Web escolhe uma das n páginas da web ao acaso para recomeçar. Seja e = (1,...,1) Em termos matriciais: G α S + (1- α) (1/n) e.e t α 0.85 no Google

25 PageRank Com estas modificacoes (isto é, com a matriz G), o algoritmo PageRank encontra os rankings: E o único autovetor π pela esquerda da matriz G que possui autovalor 1 Como encontrar estes rankings na prática, já que G é uma matriz bilionária? Inviável calcular autovetor por métodos tradicionais Método da potência: Para QUALQUER vetor inicial, a sequencia π 0 t G k converge para vetor o vetor π, Use π 0 = 1/n * (1,..., 1)

26 Convergência Rapidez da convergência depende do segundo maior autovalor de G = α (P + (1/n) * a.e t ) + (1- α) (1/n) e.e t Primeiro (maior) autovalor é 1 (matriz estocástica) Todos os outros autovalores têm módulo menor que 1 (Teorema de Perron-Frobenius) Segundo maior autovalor 2 : Diferença 1-2 : spectral gap quanto menor o spectral gap, mais lenta a convergência Quanto menor α, mais rápida a convergência mas pior a representação da estrutura da web. Google PageRank itera entre 50 e 100 vezes para obter convergência

27 Vetores personalizados Different teleportation: Ao invés de usar (1/n) e.e t, use e.v t v é um vetor de probabilidade de dimensão n e.v t é uma matriz n x n Modificando G = α (P + (1/n) * a.e t ) + (1- α) (1/n) e.e t por G = α (P + (1/n) * a.e t ) + (1- α) e.v t Com probab (1- α), usuário escolhe nova página com probab dada pelo vetor v

28 Vetores personalizados Todas as propriedades são preservadas: Ainda pode usar o método de potência Taxa de convergência governada por α Pode usar métodos de multiplicação de matriz esparsa Armazenagem mínima Pode fazer método ser dependente da query

29 Alguns detalhes finais SIAM meeting in 2002: Google declarou que atualiza mensalmente os page rankings, tudo de novo (incluindo a criação do index) Maioria do material nestes slides veio do livro abaixo: Google's PageRank and Beyond: The Science of Search Engine Rankings Amy N. Langville e Carl D. Meyer