Pagerank para Ordenação de Resultados em Ferramenta de Busca na Web

Transcrição

1 Pagerank para Ordenação de Resultados em Ferramenta de Busca na Web Leandro Zulian Gallina 1, Roberto Rosa Júnior 1 1 Instituto de Informática Universidade Federal do Rio Grande do Sul (UFRGS) Porto Alegre RS Brazil {lzgallina,rsrjunior}@inf.ufrgs.br Abstract. This survey presents PageRank, a page ranking algorithm used by Google to order search results. Presented in 1998 by Lawrence Page and Sergey Brin, PageRank counts the number of links that point to a given Web page to discover its importance, added by a weight attribution dependent on the sites that point to that page. This avoids manipulation on the search engine results. It also references a second work where the authors bring a method of using Multi-resolution Community-based Popularity in order to improve precision on ranking results of queries. Resumo. Esta survey apresenta o PageRank, algoritmo de ranking de paginas da Web utilizado pelo Google para ordenação de resultados. Apresentado em 1998 por Lawrence Page e Sergey Brin, o PageRank é baseado na contagem de links que apontam para determinada pagina da Internet e aplica a ponderação de pesos para evitar que mecanismos mal intencionados enganem o motor de busca. Também faz referência a um trabalho onde os autores apresentam uma metodologia que usa comunidades como fator de multiresolução para formar rankings de maior precisão para buscas na Web. 1. Introdução A Internet cria muitos desafios para a área de Information Retrieval. Ela contém um número muito grande de documentos, estimado na casa das dezenas de bilhões de páginas. Motores de busca na Internet precisam lidar com o fato de que estas páginas contêm informações muito diversas, além das buscas serem realizadas por usuários inexperientes. Adicionalmente, muitas páginas são criadas com o intuito de enganar motores de busca e privilegiar seus resultados. Quando os primeiros motores de busca na Internet começaram a surgir, havia a impressão na comunidade da World Wide Web que um bom motor de busca seria aquele que fosse capaz de indexar o maior número possível de páginas disponíveis na Internet. No entanto, o número cada vez maior de documentos na Internet levou a um ponto que, em 1997, havia se tornado impossível pesquisar na rede sem algum tipo de ranking. Enquanto o número de documentos indexados havia aumentado, a capacidade do usuário de olhar para os documentos retornados continuava a mesma. O interesse do usuário final de um motor de busca limita-se aos primeiros dez resultados encontrados, ou no máximo às primeiras dezenas.

2 Na medida em que o tamanho da Internet crescia, tornavam-se cada vez mais necessárias ferramentas de alta precisão de busca. A noção de documentos relevantes devia limitar-se somente aos melhores documentos de todos já que pode haver milhares ou até milhões de documentos com alguma relevância para qualquer busca digitada. A ferramenta de busca deve retornar somente os documentos com a máxima relevância possível mesmo que isto diminua o recall do sistema em si. Com base nestas necessidades, Brin e Page criaram o PageRank [Page 1998]. Esta ferramenta aproveita-se do fato de que, ao contrário de documentos de texto, a Internet é composta por hipertexto que providencia informação auxiliar sobre as suas páginas, como a estrutura dos links que compõem a Internet. O PageRank cria um ranking de importância global para cada página da Internet. Este ranking é usado para atribuir pesos aos escores de relevância retornados pelo motor de busca do Google [Brin 1998]. Adicionalmente, o serviço do Google Directory retorna documentos encontrados em ordem determinada especificamente pelo PageRank. 2. PageRank A análise de citações acadêmicas é uma área de estudos com extensa literatura, e já estabelecida na época em que o PageRank foi criado. O uso de contagem de citações é uma maneira bastante fiel de encontrar artigos científicos relevantes. Técnicas de contagem de backlinks links que apontam para uma determinada página estavam surgindo na década de No entanto, a simples contagem de backlinks não é tão fiel quanto a contagem de citações acadêmicas; enquanto artigos científicos são rigorosamente revisados, páginas da Internet são criadas livres de qualquer sistema de controle ou custo. Com um programa simples, muitas páginas podem ser criadas artificialmente, incrementando a contagem de backlinks para determinadas páginas. Técnicas de obter atenção para páginas da Internet evoluem com intenções de publicidade e lucro. Torna-se necessária uma ferramenta mais elaborada do que a simples contagem de backlinks Estrutura de Links da Internet As páginas da Internet possuem links que apontam para outras páginas, conhecidos como forward links. Os links que apontam para uma determinada página são chamados de backlinks. Enquanto nem todos os backlinks de uma página são conhecidos, ao obter uma página da Internet é possível saber todos os forward links que ela possui. De maneira geral, páginas com um grande número de backlinks podem ser consideradas mais importantes do que aquelas com menos backlinks. A inovação do PageRank vem de casos em que a contagem de citações não reflete a noção de importância que os usuários estão procurando. Por exemplo, se uma página possui um link de um portal como o Yahoo para ela, mesmo que este seja o único backlink desta página, é um backlink altamente importante. Esta página deve aparecer no ranking em uma posição mais alta do que outras páginas com muitos links porém de lugares obscuros. O PageRank é uma tentativa de aproximar a importância de uma página através da estrutura de links.

3 Assim, o PageRank é definido da seguinte maneira: uma página possui um ranking alto se a soma dos rankings de seus backlinks é alta. Esta definição serve tanto para o caso de uma página com muitos backlinks como para o caso de um página com poucos backlinks muito importantes Algoritmo do PageRank O PageRank forma uma distribuição probabilística sobre todas as páginas da Web, de forma que soma dos PageRanks de todas as páginas da Web será sempre 1. O algoritmo do PageRank pode ser aplicado para uma coleção de documentos de qualquer tamanho. Suponha um conjunto de quatro páginas da Internet, A, B, C e D. A aproximação inicial do PageRank seria distribuída igualmente entre os quatro documentos. Assim, os quatro documentos iniciam o algoritmo com PageRank igual a 0,25. Se as páginas B, C e D possuírem links para A, cada uma passaria um PageRank de 0,25 para A. Agora, suponha que a página B possui um link para C, e a página D possui links para as outras três páginas. A figura 1 representa a relação entre as quatro páginas. B C A D Figura 1. Quatro páginas da Web com links O valor do PageRank passado a partir de cada página é distribuído igualmente entre os forward links da página. Assim, a página B passaria um PageRank de 0,125 para A e outros 0,125 para C. A página D passaria um terço de seu PageRank para A: Considerando que a função L retorna o número de forward links de uma determinada página, o PageRank de A pode ser indicado como:

4 De maneira geral, dada uma página u, sendo B u o conjunto de páginas que apontam para u, o PageRank da página u pode ser expresso como o somatório do valor do PageRank de cada página v que aponta para v dividido pelo número de links que parte da página v: O modelo do PageRank é baseado na suposição de um web surfer aleatório. Este personagem navegaria na Internet clicando em links sucessivos aleatoriamente. Eventualmente, ele fica entediado com a página que está vendo e pula para outra página da Internet escolhida aleatoriamente. Para modelar a probabilidade do web surfer ficar entediado, é usado um fator de amortização d que assume valores entre 0 e 1. Normalmente, o valor d é fixo em 0,85. No caso, este valor representa a probabilidade de 85% do web surfer clicar em um link na página que está vendo, contra 15% de probabilidade de escolher outra página aleatoriamente para começar a navegar novamente. O fator de amortização d é incluído na fórmula do PageRank da seguinte maneira, considerando que N é o número total de documentos na coleção, e que A possui links de B, C, D... : Esta fórmula é calculada recursivamente, porém pode começar com qualquer conjunto de documentos até a fórmula convergir. O Google recalcula os valores de PageRank cada vez que busca a Internet com seus crawlers e reconstrói seu índice. Na medida em que o número total de documentos indexados pelo Google aumenta, a aproximação inicial do PageRank para cada documento diminui. Considera-se que a convergência é alcançada quando a variação do PageRank entre a iteração atual e a iteração anterior alcança valores abaixo de determinado limiar. A convergência é alcançada de forma relativamente veloz, sendo que em seus experimentos iniciais os autores alcançaram a convergência para 322 milhões de links em 52 iterações. A convergência para a metade destes links é alcançada em 45 iterações. Este fato mostra a boa escalabilidade do algoritmo, considerando que conforme a coleção de documentos cresce o número de iterações necessárias para a convergência aumenta linearmente na proporção do logaritmo do número de documentos.

5 2.3. Personalização do PageRank O fator de amortização d é um componente importante do algoritmo do PageRank. Através de experimentações, os autores chegaram ao valor de 0,85 como sendo aquele que apresenta melhor desempenho para uma grande coleção de documentos como a Internet. No entanto, esta abordagem resulta em eventuais links recebendo um ranking demasiadamente alto. Como exemplo, podemos citar avisos de copyright e listas de mailing contendo alto número de links entre seus documentos. Nestes casos, o fator de amortização d poderia assumir um valor mais alto, assim efetivamente diminuindo o PageRank das páginas envolvidas. Por outro lado, em experimentos onde o valor do fator de amortização d era reduzido para determinados sites, verificou-se que as home pages destes sites obtinham PageRank mais altos, seguidas pelos forward links destas home pages. Estes experimentos mostram que é possível usar o fator de amortização para construir motores de busca personalizados, os quais poderiam ser baseados, por exemplo, nos Favoritos do navegador do usuário. 3. Aplicações do PageRank 3.1. Predição de Backlinks Uma das possíveis aplicações do PageRank está em determinar quais serão os backlinks de uma página. Em [CGMP98] é apresentado o trabalho do crawler do Google, que deve sempre tentar buscar os melhores documentos antes para a partir deles navegar para as páginas para as quais eles apontam. Através de experimentos, os autores descobriram que o PageRank oferece uma melhor estimativa de futuras contagens de backlinks do que as próprias contagens de backlinks. 3.2 PageRank Multi-resolucional Outra possível aplicação do PageRank é o uso do PageRank com multi-resolução. Como o PageRank leva em consideração todos os documentos presentes na Web para calcular seu escore (popularidade), o resultado é uma medida generalizada sobre a popularidade dos documentos. Podemos exemplificar isso usando dois cenários: Cenário 1: você pergunta a um grupo de pessoas, aleatoriamente, na esquina das ruas Andradas com Borges de Medeiros, no centro de Porto Alegre, sobre onde comprar CD s. Em sua maioria respondem que procure a loja Multisom. Se você estiver procurando, por exemplo, o primeiro álbum do Ramones, há uma boa chance de a loja Multisom não ser relevante para sua busca. Cenário 2: imagine que dentre estas pessoas exista um pequeno grupo de colecionadores de CDs, e que todos estes indiquem lojas de CD s usados. Essa indicação provavelmente terá uma maior relevância que a do grupo generalizado. Park e Ramamohanarao [Ramamohanarao 2007] introduzem a idéia do uso de PageRank com multi-resolução, baseado na popularidade das páginas dentro de uma dada comunidade. Ou seja, cada documento recuperado tem seu escore calculado baseando-se em uma determinada comunidade. O conjunto de documentos recuperados

6 por uma determinada consulta, relacionada a uma determinada comunidade, é ordenado pelos escores baseados na popularidade que as páginas recuperadas pela consulta possuem perante essa comunidade. Usando o método proposto em seu trabalho, os autores conseguiram ampliar em 11% de precisão comparado ao PageRank tradicional. O escore de popularidade de Park e Ramamohanarao é baseado em comunidades. Os autores apresentam um método que pode ser usado para melhorar a classificação dos resultados de buscas na Web. Estes escores são dinamicamente gerados a partir de hiperlinks e armazenados para que sejam usados no momento da consulta. Neste artigo, apresentam: Como calcular um conjunto de multi-resolucional baseado em comunidades Uma prova de que na pior resolução o método apesenta resultados iguais ao PageRank Como selecionar uma lista de escores baseadas na consulta do usuário. A análise do uso da listas geradas pelo método foi aplicada ao problema de busca de informação na Web. Foram realizados experimentos em uma coleção contendo 25 milhões de documentos Web. Entrentanto, o método pode ser aplicado para mineração de dados quaisquer que usem correlação entre os documentos. 3.3 Comunidades como nível de resolução Uma comunidade Web é um conjunto de páginas que contém hiperlinks em comum. Quanto maior este nível de similaridade, mais restrita é a comunidade. No menor nível de similaridade, temos toda a Web como uma comunidade só. No nível mais alto, temos cada página como sua própria comunidade. Portanto, ajustando o nível de similaridade, ajustamos a resolução da comunidade. Até agora, as ferramentas de busca na Web aplicam apenas a resolução mais baixa (que abrange toda a Web) para auxiliar na precisão dos resultados. Este é o caso do Google que, ao usar PageRank, trata cada hiperlink como um voto para a página que está referenciando. Usando estes votos pode-se calcular a popularidade de qualquer página. O Google usa exatamente essa popularidade para ordenar seus resultados em uma busca. Portanto para cada busca, a página mais popular (mais referenciada) perante toda a Web obterá a melhor classificação. Isso apresenta um resultado bom para consultas genéricas, na qual a comunidade global apresenta conhecimento adequado. Para uma consulta mais específica, não apresentará boa aplicabilidade. Para estes casos, os escores obtidos em uma comunidade especializada resultariam em uma ordenação melhor dos resultados. Isso pode ser facilmente notado o diagrama da figura 2. Nota-se que cada página contém exatamente um link que a referencia. O escore de popularidade de cada página será o mesmo, na medida em que o PageRank levará em consideração todo o conjunto de documentos. Para melhores resultados, seria mais interessante usar uma lista de PageRank para cada comunidade, sendo assim a e b populares dentro de uma comunidade, enquanto c e d populares dentre a outra comunidade.

7 Figura 2. Um exemplo onde PageRank não é útil A tabela abaixo mostra o resultado da aplicação do método apresentado no artigo em comparação com o PageRank. Em sua menor resolução, o método tem resultados equivalentes ao PageRank. Este resultado é obtido a partir da aplicação de um método de fatoração matricial chamado SNMF (Symmetric Non-negative Matrix Factorisation) a uma matriz contendo os links dos documentos. Tabela 1. Comparativo entre PageRank e o Método multi-resolucional. Podemos notar que o SNMF-2 traz duas listas de escores de popularidade, uma mostrando alta popularidade para páginas a e b e a segunda mostrando alta popularidade para c e d. Assim podemos ver que existem duas comunidades no conjunto exemplificado na figura acima, produzindo o ranking relativo a cada comunidade. As primeiras duas listas no SNMF-3 mostram alta popularidade para as páginas c e d, enquanto a terceira alta popularidade para a e b. No SNMF-4, duas lista resultam alta popularidade para a e b e duas para as paginas c e d. Os experimentos do artigo foram realizados sobre a coleção GOV2Web, contendo 25 milhões de documentos Web, para verificar como o método poderia ser usado para recuperar documentos mais relevantes a uma consulta. Chegou-se a um resultado com aumento de 11% na precisão comparado ao PageRank. 4. Conclusão O algoritmo PageRank calcula um escore de popularidade para cada documento na Web. Este escore é medido observando-se outras páginas que os referenciam através de hiperlinks. O conjunto de escores de popularidade é pré-computado e armazenado, para

8 que, quando uma consultada for realizada, os resultados sejam rapidamente ordenados. Para o PageRank, a popularidade é a medida de confiança na informação presente no resultado da consulta. Infelizmente, este escore é independente da consulta, pois usam uma base de conhecimento global. Por este fato PageRank é mais eficiente quando aplicado a consultas genéricas. Foi visto que existe um outro método, generalizado a partir do PageRank, que utiliza multi-resolução de listas de Rank, representando escores de popularidade dentro de diferentes comunidades de páginas Web. Para consultas de conhecimento específico, esta metodologia pode vir a ser utilizada em ferramentas de busca, dependendo da demanda por tal diferencial. References Brin, S. and Page L. (1998) The anatomy of a large-scale hypertextual Web search engine, In: Computer Networks and ISDN Systems, 30 (1 7), pages , Elsevier, EUA. Cho J., Garcia-Molina, H. and Page, L. (1998) Efficient crawling through url ordering, In: Proceedings of the Seventh International World Wide Web Conference, Elsevier Sciences, Australia. Page, L., Brin, S., Motwani, R. and Winograd, T. (1998) The PageRank Citation Ranking: Bringing Order to the Web, Technical report, Stanford DLT Project, EUA. Park, A. F. L. and Ramamohanarao, K. (2007) Mining web multi-resolution community-based popularity for information retrieval, In: Proceedings of the 2007 ACM Conference on Information and Knowledge Management, pages