Otimização da exposição de websites em mecanismos de busca vista como atividade de indexação

Transcrição

1 Otimização da exposição de websites em mecanismos de busca vista como atividade de indexação Bruno Viana Rezende 1 Marcello Peixoto Bax 2 Resumo O artigo apresenta a atividade considerada de webmarketing denominada otimização de websites em mecanismos de busca na Web e traça um paralelo com a atividade de Indexação. 1 Introdução O objetivo tanto de centros de documentação tradicionais quanto de máquinas de busca na Web, é facilitar para usuários o acesso à informação que seja relevante, que atenda à sua necessidade de informação. Porém, a forma com que as informações são tratadas para facilitar este acesso são diferentes em cada perspectiva. Enquanto em centros de documentação as informações são tratadas por pessoas, em máquinas de busca elas são tratadas por computadores. Esta diferença de procedimento acarreta diferenças na qualidade da recuperação e no volume de informações disponibilizadas. O tratamento por pessoas leva a descrições de maior qualidade e, conseqüentemente, a recuperação de informação mais pertinente, do que aquele feito por computadores, porém o volume de informações tratado é muito menor. Na Web, o volume de informações disponível é gigantesco, além de se alterar constantemente (o Google 3, contabilizava, em fevereiro de 2003, 3 bilhões de páginas indexadas). Este alto volume e dinamicidade tornam inviável a 1 Mestrando da Escola de Ciência da Informação da UFMG. 2 Doutor, Prof. Adjunto da Escola de Ciência da Informação da UFMG. 3

2 análise manual de todos os documentos disponíveis, sendo mais adequada a abordagem automática. Existe na Web, entretanto, um meio termo entre estas duas abordagens: os chamados diretórios. Nestas ferramentas, as informações são tratadas por seres humanos, utilizando-se máquinas apenas como auxílio. Neste texto, estas ferramentas não serão consideradas. Quando se procura por algo utilizando uma máquina de busca, ela realiza uma pesquisa nas páginas conhecidas (aquelas já tratadas e indexadas) e apresenta como resultado referências para aquelas que têm alguma relação com o tópico. Este resultado, geralmente apresentado por ordem de relevância, constitui-se de uma lista de identificadores (URL's Uniform Resource Locator), cujo número varia de poucas unidades até milhares. Na maioria dos casos, apenas os 10 resultados mais relevantes são exibidos na primeira página do resultado. Tal lista será denominada top ten. Uma pessoa ou organização que possua uma página na Web (ou um website), e queira ser encontrado por usuários interessados em suas informações, procura naturalmente estar na lista top ten. Isto porque a maioria dos usuários ou encontra a informação desejada na primeira página de resposta da pesquisa (no máximo na segunda) ou realiza uma nova consulta, não visitando as páginas seguintes. Para um website, estar listado na décima primeira posição, por exemplo, pode significar deixar de receber a visita de muitos usuários (em 85% das consultas no Altavista em 1998, apenas os 10 primeiros resultados são vistos (Silverstein,1998)). Para inferir a relevância de uma página, uma máquina de busca utiliza evidências internas e externas. Uma evidência interna é definida como qualquer evidência que possa ser extraída de dentro da própria página, desconsiderando todas as outras páginas da coleção. Uma evidência externa é definida como uma evidência que deve ser extraída considerando as

3 demais páginas da coleção. Por exemplo, o número de vezes que uma palavra ocorre dentro de uma página é uma evidência interna, enquanto o número de vezes que a palavra ocorre na coleção, o número de páginas da coleção em que esta mesma palavra ocorre ou o número de referências feitas à página por outras páginas, são evidências externas. Nota-se, portanto, que se as evidências internas utilizadas por uma máquina são conhecidas, uma página pode ser construída visando aumentar sua possibilidade de ser considerada relevante. Mais do que isso, como será visto posteriormente, se as evidências externas são conhecidas, também é possível realizar tal melhora. Uma página onde as evidências, internas e externas, foram adequadas é dita estar otimizada. O processo de adequar as páginas que constituem um Site é chamado de otimização para máquinas de busca (Search Engine Optimization). Neste texto, o processo será designado simplesmente por otimização de Sites (ou websites). A atividade de indexação de documentos em um centro de documentação e a otimização de Sites possuem algumas diferenças. Enquanto a indexação em centros de documentação é uma atividade realizada pelo responsável pelo centro, a otimização de Sites é realizada pelo responsável por cada página e a máquina de busca não toma parte nesta atividade. Vista como um sistema de entrada e saída, a indexação tem como entrada um documento e como saída uma descrição deste documento em alguma linguagem de indexação. A otimização tem como entrada um documento e como saída um novo documento que se espera ter maior chance de ser recuperado em uma máquina de busca por palavras relacionadas. O objetivo de ambas as atividades, porém, é o mesmo: fazer com que o usuário tenha acesso a informações pertinentes às suas necessidades (uma objeção a esta afirmação é a prática de Spam que será brevemente explicada na seção 3.2).

4 Neste artigo, pretende-se traçar uma analogia entre o processo de indexação de documentos realizado em um centro de documentação e o processo de otimização de websites, objetivando delinear um esboço teórico para a atividade. Na seção 2, será brevemente descrito como uma máquina de busca realiza a indexação de páginas e a recuperação de informação. Na seção 3, a otimização de Sites será mais detalhada. Na seção 4, serão descritos alguns aspectos teóricos da indexação realizada em centros de documentação. Na seção 5, será estabelecido um paralelo entre a teoria de indexação e a otimização de sites. Na seção 6, é apresentada uma conclusão. 2 Como Máquinas de busca recuperam informação Nesta seção será brevemente explicada a forma que uma máquina de busca realiza a recuperação de informação (subseção 2.1) e será explicada uma proposta apresentada por (Broder, 2002) de divisão das máquinas em três gerações (subseção 2.2). 2.1 Breve descrição do processo O processo de recuperação de informações feita por máquinas de busca pode ser (grosseiramente) dividido em 3 fases: - obtenção de documentos; - geração dos índices; - processamento de consultas. A obtenção de documentos é realizada através de um agente (crawler) que percorre a Web constantemente e armazena os documentos visitados. Para tanto, começa com um conjunto inicial de documentos e segue cada apontador de cada um desses documentos. A geração do índice corresponde à fase em que as evidências, internas e externas, são levantadas, representadas e armazenadas. O número de evidências coletadas varia de

5 máquina para máquina e constituem segredo industrial de cada uma, não estando, portanto, divulgadas em detalhes. Porém, muitas informações relacionadas ao funcionamento das máquinas, mesmo que não detalhadas, podem ser encontradas, possibilitando o trabalho de otimização de Sites. O processamento de consultas é a última fase do processo de recuperação de informação e é a interface de um usuário com o sistema. Nesta fase, o usuário entra com uma consulta, que supõe-se representar a sua necessidade de informação. Nas máquinas atuais, esta consulta é formada por um conjunto de palavras. Tendo a consulta, a máquina a compara com as evidências armazenadas em sua base de dados e seleciona os documentos que se espera atender melhor às necessidades do usuário. Normalmente, os dez primeiros documentos são retornados. Atualmente, existem máquinas que, além dos resultados, retornam também sugestões de novas consultas, a fim de refinar e delimitar melhor os documentos relevantes. A subseção seguinte, aprofunda um pouco mais a discussão sobre as evidências e apresenta uma divisão das máquinas de busca em três gerações. 2.2 Três gerações de máquinas de busca Como dito anteriormente, existem dois tipos de evidências: internas e externas. As evidências internas são aquelas coletadas em cada página da coleção, enquanto que as evidências externas são aquelas que levam em consideração a relação entre os documentos da coleção. Broder (2002), identifica três diferentes gerações de máquinas de busca: 1 a Geração Utiliza principalmente evidências internas. Basicamente igual à recuperação tradicional de informação. As evidências externas utilizadas são apenas aquelas relacionadas com a medida tf x idf. Onde tf é a sigla para term frequency

6 (frequência do termo), que relaciona a relevância de um termo em uma página com o número de vezes que um termo aparece em seu corpo. IDF é a sigla para inverse document frequency (inverso da freqüência de documentos), que relaciona a relevância de um termo com o inverso do número de documentos em que um termo aparece na coleção, quanto menos documentos um termo aparece maior sua relevância. A evidência externa, como se pode ver, é representada pela medida IDF. Além destas informações, o local onde um termo aparece na página (título, início, meta-tags) também é uma evidência de relevância de uma página para este termo. 2 a Geração Utilização de maior número de evidências externas, tais como análise de apontadores (links), texto de âncora (o texto que descreve o apontador para uma página) e número de clicks (page-views) em páginas apresentadas como resultado. A primeira máquina de busca a utilizar análise de apontadores, foi o Google, através de seu algoritmo PageRank (Page,1998). Como exemplo de máquina que utiliza o número de clicks pode-se citar o Direct Hit 4. Atualmente todas grandes máquinas de busca utilizam estas evidências, aliadas às evidências utilizadas nas máquinas de primeira geração. 3 a Geração Nova geração de máquinas que tentam responder as necessidades por trás das consultas (Broder, 2002). Estas máquinas tentam inferir qual o tipo de informação um usuário necessita e restringem a consulta àquelas páginas que podem atender esta necessidade. Por exemplo, se uma consulta é por um nome próprio, a máquina tenta retornar páginas pessoais. Se é a respeito de uma cidade, tenta 4

7 retornar o máximo de informações relacionadas a esta cidade. Como exemplo de máquinas que evoluem nesta direção, pode-se citar o Google, Altavista 5 e Wisenut 6. É importante ressaltar que o advento de uma nova geração de máquinas de busca não significa o descarte de todas as outras evidências utilizadas na geração anterior. Na verdade, a nova geração apenas adiciona novas fontes de evidências ao processamento. Neste texto, as otimizações consideradas serão, principalmente, as evidências relativas às máquinas de busca de primeira geração, passando, brevemente, pelas máquinas de segunda geração. Isto se deve ao fato dessas evidências ainda serem de grande valor para a determinação da relevância de uma página para uma consulta. 3 Otimização de websites Nesta seção, o processo de otimização de sites será mais detalhado (subseção 3.1) e diferenciado da prática de Spam (subseção 3.2). 3.1 Descrição da atividade Otimização de sites é o nome dado para a atividade de adequar uma página HTML (HyperText Markup Language), ou um conjunto de páginas, com o fim de alcançar uma melhor posição para determinadas consultas em uma máquina de busca. A otimização de sites é uma atividade que interessa a qualquer organização que queira divulgar algo na Internet e queira ser encontrado através de alguma máquina de busca. Por exemplo, suponha um site de divulgação de notícias médicas. Caso este site apareça nas dez primeiras posições para a consulta notícias médicas em um grande mecanismo de busca é

8 muito provável que receba muitas novas visitas. Apenas para ilustrar o valor de estar bem posicionado em uma máquina de busca, em janeiro de 2003, segundo dados da Nielsen//NetRatings 7 (empresa que pesquisa a utilização da internet no mundo inteiro), o Yahoo! 8 era o quarto site mais acessado na Web brasileira enquanto que o Google era o oitavo, o que mostra a utilização dos serviços de busca pelos usuários brasileiros. A otimização de sites consiste em fazer com que uma página possua o maior número possível das evidências que uma máquina de busca utiliza para determinar a relevância de uma página. Porém, como já foi dito, nem todas as evidências utilizadas, nem os detalhes a respeito daquelas conhecidas, são divulgados. Este fato, entretanto, não impede que a atividade seja realizada. Nem todos detalhes precisam ser conhecidos e estes, na maior parte das vezes, interessam apenas às próprias máquinas. E as evidências não conhecidas, mas que influenciam no cálculo da relevância, podem ter a existência deduzida observando os primeiros dez resultados para grupos de consultas. Este ambiente está longe de proporcionar uma atividade determinística, porém pode ser um interessante e relevante auxílio para alguns usuários preocupados em melhor divulgar informações na Web. O processo de otimização de sites começa com a determinação de palavras interessantes para uma página, aquela que descreva o seu conteúdo e pelas quais o responsável pela página quer que seja encontrada. Esta etapa é crucial para o sucesso de toda atividade. Uma página deve estar, preferencialmente, em todas as listas top ten para as palavras que um usuário de interesse procure. Por usuário de interesse, entende-se um usuário que esteja procurando por alguma informação relacionada àquela disponibilizada na página. Esta

9 etapa envolve a compreensão do assunto da página, conhecimento do usuário para a qual ela é feita e das palavras utilizadas por este em sua busca. A outra etapa consiste em posicionar as palavras chaves no maior número possível de locais de evidências, tanto evidências internas quanto externas. O posicionamento relativo às evidências internas é aparentemente simples, bastaria se conhecerem os locais em que as máquinas de busca as procuram e posicionar as palavras nestes locais. Porém, nem todos os casos são tão simples. Deve-se lembrar, sempre, que páginas são feitas para serem lidas por seres humanos, não por máquinas. Distribuir aleatoriamente as palavras pelo texto (a ocorrência das palavras no texto é uma das evidências mais conhecidas) pode até ser efetivo do ponto de vista de máquinas, mas é péssimo para um usuário, que pode desconsiderar o conteúdo da página. Isto exemplifica a necessidade de se trabalhar bem a forma de posicionar as palavras nos locais de evidências que contém informação útil para o usuário (a maioria). Nos locais sem muita utilidade para o usuário (nome de arquivos, meta-tags, etc.), as palavras podem ser colocadas sem muito trabalho. O posicionamento de evidências externas é mais complicado do que o de evidências internas. O posicionamento de evidências em outras páginas do mesmo Site, por exemplo, nas âncoras dos apontadores para a página sendo otimizada, é feito da mesma forma que o posicionamento de evidências internas. A respeito das evidências externas que não estão sobre controle do responsável pela página, como por exemplo obter apontadores de páginas em outros Sites, não há muito que ser feito. Neste caso, a solução é criar um site com um

10 conteúdo relevante, submete-lo aos grandes diretórios como Yahoo! e Open Directory 9 e esperar por uma melhora do posicionamento. 3.2 Otimização de Sites x Spam Spam é uma prática muitas vezes confundida com a otimização de Sites, por ter o mesmo objetivo: fazer com que uma página apareça na lista top-ten para um conjunto de palavras. A diferença entre ambas é que a otimização utiliza métodos que não objetivam enganar a máquina de busca. Ou seja, ao contrário do Spam, seria o webmarketing bem intencionado. Existem diversas formas de Spam, a descrição de cada uma e da forma como as máquinas as combatem não serão consideradas aqui porque fogem do escopo deste texto. O que deve ser lembrado é que se uma página é pega por uma máquina fazendo Spam, é retirada de seu índice além de ser colocada em uma espécie de lista negra, formada por páginas que não serão indexadas novamente. 4 Indexação Nesta seção, o processo de indexação manual de documentos será apresentado com o objetivo de dar um embasamento para o paralelo entre esta e o processo de otimização de sites, que será traçado na seção 5. O objetivo da indexação de documentos segundo Lancaster (1991) é construir representações de um documento numa forma que se preste à sua inclusão em algum tipo de base de dados. Ranganathan (1962), divide a atividade em três planos de trabalho: 9

11 1. Plano Idéia: análise do assunto do documento; 2. Plano Verbal: exame de vocabulários controlados, tesauros, das tabelas e dos índices do esquema de classificação para encontrar os conceitos identificados no primeiro plano; 3. Plano Notacional: construção da notação para os conceitos de acordo com as regras estabelecidas. Lancaster (1991), por sua vez, divide a atividade de indexação em duas etapas principais: 1. Análise conceitual: decidir do que trata um documento, qual o seu assunto, visando um certo perfil de usuários da instituição; 2. Tradução: conversão da análise conceitual de um documento num determinado conjunto de termos de indexação. Neste documento, optaremos pela abordagem de Ranganathan por ser mais detalhada, o que facilita a divisão das tarefas necessárias para a otimização entre diferentes profissionais (ver seção 5). A seguir detalharemos um pouco mais cada um dos planos. O plano idéia tem como objetivo descrever o assunto sobre o qual o documento trata. Neste plano, a questão de como o assunto do documento será representado não deve ser considerada, esta tarefa será realizada nos planos seguintes. O resultado deste plano é uma frase, nas palavras do indexador, descrevendo o documento considerado. O plano verbal é o plano em que os conceitos encontrados no plano idéia (representado por meio de uma frase nas palavras de quem fez a análise) serão traduzidos para um conjunto de conceitos. Por exemplo, suponha que a análise de um documento produziu a frase O documento trata sobre engenharia naval e engenharia mecânica no Brasil. Após consultar

12 um vocabulário controlado, o indexador irá obter os conceitos Engenharia naval, Engenharia mecânica e Brasil. O resultado deste plano é o conjunto de conceitos que representam o assunto encontrado no primeiro plano. O plano notacional é o plano em que a notação para o documento é construída, utilizandose as representações dos conceitos encontrados no plano verbal em um esquema e as regras definidas pelo esquema. Por exemplo, suponha os conceitos Engenharia naval, Engenharia mecânica e Brasil encontrados no plano verbal. Suponha também que o indexador esteja utilizando a CDU. Após examinar as tabelas e índice da CDU o indexador encontra os códigos 623, 621 e 81, representando os conceitos. De acordo com as regras de construção de notação da CDU, cuja explicação foge ao escopo deste documento, estes códigos seriam agrupados e formariam a seguinte notação: [ ](81). O resultado deste plano é a representação final do assunto de um documento. Na seção seguinte, será traçado o paralelo entre as tarefas envolvidas na otimização de Sites e os três planos de indexação descritos por Ranganathan, com vistas a delinear um esboço teórico capaz de apoiar a sistematização da prática de otimização de sites vista como indexação. 5 A otimização de sites vista como uma tarefa de indexação Nesta seção, será sugerido que a atividade de otimização de sites pode ser vista como uma atividade de indexação. Serão citadas algumas diferenças e semelhanças entre as tarefas necessárias para realizar a otimização e a indexação tradicional. Uma diferença que se nota, imediatamente, é que, enquanto o resultado da indexação tradicional de um documento é uma notação, o resultado da otimização é um novo

13 documento. Além disso, o ambiente em que o resultado da indexação será utilizado é controlado por aquele que está disponibilizando o documento, enquanto que na otimização, quem disponibiliza não tem qualquer controle sobre o ambiente. Porém, existem semelhanças entre ambas as atividades, que permitiriam que a otimização de sites fosse vista como uma atividade de indexação. O objetivo de ambas é o mesmo: facilitar para um usuário a tarefa de encontrar um documento que esteja relacionado com sua necessidade de informação. Outra semelhança é que ambas as atividades são feitas por seres humanos, contando com auxílio de máquinas apenas para as tarefas mais repetitivas, não para as intelectuais. Entretanto, a maior semelhança entre as atividades é aquela que permitiria definir a atividade de otimização de sites como um tipo especial de indexação, é a possibilidade de se utilizarem os três planos de Ranganathan, para estruturar a otimização de uma página. Adiante está descrito como os três planos poderiam ser utilizados: 1. Plano Idéia: análise da página para descobrir o seu assunto. Caso exista mais de um assunto, verificar se a página não pode ser quebrada em mais páginas. Nota-se que a atividade, neste plano, na otimização, é muito similar àquela feita na indexação tradicional; 2. Plano Verbal: descobrir quais são as palavras que melhor descrevem o assunto da página. Na atividade de otimização não existem vocabulários controlados nem tesauros para auxiliar, já que o ambiente não possui qualquer controle. O que é feito é começar com um conjunto inicial de palavras em linguagem natural e verificar, através de algumas ferramentas, se os usuários estão utilizando-as para buscas nas máquinas de busca. Esta atividade deve ser repetida até ser encontrado um conjunto

14 satisfatório de palavras. Nem sempre as palavras encontradas nesta fase serão realmente as que os usuários utilizarão nas suas buscas. Neste caso, deve-se monitorar por quais palavras os usuários estão chegando na página otimizada e refazer esta etapa; 3. Plano Notacional: dado que o otimizador possui as palavras, resta apenas posicioná-las nos locais de evidências internas e externas. Uma discussão a respeito deste posicionamento, assim como a descoberta dos locais, foi feita na seção relativa à otimização de sites (seção 3), não será repetida aqui. Além de possibilitar a utilização de conhecimentos da indexação tradicional em um novo contexto, a estruturação do trabalho em planos possibilita a divisão em subtarefas que podem ser repassados a especialistas distintos. Por exemplo, o profissional responsável pelo Plano idéia não precisa conhecer a fundo como os mecanismos de busca funcionam e esta tarefa ficaria a cargo do responsável pelo Plano Notacional. Um esboço da divisão de trabalhos pode ser visto na tabela abaixo: Plano Idéia Verbal Notacional Conhecimento necessário Análise de assuntos. As vezes de mais de um tipo de formato, texto, imagem, vídeo, etc. Conhecimento de ferramentas e métodos para descobrir por quais palavras os usuários de interesse estão pesquisando. Conhecimento de como as máquinas de busca funcionam, quais as evidências que estão sendo procuradas. Habilidade de posicionar as palavras nas evidências sem tornar a página desagradável para o usuário.

15 6 Conclusão O trabalho apresentou o processo de otimização de site e estabeleceu um paralelo com o processo de indexação de documentos. Da exposição feita pode-se concluir que os benefícios de se pensar o processo de otimização de sites como um processo de indexação são: - estruturação da atividade utilizando um arcabouço teórico já conhecido, aproveitando conhecimentos já desenvolvidos nesta área. No caso da otimização de site, apesar dos planos verbais e notacionais diferirem dos equivalentes na indexação tradicional, o plano idéia continua o mesmo, podendo, portanto, adaptar os conhecimentos obtidos na indexação tradicional para a otimização de Sites; - a separação em planos possibilita dividir o processo de otimização em atividades relativamente menos complexas, permitindo uma melhor adequação do profissional responsável por cada subtarefa; Trabalhos futuros englobam estudos visando a adaptação de técnicas utilizadas na indexação tradicional, principalmente as que dizem respeito à análise de assunto. 7 Referências bibliográficas [Broder, 2002] Broder, Andrei. A Taxonomy of Web Search. ACM SIGIR Forum. Fall v.36. n.2. [Lancaster, 1993] Lancaster, F. W. Indexação e resumos: teoria e prática. 1.ed. Brasília: Briquet de Lemos, p.8.

16 [Page, 1998] Page, Lawrence; Brin, Sergey; Motwani, Rajeev; Winograd, Terry. The PageRank citation ranking: Bringing order to the Web. Stanford Digital Libraries Working Paper, [Ranganathan, 1962] Ranganathan, S. R. Elements of library classification. 3.ed. India: Asia Publishing House, p.88, 89. [Silverstein, 1998] Silverstein, Craig; Henzinger, Monika; Marais, Hannes; Moricz, Michael. Analysis of a Very Large AltaVista Query Log. Technical Note. Digital Systems Research Center. Outubro 1998.