Transcrição

1 Aglomerac~ao n~ao Hierarquica em Sistemas Distribudos de Recuperac~ao de Informac~ao Jose Luis Padr~ao Exposto Mestrado em Informatica Dissertac~ao submetida a Universidade do Minho para obtenc~ao do grau de Mestre em Informatica. Area de Especializac~ao em Sistemas Distribudos, Comunicac~oes por Computador e Arquitecturas de Computadores Dezembro 1997

2 Abstract The search for relevant documents in huge collections requires very high computer load and storage overhead. Although, many research has been made towards the minimization of the document overall space overhead through stoplist techniques and stemming, the storage needed to support so big colections is still very high. Putting together the decomposition of big colections using clustering algorithms, and their distribution in a high speed network, it would be possible to divide the total document space by each of the network machines, and yet to get concurrent computational processing resources from those same machines. It is the goal of this thesis to verify the real potencialities of clustering distribution making a comparative study of the performance of an Information Retrieval system changing the number of clusters and confronting a local and distributed mode of that system.

3 Resumo A procura de documentos relevantes em colecc~oes de grandes dimens~oes e um processo que envolve uma carga computacional muito elevada e uma enorme necessidade em termos de capacidade de armazenamento de dados. Apesar de toda a investigac~ao feita, no sentido de minimizar o espaco fsico ocupado pelos documentos, atraves de tecnicas de ltragem, eliminac~ao de palavras comuns e radicalizac~ao, s~ao ainda exigidas grandes necessidades de armazenamento devido ao grande numero de documentos das colecc~oes. Se aliarmos as tecnicas de aglomerac~ao a distribuic~ao de cada um dos aglomerados, por maquinas ligadas por uma rede de grande velocidade, podemos repartir o espaco ocupado pela totalidade da colecc~ao e tirar ainda partido da utilizac~ao concorrente do poder computacional de varias maquinas, quer no processo de classicac~ao, quer no processo de selecc~ao de documentos relevantes a pedidos de utilizadores. A investigac~ao apresentada nesta tese tem por objectivo vericar as potencialidades reais da distribuic~ao dos aglomerados de documentos e fazer uma estudo comparativo do desempenho de um sistema de Recuperac~ao de Informac~ao variando o numero de aglomerados nos modos local e distribudo.

4 Agradecimentos Ao meu orientador, Professor Vasco Freitas, pelo tema de investigac~ao e pela oportunidade que me facultou em trabalhar numa area que tanto me motivou. Ao meu pai, a minha m~ae e ao meu irm~ao que permitiram a minha chegada ate aqui e sempre me motivaram para continuar em frente. Aos colegas de mestrado, especialmente ao Runo pelas dicas de revis~ao, ao Albano e a Maria Jo~ao, agora colegas de pross~ao, pela ajuda e o bom ambiente de trabalho proporcionado. A Ana ea Elsa que souberam dar o apoio certo na altura certa. A todos os meus amigos que conseguiram viver sem mim nos tempos crticos. Ao Fernando Mina pela revis~ao do texto. A Escola Superior de Tecnologia e Gest~ao do Instituto Politecnico de Braganca, pelas facilidades concedidas durante o perodo de elaborac~ao desta tese. O trabalho desenvolvido nesta dissertac~ao foi nanciado pela JNICT, no ^ambito do programa PRAXIS XXI, Ref. BM/315/94.

5 Indice 1 Introduc~ao Informac~ao A difus~ao da informac~ao A Biblioteca Universal Descoberta de recursos na Servicos integrados Servicos n~ao integrados Objectivos da tese Resumo dos captulos seguintes Recuperac~ao de Informac~ao Denic~oes Estatstica na RI Estrutura de um sistema de RI Estruturas de dados Ficheiro Invertido Indexac~ao Automatica Analise Lexica Dicionario negativo Radicalizac~ao Atribuic~ao de Pesos Modelos conceptuais dos sistemas de Recuperac~ao de Informac~ao Modelo de padr~oes de texto Modelo Booleano i

6 INDICE ii 3.3 Modelo Probabilstico Modelo do Espaco Vectorial Modelo de Aglomerac~ao Analise de aglomerados Aglomerac~ao de documentos Metodos de aglomerac~ao Avaliac~ao de sistemas de RI Eci^encia Ecacia Colecc~oes de teste Precis~ao e totalidade Metodos para o calculo da curva media Sistema de Indexac~ao e Aglomerac~ao Distribuda (SInAD) Sistemas disponveis Raz~oes para a criac~ao de uma plataforma propria Considerac~oes para a implementac~ao de um sistema Tecnicas utilizadas Modelo conceptual Conjugac~ao do modelo de aglomerac~ao Implementac~ao do SInAD Organizac~ao das estruturas de dados Comunicac~ao entre as entidades Aquisic~ao de novos documentos Consulta ao sistema Experimentac~ao com a colecc~ao Craneld A colecc~ao Craneld Experimentac~ao base Eci^encia Ecacia Experimentac~ao com a aglomerac~ao Controle da distribuic~ao de documentos pelos aglomerados

7 INDICE iii 5.5 Experimentac~ao da aglomerac~ao distribuda Conclus~oes e trabalho futuro Conclus~oes SInAD Modelo de Aglomerac~ao Distribuic~ao Trabalho futuro

8 Lista de Figuras 1.1 Evoluc~ao do numero de maquinas e domnios na internet Modelo de caixa preta para um sistema de RI Esquema funcional de um Sistema de RI Estrutura de um cheiro invertido Categorizac~ao das tecnicas de RI Modelo do espaco vectorial Distribuic~ao de aglomerados numa rede de computadores Diagrama das entidades do SInAD Relacionamento entre os objectos do SInAD Estrutura das mensagens processados pelo docman Mensagem de resposta aumainterrogac~ao Exemplo de documento da colecc~ao Craneld Exemplo de uma interrogac~ao da colecc~ao Craneld Tempos de inserc~ao de documentos da colecc~ao Craneld Tempos de resposta as interrogac~oes Curva P-T para a colecc~ao Craneld sem aglomerac~ao Comparac~ao dos desempenhos para variac~oes no numero de aglomerados Comparac~ao dos desempenhos para variac~oes no limite de bloqueio com 5 aglomerados na colecc~ao Craneld Distribuic~ao dos documentos pelos aglomerados para a colecc~ao Cran- eld com 5 aglomerados iv

9 LISTA DE FIGURAS v 5.9 Comparac~ao dos desempenhos para variac~oes no limite de bloqueio com 4 aglomerados na colecc~ao Craneld Distribuic~ao dos documentos pelos aglomerados para a colecc~ao Cran- eld com 4 aglomerados Variac~ao de tempos de resposta em modo local e distribudo com 5 naipes de interrogac~oes para a colecc~ao Craneld com 4 aglomerados e limite de bloqueio igual a 0, Percentagens de distribuic~ao do espaco ocupado nas maquinas para a colecc~ao Craneld com 4 aglomerados e limite de bloqueio igual a 0, Percentagens de distribuic~ao do espaco ocupado nas maquinas para a colecc~ao Craneld com 4 aglomerados e limite de bloqueio igual a 0,5 comparado com o espaco ocupado sem aglomerac~ao

10 Lista de Tabelas 2.1 Comparac~ao entre a Recuperac~ao de Informac~ao e a Recuperac~ao de Dados Declarac~ao de variaveis para a denic~ao de precis~ao e totalidade Percentagens de reduc~ao do numero de termos em relac~ao ao documento original Tempo medio de inserc~ao de documentos para a colecc~ao Craneld sem aglomerac~ao Tempo medio de resposta as interrogac~oes para a colecc~ao Craneld sem aglomerac~ao Percentagens da distribuic~ao de tempo pelas operac~oes realizadas na inserc~ao de um documento vi

11 Captulo 1 Introduc~ao 1.1 Informac~ao Informac~ao pode ser denida como o conhecimento que reside no cerebro humano, em qualquer registo escrito ou electronico ou noutro meio fsico. Actualmente, a informac~ao e um alimento indispensavel a qualquer elemento de uma sociedade moderna e em constante mudanca. A transmiss~ao e armazenamento de informac~ao, para alem do cerebro humano, remonta a invenc~ao da propria escrita, entre 3000 e 2000 a.c., altura em que surgiram as primeiras bibliotecas. Todavia, foi com o Renascimento, no Seculo XV, que a procura e a oferta de informac~ao cresceu consideravelmente, devido n~ao so as tend^encias intelectuais da epoca, mas tambem devido a invenc~ao da tipograa que, revolucionou a difus~ao do material escrito. No Seculo XIX, surgiram novos meios de uxo de informac~ao, tais como publicac~oes periodicas e documentos cientcos. Mas e noseculo XX que a difus~ao da informac~ao comeca a envolver as grandes massas da populac~ao. Iniciam-se as emiss~oes de radio e televis~ao e a informac~ao ca disponvel de uma forma cada vez mais rapida e envolvente. O aparecimento dos computadores veio revolucionar completamente a forma de encarar a informac~ao. Neste contexto, emerge a ci^encia Informatica, sendo tomada, comummente, por todos os que a ela est~ao ligados, como aquela que se encarrega do processamento automatico da informac~ao. Entretanto, as quantidades de informac~ao processada e armazenada foram largamente ultrapassadas com a ajuda da evoluc~ao tecnologica na area da microelectronica. A variedade de ramos que emergiram da informatica leva a necessidade da criac~ao de uma ci^encia que chame a si as tarefas de colectar, organizar, armazenar, recuperar e disseminar o conhecimento. Surgiu ent~ao a ci^encia da informac~ao. A crescente necessidade bibliograca, acompanhada pelo avanco tecnologico do Seculo XX, levou a informatizac~ao da quase totalidade das bases de dados, catalogos 1

12 Captulo 1. Introduc~ao 2 e colecc~oes. frutos. E neste sentido que a ci^encia da informac~ao comecava a dar os seus Mas se a utilizac~ao do computador veio, por um lado, trazer enormes vantagens na concretizac~ao dos objectivos da ci^encia da informac~ao, veio por outro permitir o aumento desmesurado dos repositorios de informac~ao e alguma perda de controlo sobre a sua localizac~ao e conteudo. 1.2 A difus~ao da informac~ao A industria dos computadores, apesar da sua juventude, rapidamente se inseriu noutras areas, tais como meios de transporte, comunicac~oes, servicos, industrias de fabrico, etc. O crescimento da aquisic~ao, processamento e distribuic~aoda informac~ao aumenta com uma sociedade cada vez mais empresarial e competitiva, necessitandose de um tratamento mais sosticado da mesma. O aparecimento das comunicac~oes por computador trouxe consigo uma nova vis~ao do mundo. O aumento rapido do poder computacional dos processadores ja prometia a sua utilizac~ao por varias pessoas. A interligac~ao dos computadores foi o passo essencial para que tal se concretizasse. Adicionalmente, o aumento da largura de banda proporcionou o acesso a informac~ao remota em tempos comparaveis ao acesso a um disco local. A rede de computadores tranformou-se numa extens~ao dos perifericos locais de um computador. O computador potente e isolado que satisfaz as necessidades computacionais dos seus utilizadores, da agora passo a um numero mais elevado de computadores distantes, no entanto, interconectados. Torna-se, assim, possvel a partilha de recursos e de dados, e a distribuic~ao da carga computacional por varios computadores. A conectividade dos computadores veio efectivamente beneciar todas as areas que apostaram na sua industria. A partilha de informac~ao e o seu interc^ambio entre secc~oes diferentes de uma empresa tornou-se viavel por exemplo, as dist^ancias entre liais deixam de ser um factor signicativo. Por outro lado, veio assegurar a continuidade da informac~ao atraves da sua replicac~ao, permitindo o funcionamento contnuo de tarefas de alto risco. Mas se o mundo empresarial saiu beneciado, mais beneciados, ainda, sairam os investigadores e cientistas, que v^em assim uma forma rapida e pratica de difundir as suas ideias e partilhar informac~ao. 1.3 A Biblioteca Universal O contnuo aumento da largura de banda das redes de computadores e a progressiva evoluc~ao das tecnologias multimedia vieram dar azo a Tim Berners-Lee para a

13 Captulo 1. Introduc~ao 3 criac~ao da World Wide Web (WWW) [BLCL + 94]. A partilha da informac~ao feita ate ent~ao atraves dos protocolos telnet, ftp, , gopher e wais, passa a ser feita por um sistema de visualizac~ao de paginas que d~ao acesso a outras paginas remotas ou locais atraves de hiperligac~oes, em que e possvel a conjugac~ao de todos os meios multimedia disponveis (imagem, som, vdeo). Esta integrac~ao foi possvel gracas a implementac~ao de um novo protocolo ao nvel da aplicac~ao designado por HyperText Transfer Protocol (HTTP) [FGM + 97] e da criac~ao de uma linguagem de etiquetas orientada para a multimedia e para as hiperligac~oes, designada por HyperText Markup Language (HTML) [BLC95]. A WWW veio permitir a disponibilizac~ao de uma serie de recursos aos quais todos os utilizadores da Internet t^em acesso. O sistema WWW veio afectar a Internet de tal maneira, que o crescimento de computadores chega aos 9% mensais. A receita foi simples: a visualizac~ao da informac~ao de forma graca, possibilitando observar simutaneamente texto, imagens, som e vdeo, foi aliada a interacc~ao atraves de hiperligac~oes incorporadas no texto. Desta forma, o utilizador pode \movimentarse"facilmente de recurso em recurso. Tendo em conta que todos os recursos podem ter uma ligac~ao remota, obtemos uma teia 1 complexa de informac~ao, na qual, um utilizador uma vez emaranhado no meio dela, sente serias diculdades em se orientar. O crescimento de informac~ao na WWW e deveras prodigioso. Repare-se na evoluc~ao do numero de maquinas na internet ate Julho de 1997 no graco da gura 1.1 [Wiz97]. Se estimarmos o numero de utilizadores que a elas est~ao ligados, imagine-se a quantidade de informac~ao que poder~ao publicar! Máquinas Domínios jan-93 jul-93 jan-94 jul-94 jan-95 jul-95 jan-96 jul-96 jan-97 jul-97 Figura 1.1: Evoluc~ao do numero de maquinas e domnios na internet. A facilidade de publicac~ao e a liberdade de express~ao existentes na Internet 1 Do ingl^es web.

14 Captulo 1. Introduc~ao 4 atraiu tambem um grande numero de empresas que aproveitam o potencial enorme numero de clientes para divulgar e vender os seus produtos. Todo este cenario permitiu um aumento t~ao desmesurado da quantidade de informac~ao, que a sua procura se manifesta uma tarefa difcil. Resumindo, a WWW e, por excel^encia, a biblioteca universal. O seu crescimento surpreendeu tudo e todos. As suas dimens~oes e o seu conteudo ultrapassam o conhecimento de qualquer ser humano e, por isso, assume um papel muito valioso em termos de disseminac~ao do conhecimento. Mas todo este poder de fogo, de nada serve se a informac~ao pretendida por um utilizador n~ao for encontrada facilmente e com ^exito. Da a constante preocupac~ao com a pesquisa na WWW. 1.4 Descoberta de recursos na WWW Nesta secc~ao s~ao mencionados alguns dos servicos de descoberta de recursos de informac~ao na WWW. S~ao categoricamente divididos em sistemas integrados e n~ao integrados, para marcar a distinc~ao entre aqueles que pretendem abordar o problema directamente com as infra-estruturas relacionadas com o funcionamento protocolar da WWW e os outros que assumem os recursos como documentos, passando por cima de pormenores intrnsecos a WWW e que constituem a soluc~ao colocada em pratica actualmente. Esta ultima vis~ao e colocada a um nvel superior, dependente da camada protocolar, e qualquer modicac~ao que seja efectuada no funcionamento interno da WWW, pode criar serios problemas, que poder~ao levar a reimplementac~ao de raiz deste tipo de sistemas. Esta divis~ao apesar de um pouco rude, tem como objectivo facilitar a analise do estado da arte nesta materia, de forma a distinguir aquilo que esta disponvel actualmente e o que seria ideal colocar em funcionamento. Seria de todo fundamental que fosse colocada \ordem na WWW" ao nvel do protocolo, isto e, recorrendo a mecanismos directamente integrados dentro do proprio sistema de devoluc~ao de recursos [WD94]. O sistema de resoluc~ao de nomes universais vem precisamente prop^or esta soluc~ao [Sol97]. Por ser uma proposta radical, a sua aceitac~ao deve ser feita de forma atomica e cuidadosa, isto e, duma vez so. Enquanto n~ao s~ao tomadas decis~oes relativas ao funcionamento do fulcro da WWW, novas soluc~oes de pesquisas t^em vindo a ser desenvolvidas como forma de dar um novo f^olego a descoberta de recursos. Os chamados \motores de pesquisa"t^em feito grande furor dentro da comunidade da WWW, devido a^ansia em encontrar uma soluc~ao que vise a procura de recursos em quantidade e qualidade sucientes Servicos integrados A pesquisa e organizac~ao da informac~ao na WWW foi uma quest~ao desde sempre tomada como um problema pertinente e, por isso, pensada desde que ela foi criada.

15 Captulo 1. Introduc~ao 5 Para a identicac~ao universal de cada rescurso que se encontra na WWW e utilizada um Localizador Universal de Recursos 2 (URL)[BLMM94]. No entanto, estes identicadores n~ao s~ao tolerantes a faltas, torna-se difcil a sua manutenc~ao, para alem de n~ao disporem de qualquer informac~ao de qualidade de servico. Como alternativa foi pensado o Nome Universal de Recursos 3 (URN)[SM94] que permite uma identicac~ao persistente, unica, independente da localizac~ao e com possibilidade de refer^encia a multiplos recursos permitindo ainda varios criterios na decis~ao do melhor recurso disponvel em determinada altura. A convers~ao de um URN para URL pressup~oe um servico de resoluc~ao semelhante ao Servico de Directoria DNS. Para que sejam feitas decis~oes para a escolha do URN existe ainda um outro Identicador Universal de Caractersticas 4 (URC)[RDM95], que contem a informac~ao particular a cada URL. Este identicador para alem de conter a meta-informac~ao (informac~ao sobre a informac~ao) das localizac~oes do recurso, pode ainda conter informac~oes sobre o tipo de recurso, vers~ao, datas de criac~ao e modicac~ao, dist^ancia na rede e inclusivamente dados bibliogracos e autenticac~ao. Existem actualmente varios sistemas que implementam o servico de resoluc~ao de URNs, n~ao tendo ainda nenhum sido adoptado na pratica. Destaca-se o WHOIS++ [DFM95] pela sua qualidade como servico de directoria generico, o Simple Discovery Protocol (SDP) [HK95] que tira partido do Multicast IP para resoluc~ao de URNs e o Resolver Discovery Service (RDS) [Slo97] que tem sido abordado recentemente. O princpio de funcionamento destes sistemas consiste na delegac~ao da informac~ao entre servidores inseridos dentro de uma rede de servidores. A tecnica de propagac~ao e procura de informac~ao e baseada num servico de directoria com maior generalizac~ao que o DNS. Facilmente se depreende que a criac~ao de sistemas deste tipo, prometem seriamente a resoluc~ao das lacunas referidas para a exist^encia de apenas URLs, podendo tambem contribuir para a pesquisa de informac~ao mais pormenorizada, tais como enderecos de correio electronico, documentos publicados electronicamente e ate mesmo paginas da WWW. Torna-se ainda possvel a ltragem de informac~ao, o controlo de acesso de acordo com regras estipuladas, a manutenc~ao de privaciade e a autenticac~ao dos recursos, tema t~ao em voga actualmente. O servico de URCse um tema que tem levado algum tempo a ser concretizado uma vez que, devido ao seu grau de integrac~ao, a sua estabilizac~ao envolve a denic~ao de uma serie de normas e generalizac~oes e de modicac~oes que afectam o proprio funcionamento da WWW. 2 Do ingl^es Universal Resource Locator. 3 Do ingl^es Universal Resource Name. 4 Do ingl^es Universal Resource Characteristic.

16 Captulo 1. Introduc~ao Servicos n~ao integrados Dentro dos servicos n~ao integrados incluem-se os catalogos e os motores de pesquisa. Nos primeiros s~ao feitas divis~oes estanques sobre assuntos de interesse geral. Estes servicos envolvem uma forte componente humana, constituindo um forma bastante eciente de procurar aquilo que se pretende, carecendo no entanto de totalidade, ou seja, e bem possvel encontrar algo que se pretende, mas longe de encontrar tudo o pretendido. Os motores de pesquisa baseiam-se no princpio da busca exaustiva da informac~ao atraves de robots que a colectam e que sera indexada em bases de dados locais. A grande diculdade destes servicos e a gest~ao das gigantescas bases de dados geradas, apesar da eliminac~ao de grande parte da informac~ao atraves das tecnicas que veremos mais a frente. Actualmente os motores de pesquisa constituem o ponto de partida principal para a pesquisa na WWW. 1.5 Objectivos da tese A descoberta de recursos de informac~ao e um tema que tem que ser tomado com bastante preocupac~ao dado o crescimento vericado na WWW. Talvez por isso, os investigadores tenham sido apanhados de surpresa ao n~ao preverem a situac~ao caricaticamente caotica existente actualmente. Os servicos integrados constituem, sem duvida, a soluc~ao por excel^encia, ja que, conseguem abordar o problema da procura de recursos, e incluir outro tipo de metainformac~ao. Por outro lado, e sabido que a WWW sofrera alterac~oes, se bem que n~ao se sabe ate que ponto. Fazendo uma abordagem de fundo, e possvel resolver as quest~oes actuais e evitar que outros problemas surjam no futuro. Os motores de pesquisa baseiam-se num conceito muito simples: a concentrac~ao, ou seja, percorrer a WWW e concentrar a informac~ao. Actualmente as empresas de desenvolvimento de motores de pesquisa na WWW est~ao a concentrar os seus esforcos no sentido de colocar em pratica a melhor utilizac~ao das tecnicas de Recuperac~ao de Informac~ao 5 (RI) [Cro95]. Em ambos os tipos de servicos aqui apresentados, a necessidade em adquirir informac~ao e uma caracterstica comum. Informac~ao essa que precisa de ser indexada de alguma forma, de tal modo que permita a pesquisa em tempos aceitaveis. Este e um problema que ja tem sido abordado muito antes da exist^encia da WWW pela ci^encia de Recuperac~ao de Informac~ao O presente trabalho tem como orientac~ao a descoberta de recursos de informac~ao na WWW, partindo dos conceitos associados a RI e tendo em vista um possvel aproveitamento das conclus~oes que sejam retiradas deste trabalho, por qualquer um dos 5 Do ingl^es Information Retrieval

17 Captulo 1. Introduc~ao 7 servicos de descoberta de recursos referidos, ou seja o aproveitamento de tecnicas de indexac~ao e a disseminac~ao de informac~ao numa rede de servidores que constituem o sistema. Para isso, foram tomadas como ideias base os aspectos fundamentais que cada um dos servicos aproveita melhor. Pretende-se, ent~ao, construir e vericar o desempenho de um sistema que alie o poder de aquisic~ao e concentrac~ao de informac~ao de um motor de pesquisa, a uma divis~ao de documentos, comparavel a classicac~ao realizada pelos catalogos, tirando todo o partido de uma base de dados distribuda. Note-se que os resultados deste trabalho poder~ao servir de base tanto para investigac~oes ao nvel dos servicos integrados, uma vez que e focado o aspecto da distribuic~ao de ndices, e para os servicos n~ao integrados pois a classicac~ao automatica e a distribuic~ao das bases de ndices constituem uma inovac~ao a este nvel, sendo esta uma das maiores lacunas destes sistemas. O sistema sera construdo como um banco de teste, a m de poderem ser tiradas as conclus~oes necessarias para a possibilidade de viabilidade em ambiente laboratorial. Naturalmente, alguns pormenores ser~ao desprezados, dada a extens~ao de materias abrangidas pelo estudo. E dada particular import^ancia aos resultados experimentais, pois so atraves destes sera possvel extrair algum tipo de conclus~oes. Sera o objetivo nal confrontar a diferenca de tempos de desempenho, quer em calculos quer em transporte pela rede, e o desempenho das tecnicas utilizadas entre um sistema centralizado e distribudo a m de vericar a possibilidade de sucesso da distribuic~ao das bases de dados. 1.6 Resumo dos captulos seguintes O texto que se segue, toma uma sequ^encia logica desde a introduc~ao aos sistemas de RI ate a apresentac~ao dos resultados e respectivas conclus~oes. Assim, no captulo 2e apresentado o pano de fundo que rodeia a RI, denindo conceitos actualizados e apresentando o esquema geral de recuperac~ao de informac~ao, descrevendo os passos necessarios para uma aquisic~ao de informac~ao e sua devoluc~ao efectiva. No captulo 3 s~ao descritos os modelos conceptuais disponveis na RI e as suas caractersticas, dando particular relev^ancia ao modelo do espaco vectorial e ao modelo de aglomerac~ao. E ainda, referido o processo de avaliac~ao de sistemas de RI e a forma como devem ser apresentados os resultados para uma melhor comparac~ao entre as tecnicas. O captulo 4 e dedicado a descric~ao da plataforma implementada para a concretizac~ao dos objectivos que este trabalho se prop~oe. E feito um resumo de alguns dos sistemas disponveis actualmente. S~ao desenvolvidos os aspectos que levaram a

18 Captulo 1. Introduc~ao 8 selecc~ao das tecnicas de RI nas suas diversas fases e, ainda, os pormenores de implementac~ao que tiveram que ser tomados em conta para a optimizac~ao do sistema. O captulo seguinte e dedicado a descric~ao e analise de todos os testes efectuados com a colecc~ao Craneld. S~ao apresentados resultados da eci^encia e ecacia do sistema. Por ultimo s~ao retiradas as conclus~oes do presente trabalho com base nos resultados obtidos e apresentadas sugest~oes para trabalho futuro.

19 Captulo 2 Recuperac~ao de Informac~ao A Recuperac~ao de Informac~ao (RI) e a area que tem como nalidade a aquisic~ao, armazenamento e devoluc~ao de informac~ao perante uma especicac~ao dada por um utilizador. Apesar de n~ao ser explcito no nome, as tecnicas inerentes a RI t^em caracter automatico, colocando de parte, desde logo, qualquer interacc~ao humana no processo de devoluc~ao de informac~ao. N~ao confundir, no entanto, uma das tecnicas utilizadas na RI, chamada realimentac~ao de relev^ancia 1 que tira partido de informac~oes dadas pelo utilizador depois de ja ter sido disponibilizada a informac~ao pretendida. O tipo de recursos envolvidos podem ir desde texto, imagens, som ou video [Man97]. No entanto, no que respeita ao tema da tese, apenas sera abordado o primeiro tipo. O aspecto mais importante da RI e que esta n~ao informa o utilizador acerca do assunto a que o seu pedido se refere, mas sim acerca da exist^encia ou n~ao desse assunto e a sua localizac~ao em algum recurso que o sistema rera [vr79]. Frequentemente a RI e confundida com Recuperac~ao de Dados (RD). Vejamos as principais diferencas esquematizadas na Tabela 2.1 [FBY92, vr79]. Ao contrario do que sucede num sistema de Recuperac~ao de Dados (RD), os sistemas de RI executam operac~oes de comparac~ao entre os objectos de dados de forma parcial, ou seja, a comparac~ao e feita com base na optimizac~ao de uma func~ao de dois argumentos, que s~ao substitudos pelos objectos de dados. A metrica de comparac~ao e baseada em dados estatsticos, como seja a frequ^encia de palavras em cada objecto de dados. Como resultado obtemos ent~ao a devoluc~ao de um conjunto de itens considerados relevantes, enquanto que no sistema de RD, s~ao devolvidos os itens resultantes de uma comparac~ao precisa, sendo por isso sensvel a falhas. No que respeita as interrogac~oes, nos sistemas de RI, para alem de n~ao necessitarem de uma especicac~ao completa, podem tambem ser descritas atraves de linguagem natural. 1 Do ingl^es relevance feedback. 9

20 Captulo 2. Recuperac~ao de Informac~ao 10 Recuperac~ao de Dados Recuperac~ao de Informac~ao Objecto de Dados Tabela Documento Comparac~ao Exacta Parcial, Melhor Infer^encia Deduc~ao Induc~ao Modelo Determinstico Probabilstico Linguagem da Articial Natural interrogac~ao Especicidade da Completa Incompleta interrogac~ao Itens Desejados Por comparac~ao Por relev^ancia Resposta a Erros Sensvel Insensvel Tabela 2.1: Comparac~ao entre a Recuperac~ao de Informac~ao e a Recuperac~ao de Dados 2.1 Denic~oes Para se compreender melhor o funcionamento e a constituic~ao estrutural de um sistema de RI, vamos assentar algumas denic~oes importantes que ser~ao usadas ao longo deste texto. Um documento e o elemento fundamental de um sistema de RI, e este que o utilizador pretende adquirir. A descric~ao da informac~ao que o utilizador deseja e chamada a interrogac~ao. Os documentos que cont^em informac~ao relacionada com uma interrogac~ao s~ao designados documentos relevantes. Um conjunto elevado de documentos constitui uma colecc~ao. Como apenas ser~ao abordados documentos textuais, estes podem ser cheiros de texto, recursos da WWW ou apenas um conjunto relativamente pequeno de paragrafos, como e o caso de algumas colecc~oes de teste, que s~ao utilizadas na avaliac~ao do desempenho de um sistema de RI. Num sistema de RI, os documentos assumem duas formas: o documento original que constitui a colecc~ao, e que e o objectivo do utilizador e a representac~ao interna que e feita do documento, que naturalmente e uma simplicac~ao do primeiro. Enquanto n~ao surgir o risco de confus~ao chamar-lhe-emos documento a ambas as formas. Cada documento e constitudo por um conjunto de termos, ou seja, por palavras, as quais, para se obter a representac~ao do documento, s~ao sujeitas a um tratamento especial, como veremos na secc~ao 2.5. A construc~ao de um sistema de RI e sempre feito tendo em vista a optimizac~ao dos algoritmos que manipulam as estruturas de dados que conter~ao a informac~ao necessaria para o seu funcionamento. A optimizac~ao e feita sob dois pontos de vista: eci^encia 2 e ecacia 3. Enquanto que a primeira mede o modo como s~ao aproveitados os recursos computacionais, como o tempo de processamento, memoria necessaria 2 Do ingl^es eciency. 3 Do ingl^es eectiveness.