Recuperação de Informação

Transcrição

1 Recuperação de Informação OLINDA NOGUEIRA PAES CARDOSO 1 1 UFLA Universidade Federal de Lavras DCC Deparameno de Ciência da Compuação Cx. Posal 37 CEP Lavras (MG) olinda@comp.ufla.br Resumo: Recuperação de Informação é uma área da Ciência da Compuação ue lida com armazenameno auomáico e recuperação de documenos, ue são de grande imporância devido ao uso universal da linguagem para comunicação. Ese arigo apresena uma visão geral dos modelos, componenes e um méodo de avaliação dos sisemas de recuperação de informação. São descrios os componenes de um sisema, um méodo de avaliação e os modelos clássicos de recuperação de informação. É apresenada a realimenação de relevanes, uma imporane écnica para aumenar o desempenho dos sisemas de informações. Tópicos relacionados à área de recuperação de informação são brevemene descrios. Palavras-chave: Modelos de recuperação de informação, biblioecas digiais, bancos de dados exuais, realimenação de relevanes. 1 Inrodução Com o crescimeno do volume de publicações, ao longo dos anos, foram desenvolvidas écnicas de recuperação de informação para responder às necessidades dos usuários de biblioecas, radicionais ou digiais. A ferramena mais imporane para auxiliar o processo de recuperação é denominada índice, ue é uma coleção de ermos ue indicam o local onde a informação desejada pode ser localizada [Frakes (1992)]. Eses ermos devem ser organizados de forma a faciliar sua busca. Aualmene já não se pode falar em crescimeno do volume de publicações mas em uma verdadeira explosão. As biblioecas digiais, ue são publicações armazenadas e manipuladas eleronicamene, aparecem como um paradigma para melhorar a busca e apresenação de informações desejadas. Nese conexo são esudadas écnicas de digialização de objeos originados de fones heerogêneas, écnicas de armazenameno, processos de busca, recuperação e apresenação de forma amigável das informações. A indexação ainda é a principal ferramena para recuperação de informação. A crescene complexidade dos objeos armazenados e o grande volume de dados exigem processos de recuperação cada vez mais sofisicados. Diane dese uadro, recuperação de informação apresena a cada dia, novos desafios e se configura como uma área de significância maior. 2 Sisemas de recuperação de informação Recuperação de informação é uma subárea da ciência da compuação ue esuda o armazenameno e recuperação auomáica de documenos, ue são objeos de dados, geralmene exos. Um sisema de Recuperação de Informação (SRI) pode ser esruurado conforme a Figura 1 [Gey (1992)]. Documenos PROCESSO DE INDEXAÇÃO Índices PERDA DE INFORMAÇÃO Uma represenação dos documenos PROCESSO DE RECUPERAÇÃO Lisa de documenos recuperados Necessidade do usuário PROCESSO DE ESPECIFICAÇÃO DE CONSULTA Consula Figura 1: Componenes de um sisema de recuperação de informação

2 Os componenes do sisema incluem documenos, necessidades do usuário, gera a consula formulada, e finalmene o processo de recuperação ue, à parir das esruuras de dados e da consula formulada, recupera uma lisa de documenos considerados relevanes. O processo de indexação envolve a criação de esruuras de dados associados à pare exual dos documenos, por exemplo, as esruuras de arranjos de sufixos (PAT arrays) e aruivos inveridos, discuidas em [Frakes (1992)]. Esas esruuras podem coner dados sobre caracerísicas dos ermos na coleção de documenos, ais como a freüência de cada ermo em um documeno. O processo de especificação da consula geralmene é uma arefa difícil. Há freüenemene uma disância semânica enre a real necessidade do usuário e o ue ele expressa na consula formulada. Essa disância é gerada pelo limiado conhecimeno do usuário sobre o universo de pesuisa e pelo formalismo da linguagem de consula. O processo de recuperação consise na geração de uma lisa de documenos recuperados para responder a consula formulada pelo usuário. Os índices consruídos para uma coleção de documenos e são usados para acelerar esa arefa. Além disso, a lisa de documenos recuperados é classificada em ordem decrescene de um grau de similaridade enre o documeno e a consula. 2.1 Avaliação de sisemas de recuperação de informação Os sisemas de recuperação de informação podem ser avaliados aravés de consulas ue fazem pare de uma coleção de referência. Um exemplo é a conhecida coleção TIPSTER, usada na Tex RErieval Conference (TREC), descria em [Harman (1993)]. A TIPSTER é uma coleção de cerca de um milhão de documenos, obidos de várias fones, ais como o Wall Sree Journal. Nesa coleção há um conjuno de consulas e para cada consula é fornecido um conjuno ideal de documenos resposa, criado por especialisas nos emas envolvidos. Um SRI classifica os documenos recuperados para cada consula, de acordo com uma ordem de relevância gerando um veor resulado. Avalia-se o SRI aravés da comparação das resposas geradas por ese sisema e o conjuno ideal de resposas. Para isso, o veor resulado é examinado e comparado com o conjuno ideal, obendo-se dois índices de avaliação: precisão e revocação. Precisão é a fração dos documenos já examinados ue são relevanes, e revocação é a fração dos documenos relevanes observada denre os documenos examinados. A avaliação do modelo de um SRI pode ser observada por um gráfico com as médias precisão x revocação. O gráfico pode ser obido calculando-se a precisão para níveis aneriormene esabelecidos de revocação. A Figura 2 ilusra a forma geral de um gráfico precisão x revocação. Seja, N o conjuno de resposa ideal, N o número de documenos dese conjuno e R o veor resulado recuperado pelo SRI. Enão, Coleção de Referência Revocação = N R N Precisão = N R R Sisema de Recuperação de Informação P R E C I S Ã O 1.0 Veor Resulado Conjuno ideal de relevanes Figura 2: Processo de avaliação de um sisema de recuperação de informação 3 Modelos clássicos 0 R E V O C A Ç Ã O Sisema de Avaliação Gráfico Os modelos clássicos, uilizados no processo de recuperação de informação (booleano, veorial e probabilísico) apresenam esraégias de busca de documenos relevanes para uma consula (uery). Eses modelos consideram ue cada documeno é descrio por um conjuno de palavras chaves, chamadas ermos de indexação. Associa-se a cada ermo de indexação i em um documeno d j um peso w ij 0, ue uanifica a correlação enre os ermos e o documeno. Além dos modelos clássicos, modelos muio mais avançados de recuperação de informação em sido proposos ao longo dos anos, denre eses, desacam-se modelos baseados em bases de conhecimeno [Biwas 1.0

3 (1987)], lógica fuzzi [Booksein (1980)] e redes neurais [Kwok (1995)]. 3.1 Modelo Booleano Dada uma consula Q e um conjuno de documenos considerados relevanes para a Q, o índice aribuído aos documenos deve indicar ual documeno é mais relevane ue ouro, esabelecendo uma ordem de relevância. Esses índices são calculados com base na comparação enre a consula e os documenos. No modelo booleano os documenos recuperados são aueles ue conêm os ermos ue saisfazem a expressão lógica da consula. Uma consula é considerada como uma expressão booleana convencional formada com os conecivos lógicos AND, OR e NOT. Uma maneira direa de implemenar o modelo booleano seria [Salon (1989)]: assuma a exisência de uma lisa inverida na ual cada enrada corresponde a um ermo de indexação, ademais, a enrada i apona para uma lisa de documenos nos uais o ermo i ocorre. O conjuno de documenos recuperados pode ser obido pela inerseção das lisas inveridas de documenos, dos ermos ue aparecem na consula. Assim, somene documenos cujos ermos de indexação saisfazem a consula booleana são recuperados. Os principais problemas do modelo booleano são a ausência de ordem na resposa, e as resposas podem ser nulas ou muio grandes. As vanagens desse modelo são a facilidade de implemenação, e a expressividade complea das expressões. 3.2 Modelo veorial O modelo de espaço veorial, ou simplesmene modelo veorial, represena documenos e consulas como veores de ermos. Termos são ocorrências únicas nos documenos. Os documenos devolvidos como resulado para uma consula são represenados similarmene, ou seja, o veor resulado para uma consula é monado aravés de um cálculo de similaridade. Aos ermos das consulas e documenos são aribuídos pesos ue especificam o amanho e a direção de seu veor de represenação. Ao ângulo formado por eses veores dá-se o nome de θ. O cos θ deermina a proximidade da ocorrência. O cálculo da similaridade é baseado nese ângulo enre os veores ue represenam sim( d, ) = i= 1 i= 1 w w 2 id id w i i = 1 w 2 i o documeno e a consula, aravés da seguine fórmula [Salon (1988)]. Os pesos uanificam a relevância de cada ermo para as consulas (W i ) e para os documenos (W id ) no espaço veorial. Para o cálculo dos pesos W i e W id, uiliza-se uma écnica ue faz o balanceameno enre as caracerísicas do documeno, uilizando o conceio de freüência de um ermo num documeno. Se uma coleção possui N documenos e n i é a uanidade de documenos ue possuem o ermo i, enão o inverso da freüência do ermo na coleção, ou idf (inverse documeno freuency) é dado por: Ese valor é usado para calcular o peso, uilizando a N idf i = log n seguine fórmula: W id = fre( i,d) x idf i, ou seja, é o produo da freüência do ermo no documeno pelo inverso da freüência do ermo na coleção. As principais vanagens do modelo veorial são a sua simplicidade, a facilidade ue ele provê de se compuar similaridades com eficiência e o fao de ue o modelo se compora bem com coleções genéricas. 3.3 Modelo probabilísico O modelo probabilísico descreve documenos considerando pesos binários ue represenam a presença ou ausência de ermos. O veor resulado gerado pelo modelo em como base o cálculo da probabilidade de ue um documeno seja relevane para uma consula. A principal ferramena maemáica do modelo probabilísico é o eorema de Bayes [Van (1979)]. O modelo probabilísico é baseado no princípio probabilísico de ordenação (Probabiliy Ranking Principle), ue esabelece ue ese modelo pode ser usado de forma óima. Ese princípio é baseado na hipóese de ue a relevância de um documeno para uma deerminada consula é independene de ouros documenos. O princípio é o seguine: Se a resposa de um sisema de recuperação de referência a cada reuisição, é uma ordem de documenos classificada de forma decrescene pela probabilidade de relevância para o usuário ue submeeu a reuisição, onde as probabilidades são esimadas com a melhor precisão com base nos dados disponíveis, enão a efeividade geral do sisema para o seu usuário, será a melhor ue pode ser obida com base naueles dados. O modelo probabilísico considera um processo ieraivo de esimaivas da probabilidade de relevância. i

4 Devem ser calculados: P(+R d) a probabilidade de ue um documeno d seja relevane para uma consula e P(- R d) a probabilidade de ue um documeno d não seja relevane para uma consula. O documeno d é considerado relevane para a consula se P(+R d)> P(-R d), e o veor resulado é decidido com base num faor W d, definido por: W d P( + R = P( R d) d) Ese faor minimiza a média do erro probabilísico. Aravés do eorema de Bayes e esimaivas de relevância baseadas nos ermos da consula, pode-se chegar a seguine euação: sim( d, ) = W Onde: x i {0, 1}; d i= 1 W i = log r i (1-s i ) / s i (1-r i ); x W r i é a probabilidade de ue um ermo de indexação i ocorra no documeno, dado ue o documeno é relevane para a consula ; e s i é a probabilidade de ue um ermo de indexação i ocorra no documeno, dado ue o documeno não é relevane para a consula. O modelo probabilísico em como vanagem, além do bom desempenho práico, o princípio probabilísico de ordenação, ue uma vez garanido, resula em um comporameno óimo do méodo. Enreano, a desvanagem é ue ese comporameno depende da precisão das esimaivas de probabilidade. Além disso, o méodo não explora a freüência do ermo no documeno e ignora o problema de filragem de informação. 4 Realimenação de Relevanes = Exisem várias dificuldades para ue o usuário ransforme suas necessidades em uma consula devidamene formulada. Geralmene é a má formulação da consula ue prejudica o desempenho dos sisemas. Um méodo de abordar ese problema é considerar uma forma ineraiva de consrução da consula, onde o usuário formula uma consula inicial, examina o resulado diane de suas necessidades e se necessário melhora a formulação da consula. A esraégia mais popular para reformular consulas é chamada de realimenação de relevanes [Roberson (1976)], cuja idéia principal é como se segue. Após a monagem do veor resulado baseado na consula inicial, o usuário seleciona documenos de sua i i preferência. O sisema enão seleciona ermos perencenes aos documenos selecionados e uiliza eses ermos para reformular a consula. Ese processo de reformulação pode prosseguir com mais de uma ineração. A principal vanagem do méodo é ue após a primeira formulação o usuário inerage com o sisema absraindo-se do processo de formulação, simplesmene idenificando documenos como relevanes ou não. Oura vanagem é ue o méodo provê um processo conrolado de enfaizar alguns ermos e diminuir a imporância de ouros. 5 Tópicos especiais em recuperação de informação Nesa seção serão brevemene raados alguns ópicos adicionais freüenemene uilizados na modelagem de um SRI. Eses ópicos incluem: passagens, expansão de consulas, filragem de informação, caegorização e exração de informação, e visualização. 5.1 Passagens Em recuperação de informação geralmene o usuário necessia idenificar ual pare do documeno reornado aende sua necessidade de informação. Uma forma de apresenar esa informação ao usuário é dividir o documeno em porções menores denominadas passagens. Trabalhos recenes sugerem ue, no conexo de documenos com esruura inerna complexa, evidências a nível de passagens são imporanes para os sisemas de recuperação de informações. Em alguns casos, aplicar os algorimos de recuperação a passagens, e não a documenos compleos, resula em melhor desempenho do sisema [Callan (1996)]. A divisão dos documenos em passagens pode ser feia de rês formas. A primeira, considera passagens com caracerísicas de hieraruia dos documenos como senenças, parágrafos e seções. A segunda, considera passagens baseadas nas caracerísicas semânicas do coneúdo de pares do documeno, nese senido as passagens agrupam porções do exo ue raam de um deerminado assuno. A erceira, considera passagens como uma seüência conígua de palavras, esse ipo de passagem é chamada de janela e o número de palavras na seüência define o amanho da janela. 5.2 Expansão de consulas Um problema fundamenal em recuperação de informação é ue os auores nem sempre usam as mesmas palavras ue os usuários para descrever o mesmo conceio [Xu (1996)].

5 A imporância dese problema ende a diminuir com o aumeno do amanho da consula. Enreano, em muias aplicações, as consulas podem possuir uma peuena uanidade de ermos. Um caso exremo ocorre no conexo da Web, onde as consulas possuem ipicamene duas palavras. A expansão de consulas é um caminho para solucionar eses problemas. Para expandir a consula, pode-se usar realimenação de relevanes, mas isso reuer inervenção do usuário. Uma oura idéia seria a de expandir a consula de forma auomáica, ou seja, sem a inervenção do usuário. Para expandir uma consula é preciso buscar palavras com significados semelhanes aos ermos da consula e acrescenar ais palavras à consula original com o objeivo de melhorar o conexo da mesma. Duas abordagens podem ser adoadas: o uso de dicionários de sinônimos e o uso de palavras ue co-ocorrem com os ermos das consulas em documenos da coleção. No caso de dicionários de sinônimos os resulados obidos não são em geral muio bons. Melhorias consideráveis foram alcançadas uando considerou-se análise auomáica de ermos ue co-ocorrem em documenos da coleção. Ouro ópico imporane em expansão de consula é a uanidade de ermos adicionados a consula. Nos experimenos apresenados em [Harman (1992)] o melhor desempenho foi alcançado com adições enre 20 e 40 ermos, mas claramene ese número depende da coleção uilizada. 5.3 Filragem de informação O processo de filragem de informação consise em analisar um fluxo de informações ue chega, comparar os documenos nese fluxo com ópicos de ineresse do usuário e selecionar os documenos perinenes [Belkin (1992)]. Tipicamene o sisema funciona como um agene ineligene ue seleciona os documenos do fluxo de acordo com um perfil pré-definido do usuário, geralmene esáico. O problema pode ser abordado com modelagem clássica, mas exisem peuenas diferenças devido ao fao dos documenos serem dinâmicos, geralmene grandes, e das necessidades do usuário serem relaivamene esáicas. Os sisemas de filragem de informação geralmene dão uma maior ênfase na represenação das necessidades do usuário, iso é, na definição do perfil do usuário, o ue difere dos sisemas de recuperação de informação. Além disso, um problema ue parece alcançar maior desaue em filragem do ue em recuperação de informação é a represenação de dados não exuais. Uma comparação enre recuperação e filragem de informação é apresenada em [Belkin (1992)]. Os auores concluem ue: Filragem de informação e recuperação de informação são dois lados da mesma moeda, rabalham para ajudar pessoas a ober informações necessárias para execuar suas arefas. 5.4 Caegorização e exração de informação Caegorização é o processo de classificar documenos em caegorias pré-definidas. Sua maior aplicação em sido para aribuir caegorias a documenos e poseriormene uilizar esas caegorias para suporar recuperação e filragem de informação. As caegorias são definidas aravés de um peueno conjuno de caracerísicas e endem a ser mais esáicas ue os perfis em filragem de informação. Sisemas de recuperação de informação apresenam baixo desempenho no conexo de caegorização, principalmene devido ao vocabulário resrio ue descreve as caegorias e o vocabulário irresrio dos documenos [Yang (1994)]. Exração de informação é o problema de ober a parir de documenos algumas informações específicas. Como por exemplo, ober o nome de seüesradores e de víimas em aaues errorisas. Nese caso, a pare do documeno ue não é relevane pode ser ignorada. Geralmene o problema é abordado no conexo de coleções específicas. Uma abordagem para o problema é varrer o exo, buscando palavras chaves e exrair dos conexos onde ocorrem ais palavras a informação necessária. Várias alernaivas de raameno dese problema são apresenados em [Allen (1994)]. 5.5 Visualização Mesmo com as inerfaces mais avançadas, com relação a ineração com o usuário, expressar uma necessidade de informação é uma arefa difícil. Exise uma disância semânica enre a real necessidade do usuários e o ue ele expressa na consula formulada. Esa disância é provocada principalmene pelo limiado conhecimeno do usuário no universo da pesuisa. Além do problema de formulação da consula, o grande volume de dados presenes nos sisemas de recuperação de informação auais implica ue a apresenação dos resulados para o usuário ambém é uma arefa difícil. Faciliar a formulação de consula e a apresenação dos dados são problemas esudados na área de

6 visualização. O objeivo é desenvolv er mecanismos para apresenar visualmene os dados ao usuário, bem como permiir ue ese explore os dados de forma amigável. Experiências com abordagens alernaivas de visualização no conexo de recuperação de informação, com melhorias de desempenho dos sisemas, são apresenadas em [Dubin (1995)], onde é feia uma análise de inerfaces desenvolvidas especificamene para visualização de documenos, e [Nowell (1996)], onde são levanadas algumas alernaivas de cálculos para a similaridade enre documenos e consulas, e seus efeios na visualização dos resulados. 6 Conclusão Nese arigo, foi apresenada uma visão geral de modelagem em sisemas de recuperação de informação, onde foram descrios os rês modelos clássicos. Além dos modelos, alguns ópicos relacionados a área de recuperação de informação foram brevemene apresenados. O esudo da área de recuperação de informação é de grande uilidade para a comunidade de sisemas de informações em geral. De fao, com a explosão do número de documenos e usuários na Web, modelos para recuperação precisa de informações passaram a ser de muio maior imporância. 7 Referência Bibliográfica Allen, R. B. (Ed) ACM Transacions on Informaios Sysems Special Isuue on Tex Caegorizaion, Vol. 12, N o 3,1994. Belkin, J. N. & Crof, B. W. Informaion Rerieval and Informaion Filering: Two sides of he same Coin?, Comunicaions of he ACM, Vol. 35, N o 12,1992. Biwas, G., Bezdek, J., Marues, M. & Subramanian, V. Knowledge-Assised Documen Rerieval: II. The Rerieval Process, Journal of he American Sociey for Informaion Science (JASIS), Vol. 38, N o 2, Bookesein, A. Fuzzy Re uess: An Approach o Weighed Boolean Searches, Journal of he American Sociey for Informaion Science (JASIS), Vol. 31, N o 7, Callan, J. P. Passage-Level Evidence in Documen Rerieval, Proceedings of he 19 h ACM Conference on Research and Developmen in Informaion Rerieval (SIGIR), Dubin, D. Documen Analysis for Visualizaion, Proceedings of he 18 h ACM Conference on Research and Developmen in Informaion Rerieval (SIGIR), Frakes, W. B. & Baeza-Yaes, R. Informaion Rerieval Daa Srucures & Algorihms, Prenice Hall, Gey, F. Models in Informaion Rerieval. Folders of Tuorial Presened a he 19 h ACM Conference on Research and Developmen in Informaion Rerieval (SIGIR), Harman, D. Relevance Feedback Revisied, Proceedings of he 15 h ACM Conference on Research and Developmen in Informaion Rerieval (SIGIR), Harman, D. Overview of he Third Tex RErieval Conference(TREC-3), hp://wwwnlpir.nis.gov/trec/3_proceedings.hml, Kwok, K. L. A Nework Approach o Probabilisic Informaion Rerieval, ACM Transacions on Informaion Sysems, Vol. 13, N o 3, Nowell, L. T., France, R. K., Hix, D., Heah, L. S. & Fox, E. A. Visualizaion Search Resuls: Some Alernaives o Query-Documen Similariy, Proceedings of he 19 h ACM Conference on Research and Developmen in Informaion Rerieval (SIGIR), Roberson, S. E. & Spark Jones, K. Relevance Weighing of Search Terms, Journal of he American Sociey for Informaion Science (JASIS), Vol. 27, N o 3, Salon, G. & Bucckley, C. Term-weighing approaches in Auomaic Rerieval, Informaion Processing & Managemen, Vol. 24, N o 5, Salon, G. Auomaic Tex Processing: The Transformaion, Analisys, and Rerieval of Informaion by Compuer, Addison Wesley, Van Rijsbergen, C. J. Informaion Rerieval, Buerworhs, 2 nd ediion, Xu, J. & Crof, B. W. Query Expansion Using Local and Global Documen analysis, Proceedings of he 19 h ACM Conference on Research and Developmen in Informaion Rerieval (SIGIR), Yang, Y.. & Chue, C. G. An Example-Based Mapping Mehod for Tex Caegorizaion and Rerieval, ACM Transacions on Informaios Sysems Special Isuue on Tex Caegorizaion, Vol. 12, N o 3, 1994.