Atualização Automática de Web Sites Complexos

Transcrição

1 Atualização Automática de Web Sites Complexos Ciro Cirne Trindade 1,2, Márcio Lobo Netto 2 1 Universidade Metropolitana de Santos (UNIMES) R. da Constituição, 374 Vila Mathias Santos (SP) Universidade de São Paulo (USP) Av. Prof. Luciano Gualberto, Trav. 3, 158 Cidade Universitária São Paulo (SP) ciro@unimes.com.br, lobonett@lsi.usp.br Abstract. Nowadays, many companies, universities, etc. are using the WWW for communication and information dissemination purposes, generati ng large and complex web sites. The maintenance of updated information and the generation of efficient answers to queries are two of the greatest challenges for web sites managers. The purpose of this paper is to describe a data integration system that enables automatic update and efficient information retrieval in complex web sites through the use of XML as the information description language and the autonomous agents technology as the tool to reach the proposed goal. R e s u m o. Atualmente, várias empresas, universidades, etc. estão usando a WWW como meio de comunicação e disseminação de informação, produzindo web sites grandes e complexos. Manter a informação atualizada e produzir respostas eficientes a consultas são dois dos grandes desafios impostos aos gerenciadores de web sites. O propósito deste artigo é descrever um sistema para integração de que possibilita a atualização automática e recuperação eficiente de informação em web sites complexos utilizando XML como linguagem de descrição da informaçã o e a tecnologia de agentes autônomos como ferramenta para atingir o objetivo proposto. 1. Introdução O propósito deste artigo é propor um sistema de integração de que permita a atualização e a recuperação eficiente de informações em web sites de grandes corporações. Este tipo de web site é complexo, pois a estrutura e o fluxo de informação possuem as seguintes características:?? envolve diferentes tipos de informação (texto, vídeo e som), vários tipos de recursos (livros, artigos, transações eletrônicas, etc.) armazenados em qualquer formato (bancos de, arquivos texto, páginas HTML, etc.);?? depende da contribuição de várias pessoas em um processo permanente de coautoria;?? muitas vezes a mesma informação é usada em contextos diferentes;?? o mecanismo de comunicação é complexo devido à dispersão física, a quantidade de especialidades, e a quantidade de pessoas envolvidas.

2 Em web sites complexos, há um grande número de pessoas envolvidas ( webmasters, geradores de conteúdo, programadores, etc.) que geram um volume tão grande de informação que é fundamental o uso de uma estrutura de informação padronizada, controlada e planejada. Neste contexto, inúmeras questões surgem:?? como integrar as fontes de que compõem o web site??? como manter o conteúdo do web site atualizado??? como gerar mecanismos de busca eficientes? O propósito deste artigo é propor um sistema de integração de na web que responda a essas questões permitindo a atualização e a recuperação eficiente de informações em web sites de grandes corporações. Este sistema usa XML [W3C00] como linguagem comum para integração dos e a tecnologia de agentes autônomos para prover mecanismos de busca eficientes e a atualização automática do conteúdo do web site. Este artigo está organizado da seguinte forma: na próxima seção, algumas questões relacionadas à integração de na web são abordadas; na 3 a seção é apresentada a arquitetura do sistema proposto; na seção seguinte são definidas as características dos agentes de software responsáveis pela atualização e recuperação de informações no web site; na 5 a seção são discutidos alguns trabalhos relacionados; e, finalmente, na última seção são apresentadas as conclusões do trabalho. 2. Integração de Dados na Web Os principais problemas encontrados para a integração de na web são o grande volume, o dinamismo, a dispersão física e a heterogeneidade das fontes de que compõem o web site. Integrar esses em um único site, que chamaremos de portal, não é uma tarefa trivial, principalmente se as fontes de não forem estruturadas ou semi-estruturadas, o que dificulta a integração de esquemas. A literatura tem descrito vários trabalhos na área de integração de na web [Abi00] [Sal01]. Um sistema de integração de pode usar duas abordagens: virtual ou materializada. Na abordagem virtual as informações são extraídas das fontes de no momento de uma requisição, enquanto na abordagem materializada as informações são extraídas das fontes de, integradas e armazenadas em um repositório responsável por atender às requisições. Cada uma dessas abordagens tem suas vantagens e desvantagens. Na abordagem virtual os estão sempre atualizados, mas a recuperação destes pode ser lenta. Na abordagem materializada a recuperação dos é rápida, mas eles podem estar desatualizados ou inconsistentes. Um sistema de integração de ideal deve combinar as duas abordagens, onde algumas informações são extraídas, processadas e integradas a priori, e outras são extraídas e processadas no momento da requisição. As arquiteturas que têm se destacado para integração de na web são: a arquitetura de mediadores e a arquitetura de data warehouse. Na arquitetura de mediadores, que implementa a abordagem virtual, a consulta é submetida ao mediador que a decompõe em sub-consultas e as submete às fontes de. As sub-consultas produzidas pelo mediador são traduzidas para a linguagem de consulta das fontes de

3 por outros componentes do sistema chamados tradutores, que também são responsáveis por converter os das fontes de para o esquema de do mediador. A arquitetura de data warehouse, por sua vez, implementa a abordagem materializada, de forma que as consultas são feitas diretamente no warehouse. Dessa forma, não há a necessidade de acessar diretamente as fontes de no momento da consulta. O principal problema dessa arquitetura é manter os do warehouse consistentes com os das fontes de. Na próxima seção será apresentada a arquitetura do sistema de integração de proposto neste trabalho. 3. Arquitetura do Sistema A arquitetura do sistema de integração de na web ora proposto combina as abordagens virtual, implementada através de um mediador, e materializada, implementada através de um warehouse. A Figura-1 ilustra a arquitetura do sistema, onde o mediador, tendo conhecimento do esquema global dos integrados, determinará se a consulta deve ser feita no warehouse, diretamente nas fontes de ou em ambos. O mediador é responsável por decompor a consulta em sub-consultas, quando necessário, e encaminhá-las aos agentes de busca (vide a seção 4.1) que atuam sobre o warehouse e as fontes de. A atualização do warehouse será feita através de um outros agentes, chamados agentes de atualização (vide a seção 4.2), que deverão perceber qualquer alteração nas informações das fontes de que são replicadas no warehouse e reportá-las ao mesmo. Portanto, as atualizações não serão requisitadas pelo warehouse, mas sim informadas automaticamente pelos agentes de atualização. sub-consulta Portal resposta consulta Mediador resposta sub-consulta resposta Tradutor Dados XML Tradutor Dados XML atualizações Fonte de Fonte de Warehouse Dados XML Tradutor Dados XML Fonte de atualizações Figura-1: Arquitetura do sistema Este sistema parte do pressuposto que existe uma colaboração entre os administradores das fontes de e o responsável pelo sistema de integração desses. Essa colaboração visa diminuir ou, idealmente, eliminar o papel dos tradutores.

4 Nesse contexto, o responsável pelo sistema de integração deverá definir as informações que ele deseja manter integradas (esquema global) e os administradores das fontes de locais deverão definir os esquemas locais como um subconjunto do esquema global. É necessário que um subconjunto mínimo do esquema global seja implementado pelos esquemas locais. Esse subconjunto deve ser definido pelo responsável pelo sistema de integração em comum acordo com os administradores das fontes locais que deverão se comprometer a fornecer essas informações. XML será usada como linguagem comum para intercâmbio de e XML Schema [W3C01b] será usada para descrever os esquemas locais e global. Para definir qual o subconjunto mínimo do esquema global que cada fonte de deverá implementar, cada elemento não-folha do esquema global possuirá um atributo que indicará se o elemento é obrigatório ou não. Os elementos folha herdarão este atributo do seu pai. Como dito anteriormente, o ideal é que não fossem necessários tradutores, mantendo as informações nas fontes de representadas na linguagem de intercâmbio de informações do sistema (XML). Todavia, essa imposição pode impossibilitar a implementação de sistemas de integração baseados em grandes fontes de existentes em um outro formato. Nesse caso, será necessária a figura dos tradutores, que serão agentes responsáveis por manter uma visão dos pertencentes ao esquema local em XML. Dessa forma, as consultas serão feitas diretamente nessa visão mantida pelos tradutores que deverão possuir um mecanismo de atualização implementado através de agentes semelhante ao utilizado para manter o warehouse atualizado. Algumas pesquisas têm sido feitas para construção de tradutores semiautomáticos que extraem informações na web e as traduzem para XML [Liu99] [Sha00] [Fer01]. Os do sistema de integração serão armazenados num banco de nativo XML. Alguns produtos open source, como o 4Suite [4Su02], exist [exi02], XDB [Zvo02] e Xindice [Apa02a] estão disponíveis e serão avaliados para se determinar qual é o mais adequado ao sistema proposto. A linguagem de consulta que será utilizada no sistema dependerá do banco de escolhido para armazenar as informações. Algumas das opções de linguagem de consulta são XQL [W3C98], XPath [W3C99a] e XML Query [W3C01a]. O sistema de integração usará XSLT [W3C99b] como linguagem para definição de estilos e o processador Xalan [Apa02b] para converter as informações de XML para HTML. Todo conteúdo fixo do portal será gerado automaticamente a partir de transformações XSLT aplicadas sobre o conteúdo do warehouse pelo mediador. Na seção seguinte serão detalhados os mecanismos utilizados para produzir respostas eficientes a consultas e a manutenção das informações do sistema. 4. Os Agentes do Sistema Nessa seção são descritas as principais funcionalidades dos agentes autônomos envolvidos no sistema de integração de proposto. Esses agentes serão implementados como objetos distribuídos em Java e utilizarão RMI (Remote Method Invocation) como mecanismo de comunicação. [Mae95] descreve agentes autônomos

5 como sistemas computacionais que habitam algum ambiente complexo e dinâmico, sentem e agem autonomamente neste ambiente, e fazendo isso realizam um conjunto de objetivos ou tarefas para os quais eles foram projetados, e são essas as características dos agentes descritos a seguir. 4.1 Agentes de Busca Os agentes de busca do sistema atuarão sobre o warehouse e sobre as fontes de recebendo as sub-consultas geradas pelo mediador que, conhecendo do esquema de global do sistema, determinará se a consulta será feita diretamente no warehouse e/ou nas fontes de do sistema de integração. Esta decisão é baseada num atributo, chamado status, que todo elemento não-folha do esquema global possuirá indicando se seus filhos estarão no warehouse (status = 0 ou s t a t u s = 1), ou nas fontes de (status = 2). Os elementos com atributo status igual a 0, serão mantidos obrigatoriamente no warehouse e o valor deste atributo só poderá ser alterado pelo administrador do sistema através de uma alteração explícita no valor deste atributo no esquema global. Os elementos com status igual a 1 ou 2 poderão ter seu valor alterado pelo mediador que poderá verificar que um elemento, que inicialmente não está no warehouse (status = 2), tem sido acessado freqüentemente e decidir mantê-lo no repositório do portal, alterando seu status para 1, por questões de eficiência. O passo inverso também será possível. As sub-consultas geradas pelo mediador e executadas pelos agentes de busca serão sempre feitas sob uma base de XML, pois mesmo que as fontes de não sejam originalmente XML, os tradutores manterão um repositório local em XML segundo o esquema local de cada uma das fontes de. A Figura-2 ilustra as etapas do processo de uma consulta (1) gerada a partir do portal do sistema de integração. O mediador decompõe a consulta em sub-consultas (3) de acordo com o esquema global (2) do sistema. As sub-consultas são executadas pelos agentes de busca (4) que atuam sobre o warehouse e sobre as fontes de e retornam como resultado um arquivo XML (5). Os resultados das sub-consultas são integrados pelo mediador que submete o arquivo XML resultante (6) ao processador Xalan responsável por transformar (7) este arquivo em uma página HTML segundo uma folha de estilos XSLT. A página HTML é, então, exibida (8) pelo portal. Portal 1 8 página HTML 6 7 processador Xalan Warehouse 4 agente de busca 3 Mediador esquema global 5 4 agente de busca 4 agente de busca 4 agente de busca fonte de fonte de fonte de

6 Figura-2: Etapas de uma consulta Os agentes de busca deverão se adaptar a qualquer esquema de definido em XML Schema e poderão ser configurados para atuar sob uma fonte de específica. 4.2 Agentes de Atualização O sistema de integração proposto poderá possuir dois agentes de atualização de conteúdo, embora o ideal é que apenas um fosse necessário. O agente de atualização obrigatório é aquele que atualiza o warehouse. Na verdade, trata-se de uma comunidade de agentes, pois cada fonte de do sistema possuirá um agente monitorando seus. Esses agentes monitorarão fontes de em XML, sejam elas nativas ou mantidas pelos tradutores, e reportarão as atualizações que afetam os elementos mantidos no warehouse. Esses agentes, assim como os agentes de busca, devem se adaptar aos esquemas locais e atuarão sobre um conjunto predeterminado de fontes de. Caso seja necessária a figura dos tradutores, eles também serão implementados como agentes que manterão atualizado um repositório local cujas informações serão definidas pelo esquema local de cada fonte de e armazenadas em XML. Uma fonte de pode ser uma filial de uma empresa ou um departamento de uma universidade, ou seja, uma fonte de pode ser constituída por várias bases de heterogêneas. Portanto, o tradutor de uma determinada fonte de poderá ser composto por vários agentes tradutores, cada um responsável por monitorar uma base de específica da fonte, percebendo as alterações que ocorrem sobre esta base de e atualizando a banco de XML local. O grande desafio desses agentes será manter a consistência entre os no warehouse e os nas fontes de do sistema de integração. 5. Trabalhos Relacionados Diversos sistemas de integração de na web são descritos na literatura, dentre eles o ARIADNE [Amb98], MIX [Bar99], MOMIS [Ben01] e Garlic [Haa99]. O ARIADNE é um sistema para construção de mediadores que extraem e integram informações de várias fontes de na web. Esse sistema provê ferramentas para construir uma aplicação que permita acesso integrado a várias fontes de na web relacionadas a um domínio de interesse particular. O ARIADNE usa o sistema de representação de conhecimento LOOM para modelagem de. O sistema de mediadores MIX, MIX m, usa XML como modelo para intercâmbio de e DTDs XML para descrever seu esquema de. As visões do mediador são expressas em XMAS (XML Matching And Structuring Language), uma linguagem de consulta XML declarativa. O projeto MOMIS (Mediator Environment for Multiple Information Sources) tem como objetivo integrar de fontes de estruturados ou semi-estruturados. A integração de de fontes heterogêneas é feita de forma semi-automática por uma

7 ferramenta chamada SI-Designer, que utiliza uma extensão do modelo ODMG, ODM I 3, para representar a informação extraída e integrada. A descrição das fontes de (esquema local) é feita na linguagem ODL I 3, relacionada ao modelo ODM I 3. O SI- Designer suporta a criação de uma visão integrada das fontes usando XML. A comunicação entre os componentes do sistema (modelo de, tradutores e mediadores) é feita através da interface CORBA. O Garlic é um processador de consultas, ele otimiza e executa consultas SQL sobre diversas fontes de. Tradutores convertem os esquemas locais num esquema global descrito em GDL (Garlic Definition Language) que é uma variação da ODMG. Vários sistemas se propõem a integrar na web e sua grande maioria usa mediadores/tradutores para esse fim, mas eles não empregam a tecnologia de agentes autônomos nessas entidades em comunhão com padrões totalmente abertos como XML, XML Schema e XSLT e uma base de open source como acontece no sistema que estamos propondo. [Lós01] apresenta um sistema para integração de na web baseado em agentes e que usa XML como modelo comum para integração e intercâmbio de. Embora esta proposta use tecnologias semelhantes às apresentadas no sistema proposto nesse artigo, o enfoque é diferente, pois em [Lós01] os agentes são usados para tratar problemas relativos à geração e manutenção das definições da visão mediada (esquemas), enquanto na nossa proposta os agentes são usados para manter os atualizados e gerar mecanismos de busca eficientes. 6. Conclusões Através do sistema proposto neste artigo acreditamos ser possível responder às questões levantadas na Introdução deste trabalho:?? as informações serão integradas através de uma arquitetura de mediadores/ warehouse/tradutores baseada em agentes autônomos que usa XML como linguagem de estruturação e representação da informação;?? o conteúdo do web site será gerado automaticamente através de transformações XSLT sobre o warehouse que será mantido atualizado pelos agentes de atualização;?? é possível gerar mecanismos de busca eficientes tanto em termos de rapidez e consistência já que as consultas podem ser feitas diretamente num repositório local (warehouse) que conterá as informações mais importantes e freqüentemente acessadas do sistema e tais consultas serão sempre feitas sobre uma base de XML, o que permitirá aos agentes de busca tirar proveito da semântica embutida nesses para produzir respostas bem mais refinadas do que as que seriam possíveis quando realizadas sobre semi-estruturados, como HTML. Outro ponto a se destacar na nossa proposta é a utilização de padrões abertos na implementação do sistema. 6. Referências [4Su02] 4Suite.org. [on-line] URL: site visitado em maio, 2002.

8 [Abi00] Abiteboul, S. et al. Gerenciando na Web, Editora Campus, [Apa02a] The Apache XML Project. Apache Xindice. [on-line] URL: site visitado em maio, [Apa02b] The Apache XML Project. Xalan-Java version [on-line] URL: site visitado em maio, [Amb98] Ambite, J.L, et al. ARIADNE: a system for constructing mediators for internet sources, In: Proceedings of the ACM SIGMOD 98, Seatle, [Bar99] Baru, C. et al. XML-Based Information Mediation with MIX, In: Proceedings of the ACM SIGMOD 99, Philadelphia, [Ben01] Beneventano, D. et al. The MOMIS approach to Information Integration, In: Proceedings of the ICEIS 01, Setúbal, [exi02] exist Open Source XML Database. [on-line] URL: site visitado em maio, [Fer01] Fernández, M. et al. Publishing Relational Data in XML: the SilkRoute approach, IEEE Data Enginnering Bulletin, no. 24(2), [Haa99] Haas, L.M. et al. Transforming Heterogeneus Data with Database Middleware: beyond integration, IEEE D ata Engineering Bulletin, no. 1(22), [Liu99] Liu, L. et al. An XML-based Wrapper Generator for Web Information Extraction, In: Proceedings of the ACM SIGMOD 99, Philadelphia, [Lós01] Lóscio, B.F. et al. Using Agents for Generation and Maintenance of Mediators in a Data Integration System on the Web, In: Anais do XVI SBBD, Rio, [Mae95] Maes, Pattie. Artificial Life Meets Entertainment: lifelike autonomous agents, Communications of the ACM, no. 11(38), November, [Sal01] Salgado, A.C.; Lóscio, B.F.. Integração de Dados na Web, In: Anais da VI Escola Regional de Informática, São Carlos, [Sha00] Shanmugasundaram, J. e t a l. Efficiently Publishing Relational Data as XML Documents, In: Proceeding VLDB 00, Cairo, [W3C98] W3C. XML Query Language (XQL). [on-line] URL: setembro, [W3C99a] W3C. XML Path Language (XPath) Versão 1.0. [on-line] URL: recomendação W3C, novembro, [W3C99b] W3C. XSL Transformations (XSLT) Versão 1.0. [on-line] URL: recomendação W3C, novembro, [W3C00] W3C. Extensible Markup Language (XML) 1.0 (2 nd Edition). [on-line] URL: recomendação W3C, out, [W3C01a] W3C. XML Query Requirements. [on-line] URL: working draft W3C, fevereiro, [W3C01b] W3C. XML Schema Part 0: Primer. [on-line] URL: recomendação W3C, maio, 2001.

9 [Zvo02] Zvon.org. XDB: XML Database. [on-line] URL: site visitado em maio, 2002.