UM MEDIADOR PARA O PROBLEMA DE INTEGRAÇÃO DE DADOS AGROMETEOROLÓGICOS ABSTRACT

Transcrição

1 UM MEDIADOR PARA O PROBLEMA DE INTEGRAÇÃO DE DADOS AGROMETEOROLÓGICOS Gustavo da Rocha B. Pinto 1 Júlia Célia Mercedes Strauch 2 Lúcio Rogério Botelho 1 Lucietta Guerreiro Martorano 2 Jano Moreira de Souza 1,3 1 COPPE/UFRJ Coordenação do Programa de Pesquisa de Engenharia Prog. de Eng. de Sistemas e Computação Universidade Federal do Rio de Janeiro - Caixa Postal 68511, CEP: , Rio de Janeiro, RJ {gpinto, lucio, jano,}@cos.ufrj.br 2 EMBRAPA/Solos Empresa Brasileira de Pesquisa Agropecuária Rua Jardim Botânico, no. 1024, CEP , Rio de Janeiro, RJ {julia, 3 IM/UFRJ Instituto de Matemática, Universidade Federal do Rio de Janeiro Caixa Postal 68511, CEP: , Rio de Janeiro, RJ ABSTRACT This paper presents the X-ARC, a solution for existent difficulties in location and manipulation of agro meteorological data came from several organizations that collect, process and supplies them to other organizations. This solution consists in a mediation architecture that encapsulates two systems that manipulate structured and georeferenced data. The X-ARC is mediator composed of the following services: Meta schema manager, data publisher, data access manager, query processor, security manager and publication assistant. The data available for the X-ARC is done in XML (extended Markup Language). 1. INTRODUÇÃO Atualmente, é observada nas organizações de pesquisa em agrometeorologia, a redução acentuada de recursos técnicos e financeiros indispensáveis à investigação científica. Isto tem provocado um redirecionamento no planejamento dos projetos de pesquisa em agrometeorologia no sentido de intercâmbio de dados interinstitucionais. Um exemplo, são os projetos realizados pelo Centro Nacional de Pesquisas em Solos (Embrapa Solos), cujos estudos em agrometeorologia se fundamentam na análise de dados meteorológicos coletados por diversas instituições nacionais e regionais, a saber: o Instituto Nacional de Meteorologia (INMET); o Ministério da Aeronáutica através de suas Diretorias de Eletrônica e Proteção ao Vôo (DEPV); o Ministério da Marinha; a Agência Nacional de Energia Elétrica (ANEEL), e o Sistema Meteorológico do Rio de Janeiro (SIMERJ-Furnas). Cabe ressaltar que o desenvolvimento desses estudos requer um grande esforço dos profissionais no que tange a localização dos dados, a seleção das séries homogêneas, a realização de análises estatísticas e a utilização de modelos agrometeorológicos. Este grande esforço se faz necessário devido à falta de sinergia interinstitucional, os dados serem armazenados em formas variadas (arquivos, banco de dados, etc), que por sua vez são tecnicamente heterogêneos, distribuídos pela rede com diferentes protocolos de acesso. Nestes sistemas, os dados, em geral, estão em diferentes tipos e formatos (texto, tabelas, objetos, etc), apresentam diversas sintaxes e semânticas, e muitas vezes possuem diferentes capacidades de consulta, necessitando, inclusive, de uma consistência das séries históricas. A solução para este problema é encontrada no âmbito da tecnologia de Banco de Dados, sob diversas denominações: múltiplas bases de dados (MBD), base de dados federada e sistemas interoperáveis e mediador (SHETH, 1998). Elas têm por objetivo preservar os sistemas existentes, mantendo suas autonomias, através de um sistema que possui facilidades para o acesso e compartilhamento dos dados armazenados pelos sistemas locais. Nestas arquiteturas é adequado o uso da classificação dos usuários da perspectiva de utilização dos dados proposta por TOMASIC & SIMON (1997), em usuários provedores e consumidores de dados. Usuários provedores buscam tornar seus dados públicos, enquanto que usuários consumidores necessitam localizar estes conjuntos de dados, de acordo com um determinado critério, a fim de visualizá-los, consultá-los, e eventualmente extrair alguma informação de seu interesse. Esse autor denomina ainda de usuários intermediários aqueles que atuam em ambos papéis. Neste trabalho nos deteremos na arquitetura dos mediadores. Um mediador oferece acoplamento entre provedores e consumidores de dados através de serviços que tratam a questão semântica e sintática entre os objetos dos sistemas locais. Ele fornece uma visão uniforme dos recursos disponíveis para usuários em potencial, permitindo manipular esses recursos através de uma linguagem de alto nível. (WIEDERHOLD, 1992).

2 Um exemplo dessa arquitetura é o Le Select (XHUMARI et al., 1999; TANAKA et al., 2001), sucessor do Disco (TOMASIC et al., 1998), desenvolvidos pelo INRIA (Institut National de Reserche en Informatique et en Automatique). Assim como o Disco e sistemas semelhantes, o Le Select mantém os princípios gerais da arquitetura de mediadores que consiste em permitir que proprietários de recursos (fontes de dados e programas) publiquem seus recursos para a comunidade. Os dados são mantidos na forma original e não precisam ser copiados ou transformados para serem publicados. Estas arquiteturas não podem ser aplicadas totalmente ao domínio de agrometeorologia pois não são capazes de manipular dados georreferenciados, nem disponibilizá-los. Assim, este trabalho apresenta a arquitetura X-ARC, um mediador para a publicação de repositórios de dados agrometeorológicos, distribuídos, heterogêneos e autônomos. Nesta arquitetura o acesso aos dados e aos serviços de processamento é disponibilizado através de ambientes ligado a Rede Global. A X-ARC visa facilitar o acesso aos dados agrometeorológicos de forma a possibilitar o compartilhamento e a reutilização de dados. A principal característica dessa arquitetura consiste na gerência dos metadados empregando-os no processamento de uma consulta e na localização dos repositórios de dados de interesse dos usuários Para melhor compreensão este trabalho é organizado conforme a seguir. Na segunda seção é descrita a metodologia de desenvolvimento da X-ARC, na terceira seção é apresentado um estudo de caso na Embrapa Solos e os resultados alcançados, e na quarta seção as conclusões finais deste trabalhos. 2. METODOLOGIA PARA O DESENVOLVIMENTO DA X-ARC A X-ARC é baseada em uma arquitetura de mediadores que é capaz de fornecer acesso a fontes de dados heterogêneas e distribuídas (PINTO et al. 2001). Assim como em outras arquiteturas semelhantes utilizando mediadores, a X-ARC é composta por um componente global (mediador) e vários componentes locais (tradutores). O mediador acessa a informação compartilhada pelos componentes locais, gerenciando o acesso às fontes de dados locais e utilizando os tradutores que armazenam o mapeamento das fontes locais para o modelo de dados comum do mediador. Na X-ARC a abordagem da visão do mediador é virtual pois os dados permanecem nos repositórios locais que são acessados através de consultas. As consultas enviadas ao mediador são transformadas em subconsultas (nas linguagens de consulta de cada repositório) e enviadas para os repositórios locais. Cada resultado é então traduzido, filtrado e unido em um único resultado que é retornado para o usuário ou aplicação que originou a consulta inicial. Além de mediadores, a X-ARC utiliza ontologias para propiciar a interligação dos dados heterôgeneos aos seus domínios de aplicação específicos. Cada repositório de dados é associado a um conjunto de metadados que fornecem uma ontologia de domínio. Desta forma, é possível a identificação dos repositórios de dados correlatos e seus domínios de aplicação. Outro fator preponderante para o desempenho dos serviços da arquitetura é a gerência dos metadados, que auxiliam no acesso, gerenciamento e compartilhamento de grandes conjuntos de dados estruturados e nãoestruturados. Através destes é possível atingir a interoperabilidade entre as diversas fontes de dados heterogêneas e distribuídas manipuladas pela arquitetura. A arquitetura X-ARC permite aos usuários acessarem de maneira transparente repositórios de dados heterogêneos e distribuídos. Desta forma, os dados estruturados ou não-estruturados estão acessíveis através de uma linguagem de consulta padrão que permite a abstração do usuário sobre as diferenças de capacidade de execução de cada um dos repositórios envolvidos. Para suportar os diversos formatos existentes em cada repositório, a X-ARC utiliza a linguagem XML como padrão de intercâmbio de informação, provendo uma redução na heterogeneidade dos dados envolvidos. A arquitetura X-ARC encapsula dois sistemas intermediários para a execução de seus serviços e apoio à publicação dos dados: o Le Select, midleware do INRIA que manipula dados estruturados e semi-estruturados; e o ArcIMS que manipula dados georreferenciados. Ela é composta por dois componentes, o gerente e o participante (Figura 1), cujos papéis são apresentados a seguir: Gerente responsável por controlar os metadados sobre os repositórios de dados participantes da arquitetura. O gerente tem conhecimento (metadados) sobre todos os nós de informação existentes na rede. Desta forma, ele é capaz de direcionar os pedidos de consulta de dados aos nós adequados. O gerente não precisa ser consultado para um nó ter seu conteúdo acessado, entretanto a utilização das informações contidas no gerente garante que os dados disponíveis serão localizados;

3 Participante responsável por disponibilizar uma ou mais fontes de dados e prover o mapeamento entre o formato de armazenamento de cada fonte e o formato comum de dados da arquitetura. Devido à característica dos dados encapsulados pelo participante, ele se divide em dois tipos: descritivo que disponibiliza dados estruturados ou semi-estruturados armazenados em tabelas, textos, arquivos, etc.; espacial que disponibiliza dados espaciais georreferenciados. Figura 1 Componentes da X-ARC Em cada um dos componentes da arquitetura encontra-se um ou mais serviços que são responsáveis pela localização, integração ou gerenciamento dos repositórios manipulados pela arquitetura. Os serviços disponíveis na arquitetura e um breve resumo de suas funções são apresentados a seguir: Gerente de Meta-Esquema responsável por gerenciar os metadados sobre todas as fontes de dados manipuladas pela arquitetura. Permite consultar os dados existentes nos repositórios dos participantes. Através do dicionário de termos de domínio utilizado pela arquitetura, as fontes de dados que compõem a arquitetura são categorizadas segundo o domínio da aplicação e através desta classificação a X-ARC é capaz de auxiliar os usuários na localização dos dados; Publicação de Dados responsável pela publicação dos dados existentes em cada participante da arquitetura em um formato que possibilite o intercâmbio de dados. Atualmente adota-se a linguagem XML como a linguagem de intercâmbio de dados padrão, uma vez que sua estrutura é flexível e capaz de se adaptar aos diversos formatos dos dados; Acesso aos Dados responsável pelo acesso direto aos dados publicados pelos participantes da arquitetura. A tarefa deste serviço é de acessar os dados disponibilizados pelos participantes e de repassá-los para o serviço de publicação de dados para que sejam publicados; Processador de Consulta responsável pelo processamento das consultas enviadas à arquitetura. Neste serviço a consulta é re-escrita em subconsultas específicas para cada repositório, cada subconsulta é enviada para o nó que manipula o dado em questão e o resultado de cada subconsulta é unificado em um único resultado, que é enviado para o usuário que originou a consulta; Segurança responsável por garantir a segurança de acesso aos dados disponibilizados pelos nós participantes da arquitetura; Assistente de Publicação responsável por auxiliar os usuários, que por ventura desejam disponibilizar seus dados na arquitetura, na construção de um tradutor específico para seus dados. A partir deste serviço a publicação dos dados pelos usuários torna-se mais simples.

4 3. RESULTADOS E DISCUSSÃO Para exemplificar a aplicação do protótipo da X-ARC foi realizado um estudo de caso no projeto de Agricultura de Precisão, desenvolvido pela Embrapa Solos em Parceria com o IAPAR, o CIAGRI e a Fundação ABC, que necessitou da integração de dados agrometeorológicos produzidos em dois locais diferentes. O primeiro dado é obtido a partir de estações climáticas da Embrapa localizadas na região do projeto em questão, o segundo dado é a série histórica dos índices de pluviosidade ao longo dos anos. A seguir, é apresentado nas Figuras 2 e 3 a uma amostra dos dados envolvidos no estudo de caso, onde é possível observar a estrutura dos dados envolvidos. Figura 2 Exemplo dos dados gerados pela estação Figura 3 Exemplo dos dados da série histórica É importante ressaltar a heterogeneidade do formato em que os dados se apresentam. O primeiro é gerado pela estação em um arquivo texto delimitado e enviado para um computador que tem acesso à internet, enquanto o outro encontra-se armazenado em um arquivo ACCESS na própria Embrapa Solos. Outro detalhe importante, é a diversidade das informações que os compõem, ou seja, cada um fornece um conjunto diferente de informações. Para o exemplo em questão, a X-ARC foi configurada com dois participantes e um gerente, estando o gerente e um participante localizados na Embrapa Solos e um participante localizado no computador que recebe os dados gerados pela estação. A Figura 1 coincide com a configuração da X-ARC para o estudo de caso.

5 Após definida a configuração, torna-se necessário registrar as informaçãoes sobre os dados envolvidos em cada participante a fim de torná-los disponíveis. Assim, a Figura 4 apresenta o Assistente de Publicação de Dados que acompanha o usuário no processo de publicar os dados, capturando os metadados, gerando um tradutor e associando, com o auxílio do usuário, um termo de domínio para cada um dos dados. Figura 4 Assistente de Publicação de Dados Uma vez que os dados encontram-se disponibilizados pela X-ARC, a localização e o acesso a dados de precipitação torna-se fácil e uniforme, independente do formato e local em que se encontram. Para tal, um usuário que necessita de dados relacionados ao termo precipitação pode utilizar a X-ARC para localizar e recuperar os dados. A Figura 5 exibe a tela que o usuário utiliza para localizar os dados que necessita. Nesta tela o usuário escolhe o termo de domínio de seu interesse e em seguida a consulta é enviada para a X-ARC. Para o exemplo, a seguinte consulta é enviada para a arquitetura: SELECT * FROM <PRECIPITAÇÃO>. Figura 5 Consulta a dados de Precipitação O resultado da consulta é apresentado na Figura 6. Conforme pode ser observado os dados existentes nestes dois repositórios referentes ao mesmo dominio são integrados e disponibilizados virtualmente para os usuários da Embrapa Solos de forma uniforme. Caso seja necessário estes dados podem ser gravados para posterior processamento local.

6 4. CONCLUSÃO Figura 6 Resultado da consulta a dados de Precipitação em formato XML Nesse trabalho não cabe explicar a importância dos dados agrometeorológicos no auxílio à tomada de decisão em projetos de meio ambiente, nem de lembrar o custo e a dificuldade em obter tais dados, mas sim ressaltar a importância de soluções tecnológicas que apóiam a integração de dados. Sendo assim, foi apresentada a arquitetura aberta de mediação, denominada X-ARC, aplicada a repositórios de dados agrometeorológicos. A X-ARC é uma camada intermediária entre os repositórios de dados e as aplicações que consultam dados agrometeorológicos, sem que seja necessário integrar fisicamente os repositórios de dados. Ela oferece uma solução para as dificuldades existentes na localização e manipulação dos dados agrometeorológicos provindos de diversas organizações que os coletam, processam e os fornecem a outras organizações. Dentre os principais benefícios desta solução aplicada à agrometeorologia destacam-se uma maior cooperação entre os pesquisadores das organizações envolvidas no trabalho, a expansão dos repositórios de dados dos usuários, a redução no custo da aquisição de dados, a otimização do tempo no tratamento e seleção dos dados, e a não duplicação de dados existentes. 5. REFERÊNCIAS BIBLIOGRÁFICAS PINTO, G. R. B., et al., 2001, X-Arc Spatial Data Integration in the SPeCS Collaborative Design Framework, In: Proceedings of the Sixth International Conference on CSCW in Design, pp , London, Ontario, Canada, July. SHETH, AMIT P., 1998, Changing focus on interoperability in information systems: from system, syntax, structure to semantics, In: GOODCHILD, M. F., EGENHOFER, M. J., FEGEAS, R., KOTTMAN, C. A. (eds), Interoperating Geographic Information Systems, Kluwer Academic Publishers. TANAKA, A., VALDURIEZ, P., SIMON, E., et al., 2001, The Ecobase Project: Database and Web Technologies for Environmental Information Systems, ACM SIGMOD Record, v. 30, n. 3, pp TOMASIC, A., RASCHID, L., VALDURIEZ, P., Scaling Access to Heterogeneous Data Sources with DISCO, IEEE Transaction on Knowledge and Data Engineering, v. 10, n. 5, pp TOMASIC, A., SIMON, E., 1997, "Improving Access to Environmental Data Using Context Information, ACM SIGMOD Record, v. 26, n. 1, pp WIEDERHOLD, G., 1992, Mediators in the architecture of future Information Systems, IEEE Computer, v. 25, n. 3, pp

7 XHUMARI, F., AMZAL, M., SIMON, E., 1999, Le Select: a Middleware System for Publishing Autonomous and Heterogeneous Information Sources, disponível em