Sistema de Banco de Dados Distribuídos e DataGrid

Transcrição

1 Sistema de Banco de Dados Distribuídos e DataGrid Leandro Melo de Sales Mário Hozano Lucas de Souza Trabalho para obtenção de nota da disciplina Banco de Dados Professor: Marcus Sampaio 25 de abril de 2006

2 Roteiro Introdução 1 Introdução

3 Contextualização Contextualização Tecnologias relacionadas DataGrid Aplicações Informações espalhadas em diversos lugares do mundo podem ser disponibilizadas utilizando a Internet. Estas informações diferem na forma de armazenamento... na forma de acesso... no seu conteúdo

4 Contextualização Contextualização Tecnologias relacionadas DataGrid Aplicações Informações espalhadas em diversos lugares do mundo podem ser disponibilizadas utilizando a Internet. Estas informações diferem na forma de armazenamento... na forma de acesso... no seu conteúdo

5 Contextualização Contextualização Tecnologias relacionadas DataGrid Aplicações A integração de informações que estão espalhadas em diversos pontos requer uma infra-estrutura capaz de manipular os dados armazenados. Mecanismos necessários: Replicação/fragmentação de dados Suporte à transação Política de acesso (segurança)

6 Contextualização Contextualização Tecnologias relacionadas DataGrid Aplicações A integração de informações que estão espalhadas em diversos pontos requer uma infra-estrutura capaz de manipular os dados armazenados. Mecanismos necessários: Replicação/fragmentação de dados Suporte à transação Política de acesso (segurança)

7 Tecnologias relacionadas Contextualização Tecnologias relacionadas DataGrid Aplicações O que é um SGBD distribuído? É um sistema que define um conjunto de sites fracamente acoplados que compartilham informações de uma base de dados definida. [3]

8 Tecnologias relacionadas Contextualização Tecnologias relacionadas DataGrid Aplicações O que é Grid? É uma plataforma heterogênea, de alta dispersão geográfica, que permite o compartilhamento de recursos computacionais. [2]

9 DataGrid Introdução Contextualização Tecnologias relacionadas DataGrid Aplicações Reunindo as características de um SGBD distribuído com os recursos providos em um Grid torna-se possivel: Gerenciamento eficiente de informações Fácil armazenamento e acesso aos dados Replicação Fácil integração de dados

10 DataGrid Introdução Contextualização Tecnologias relacionadas DataGrid Aplicações Reunindo as características de um SGBD distribuído com os recursos providos em um Grid torna-se possivel: Gerenciamento eficiente de informações Fácil armazenamento e acesso aos dados Replicação Fácil integração de dados

11 Grid Introdução Contextualização Tecnologias relacionadas DataGrid Aplicações

12 DataGrid Introdução Contextualização Tecnologias relacionadas DataGrid Aplicações

13 Exemplo de aplicações Contextualização Tecnologias relacionadas DataGrid Aplicações Bibliotecas digitais (Proj. DataGrid) Integração de dados (Proj. SegHidro, BaBar) Publicação de grandes quantidades de dados Large Hadron Collider - LHC (CERN)

14 Problemas a serem discutidos Contextualização Tecnologias relacionadas DataGrid Aplicações Disponibilização de grandes quantidades de dados (usando ou não SGBDs) Acesso transparente Replicação e transação Otimização de consultas Segurança dos dados

15 Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Em SGBDs o acesso aos dados é feito através de mecanismos de consulta pré-definidos Em DataGrid, este acesso é disponibilizado como serviço Informações de conteúdo Em ambos os casos são armazenados informações acerca dos dados disponíveis e como é possível acessá-los.

16 Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Em SGBDs o acesso aos dados é feito através de mecanismos de consulta pré-definidos Em DataGrid, este acesso é disponibilizado como serviço Informações de conteúdo Em ambos os casos são armazenados informações acerca dos dados disponíveis e como é possível acessá-los.

17 Metadados Introdução Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD O que são metadados? São dados capazes de descrever outros dados, ou seja, dizer do que se tratam, dar um significado real e plausível a um arquivo de dados. wikipedia.org

18 Metadados Introdução Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Os metadados são utilizados para informar: O que está sendo armazenado Como os dados estão armazenados Onde são armazenados Desta forma um catálogo de metadados pode: Ter acesso independente dos dados Ser disponibilizado em um local diferente

19 Serviço de diretório Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD O que é um diretório? Repositório que contém informações geralmente descritivas, baseadas em atributos. Tais informações raramente são alteradas, porém frequentemente lidas. softwarelivre.org

20 Serviço de diretório Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Por que utilizar? Grid é um ambiente heterogêneo Várias fontes de dados Gerenciamento de réplicas Método padronizado de acesso a arquivos independente de como estão disponíveis

21 Serviço de diretório Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Características: Resposta rápida a um grande volume de consultas Mecanismo eficiente de replicação de informações Protocolo de comunicação padronizado (RFC2251) Objetivo: Obter alta disponibilidade de informação Confiabilidade

22 Serviço de diretório Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Características: Resposta rápida a um grande volume de consultas Mecanismo eficiente de replicação de informações Protocolo de comunicação padronizado (RFC2251) Objetivo: Obter alta disponibilidade de informação Confiabilidade

23 Serviço de diretório Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Um serviço de diretório bastante disseminado é o Lightweight Directory Access Protocol - LDAP. Acessando conteúdo Uma vez que os dados estão armazenados em SGBDs, como acessá-los via LDAP?

24 Serviço de diretório Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Um serviço de diretório bastante disseminado é o Lightweight Directory Access Protocol - LDAP. Acessando conteúdo Uma vez que os dados estão armazenados em SGBDs, como acessá-los via LDAP?

25 Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Ponte de comunicação LDAP/SGBD A ligação entre um servidor LDAP e um determinado SGBD é realizada através de drivers. Drivers LDAP Os drivers LDAP são capazes de traduzir uma consulta SQL em consultas LDAP e virce-versa.

26 Metadados Serviço de diretório Ponte de comunicação LDAP/SGBD Ponte de comunicação LDAP/SGBD Base de Dados Local Figura: Comunicação entre LDAP e SGBD

27 Componentes do DataGrid Componentes do DataGrid Arquitetura Consulta Transação Replicação Aplicação Cliente: Um software que gera consultas Interface de Acesso: Método de recuperar os dados de forma uniforme Infra-estrutura distribuída (grid): Provê o acesso transparente entre os nós do grid Dados: Informações distribuídas no grid em algum SGBD ou em arquivo

28 Arquitetura básica Componentes do DataGrid Arquitetura Consulta Transação Replicação Figura: Arquitetura básica de um DataGrid

29 Consulta em SGBD Componentes do DataGrid Arquitetura Consulta Transação Replicação Consulta SQL SGBD Dados SELECT dn, cn, sn, nome, senha, telefone1, telefone2 FROM empregado WHERE dn = example.com AND sn = joão dn cn sn nome senha telefone1 telefone2 joao@exemplo.com joao silva joao zgdd%2# Figura: Consulta simples em SGBD

30 Consulta em LDAP Componentes do DataGrid Arquitetura Consulta Transação Replicação Consulta LDAP Servidor LDAP Dados ldapsearch -x -b dc=examplo,dc=com sn=joão # LDAPv3 # base <dc=example,dc=com> with scope subtree # filter: sn=joao # # João Silva, example.com dn: cn=joão Silva,dc=examplo,dc=com cn: João Silva sn: Silva nome: João senha: zgdd%2# telefone1: telefone2: Figura: Consulta simples em LDAP

31 Consulta no DataGrid Componentes do DataGrid Arquitetura Consulta Transação Replicação SQL para LDAP ldapsearch... Consulta SQL BASENAME dc=exemplo,dc=com Driver de Conversão SQL/LDAP SELECT * FROM OPENQUERY( 'SELECT cn, sn, senha FROM ''LDAP://BASENAME/ cn=joão''') Servidor LDAP Driver de Mapeamento LDAP / SGBD comando ldap comando sql SGBD Dados Figura: Consulta no DataGrid

32 Transação em DataGrid Componentes do DataGrid Arquitetura Consulta Transação Replicação Apresenta o conceito de transação local e global Utiliza o protocolo 2-phase-commit Mensagem de controle e transferência de dados tratadas de forma independente Transações também são utilizadas para replicação de dados

33 Replicação em DataGrid Componentes do DataGrid Arquitetura Consulta Transação Replicação O LDAP fornece o serviço de replicação Tolerância a falha Diminuição de transferência de dados Diminuição do tempo de resposta Problemas O excesso de replicação pode gerar congestionamento na rede, pois, gerenciar réplicas é uma atividade complexa (atualização e controle de concorrência).

34 Replicação em DataGrid Componentes do DataGrid Arquitetura Consulta Transação Replicação O LDAP fornece o serviço de replicação Tolerância a falha Diminuição de transferência de dados Diminuição do tempo de resposta Problemas O excesso de replicação pode gerar congestionamento na rede, pois, gerenciar réplicas é uma atividade complexa (atualização e controle de concorrência).

35 Facilidades Introdução Facilidades Dificuldades DataGrids se adaptam na integração de grandes massas de dados: Consulta simples (SQL-LDAP) Acesso transparente a dados distribuídos Dados com diferentes tipos de armazenamento

36 Dificuldades Introdução Facilidades Dificuldades Por outro lado: Transações complexas Deve-se usar tecnologias diferentes (LDAP) Leitura antecipada pode não ser interessante Trabalhos relacionados Existem pesquisas que estudam o envio da aplicação cliente para o servidor de dados.

37 Dificuldades Introdução Facilidades Dificuldades Por outro lado: Transações complexas Deve-se usar tecnologias diferentes (LDAP) Leitura antecipada pode não ser interessante Trabalhos relacionados Existem pesquisas que estudam o envio da aplicação cliente para o servidor de dados.

38 I R. Moore, A. Rajasekar, and M. Wan. Data grids, digital libraries and persistent archives: An integrated approach to publishing, sharing and archiving data Felipe Barros Pontes. Virtualização de ambientes: provendo segurança em grids computacionais. Trabalho de de Curso, fevereiro Abraham Silberschatz, Henry F. Korth, and S. Sudarshan. Distributed Database System. Mc Graw Hill, 2005.

39 II H. Stockinger. Distributed database management systems and the data grid