MASSACHUSETTS INSTITUTE OF TECHNOLOGY SLOAN SCHOOL OF MANAGEMENT

Transcrição

1 MASSACHUSETTS INSTITUTE OF TECHNOLOGY SLOAN SCHOOL OF MANAGEMENT Integração de Sistemas de Informação: Fatores Tecnológicos, Estratégicos e Organizacionais Sistemas de Informação Global: Comunicações e Conectividade Entre Sistemas de Informação Primavera 2002 Aula 15 BANCOS DE DADOS HETEROGÊNEOS DISTRIBUÍDOS

2 SISTEMA DE CÂMBIO INTERNACIONAL DE ÚLTIMA GERAÇÃO (FXX) SISTEMAS COMERCIAIS NYC (x 20) LONDRES (x 20) SYDNEY (x 10) Renda Patrimônio Líquido Fixa Renda... Patrimônio Líquido Fixa Patrimônio Líquido PERGUNTAS DE EXEMPLO: QUAL O TOTAL DE NOSSAS AÇÕES DA IBM? QUAL O TOTAL DO ATIVO PERTENCENTE AO CAPITAL DE LONGO PRAZO E EM EXPOSIÇÃO? QUAL O TOTAL DO ATIVO E EXPOSIÇÕES ASSOCIADAS À ECONOMIA DO BRASIL? OUTRAS SITUAÇÕES SEMELHANTES: RELAÇÕES COM O CLIENTE ANÁLISE DE LUCRATIVIDADE (POR PRODUTO, SETOR DE ATIVIDADE ETC.) VISIBILIDADE DOS ATIVOS (INVENTÁRIO, EM TRÂNSITO ETC.) DATA WAREHOUSES (EM GERAL) POR QUE NÃO UM GRANDE BANCO DE DADOS?

3 POSSÍVEIS CONFIGURAÇÕES DE UM BANCO DE DADOS GLOBAL BANCO DE DADOS REGIONAIS SISTEMAS BANCO DE DADOS SISTEMAS SISTEMAS BANCO DE DADOS COMERCIAIS GLOBAL COMERCIAIS BANCO DE DADOS COMERCIAIS GLOBAL GLOBAL VIRTUAL VANTAGENS E DESVANTAGENS DE CADA ABORDAGEM COMPLICAÇÕES FUTURAS OS SISTEMAS COMERCIAIS USAM HARDWARE E SISTEMAS OPERACIONAIS DIVERGENTES (MAINFRAMES, MINI, PC). OS SISTEMAS COMERCIAIS USAM SOFTWARES DE SISTEMA DE GERENCIAMENTO DE BANCO DE DADOS (DBMS) DIVERGENTES AMBIENTE HETEROGÊNEO 3

4 SISTEMAS DE GERENCIAMENTO DE BANCO DE DADOS HETEROGÊNEOS DISTRIBUÍDOS (BANCO DE DADOS VIRTUAL GLOBAL) INTERFACE UNIFORME SIMPLES SISTEMAS DE GERENCIAMENTO DE BANCO DE DADOS HETEROGÊNEOS DISTRIBUÍDOS (HD DBMS) SISTEMA 1 SISTEMA 2 SISTEMA 3 BANCO DE DADOS 1 BANCO DE DADOS 2 BANCO DE DADOS 3 MODELO DE DADOS MODELO DE DADOS MODELO DE DADOS HIERÁRQUICO DE REDE RELACIONAL (EX.: IMS) (EX.: IDMS) (EX.: SQL) [ ] [ ] [ ] SISTEMAS DE LEGADO 4

5 VÁRIAS ABORDAGENS PARA BANCOS DE DADOS DISTRIBUÍDOS 1. MODO BATCH (LOTES) EXTRATO PERIÓDICO, SEM CONSULTA EVENTUAL DOWNLOAD, BANCOS DE DADOS DE SOMBRA, REDE-PEÃO EIS BD Corp BD Leste BD Oeste 2. INTERFACE HETEROGÊNEA ACESSO ON-LINE A UM ÚNICO BANCO DE DADOS SEM INTEGRAÇÃO COM O BANCO DE DADOS ACESSO RECORRE A UM ÚNICO MODELO DE DADOS; DBMS EX.: INTERFACE RELACIONAL PARA O SISTEMA DE REDES (IDMS/R) IDMS/R Interface (SQL) Relacional IDMS Interface de Rede ("Nativa") (para os Aplicativos Existentes) 5

6 VÁRIAS ABORDAGENS PARA BANCOS DE DADOS DISTRIBUÍDOS (continuação) 3. INTEROPERABILIDADE ACESSO A MÚLTIPLOS BANCOS DE DADOS; DBMS SEMELHANTE OU DIFERENTE SEM TRANSPARÊNCIA NA LOCALIZAÇÃO ESQUEMAS NÃO-INTEGRADOS BD1 (IMS: Inventário) Interface SQL 4. GATEWAY INTEGRAÇÃO PARCIAL: DBMS PREDOMINANTEMENTE HOMOGÊNEO GATEWAY PARA O DBMS HETEROGÊNEO SEM NENHUMA CONSULTA DISTRIBUÍDA BD2 (SQL: Folha de Pgto.) IBM BD 2 Oracle/IBM Interface SQL Oracle* Oracle/HP 6

7 VÁRIAS ABORDAGENS PARA BANCOS DE DADOS DISTRIBUÍDOS (continuação) 5. DDBMS HETEROGÊNEO ESQUEMA GLOBAL ÚNICO MODELO COMUM DE DADOS E LINGUAGEM DE CONSULTA ESQUEMA INTEGRADO VERDADEIRA CONSULTA DISTRIBUÍDA EX.: MULTIBASE 6. DDBMS HETEROGÊNEO ALIADO ESQUEMAS MÚLTIPLOS AUTONOMIA DOS COMPONENTES DE BANCOS DE DADOS VERDADEIRA CONSULTA DISTRIBUÍDA VERDADEIROS BANCOS DE DADOS HETEROGÊNEOS = No. 5 e No. 6 7

8 TAREFAS DESEMPENHADAS PELO DHDBMS 1. ACEITA CONSULTAS-PADRÃO E ATUALIZA AS SOLICITAÇÕES 2. DISTRIBUI AUTOMATICAMENTE A CONSULTA PARA OS BANCOS DE DADOS INDIVIDUAIS 3. TRANSFORMA EM SUBCONSULTAS NA LINGUAGEM LOCAL DBMS ADEQUADA 4. FORMULA SEQÜÊNCIA DE EXECUÇÃO E CIRCULAÇÃO DE DADOS (Otimização) 5. RESOLVE INCOMPATIBILIDADES ENTRE BANCOS DE DADOS (EX.: DÓLARES vs. LIBRAS vs. IENES) 6. RESOLVE INCONSISTÊNCIAS EM CÓPIAS COM AS MESMAS INFORMAÇÕES (EX.: 77 MASS AVE. vs. 50 MEMORIAL DRIVE) 7. UNE DADOS RECUPERADOS ÀS RESPOSTAS CONSOLIDADAS 8

9 COMENTÁRIOS E RESTRIÇÕES SOBRE UM DHDBMS 1. COMPONENTES SÃO OS SISTEMAS DBMS EXISTENTES, NÃO OS PROJETADOS PARA O DDBMS 2. COMPONENTES NÃO PODEM SER MODIFICADOS FACILMENTE POR QUE? 3. DEVE SER CAPAZ DE ADICIONAR E EXCLUIR COMPONENTES PARA O DHDBMS 4. NOÇÃO DE NÃO-INVASIVO 9

10 TRÊS ABORDAGENS DE ESQUEMA PARA DHDBMS EXIBIÇÃO PARA O USUÁRIO (DIAGRAMA EXTERNO) EXIBIÇÕES FOLHA DE PGTO. FUNCIONÁRIOS PROJETO MODELO DE DADOS GLOBAL (DIAGRAMA CONCEITUAL) ESQUEMAS INDEPENDENTES MATRIZ DIV 1 DIV 2 IMS IDMS SQL ARQUIVO LOCAL E SISTEMAS DBMS (DIAGRAMA INTERNO) 10

11 Necessidade: SOMA DE TODOS OS SALÁRIOS (CONSULTA GLOBAL) (RESPOSTA CONSOLIDADA) EXEMPLO DE MULTIBASE GERENCIADOR DE DADOS GLOBAL (LINGUAGEM GLOBAL / COMUM) (CONSULTA A UM ÚNICO SITE) Rede LOCAL DATABASE INTERFACE (LDI) INTERFACE DE REDE OTIMIZADOR TRADUTOR INTERFACE DE HOST (DADOS FORMATADOS) FORMATADOR DE DADOS (DADOS BRUTOS) INTERFACE DE REDE OTIMIZADOR TRADUTOR INTERFACE DE HOST FORMATADOR DE DADOS DBMS 1 LOCAL NYC, EUA DBMS N LOCAL TÓKIO, JAPÃO BD 1 (IMS) Salário ( $ ) BD 2 (SQL) Salário 11

12 MULTIBASE: RECURSOS DO MULTIBASE INTERFACE UNIFORME E DE RECUPERAÇÃO (DAPLEX) LINGUAGEM ÚNICA DE CONSULTA BANCOS DE DADOS HETEROGÊNOS DISTRIBUÍDOS PREEXISTENTES OBJETIVOS: GENERALIDADE, COMPATIBILIDADE E CAPACIDADE DE EXTENSÃO NÃO-INVASIVO: SEM NECESSIDADE DE MODIFICAÇÃO PARA SE APOIAR NOS SISTEMAS DE ARQUIVO OU APLICAÇÕES DO DBMS CAPACIDADES: INTEGRAÇÃO DE ESQUEMA DEFINE A EXIBIÇÃO GLOBAL DOS ESQUEMAS LOCAIS TRATAMENTO DE INCOMPATIBILIDADE DE DADOS MANTÉM E IMPÕE REGRAS PARA RECONCILIAR AS DIFERENÇAS OTIMIZAÇÃO DE CONSULTAS OTIMIZA LOCALMENTE E GLOBALMENTE (COMPENSANDO AS LIMITAÇÕES DO SISTEMA LOCAL INTERPRETAÇÃO DE CONSULTAS TRANSFERE DE DAPLEX PARA 12 LINGUAGENS DE CONSULTA LOCAL

13 INCOMPATIBILIDADES DO ESQUEMA PROBLEMAS (A SER DISCUTIDO NA PRÓXIMA SESSÃO) DIFERENÇAS EM: CONVENÇÃO DE NOMENCLATURA ESTRUTURAS DE DADOS SUBJACENTES ESCALAS / UNIDADES DESAPARECIMENTO DE DADOS VALORES DE DADOS CONFLITANTES REPRESENTAÇÕES (Masculino/Feminino, Homem/Mulher, M/F, 0/1) SOLUÇÕES: (MULTIBASE) UM MECANISMO DE VISUALIZAÇÃO, COM RENOMEAÇÃO, REESTRUTURAÇÃO LÓGICA E CONVERSÃO DE ESCALA, PODE RESOLVER OS PROBLEMAS DE DIFERENÇA BANCO DE DADOS AUXILIAR PODE SER ANEXADO AO ESQUEMA PARA RESOLVER DOIS OUTROS TIPOS DE PROBLEMAS 13

14 PROCESSAMENTO DE CONSULTA PROBLEMAS USA O PROCESSAMENTO PARALELO E MINIMIZA O PROCESSAMENTO E OS CUSTOS DE COMUNICAÇÃO QUESTÕES: CUSTOS DE CONSULTA LOCAL DIFEREM EM DIVERSOS SITES MUITOS DBMS NÃO ACEITAM A CRIAÇÃO DE BANCOS DE DADOS TEMPORÁRIOS PELO GDM RECURSOS DE CONSULTA LOCAL PODEM SER LIMITADOS DBMS LOCAIS QUE VARIAM EM RECURSOS DE OTIMIZAÇÃO SOLUÇÕES / ALTERNATIVAS ALTERNATIVA 1 : CONSULTA GLOBAL > A MENOR SUBCONSULTA POSSÍVEL EM UM ÚNICO SITE PODEM SER SUBCONSULTAS MÚLTIPLAS EM UM SITE, RESULTADOS CONSOLIDADOS NO GDM MAIS TRABALHO E COMUNICAÇÃO DE GDM, PORÉM SIMPLES ALTERNATIVA 2: CONSULTA GLOBAL > A MAIOR SUBCONSULTA POSSÍVEL EM UM ÚNICO SITE MENOS TRABALHO DE CONSOLIDAÇÃO, MENOS COMUNICAÇÃO MAIS NECESSIDADE DE SOFISTICAÇÃO DA LDI ALTERNATIVA 3: GERA UM PLANEJAMENTO EFICIENTE, PARTICIPAÇÃO DA LDI NA OTIMIZAÇÃO ENVIA OS RESULTADOS PARCIAIS AO GDM OU OUTRAS LDIs NECESSIDADE DA LDI ACEITAR CLASSIFICAÇÃO, REMOÇÃO DUPLA, CONSOLIDAÇÃO DE TEMPORÁRIOS MENOS TRABALHO PELO GDM, MENOS COMUNICAÇÃO GDM E LDI COMPLEXOS 14

15 GERENCIAMENTO DE TRANSAÇÃO (ATUALIZAÇÕES COMPLEXAS) PROBLEMAS DBMS DIFERENTES DIFERENTES MÉTODOS DE CONTROLE DE CONCORRÊNCIA DIFERENÇAS DE IMPLEMENTAÇÃO: TRATAMENTO DE OBSTRUÇÃO E BLOQUEIO DE GRANULARIDADE VALIDAÇÃO DE PROTOCOLOS PODE VARIAR DIFÍCIL DETECÇÃO DE OBSTRUÇÃO GLOBAL: PROCESSOS LOCAIS NÃO TÊM CONHECIMENTO SOBRE AS TRANSAÇÕES NÃO-LOCAIS PROCESSOS GLOBAIS NÃO TÊM CONHECIMENTO SOBRE AS TRANSAÇÕES LOCAIS SOLUÇÃO / ALTERNATIVAS PERMITE APENAS LEITURASEM GRAVAÇÕES. SEM PROBLEMAS DE CONTROLE DE CONCORRÊNCIA. PERMITE APENAS ATUALIZAÇÕES DE UM ÚNICO SITE USA MECANISMOS DE CONTROLE DE CONCORRÊNCIA LOCAL PRESSUPÕE QUE TODOS OS DBMS OFERECEM BLOQUEIO E VALIDAÇÃO BIFÁSICA DETECTA CONFLITOS POR TIME OUT. PERMITE ATUALIZAÇÕES DE VÁRIOS SITES. PODE EXIGIR MODIFICAÇÕES NO DBMS E O/S LOCAL. 15

16 RESUMO BANCOS DE DADOS HETEROGÊNEOS DISTRIBUÍDOS SÃO UMA REALIDADE EM MUITAS EMPRESAS PARA O QUE DER E VIER. MAIS ABORDAGENS PARA LIDAR COM A AGREGAÇÃO E O ACESSO COORDENADO TEM SIDO EVENTUAL. SISTEMAS DE GERENCIAMENTO DE BANCOS DE DADOS HETEROGÊNEOS DISTRIBUÍDOS (DHDBMS) ESTÃO EMERGINDO PARA ATENDER ÀS NECESSIDADES. 16