Sistemas de Gerência de Bancos de Dados. - Módulo 8b - Armazenamento e Recuperação de Dados Multimídia

Transcrição

1 Sistemas de Gerência de Bancos de Dados - Módulo 8b - Armazenamento e Recuperação de Dados Multimídia 1

2 Tópicos Introdução Servidores de Mídia Sistemas de Gerência de Bancos de Dados Multimídia 2

3 Introdução Características de aplicações multimídia / hipermídia: armazenamento: objetos com conteúdo muito longo recuperação: consultas por conteúdo dos objetos de mídia consultas envolvendo documentos hipermídia apresentação: sincronização intra-objeto sincronização inter-objetos QoS em geral interação: controle da apresentação dos objetos navegação hipermídia 3

4 Introdução Implicações para a construção de SGBDs: LDD / LMD: novos tipos de objetos e novos construtores e relacionamentos: mídia: básicos ou complexos discretos ou contínuos navegação apresentação interação 4

5 Introdução Implicações para a construção de SGBDs... armazenamento: métodos de armazenamento específicos por tipo de mídia (servidores de mídia) recuperação: métodos de indexação específicos por tipo de mídia (para facilitar recuperação por conteúdo) 5

6 Introdução Implicações para a construção de SGBDs... apresentação: métodos para controle de QoS / workload: sincronização intra-objeto sincronização inter-objetos interação: implementação dos objetos de interação: controle da apresentação dos objetos navegação hipermídia interfaces para formulação de consultas por conteúdo 6

7 Sistemas de Gerência de Bancos de Dados Servidores de Mídia 7

8 Tópicos Escalonamento de um Objeto Contínuo Escalonamento de Vários Objetos Contínuos Sub-Sistemas de Armazenamento com Discos Múltiplos Exemplo de um Sub-Sistema de Armazenamento Multimídia 8

9 Escalonamento de um Objeto Contínuo Modelo: FIFO lidos consumidos 9

10 Escalonamento de um Objeto Contínuo Padrão de leitura conhecido: permite solução exata para tamanho mínimo do buffer e para retardo mínimo leituras dados lidos dados no buffer starvation 10 dados consumidos

11 Escalonamento de um Objeto Contínuo Padrão de leitura conhecido: leituras retardo tamanho mínimo do buffer dados lidos dados no buffer dados consumidos 11

12 Escalonamento de Vários Objetos Contínuos Estratégia de Turnos (rounds) para um único disco: cada objeto tem direito a uma leitura em cada turno (a ordem dos objetos em cada turno pode variar) o volume de dados lidos deve ser suficiente para evitar que o buffer fique vazio antes do próximo turno 12

13 Escalonamento de Vários Objetos Contínuos Parâmetros: r c = taxa de consumo de um objeto p max = duração máxima de um turno = tempo máximo entre duas leituras para um objeto d max Implicações dos parâmetros: d max = retardo inicial máximo r c. d max = tamanho máximo do buffer = volume de dados consumidos entre duas leituras = volume de dados lidos antes do processo começar r c. p max = volume máximo de dados consumidos em cada turno processo "abre" objeto A processo inicia consumo do objeto A p max p max p max p max p max d max d max = tempo máximo que o buffer passará sem ser "abastecido" 13

14 Escalonamento de Vários Objetos Contínuos Implementação simples da estratégia de turnos: cada objeto possui um buffer de tamanho r c. d max ao sinalizar que há um novo objeto, buffers e tempo dentro de cada turno são alocados para o objeto r c.d max dados são lidos no primeiro turno após a sinalização processo começa a consumir o objeto após retardo de d max segundos em cada turno, o buffer é completado, lendo-se no máximo r c. d max dados processo abre objeto proc. inicia consumo do buffer retardo proc. lê r c.t c bytes t c p max p max p max p max p max d max read 1 buffer recebe r c.d max bytes read 2 buffer recebe r c.t c bytes 14

15 Escalonamento de Vários Objetos Contínuos Estratégias de escalonamento dos acessos ao disco: Round-Robin: os objetos são atendidos em uma ordem fixa estratégia comumente adotada para objetos contínuos SCAN: move a cabeça de leitura para dentro e para fora do disco, lendo os dados à medida em que passa pelos setores reduz tempo total de latência e maximiza transferência agregada EDF - Earliest-Deadline-First: cada pedido de leitura é associado a uma data-limite pedidos com as datas mais cedo são servidos primeiro 15

16 Discos Múltiplos d Retrieval supondo que um setor é a unidade de striping, o setor lógico N é quebrado em partes e armazenado nos setores físicos N dos discos stripes completas são lidas em paralelo, multiplicando assim a taxa agregada de transferência 16

17 Discos Múltiplos Cenário de Referência: configuração: número de discos = 1 carga: número de objetos = n taxa de consumo = r c parâmetros: duração do turno = p max retardo máximo = d max buffer space total = n.r c.d max 17

18 Discos Múltiplos Cenário 1: configuração: número de discos = k, idênticos com striped retrieval carga: número de objetos = n taxa de consumo = k.r c parâmetros: duração do turno = p max retardo máximo = d max buffer space total = n.k.r c.d max análise: como o número de objeto é o mesmo mas a taxa de consumo individual é k vezes maior, a taxa de consumo agregada será k vezes maior como há k discos idênticos com striped retrieval, a taxa de leitura agregada também será k vezes maior e a duração de cada leitura poderá se manter inalterada logo, a duração do turno e o retardo inicial permanecerão inalterados, mas o volume total de buffer space será k vezes maior 18

19 Discos Múltiplos Cenário 2: configuração: número de discos = k, idênticos com striped retrieval capacidade: número de objetos = k.n taxa de consumo = r c parâmetros: duração do turno = p max retardo máximo = d max buffer space total = n.k.r c.d max análise: como a taxa de consumo individual é a mesma mas há k vezes mais objetos a taxa de consumo agregada será k vezes maior como há k discos idênticos com striped retrieval, a taxa de leitura agregada também será k vezes maior e a duração de cada leitura poderá ser reduzida 1/k vezes logo, a duração do turno e o retardo inicial permanecerão inalterados e o volume total de buffer space será k vezes maior 19

20 Discos Múltiplos d Retrieval: seja n o número de objetos contínuos sendo servidos para striped retrieval, o tempo dos turno é O(n) o espaço de buffer de cada objeto é O(n) o espaço agregado reservado para buffers é O(n 2 ) 20

21 Discos Múltiplos Cycled Retrieval objeto A objeto B objeto C objeto D 21

22 Discos Múltiplos tempo disco 1 A B C D disco 2 A B C D disco 3 A B C D disco 4 A B C D Retrieval tempo disco 1 A B C D disco 2 A B C D disco 3 A B C D 22 disco 4 A B C D Cycle Retrieval

23 Discos Múltiplos Cycled Retrieval dados lidos cycle: dados são lidos em menor volume a intervalos menores stripe: dados são lidos em maior volume a intervalos mais espaçados tempo 23

24 Discos Múltiplos Cycled Retrieval: cycle requer menor espaço para buffers do que stripe dados em buffer stripe cycle tempo 24

25 Discos Múltiplos Cycled Retrieval: seja n o número de objetos contínuos sendo servidos para cycled retrieval, o tempo dos turno é O(n) o tempo de retardo é O(n) o espaço agregado reservado para buffers é O(n) 25

26 Discos Múltiplos Replicação de Dados Título A Título A Título A Título A Título C Título B Título C Título C Título D Título E Título F Título G 26

27 Discos Múltiplos Replicação de Dados: vantagens: acomoda crescimento de carga de forma simples (replicando os objetos mais acessados em novos discos) desvantagens: o número de réplicas de cada objeto, e não a capacidade agregada do sistema, define o número de usuários que pode ser atendido não acomoda facilmente flutuações na demanda por objetos específicos (que devem ser replicados para tal) 27

28 Discos Múltiplos Arquitetura Híbrida cycled striped cycled striped replicated 28

29 Resumo d Cycled Replicated Reinício Instantâneo sim não sim expansão fácil não não sim retardo O(n) O(n) O(1) espaço para buffers O(n 2 ) O(n) O(n) 29

30 Um Sub-Sistema de Armazenamento Multimídia Arquitetura servidor cliente client proc. network proc. buffer cache server proc. peer client process local client proc. 1. Client process (CP) solicita serviços ao network process (NP); 2. NP cria um peer client process (PCP); 3. CP passa a se comunicar apenas com o PCP; 4. PCP transfere dados entre os buffers e o CP; 5. Server process (SP) transfere dados entre os buffers e os discos. 30

31 Um Sub-Sistema de Armazenamento Multimídia Controle de tráfego: servidor utiliza estratégia de turnos para atender o acesso a dados contínuos, restringindo o número de clientes que podem ser iniciados simultaneamente uma fraçao do turno é reservada para atender acessos a dados não-contínuos p max p max p max p max p max reservado para acesso a dados não contínuos 31

32 Um Sub-Sistema de Armazenamento Multimídia Gerência do buffer pool: servidor utiliza um buffer pool comum para todos os dados contínuos cada arquivo aberto está associado a uma lista de buffers, encadeados na mesma ordem que as páginas ocorrem no arquivo se dois ou mais processos abrirem o mesmo arquivo, eles acessarão a mesma lista de buffers (associada ao arquivo) buffer pool lista de buffers Arq. A lista de buffers Arq. B proc. 1 proc. 2 proc. 3 32

33 Um Sub-Sistema de Armazenamento Multimídia Gerência do buffer pool: para alocar um novo buffer, a política de controle do buffer pool tenta, na seguinte ordem: alocar um buffer da lista de buffers vazios desalocar um buffer que esteje "velho" (ou seja, que não tenha sido usado há mais do que um determinado tempo pré-estabelecido) desalocar um buffer que contém dados que serão utilizados o mais tardiamente possível por qualquer processo o processo servidor chama o processo de gerência do buffer pool apenas uma vez a cada ciclo para pré-alocar todos os buffer que serão necessários naquele ciclo 33

34 Um Sub-Sistema de Armazenamento Multimídia Interface: UNIX Contínuos Não-Contínuos open read write seek close begin-stream retrieve-stream store-stream seek-stream close-stream nc-open nc-read nc-write nc-seek nc-close 34

35 Um Sub-Sistema de Armazenamento Multimídia begin-stream servidor determina o número de buffers e o tempo de leitura em cada ciclo necessários para acessar o arquivo no modo contínuo se for arquivo para leitura apenas, servidor atrasa o início da primeira leitura pelo retardo inicial estipulado se for arquivo para gravação, servidor atrasa o inicio da atualização até que os buffers estejam disponíveis 35

36 Um Sub-Sistema de Armazenamento Multimídia retrieve-stream o peer client process envia, pela rede, dados dos buffers para o client process o servidor continua a mover dados do disco para os buffers, a cada ciclo, garantindo que haja sempre um número mínimo necessário de buffers completos para o peer client process servidor cliente client proc. buffer cache server proc. peer client process 36

37 Um Sub-Sistema de Armazenamento Multimídia store-stream o peer client process recebe, pela rede, dados do client process movendo-os para os buffers que lhe foram pré-alocados o servidor continua a mover dados dos buffer pré-alocados para disco, a cada ciclo, garantindo que haja sempre um número mínimo necessário de buffers pré-alocados para o peer client process servidor cliente client proc. buffer cache server proc. peer client process 37

38 Um Sub-Sistema de Armazenamento Multimídia seek-stream operação semelhante a um "fast forward" ou "rewind" para um cliente que está apenas lendo os dados, o servidor libera os buffers pré-carregados para o cliente e processa a operação como se fosse uma primeira leitura a partir do ponto indicado, inclusive retardando-a para um cliente que está gravando dados, o servidor "reseta" os buffers pré-alocados para o cliente, que passa a reutilizá-los 38

39 Um Sub-Sistema de Armazenamento Multimídia close-stream o servidor libera os buffers e a "janela de tempo" dentro do turno reservadas para o processo os dados gravados ou atualizados são enviados para disco o servidor remove o processo da lista de processos ativos 39

40 Sistemas de Gerência de Bancos de Dados Sistemas de Gerência de Bancos de Dados Multimídia 40

41 Tópicos Arquitetura de um SGBD-MM Sub-Sistema de Apresentação 41

42 Arquitetura de um SGBD-MM Aplicação Cliente MPM PII SMP SMP COM MPM - Multimedia Playout Manager PII - Presentation and Interaction Interpreter SMP - Single Media Player COM - Continuous Object Manager Dados discretos e de controle Dados contínuos Servidor SGBD DBI controle COM XMS DBI - Database Schema Interface COM - Continuous Object Manager XMS - External Media Server Dados Discretos Dados 42 Contínuos

43 Arquitetura de um SGBD-MM Componentes do Servidor Aplicação DBI: interface interna do SGBD-MM MPM PII SMP SMP COM SGBD: armazena os dados discretos e de controle controla todo o processo SGBD DBI controle COM XMS XMS: servidores para mídias específicas Dados Discretos Dados Contínuos COM provê suporte ao acesso aos objetos contínuos liberando a aplicação dos problemas de sincronização intra-objeto 43

44 Arquitetura de um SGBD-MM Componentes do Cliente Aplicação SMP: controla a apresentação de um objeto MM em um particular espaço de apresentação MPM PII SMP SMP COM MPM: controla a apresentação global ativa um SMP para cada componente SGBD DBI controle COM XMS PII: interpreta o plano de apresentação gerado pelo servidor processa as interações com o usuário Dados Discretos Dados Contínuos 44

45 Sub-Sistema de Apresentação Arquitetura do Sub-Sistema de Apresentação: Plano de Apresentação: representação neutra e linearizada de documentos MM Processamento no servidor: mapeador extrai do documento MM, no seu modelo original, toda a informação pertinente à apresentação, criando um plano de apresentação para o documento há um mapeador para cada modelo de documentos Processamento no cliente: PII solicita ao servidor o plano de apresentação de cada documento a ser apresentado PII interpreta o plano, com o auxílio do MPM, SMP e do COM 45

46 Sub-Sistema de Apresentação Processamento no Servidor: Exemplo de uma apresentação (modelada como um Object Composition Petri Net): Video Início Texto d texto Imag d Imag Sync d Vídeo Fim Gap Audio d Gap d Audio Gap Audio Botão d Gap d Audio d Botão Interação 46

47 Sub-Sistema de Apresentação Processamento no Servidor: Exemplo de um plano de apresentação: Botão Texto Imagem Vídeo Gap Gap Áudio Áudio E 0 E 1 E 3 E 5 E 8 d Gap d Audio d Gap d Botão d texto E 2 d Imag E 4 E 6 d Vídeo E 9 E 7 d Audio E 10 47

48 Sub-Sistema de Apresentação Processamento no Servidor: Consideraçoes sobre a geração de planos de apresentação: quando gerar: quando o documento é criado: plano é armazenado como um objeto do BD quando o documento é requisitado: introduz atrasos na apresentação de um documento MM estratégia necessária para acomodar documentos dinâmicos como gerar: gerar planos completos gerar planos incrementalmente reduz atrasos interessante quando a interação com o usuário implica em modificações no plano 48

49 Sub-Sistema de Apresentação Processamento no Cliente: Cliente SMPs Apresentação Objeto MM COM MPM Controle da Exibição Tratamento de Interações PII Controle da Apresentação Tratamento de Interações Complexas Interpretação de planos de apres. Interface com o Servidor dados discretos plano de apresentação 49 dados contínuos

50 Sub-Sistema de Apresentação Interpretação do plano de apresentação: PII: interpreta o plano de apresentação preparado pelo servidor para o documento MM em questão garante a sincronização "grossa" expressa pelo plano: para cada evento E i do plano, o PII: cria dois comandos para o MPM - Prepare e Trigger eventos simultâneos geram comandos Prepare separados, mas apenas um comando Trigger antes de enviar os comandos para o MPM, o PII mapeia a seqüência de comandos em um escalonamento no tempo real ajusta o plano, se for o caso, de acordo com as interações com o usuário 50

51 Sub-Sistema de Apresentação Interpretação do plano de apresentação: Apresentação do Áudio Prepare inicio Áudio Prepare término Áudio prepare início Áudio trigger início Áudio prepare término Áudio trigger término Áudio 51

52 Sub-Sistema de Apresentação Interpretação do plano de apresentação: MPM: ao receber um comando Prepare, o MPM ativa um SMP para preparar a apresentação do objeto MM durante a apresentação, o MPM controla: a sincronização fina inter-objetos a qualidade da apresentação, tomando as ações necessárias para corrigir problemas repassa para o PII interações complexas com o usuário, que não podem ser tratadas pelos SMPs: interações que mudam o plano de apresentação interações que dizem respeito à apresentação como um todo (como Parar,Reiniciar, etc...) 52

53 Sub-Sistema de Apresentação Interpretação do plano de apresentação: SMP: prepara a apresentação de um objeto MM, incluindo preparação do espaço de apresentação para o objeto prefetching do objeto, se for o caso para objetos contínuos, interage com o COM para garantir a apresentação isócrona do objeto implementa interações simples com o usuário para controlar a apresentação do objeto (como Iniciar, Parar, etc...) 53