Tópicos Avançados de Bases de Dados

Transcrição

1 Tópicos Avançados de Bases de Dados DCC FCUP Feb 2012

2 Bases de Dados Armazenam Dados Slides de P. J. McBrien

3 Dados Não Estruturados

4 Dados Semi Estruturados: XML

5 Dados Estruturados: Modelo Relacional

6 Modelo Relacional: SQL CREATE TABLE branch ( sortcode INTEGER NOT NULL, bname VARCHAR(20) NOT NULL, cash DECIMAL(10,2) NOT NULL, CONSTRAINT branch pk PRIMARY KEY (sortcode) ) CREATE UNIQUE INDEX branch bname idx ON branch(bname) CREATE TABLE account ( no INTEGER NOT NULL, type CHAR(8) NOT NULL, cname VARCHAR(20) NOT NULL, rate DECIMAL(4,2) NULL, sortcode INTEGER NOT NULL, CONSTRAINT account pk PRIMARY KEY (no), CONSTRAINT account fk FOREIGN KEY (sortcode) REFERENCES branch ) CREATE INDEX account type idx ON account(type) CREATE TABLE movement ( mid INTEGER NOT NULL, no INTEGER NOT NULL, amount DECIMAL(10,2) NOT NULL, tdate DATETIME NOT NULL, CONSTRAINT movement pk PRIMARY KEY (mid), CONSTRAINT movement fk FOREIGN KEY (no) REFERENCES account )

7 Exemplos de SGBDs Relacionais Produto Dialecto de SQL Companhia Oracle PL/SQL Oracle Sybase Transact-SQL SAP SQLServer Transact-SQL Microsoft PostgresSQL PL/pgSQL Open Source MySQL MySQL Open Source (Oracle) Todos têm implementaçã parcial de ANSI SQL.

8 Modelo ANSI/SPARC Três níveis de sbstracções esquema significa estrutura da base de dados

9 Modelo ANSI/SPARC: Esquema Interno Descreve a posição física dos dados

10 Modelo ANSI/SPARC: Esquema Conceptual Definido na linguagem de definição de dados (DDL) Interrogado usando a linguagem de manipulação de dados (DML) controlado pelo administrador da BD (DBA)

11 Modelo ANSI/SPARC: Esquema Externo Definido para utilizador/aplicação

12 Transações SGBD implementam tarefas indivisíveis chamadas de transações BEGIN TRANSACTION UPDATE branch SET cash=cash WHERE sortcode=56 UPDATE branch SET cash=cash WHERE sortcode=34 COMMIT TRANSACTION Atomicidade de tudo ou nada.

13 Transações SGBD implementam tarefas indivisíveis chamadas de transações BEGIN TRANSACTION UPDATE branch SET cash=cash WHERE sortcode=56 UPDATE branch SET cash=cash WHERE sortcode=34 COMMIT TRANSACTION Atomicidade de tudo ou nada. Consistência se consistente antes tb depois

14 Transações SGBD implementam tarefas indivisíveis chamadas de transações BEGIN TRANSACTION UPDATE branch SET cash=cash WHERE sortcode=56 UPDATE branch SET cash=cash WHERE sortcode=34 COMMIT TRANSACTION Atomicidade de tudo ou nada. Consistência se consistente antes tb depois Isolação, independencia de outras transações

15 Transações SGBD implementam tarefas indivisíveis chamadas de transações BEGIN TRANSACTION UPDATE branch SET cash=cash WHERE sortcode=56 UPDATE branch SET cash=cash WHERE sortcode=34 COMMIT TRANSACTION Atomicidade de tudo ou nada. Consistência se consistente antes tb depois Isolação, independencia de outras transações Durabilidade transações completas são duráveis

16 Execução de Transações

17 Garantir ACID Algumas execuções garantem ACID

18 Garantir ACID Algumas execuções garantem ACID Outras não

19 Arquitetura de SGDB

20 Arquitetura de SGDB

21 Outras SGDBs Non-SQL podem não ter: ACID Relacional SQL em vez disso, permitem: replicar e fragmentar por muitos servidores alterar o esquema em runtime sem degradar desempenho escala para grandes conj de Dados

22 BigTable da Google Uma única tabela com nomes para cada linha e coluna: dados são pedidos por (linha, coluna, tempo) colunas são dividas em famílias familia:qual acesso a linhas é atómico linhas armazenados em clusters chamados tablets

23 Aulas 27/2, 28/2: 5/3, 6/3: Query optimization 12/3, 13/3: Concurrency Control 8 19/3, 24/3: Distributed DBMS 8 2/4, 3/4: Férias da Páscoa 9/4, 10/4: Páscoa, DataLog 4 16/4, 17/4: Main Memory Data Base Systems 8 23/4, 24/4: TBA 30/4, 31/4: Decision Support & the Cube 8 7/5, 8/5: Semana Académica 14/5, 15/5: Spatial DBs 8 21/5, 22/5: TBA 28/5, 29/5: XML/NoSQL 8 4/5, 6/5: Apresentações

24 Avaliação Trabalhos (1 ou 2) + Projecto: 8 Teste: 6 Monografia: 6

25 Monografias VLDB SIGMOD CIDR TODS Procurem!!

26 Query Optimization: 5/3 Surajit Chaudhuri An Overview of Query Optimization in Relational Systems. André Pereira Artur Alves Patricia G. Selinger, Morton M. Astrahan, Donald D. Chamberlin, Raymond A. Lorie, Thomas G. Price: Access Path Selection in a Relational Database Management System. SIGMOD Conference 1979: João Luís Valverde Ailson Carvalho

27 Query Optimization: 6/3 Yannis E. Ioannidis, Younkyung Cha Kang: Randomized Algorithms for Optimizing Large Join Queries. SIGMOD Conference 1990: David Martins Daniel Martins Improved Histograms for Selectivity Estimation of Range Predicates, by V. Poosala, Y.E. Ioannidis, P. J. Haas, and E. Shekita, Proc. of the 1996 ACM SIGMOD Conference, Montreal, Canada, June Nuno Loureiro Pedro Galvão

28 Índices Índice acelera procura sobre os índices da chave de procura Qualquer subconjunto pode ser chave de procura Chave de procura chave Índice inclui colecção de entradas de dados permite procura eficiente.

29 Alternativas para entrada k Organização 1. Registo inteiro com valor de chave k 2. < k, rid > 3. < k, {rids} > Técnicas: hash Arvores-B+

30 Alternativas para entrada k Alternativa 1 Estrutura do Índice é organização do ficheiro No máximo um índice desses Grande número de páginas auxiliares Senão Entradas no índice pequenaas Solução 3 mais compacta mas mais complexa

31 Índices Primário vs. secundário: se contém chave primária Unico: contém chave. Clustered: Ordem do índice segue ordem dos registos Corresponde a alternativa 1 No máximo um clustering Acessos a páginas pode depender desta propriedade

32 Clustered e Alt (2) Ordenar Primeiro Reservar espaço para overflows

33 Exemplos SELECT E.dno FROM Emp E WHERE E.age>40 Usar B+ em E.age. O índice é clustered? SELECT E.dno, COUNT (*) FROM Emp E WHERE E.age>40 GROUP BY E.dno Maioria dos tuplos E.age > 10? Se sim, vale a pena agrupar por E.dno

34 Chaves de Procura Compostas Empcomage = 30 sal = 4000 indexar em < age, sal > 20 < age < < sal < 5000 Árvore em < age, sal > ou < sal, age > age = < sal < 5000 < age, sal > melhor do que < sal, age >

35 Avaliação de Queries Plano: Árvore de Ops de A. R., com escolha de algoritmo para cada Questões: Que planos a considerar? Custo de cada plano? Idealmente: Melhor Plano Evitar Mau Plano

36 Algoritmos de Avaliação Indexação WHERE elimina tuplos Iteração Às vezes é mais rápido percorrer tabela do que usar índice Particionamento Sorting ou Hashing obtém partições Implementar op sobre partições

37 Estatísticas e Catalogos Catalogos # Tuplos e # Paginas # valores distsintos e pags para cada índice Altura de árvore, max e min. Atualizados periodicamente Histogramas de valores por campo

38 Caminho de Acesso Método de obter tuplos Scan ou índice Um índice em árvore emparelha com o prefixo da chave de procura: < a, b, c > emparelha com a = 5 b = 3, a = 5 b > 6, não b = 3 Hash emparelha ccom um conj de igualdades: < a, b, c > emparelha com a = 5 b = 3 c = 6

39 Seleções Complexas (day < 8/9/94 rname = Paul ) bid = 5 sid = 3 Usar CNF (day < 8/9/94 bid = 5 sid = 3) (rname = Paul bid = 5 sid = 3)

40 Implementar Seleções Encontrar o termo mais seletivo Exige menos IO Termos que emparelham reduzem o número de páginas buscadas Os outros obrigam a usar páginas Ex day < 8/9/94 bid = 5 sid = 3: usar B+ em day e procurar bid e sid usar hash em < bid, sid > e depois verificar day

41 Escolher o Índice # de tuplos custo dos registos (clustering) SELECT * FROM Reserves R WHERE R.rname < C% 10% dos tuplos (100/10k) Com cluster 100 I/Os Sem até 10k

42 Projeção Remover Duplicados SQL requer DISTINCT Ordenamento Remover duplicados Eliminar extra Hash

43 Join foreach tuple r in R do foreach tuple s in S where ri == sj do add <r, s> to result Usar índice sobre S se possível Custo 1.2 por hash 2-4 por B+ Acesso depende de clustered

44 Join: Sort-Merge Ordenar R e S sobre coluna de join Alg: avançar em R enquanto R tuple S tuple S tuple R tuple sair os < r, s > que emparelham Percorre R uma vez Grupo S é percorrido por cada parelha.

45 Join: Sort-Merge

46 Sistema R Mais Popular bem para < 10 joins Estimativa de Custos Aproximada Combinação de CPU e IO. Espaço de planos: Muito Grande Olha para a esquerda pq permite pipelines Evita produto cartesiano

47 Sistema R