Tecnologias Oracle para DW Índice Bitmap no Oracle 11g EE. Cristiane Yaguinuma Débora Marrach Luana Annibal Vinícius Ferraz

Transcrição

1 Tecnologias Oracle para DW Índice Bitmap no Oracle 11g EE Cristiane Yaguinuma Débora Marrach Luana Annibal Vinícius Ferraz Setembro/29

2 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos Benefícios Formas de utilização Situações apropriadas e não apropriadas Estudo de caso Índices Bitmap Consultas Conclusão Fontes consultadas 2

3 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos Benefícios Formas de utilização Situações apropriadas e não apropriadas Estudo de caso Índices Bitmap Consultas Conclusão Fontes consultadas 3

4 Oracle Database 11g Release 2 Enterprise Edition - Características Banco de Dados de missão crítica Permite OLTP, Data Warehouses, Content Management para aplicações Web 2. entre outras features Disponível para single or clustered servers sem limitação de sockets 4

5 Oracle Database 11g Release 2 Enterprise Edition - Limitações É uma versão completa, possui todas as features Deve ser licenciada para qualquer espécie de uso em produção Pode ser utilizada sem licenciamento para fins educacionais 5

6 Oracle Database 11g Release 2 Enterprise Edition - Instalação Crie um usuário para o oracle Faça login como este usuário 6

7 Oracle Database 11g Release 2 Enterprise Edition - Download Entrar em: Aceitar os termos da licença Baixar a versão: 7

8 Oracle Database 11g Release 2 Enterprise Edition - Instalação Executar o seu utilitário de descompactação preferido Vá até a pasta onde o Oracle foi descompactado e execute o seguinte comando em uma shell./runinstaller 8

9 ./runinstaller 9

10 1

11 11

12 12

13 13

14 14

15 15

16 16

17 17

18 18

19 19

20 2

21 21

22 22

23 23

24 24

25 Oracle Database 11g Release 2 Enterprise Edition - Instalação Pré-requisitos O Oracle necessita de alguns pré-requisitos: Só instala em algumas distribuições de Linux (Release 2) Recomendado: Oracle Enterprise Linux Hardware mínimo Arquivo de paginação mínimo de 8GB Uma lista de bibliotecas Rodar um conjunto de scripts como root 25

26 Oracle Database 11g Release 2 Enterprise Edition - Instalação Possíveis dificuldades Gerenciar as permissões necessárias durante a instalação Preencher a lista de pré-requisitos Lentidão no processo Configurações posteriores Carregamento automático do arquivo de swap Gerenciar variáveis de ambiente Criar scripts de inicialização do Oracle 26

27 Oracle Database 11g Release 2 Enterprise Edition - Instalação Links úteis: Guia oficial da Oracle: Comentários sobre instalação no CentOS Um guia para o Oracle Enterprise Linux 27

28 Oracle Database 11g Release 2 Enterprise Edition - Interfaces Enterprise Manager Interface Web Permite Gerenciar: Usuários Objetos Relatórios e estatísticas Configurações avançadas Importação e Exportação de dados 28

29

30 Oracle Database 11g Release 2 Enterprise Edition Command line SQLPlus Linha de comando Acesso à maioria das features por linha de comando. Está limitado ao desempenho da shell utilizada 3

31 Oracle Database 11g Release 2 Enterprise Edition SQLDeveloper Interface Desktop Manipulação de objetos facilitada Acesso facilitado aos planos de consulta 31

32

33 Oracle Database 11g Release 2 Enterprise Edition Bitmap Index Bitmap Index CREATE BITMAP INDEX [...] Bitmap Join Index CREATE BITMAP INDEX [...] WHERE [...] 33

34 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos Benefícios Formas de utilização Situações apropriadas e não apropriadas Estudo de caso Índices Bitmap Consultas Conclusão Fontes consultadas 34

35 Índice Bitmap Conceitos Um índice bitmap é um vetor de bits para cada conteúdo da coluna indexada Neste vetor, cada bit substitui um rowid; se o bit é 1, então o correspondente rowid possui o valor do índice Uma função de mapeamento converte a posição de um bit para o rowid real 35

36 Índice Bitmap Conceitos Bitmap para a tabela Part Create bitmap index part_mfgr_bix on part_d (p_mfgr) Tabela Part Índice Bitmap Cardinalidade Colunas p_partkey p_mfgr MFGR#1 MFGR#2 MFGR#3 MFGR#4 MFGR#5 MFGR#1 MFGR#2 MFGR#3 MFGR#4 MFGR#

37 Índice Bitmap - Benefícios Alta performance Eficiência de armazenamento Para a coluna indexada, as condições AND e OR podem ser resolvidas diretamente no índice ainda antes do acesso á tabela contendo os dados Espaço de armazenamento pequeno, quando comparado com outros tipos de índice Facilidade de manutenção Tem mais performance destruir e recriar do que manter 37

38 Índice Bitmap Formas de utilização Aplicação de filtros em seleções de queries Para a coluna indexada, as condições AND e OR podem ser resolvidas diretamente no índice ainda antes do acesso á tabela contendo os dados Devido ás operações booleanas binárias, o índice bitmap pode atender á queries envolvendo seleção e contagem de valores nulos Join s entre as tabelas de fatos e dimensões Para cada valor da coluna de uma tabela, um bitmap join index armazena os valores das chaves primárias de uma ou mais tabelas 38

39 Índice Bitmap Formas de Utilização Bitmap Join Simples Seleção das ordens do produto MFGR#5 Select sum(l_quantity) from lineorder, part_d where l_partkey = p_partkey and p_mfgr= MFGR#5 Lineorder Join l_orderkey partkey MFGR#1 1 Part Índice Bitmap MFGR#2 MFGR#3 MFGR#4 MFGR#

40 Índice Bitmap Formas de Utilização Bitmap Join Index Índice para Lineorder baseado na Part create bitmap index l_p_mfgr_categ_bjix on lineorder(part_d.p_mfgr) from lineorder, part_d WHERE l_partkey = p_partkey l_orderkey Lineorder Índice Bitmap Cardinalidade part_d.p_mfgr MFGR#1 MFGR#2 MFGR#3 MFGR#4 MFGR# partkey

41 Índice Bitmap Formas de Utilização Bitmap Join Index para Lineorder baseado na Part Seleção das ordens do produto "MFGR#5 Select sum(l_quantity) from lineorder, part_d where l_partkey = p_partkey and p_mfgr= MFGR#5 Lineorder l_orderkey MFGR#1 1 Índice Bitmap (Baseado na Part) MFGR#2 MFGR#3 MFGR#4 MFGR#

42 Índice Bitmap Situações apropriadas Colunas candidatas á Bitmap Baixa ocorrência de atualização Conteúdos com baixa ou média cardinalidade Acessadas por muitas queries onde a claúsula WHERE testa múltiplas condições As seleções retornam um grande número de linhas Foreign keys para tabelas de dimensão 42

43 Índice Bitmap Situações não apropriadas Chaves primárias Alta cardinalidade Alta ocorrência de manutenção A atualização em índices bitmap não é tão eficiente quanto a de índices B-Tree 43

44 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos Benefícios Formas de utilização Situações apropriadas e não apropriadas Estudo de caso Índices Bitmap Consultas Conclusão Fontes consultadas 44

45 Estudo de caso Oracle 11g EE utilizado para a definição de: Data warehouse - esquema estrela Índices Bitmap Consultas para comparação de desempenho Sem índice Com índice bitmap DW construído com base no Star Schema Benchmark (SSB) [O'NEIL, 29] Geração de tabelas de dimensão e de fatos Fator de escala 1 do SSB: ~ 1GB de dados 45

46 Estudo de caso Customer 3. linhas Part 8. linhas LineOrder 6.. linhas OrderKey (PK) PartKey (PK) Name LineNumber (PK) Name Address CustKey (FK) MFGR City PartKey (FK) Category Nation SuppKey (FK) Brand1 Region OrderDate (FK) Phone OrdPriority MKT Segment ShipPriority CustKey (PK) SuppKey (PK) Name Address City Nation Region Phone Type Size Container ExtendedPrice Date linhas OrdTotalPrice DateKey (PK) DayNumInYear Discount Date MonthNumInYear Revenue DayOfWeek WeekNumInYear SupplyCost Month SellingSeason Tax Year LastDayInMonthFL CommitDate YearMonthNum DayNumInYear YearMonth HollidayFL DayNumWeek WeekDayFL Quantity Supplier 1. linhas Color ShipMode DayNumInMonth 46

47 Índice Bitmap Dimensão Índice bitmap para atributo P_MFGR de Part CREATE BITMAP INDEX PART_MFGR_BIX ON PART_D(P_MFGR); Índice bitmap para C_region de Customer Part.MFGR cardinalidade 5 Customer.region cardinalidade 5 CREATE BITMAP INDEX CUST_REGION_BIX ON CUSTOMER_D(C_REGION); 47

48 Índice Bitmap bitmap de junção Índice bitmap de junção entre tabela de fatos Lineorder e dimensão Customer Customer.region cardinalidade 5 CREATE BITMAP INDEX l_c_region_bjix ON lineorder(customer.c_region) FROM lineorder, customer_d WHERE l_custkey = c_custkey; 48

49 Índice Bitmap bitmap de junção Índice bitmap de junção entre tabela de fatos Lineorder e dimensão Part Part.mfgr cardinalidade 5 CREATE BITMAP INDEX L_P_MFGR_BJIX ON LINEORDER(PART_D.P_MFGR) FROM LINEORDER, PART_D WHERE L_PARTKEY = P_PARTKEY; 49

50 Índice Bitmap bitmap de junção Índice bitmap de junção entre tabela de fatos Lineorder e múltiplas dimensões Dimensão Customer Dimensão Part Customer.region cardinalidade 5 Part.MFGR cardinalidade 5 CREATE BITMAP INDEX l_c_region_p_mfgr_bjix ON lineorder(customer_d.c_region, part_d.p_mfgr) FROM lineorder, customer_d, part_d WHERE l_custkey = c_custkey AND l_partkey = p_partkey; 5

51 Consultas Comparar o desempenho de consultas usando índice bitmap Consulta na tabela de fatos sem índice Consulta na tabela de fatos com índice bitmap na dimensão Part para atributo MFGR Consulta na tabela de fatos com índice bitmap de junção na dimensão Part para atributo MFGR Estratégia: Explorar índice bitmap na Dimensão Part Part.MFGR cardinalidade 5 Retorne L_QUANTITY, L_REVENUE, L_SUPPLYCOST onde PART_D.P_MFGR = MFGR#5 51

52 Consultas SELECT FROM L_QUANTITY, L_REVENUE, L_SUPPLYCOST LINEORDER, PART_D WHERE P_MFGR = 'MFGR#5 AND L_PARTKEY = P_PARTKEY; 52

53 Consultas - resultado Filtro Aplicado: PART_D.P_MFGR = 'MFGR#5 Tempo Sem índice execução inicial sequencial,43112,4161,57,14,13 Com índiceexecução simples Tempo inicial sequencial,6755,3841,1283,1277,1297 Tempo médio:,3246 Tempo médio:,289 Com índice de junção Tempo execução inicial sequencial,19,2531,7287,13168,93 Tempo médio:,48 53

54 Consultas Comparar o desempenho de consultas usando índice bitmap de junção com múltiplas dimensões Consulta na tabela de fatos Índice bitmap de junção entre tabela de fatos e várias dimensões Estratégia: Explorar o índice bitmap de junção na Lineorder Customer.region cardinalidade 5 Part.mfgr cardinalidade 5 Retorne sum(l_revenue) e sum(l_revenue - l_supplycost) onde c_region = EUROPE and p_mfgr = MFGR#5 54

55 Consultas Select sum(l_revenue) as revenue, sum(l_revenue - l_supplycost) as profit From lineorder, customer_d, part_d Where c_region = EUROPE and p_mfgr = MFGR#5 and l_custkey = c_custkey and l_partkey = p_partkey; 55

56 Consultas - problema 56

57 Modificação na Consulta Select L_QUANTITY, L_REVENUE, L_SUPPLYCOST From lineorder, customer_d, part_d Where c_region = EUROPE and p_mfgr = MFGR#5 and l_custkey = c_custkey and l_partkey = p_partkey; 57

58 Consulta sem índice 58

59 Consulta com índice na dimensão 59

60 Consultas resultado parcial Filtros Aplicados: c_region = EUROPE and p_mfgr = MFGR#5 TempoSem índice execução inicial sequencial 1,454,2931,294,2476,2649 Tempo médio:,4128 Com índice simples (Customer.region) Tempo inicial execução sequencial,576,4485,2852,2665,2946 Tempo médio:,3648 Com índice de junção (Customer.region) Tempo inicial execução sequencial,4331,3992,1928,1946,133- Prof. Ricardo Ciferri Disciplina DW e OLAP Tempo médio:,2754 6

61 Consultas não analisadas Lineorder X índices bitmap de junção (2 atributos) Part.MFGR Customer.Region Lineorder X índices bitmap nas FKs Índices bitmap simples nas dimensões Índices bitmap de junção 61

62 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos Benefícios Formas de utilização Situações apropriadas e não apropriadas Estudo de caso Índices Bitmap Consultas Conclusão Fontes consultadas 62

63 Conclusão Consultas com índices - desempenho Índices bitmap de junção maior desempenho Evitam junção entre dimensões e tabela de fatos Índices bitmap nas dimensões Acesso direto nas dimensões Porém: ainda existe custo de junção com tabela de fatos 63

64 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos Benefícios Formas de utilização Situações apropriadas e não apropriadas Estudo de caso Índices Bitmap Consultas Conclusão Fontes consultadas 64

65 Fontes consultadas [O'NEIL, 29] O'NEIL, P.; O'NEIL, E.; CHEN, X. The Star Schema Benchmark. Preprint, Revision 3, 29. Disponível em < Acesso em: 7 set. 29. [ORACLE, 29a]: Data Warehousing Guide 11g Release 1 (11.1) B Disponível em < B28359_1/server.111/b28313.pdf>. Acesso em: 14 set. 29. [ORACLE, 29b]: Oracle Database Online Documentation 11g Release 1 (11.1). Disponível em < db111/homepage>. Acesso em: 17 set