Tecnologias Oracle para DW Visões Materializadas no Oracle

Transcrição

1 Tecnologias Oracle para DW Visões Materializadas no Oracle Prof. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Bruno Tomazela Renata Miwa Tsuruda

2 Obje%vo Criar e u%lizar visões materializadas no Oracle Comparar o desempenho de consultas nas seguintes condições: DW Desnormalizado x DW Normalizado Tabela de Fatos x Visões Materializadas

3 Base de Dados Data Warehouses construídos com base no Star Schema Benchmark (SSB) [O NEIL, 2009] Geração de tabelas de dimensão e de fatos Fator de escala = 1 (aproximadamente 6 milhões de tuplas na tabela de fatos)

4 Data Warehouse Desnormalizado Redundância de dados (esquema estrela) Espera- se um bom desempenho na execução de consultas

5 Data Warehouse Desnormalizado Customer linhas CustKey (PK) Name Address City Nation Region Phone MKT Segment Supplier Part LineOrder linhas linhas PartKey (PK) OrderKey (PK) LineNumber (PK) CustKey (FK) PartKey (FK) SuppKey (FK) OrderDate (FK) OrdPriority ShipPriority Date linhas Quantity DateKey (PK) linhas ExtendedPrice Date SuppKey (PK) OrdTotalPrice Name Discount DayOfWeek Address Revenue Month City SupplyCost Year Nation Tax YearMonthNum Region CommitDate YearMonth DayNumWeek Phone ShipMode 5 DayNumInMonth Name MFGR Category Brand1 Color Type Size Container DayNumInYear MonthNumInYear WeekNumInYear SellingSeason LastDayInMonthFL DayNumInYear HollidayFL WeekDayFL

6 Data Warehouse Desnormalizado Hierarquias existentes: Dimensões Customer e Supplier Address < City < Na4on < Region Customer linhas CustKey (PK) Name Address City Nation Region Phone Supplier linhas SuppKey (PK) Name Address City Nation Region Phone MKT Segment

7 Data Warehouse Normalizado Minimização do espaço de armazenamento Espera- se que consultas levem mais tempo para serem executadas Operação de junção entre as tabelas Criação das tabelas City, Na4on e Region

8 City 250 linhas CityKey (PK) City NationKey (FK) Nation 25 linhas NationKey (PK) Data Warehouse Normalizado Customer linhas CustKey (PK) Name Address CityKey (FK) Phone MKT Segment Part LineOrder linhas linhas PartKey (PK) OrderKey (PK) LineNumber (PK) CustKey (FK) PartKey (FK) SuppKey (FK) OrderDate (FK) OrdPriority ShipPriority Date linhas Nation Quantity DateKey (PK) Supplier RegKey (FK) ExtendedPrice Date linhas OrdTotalPrice SuppKey (PK) DayOfWeek Discount Region Name Month Revenue 5 linhas Address Year SupplyCost RegKey (PK) CityKey (FK) YearMonthNum Tax Region Phone YearMonth CommitDate DayNumWeek ShipMode DayNumInMonth 8 Name MFGR Category Brand1 Color Type Size Container DayNumInYear MonthNumInYear WeekNumInYear SellingSeason LastDayInMonthFL DayNumInYear HollidayFL WeekDayFL

9 Visões Materializadas Consultas pré- computadas e armazenadas no banco de dados Aumento no desempenho do processamento de consultas Espaço de armazenamento adicional Custo para manter a consistência das visões Visões materializadas em DW Agregação das medidas da tabela de fatos GROUP BY nas dimensões

10 Visões Materializadas DW baseado no SSB (normalizado ou não) GROUP BY nas dimensões: Customer, Supplier, Date e Part Agregação das medidas SUM (Quan4ty) SUM (ExtendedPrice) SUM (Revenue) SUM (SupplyCost) Profit = SUM (Revenue SupplyCost) LineOrder OrderKey (PK) LineNumber (PK) CustKey (FK) PartKey (FK) SuppKey (FK) OrderDate (FK) OrdPriority ShipPriority Quantity ExtendedPrice OrdTotalPrice Discount Revenue SupplyCost Tax CommitDate ShipMode

11 Grafo de Derivação CSPD CSP CPD CSD SPD CS CP SP CD PD SD C S P D vazio Dimensões Customer (C) Supplier (S) Part (P) Date (D)

12 Grafo de Derivação CSPD LineOrder linhas CSP CPD CSD SPD CS CP SP CD PD SD C S P D vazio

13 Visões Materializadas - Exercício Criar uma visão materializada agrupando as medidas abaixo por Customer Quan4ty ExtendedPrice Revenue SupplyCost Profit = Revenue SupplyCost

14 Visões Materializadas - Exercício Criar uma visão materializada agrupando as medidas abaixo por Customer e Supplier Quan4ty ExtendedPrice Revenue SupplyCost Profit = Revenue SupplyCost

15 Visões Materializadas - Exercício Criar uma visão materializada agrupando as medidas abaixo por Customer, Supplier e Part Quan4ty ExtendedPrice Revenue SupplyCost Profit = Revenue SupplyCost

16 Consulta 1 Obje%vo: Comparar o desempenho de consultas no DW normalizado, DW não normalizado e suas visões materializadas Estratégia: Explorar a complexidade de consultas em bases normalizadas

17 Consulta 1 Retornar Nação de Customer Nação de Supplier Revenue Filtro: região de Customer = região de Supplier Agrupar por nação de Customer e nação de Supplier Ordenar por Nação de Customer (ascendente) Revenue (descendente)

18 Consulta 1 Filtro aplicado Região de Customer = Região de Supplier Tabela de Fatos U-lizada Não Normalizado Normalizado Customer_Supplier_V 6,39 s 7,74 s Lineorder 18,58 s 18,99 s

19 Consulta 2 Obje%vo: Comparar o desempenho de consultas no DW normalizado, DW não normalizado e suas visões materializadas Estratégia: Explorar a complexidade de consultas em bases normalizadas e a agregação existente nas tabelas

20 Retornar Região de Customer Região de Supplier Brand1 de Part Consulta 2 Revenue Profit = Revenue SupplyCost Filtro: sem filtro Agrupar por região de Customer, região de Supplier e brand1 de Part Ordenar por Brand1 (asc), Revenue (desc) e Profit (desc)

21 Consulta 2 Filtro aplicado Sem filtro Tabela de Fatos Utilizada Não Normalizado Normalizado Customer_Supplier_Part_V 19,15 s 25,04 s Lineorder 25,37 s 35,40 s

22 Consulta 3 Obje%vo: Comparar o desempenho no DW não normalizado com uma visão materializada Estratégia: Explorar o baixo volume de dados da visão em relação à tabela de fatos

23 Consulta 3 Retornar a chave de Customer e as medidas Quan%ty ExtendedPrice Revenue SupplyCost Profit = Revenue SupplyCost Filtro: região de Customer = AMERICA Agrupar por chave de Customer Ordenar por chave de Customer

24 Consulta 3 Filtro u%lizado Região de Customer = AMERICA Tabela de Fatos U-lizada Tempo Customer_V Customer_Supplier_V Customer_Supplier_Part_V Lineorder 0,32 s 7,49 s 7,81 s 14,87 s

25 Testes realizados Dimensões Utilizadas Tabela de Fatos Utilizada Tempos Normalização C S D Não Sim 1 X X X Lineorder 7,13 10,56 2 X X X Customer_Supplier_Date_V 4,96 6,34 3 X X Lineorder 8,63 9,88 4 X X Customer_Supplier_V 4,67 6,41 5 X X Lineorder 7,63 8,96 6 X X Customer_Date_V 1,20 1,00 7 X X Lineorder 6,00 6,01 8 X X Supplier_Date_V 2,88 3,03 9 X Lineorder 5,80 6,40 10 X Customer_V 0,24 0,04 11 X Lineorder 6,91 7,38 12 X Supplier_V 0,04 0,05 Filtros Aplicados Região de Customer = Região de Supplier; 1992 >= Ano <= Região de Customer = Região de Supplier; 1992 >= Ano <= Região de Customer = Região de Supplier Região de Customer = Região de Supplier Região de Customer = 'AMERICA' e 1992 >= Ano <= 199 Região de Customer = 'AMERICA' e 1992 >= Ano <= 199 Região de Supplier = 'AMERICA' e 1992 >= Ano <= 1997 Região de Supplier = 'AMERICA' e 1992 >= Ano <= 1997 Região de Customer = 'AMERICA' Região de Customer = 'AMERICA' Região de Supplier = 'AMERICA' Região de Supplier = 'AMERICA'

26 Testes realizados Dimensões Tempos Utilizadas Tabela de Fatos Utilizada Normalização C S P Não Sim 1 2 X X X X X X Lineorder Customer_Supplier_Part_V 15,01 11,97 17,05 15,25 3 X X Lineorder 10,06 13,03 4 X X Customer_Supplier_V 6,74 9,25 5 X X Lineorder 10,00 14, X X X X Customer_Part_V Lineorder 7,61 9,94 9,32 12,56 8 X X Supplier_Part_V 7,27 8,55 9 X Lineorder 7,79 8, X X Customer_V Lineorder 0,27 7,91 0,26 8,00 12 X Supplier_V 0,25 0,36 Filtros Aplicados group by em Região e part.brand1 group by em Região e part.brand1 group by em Região group by em Região group by em Região e part.brand1 group by em Região e part.brand1 group by em Região e part.brand1 group by em Região e part.brand1 group by em Região group by em Região group by em Região group by em Região

27 Conclusão A normalização deteriora o desempenho de consultas, o que pode ser compensado por meio da u%lização de Visões Materializadas A u%lização de Visões Materializadas, quando escolhidas corretamente, aumenta o desempenho de consultas

28 Referências [HARINARAYAN, 1997] HARINARAYAN, V.; RAJARAMAN, A.; ULLMAN, J. D. Implemen%ng Data Cubes Efficiently. ACM SIGMOD Record, v. 25, n. 2, p , [O'NEIL, 2009] O'NEIL, P.; O'NEIL, E.; CHEN, X. The Star Schema Benchmark. Preprint, Revision 3, Disponível em <hup:// Acesso em: 13 set