Sistemas de Apoio à Decisão

Transcrição

1 Sistemas de Informação e Bases de Dados 2012/2013 Sistemas de Apoio à Decisão Alberto Sardinha

2 Sumário! Data Warehouse! OLAP! Exemplo de OLAP com SQL Server Business Intelligence Development Studio! 2012 Técnico Lisboa

3 Referências Raghu Ramakrishnan, Database Management Systems, 3ª edição: Cap 25 J. Han, M. Kamber. Data Mining: Concepts and Techniques. Morgan Kaufman Publishers, 2nd edition, 2001: Cap Técnico Lisboa

4 Data Warehouse: A Mul;- ;ered Architecture = = = Metadata Monitor & Integrator OLAP Server Other sources Opera;onal DBs Extract Transform Load Data Warehouse Serve Analysis Query Reports Data mining Data Marts Data Sources Data Storage OLAP Engine Front- end Tools

5 O que é um Data Warehouse? Há várias definições: Uma base de dados para apoio à decisão Separada da base de dados operacional Uma plataforma de dados consolidados e históricos para análise

6 O que é um Data Warehouse? A data warehouse is a subject- oriented, integrated, 5me- variant, and non- vola5le collec5on of data in support of management s decision- making process W. H. Inmon Data warehousing: O processo para construir e u;lizar um data warehouse

7 Subject- Oriented Organizado por temas (ou assuntos) importantes para as empresas Clientes, produtos, vendas, etc O foco é na modelação e análise de dados para apoiar à decisão Não é para ser u;lizado nas operações do dia- a- dia O DW só possui dados que são importantes para o apoio à decisão Exclui dados irrelevantes

8 Integrated Construído por meio da integração de dados de múl=plas fontes (dados heterogêneos) E.g., BDs operacionais, ficheiros, etc O processo de construção: limpeza de dados técnicas de integração de dados Extract, Transform, Load (ETL)

9 Time Variant Horizonte de tempo para DWs é maior (em relação às DBs operacionais): BDs operacionais: Valores atuais Data warehouses: Visão histórica da informação Cada estrutura num DW possui elementos de tempo, explicitamente ou implicitamente

10 Non- vola;le Um repositório com dados que passaram por um processo de transformação Que está fisicamente separado da BD operacional Atualizações que estão relacionadas à operação da empresa não é feita numa DW: Não precisa de transações, controle de concorrência, recuperação à falhas Só precisa de duas operações básicas : carregamento dos dados e acesso aos dados

11 Para que serve um DW? Muitas organizações utilizam um DW para apoiar decisões. Por exemplo: Analisar padrões de comportamento dos clientes Produtos preferidos Dias preferidos para as compras Quanto que cada cliente costuma gastar 2012 Técnico Lisboa

12 Para que serve um DW? Muitas organizações utilizam um DW para apoiar decisões. Por exemplo: Gerir o portfólio de produtos, comparando as vendas por: Trimestre ou Ano Departamento Localidade (bairro, cidade, país) 2012 Técnico Lisboa

13 Para que serve um DW? Muitas organizações utilizam um DW para apoiar decisões. Por exemplo: Analisar a operação da empresa: Reduzir os custos Aumentar as receitas 2012 Técnico Lisboa

14 Para que serve um DW? Muitas organizações utilizam um DW para apoiar decisões. Por exemplo: Gerir o relacionamento com o cliente: Descobrir eventuais falhas na operação ou vendas Gerir os vendedores (para melhorar o relacionamento com os clientes) 2012 Técnico Lisboa

15 Terminologia dos níveis de informação CONHECIMENTO A P L I C A Ç Õ E S EIS Executive Information System DSS Decision Support System OLTP On Line Transaction Processing BD Estratégicas BD Apoio à Decisão Bases de Dados Operacionais - Que factores influenciam as vendas em Lisboa? - Quais as tendências para as vendas no Porto? INFORMAÇÃO - Vendas mensais por produto em Lisboa? - Evolução das vendas em Lisboa e Porto DADOS - Lista de preços de cada produto - Quais as vendas em Lisboa? 2012 Técnico Lisboa

16 Três Soluções Complementares Data Warehousing: Consolidação de dados de muitas fontes num único repositório. Carregamento, sincronização periódica de réplicas Integração Semântica OLAP: Consultas complexas, baseadas em operações típicas de folhas de cálculo com vistas multidimensionais sobre os dados 15

17 Três Soluções Complementares Data Mining (prospecção de dados): Análise exploratória; explorar tendências interessantes e anomalias 16

18 OLAP

19 Data Warehouse: A Mul;- ;ered Architecture = = = Metadata Monitor & Integrator OLAP Server Other sources Opera;onal DBs Extract Transform Load Data Warehouse Serve Analysis Query Reports Data mining Data Marts Data Sources Data Storage OLAP Engine Front- end Tools

20 Modelo de Dados Multidimensional (OLAP) Coleção de tabelas de medidas (measures) dependentes de um conjunto de tabelas de dimensões (dimensions) Exemplo (figura seguinte): Medida: Vendas Dimensões: Produto (chave: pid), Localização (locid),e Tempo (timeid) 19

21 Sales OLAP - Conceitos NAME COLOR SIZE QTY skirt dark S 2 skirt dark M 5 skirt dark L 1 Measure (medidas): Atributos que medem alguma quan;dade e que podem ser agregadas skirt pastel S 11 skirt pastel M 9 skirt pastel L 15 skirt white S 2 skirt white M 5 skirt white L 3 dress dark S 2 dress dark M 6 dress dark L 12 dress pastel S 4 dress pastel M 3 dress pastel L 3 dress white S 2 dress white M 3 dress white L 0 shirt dark S 2 shirt dark M 6 shirt dark L 6 pants white L 2

22 OLAP - Conceitos Measure (medidas): Atributos que medem alguma quan;dade e que podem ser agregadas Dimension (dimensões): Atributos que definem dimensões nos quais os atributos measure podem ser visualizados Sales NAME COLOR SIZE QTY skirt dark S 2 skirt dark M 5 skirt dark L 1 skirt pastel S 11 skirt pastel M 9 skirt pastel L 15 skirt white S 2 skirt white M 5 skirt white L 3 dress dark S 2 dress dark M 6 dress dark L 12 dress pastel S 4 dress pastel M 3 dress pastel L 3 dress white S 2 dress white M 3 dress white L 0 shirt dark S 2 shirt dark M 6 shirt dark L 6 pants white L 2

23 SIZE NAME all OLAP - Agregação dark pastel white TOTA L skirt dress shirt pants TOTA L COLOR Isso é um cross- tabula5on. Não é uma relação! Sales NAME COLOR SIZE QTY skirt dark S 2 skirt dark M 5 skirt dark L 1 skirt pastel S 11 skirt pastel M 9 skirt pastel L 15 skirt white S 2 skirt white M 5 skirt white L 3 dress dark S 2 dress dark M 6 dress dark L 12 dress pastel S 4 dress pastel M 3 dress pastel L 3 dress white S 2 dress white M 3 dress white L 0 shirt dark S 2 shirt dark M 6 shirt dark L 6 pants white L 2

24 OLAP - Agregação Dados podem ser agregados por diferentes dimensões: COLOR NAME all S M L TOTA L skirt dress shirt pants TOTA L SIZE

25 OLAP - Agregação Dados podem ser agregados segundo diferentes níveis de granularidade COLOR dark pastel white all all skirt dress shirt pants all NAME small medium large Cubo de 3 dimensões

26 Hierarquias de Dimensões Podemos definir uma hierarquia sobre valores das dimensões NAME Menos geral (mais valores) Sales NAME COLOR SIZE QTY skirt dark S 2 skirt dark M 5 skirt dark L 1 skirt pastel S 11 skirt pastel M 9 skirt pastel L 15 skirt white S 2 skirt white M 5 skirt white L 3 dress dark S 2 dress dark M 6 dress dark L 12 NameCat NAME CATEGORY dress pastel S 4 dress pastel M 3 dress pastel L 3 skirt dress shirt pants womenswear womenswear menswear menswear CATEGORY Mais geral dress white S 2 dress white M 3 dress white L 0 shirt dark S 2 shirt dark M 6 shirt dark L 6 pants white L 2

27 Hierarquias de Dimensões Para cada dimensão, o conjunto dos valores pode ser organizado numa hierarquia: PRODUTO TEMPO LOCALIZAÇÃO ano trimestre país categoria semana mês região nome_prod data cidade 26

28 Operações OLAP Dados podem ser agregados em diferentes níveis (resolu;on): SIZE Roll- up CATEGORY NAME S M L TOTA L skirt dress shirt pants TOTA L S M L TOTA L womenswear menswear TOTAL SIZE Drill- down

29 Operações OLAP: Roll- up Drill- down Slice Dice Pivot Toronto Vancouver Q1 Chicago New York Toronto Vancouver Q2 Home entertainment Home entertainment Computer Phone Security Home entertainment Chicago New York Toronto Vancouver Computer Computer Phone Chicago New York Toronto Vancouver Q1 Security Q2 Q3 Q4 Slice For time= Q1 Pivot Dice Home entertainment Computer Roll-up On location Phone Security USA Canada Q1 Q2 Q3 Q4 Home entertainment Chicago New York Toronto Vancouver January February March April May June July August September October November December Computer Phone Drill-down On time Security Home entertainment Computer Phone Security

30 Sumário! Data Warehouse! OLAP! Exemplo de OLAP com SQL Server Business Intelligence Development Studio! 2012 Técnico Lisboa