- A crescente necessidade de sistemas inteligentes e de aquisição de conhecimento levaram à necessidade de implementação de Data Warehouses.

Transcrição

1 - A crescente necessidade de sistemas inteligentes e de aquisição de conhecimento levaram à necessidade de implementação de. - O que é uma Data Warehouse? - Colecção de bases de dados orientadas por assunto e desenhadas para suportar sistemas de apoio à decisão (William Inmon) - Bases de dados desenhada e optimizada para um tipo de processamento específico.

2 Orientada por Assunto A informação contida numa Data Warehouse pertence a um domínio específico, em vez de englobar as necessidades específicas de uma organização Integrada Apesar da informação poder ter origem diversas, devese encontrar num estado estável e coerente. Variação temporal Toda a informação contida numa Data Warehouse esta associada a um intervalo específico de tempo. Não-Volatilidade Toda a informação é estável dentro da Data Warehouse. Pode ser adicionada mas não removida informação.

3 Processo de integrar as transformações efectuadas sobre determinado tipo de informação por forma a permitir a aplicação de sistemas de aquisição de conhecimento. Aquisição de conhecimento não-imediato a partir da análise factual de uma BD. Normalmente alimentadas por um ou vários sistemas OLTP. Sistemas de inferência. Geração de regras. Arvore de decisão Algoritmos de agrupamento (Clustering) Sistemas de apoio à decisão...

4 OnLine Transaction Process (OLTP) Enquadramento das bases de dados tradicionais. Âmbito de trabalho Transação Quantidade de informação Grupos de linhas Natureza da informação Primitiva Volatilidade da informação Alta Tempo de resposta Segundos Prioridades Desempenho e avaliabilidade Tipos de acessos Predefinidos e estáticos

5 OnLine Analytical Process (OLAP) Enquadramento das Âmbito de trabalho Base de dados inteira Quantidade de informação Linhas individuais Natureza da informação Derivada Volatilidade da informação Baixa Tempo de resposta Horas, dias,... Prioridades Flexibilidade Tipos de acessos Não definido e dinâmico

6 Tabela Clientes BD Tradicional Criação da tabela Inserção de elementos Alteração de elementos Remoção de elementos Código Função Operário Operário Director Secret. Consulta da informação desejada Data Warehouse Instante em que foram adicionados, alterados ou eliminados elementos. Aquisição de conhecimento sobre as alturas em que normalmente se inserem, alteram ou removem elementos Nome Ana José Paulo Carla Idade Morada Abc Dfg Odk Ikj

7 Administração de São acedidas essencialmente para operações de leitura Aplicação de processos analíticos sobre a informação. Tal como nas Bases de Dados tradicionais: Conhecimento prévio das operações a efectuar. Conhecimento prévio das aplicações a aceder à BD. Arquitectura Tipo de acesso Consultas-Padrão...

8 Desenho de Requisitos de acesso à informação, estruturas, índices e processos de optimização (clustering) são específicos das. Bastante usual a arquitectura em estrela: Dimension Table Dimension Table Subject Table Dimension Table Dimension Table

9 Arquitectura em Estrela Uma tabela central (Subject table) mantém a informação primária sobre o assunto da Data Warehouse. Rodeada por tabelas que representam os factores que influenciam (Dimension tables) a actividade. Justificações: É uma arquitectura flexível o suficiente para permitir a adição de novas tabelas á medida que a Data Warehouse cresce. É facilmente perceptível para os implementadores e utilizadores da BD. Modela a forma como os utilizadores tipicamente raciocinam acerca de uma domínio. Facto central influenciado por vários factores. Muitos SGBD s estão optimizados para construir junções em arquitecturas em estrela, potenciando a eficiência do sistema.

10 Arquitectura em Estrela - Exemplo Tipo Tempo Rendimento Clientes Local

11 Quando a complexidade do domínio aumenta, esta arquitectura pode dar origem à "Floco de Neve" em que as tabelas terminais da estrela são também influenciadas por diversos factores e constituem elas próprias tabelas centrais de outras estrelas. D10 D9 D1 D8 D7 DS3 DS4 S1 DS1 DS2 D2 D3 D = Dimension table S = Subject Table DS = Dimension / Subject Table D6 D5 D4

12 Desnormalização é factor bastante usual nas Data Warehouses. Uma vez que funcionam como armazém para os dados e as suas alterações, tendem a apresentar dimensões elevadas. Necessidade de aplicação de mecanismos de compressão sobre algumas tabelas ou atributos específicos. Encorajamento de operações paralelas, sem necessidade de dependência entre parcelas da BD.

13 Registo de Informação Uma das tarefas principais consiste na análise dos objectivos dos utilizadores da de forma a poder implementar métodos que registem a informação pretendida. Evolução de determinados factores (ao longo do dia, hora, segundos,...) Relação entre vários parâmetros Importante a percepção: Qual o objectivo principal da Data Warehouse? Que resultados se esperam obter após a análise da informação aqui contida?

14 Registo de Informação Fase seguinte consiste na captura da informação necessária a partir dos sistemas OLTP. SGBD s internos / externos, Sinais do utilizador, Sensores, Etc... OLTP OLAP OLTP

15 Qualidade da Informação Utilizadores da Data Warehouse poderão não ter: Conhecimentos específicos de informática. Conhecimento sobre significado de determinados valores em campos específicos da BD. Necessidade da informação permanecer legível. Substituição de códigos por valores com significado intrínseco. No processo de transferência da informação, tomar previdência de forma a que permaneça legível.

16 Qualidade da Informação Exemplo Análise da relação entre a categoria dos empregados da firma X e a sua produtividade. Código_Categoria Produtividade Categoria Produtividade 1 17% Condutor 17% 5 27% Estagiário 27% 6 62% Chefe de Linha 62% 2 82% Efectivo 82%

17 Qualidade da Informação Identificação de informação inválida ou irrelevante. A implementação de valores por defeito pode constituir um problema. Ao identificar valor "1/1/1900" em Dt_Nascimento significa que o empregado tem realmente 103 anos, ou não? Ter em mente que a análise da informação será feita por sistemas computacionais. Pouco racionais Pouco flexíveis

18 Qualidade da Informação Necessário o estabelecimento de políticas relativamente a anomalias (inevitáveis) Encontradas pelos implementadores. Idenbtificadas pelos utilizadores finais. Inconsistências nos sistemas OLTP reflectemse nas Ignorar inconsistencias? Corrigir o problema no sistema OLTP? Corrigir o problema na fase de importação da informação?

19 Desempenho de Tabelas automáticas de sumarização Constituem um dos factores principais com vista a melhoria da eficiência de uma Data Warehouse Consistem em tabelas / vistas, actualizadas a partir de eventos (triggers) e que sumariam o conteúdo de parcelas de informação. Alguns SGBD s permitem a sua criação automática a partir das funções matemáticas SQL: COUNT SUM AVG MIN MAX

20 Consistência da informação Informação nos sistemas OLTP-fonte está permanentemente a mudar Necessidade de actualização da Data Warehouse. Implementação de mecanismos que determinem o grau de actualização da Data Warehouse Grau de confiança nos resultados obtidos após análise e aquisição de conhecimento.