Data Warehousing Visão Geral do Processo Organizações continuamente coletam dados, informações e conhecimento em níveis cada vez maiores,, e os armazenam em sistemas informatizados O número de usuários que precisam acessar as informações continua aumentando, como resultado da maior confiabilidade e disponibilidade do acesso à rede, sobretudo a Internet Intelligence - cap. 2 15
Data Warehousing Visão Geral do Processo Intelligence - cap. 2 16
Data Warehousing Visão Geral do Processo Os principais componentes de um processo de data warehousing Fontes de Dados (Data sources) Extração de Dados (Data extraction) Carga dos Dados (Data loading) BD abrangente (Comprehensive database) Metadados (Metadata) Ferramentas de Middleware (Middleware tools) Intelligence - cap. 2 17
Arquiteturas Data Warehousing Data warehouse de três camadas O próprio prio data warehouse contém os dados e o software associados Software de aquisição de dados (retaguarda( ou back-end), que extrai dados de sistemas legados e fontes externas, os consolida e resume, depois os carrega no data warehouse Software cliente (front-end), que permite aos usuários acessar e analisar dados a partir do warehouse (um mecanismo de DSS/BI/an análise de negócios BA) Intelligence - cap. 2 18
Arquiteturas Data Warehousing Intelligence - cap. 2 19
Arquiteturas Data Warehousing Intelligence - cap. 2 20
Arquiteturas Data Warehousing Intelligence - cap. 2 21
Arquiteturas Data Warehousing Pontos a considerar para decidir qual arquitetura utilizar: Qual sistema gerenciador de banco de dados (DBMS) utilizar? Será usado processamento paralelo ou particionado? Serão utilizadas ferramentas de migração de dados para carregar o data warehouse? Que ferramentas serão usadas para dar suporte à recuperação e análise de dados? Intelligence - cap. 2 22
Arquiteturas Data Warehousing Intelligence - cap. 2 23
Arquiteturas Data Warehousing Intelligence - cap. 2 24
Arquiteturas Data Warehousing Intelligence - cap. 2 25
Arquiteturas Data Warehousing Intelligence - cap. 2 26
Arquiteturas Data Warehousing Intelligence - cap. 2 27
Arquiteturas Data Warehousing Intelligence - cap. 2 28
Arquiteturas Data Warehousing Intelligence - cap. 2 29
Arquiteturas Data 1. Interdependência de informações entre as unidades da organização 2. Necessidades de informações da alta administração 3. Necessidade urgente de um data warehouse 4. Natureza das tarefas do usuário final Warehousing Dez fatores que possivelmente afetam a decisão de seleção da arquitetura: 5. Limitação de recursos 6. Visão estratégica do data warehouse antes da implementação 7. Compatibilidade com os sistemas existentes 8. Observação da capacidade da equipe interna de TI 9. Questões técnicas 10. Fatores sociais ou políticos Intelligence - cap. 2 30
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Integração de Dados Integração que compreende três grandes processos: acesso aos dados, federação de dados e captura de alterações ões. Quando estes três processos são corretamente implementados, permitem que os dados sejam acessados e disponibilizados a uma gama de ferramentas ETL e análise e ao ambiente de data warehousing Intelligence - cap. 2 31
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Integração de aplicações corporativas (Enterprise application integration EAI) Uma technology que proporciona um veículo para transportar dados dos sistemas-fonte ao data warehouse Intelligence - cap. 2 32
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Integração de informações corporativas (Enterprise information integration EII) Um espaço de ferramentas em desenvolvimento que promete integração de dados em tempo real a partir de diversas fontes, como bancos de dados relacionais, Web services e bancos de dados multidimensionais Intelligence - cap. 2 33
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Extração ão, transformação e carga (ETL) Um processo de data warehousing que consiste na extração (ex: leitura de dados de um banco de dados), transformação (ex: converter os dados extraídos da sua forma original, para uma forma compatível com a definida para carga no data warehouse ou simplesmente outro banco de dados), e carga (ex: carregar os dados no data warehouse) Intelligence - cap. 2 34
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Intelligence - cap. 2 35
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Questões que afetam a resolução de uma empresa que está por adquirir ferramentas de transformação de dados ou pela construção própria pria de um processo de transformação As ferramentas de transformação de dados são caras As ferramentas de transformação de dados têm uma longa curva de aprendizado É difícil medir o desempenho da organização de TI até que ela aprenda a usar as ferramentas de transformação de dados Intelligence - cap. 2 36
Integração de dados e Processos de Extração ão, Transformação ão,, and Carga (ETL) Critérios rios importantes para selecionar uma ferramenta de ETL: Capacidade de ler de e gravar em um número ilimitado de arquiteturas de fontes de dados Captura e entrega automática tica de metadados Hostórico de conformidade com padrões abertos Interface fácil de usar para o desenvolvedor e o usuário funcional Intelligence - cap. 2 37
Benefícios Desenvolvimento de Data Warehouses cios diretos dos data warehouses Permitem aos usuários finais executarem análises amplas de inúmeras formas Permite uma visualização consolidada dos dados corporativos Informações melhores e mais oportunas Desempenho aprimorado do sistema Simplificação do acesso aos dados Intelligence - cap. 2 38
Desenvolvimento de Data Warehouses Benefícios indiretos resultam do uso feito dos benefícios diretos pelos usuários finais Aprimora o conhecimento dos negócios Apresentam vantagens competitivas Aprimoram o serviço e a satisfação do cliente Facilitam a tomada de decisões Ajudam a reformar os processos de negócios Intelligence - cap. 2 39
Desenvolvimento de Data Warehouses Fornecedores de data warehouse Seis diretrizes que devem ser consideradas ao se desenvolver uma lista de fornecedores: 1. Solidez financeira 2. Vínculos com sistemas ERP 3. Consultores qualificados 4. Participação no mercado 5. Experiência no setor 6. Parcerias estabelecidas Intelligence - cap. 2 40
Desenvolvimento de Data Warehouses Abordagens ao desenvolvimento do data warehouse Modelo Inmon: abordagem EDW Modelo Kimball: abordagem de Data mart Qual modelo é melhor? Não há estratégia única relativa ao data warehousing Uma alternativa é o warehouse hospedado Intelligence - cap. 2 41
Desenvolvimento de Data Warehouses Estrutura de Data warehouse: O esquema Estrela Modelagem dimensional Um sistema baseado em recuperaão que suporta acessos com alto volume de consultas. Tabelas de fatos Negócios ou fatos observados Tabelas de dimensão Tabela que indica como os fatos serão analisados Intelligence - cap. 2 42
Data Warehouse Development Intelligence - cap. 2 43
Desenvolvimento de Data Warehouses Grão (granularidade) Define o nível mais alto de detalhes suportado pelo data warehouse Drill-down É o processo de exame além de um valor resumido para investigar cada uma das transações detalhadas que compõem o resumo. Intelligence - cap. 2 44
Desenvolvimento de Data Warehouses Questões de implementação de data warehousing Implementar um data warehouse é normalmente um esforço pesado que deve ser planejado e executado de acordo com métodos estabelecidos O Ciclo de Vida do projeto tem muitas facetas e uma única pessoa não pode ser especialista em todas as áreas Intelligence - cap. 2 45
Desenvolvimento de Data Warehouses Para uma implementação bem sucedida de um data warehouse pode ser observada uma lista de onze tarefas principais a serem executadas (Solomon, 2005) : 1. Estabelecimento de acordos de nível de serviço e solicitações para atualização de dados 2. Identificação de fontes de dados e suas políticas de governança (controle) 3. Planejamento da qualidade dos dados 6. Seleção da plataforma e software de Banco de Dados Relacional 7. Transporte de dados 8. Conversão de dados 9. Processo de reconciliação 10. Limpeza e planejamento de arquivamento 11. Suporte para usuário rio-final Intelligence - cap. 2 46
Desenvolvimento de Data Warehouses Algumas das melhores práticas para implementar data warehouse (Weir, 2002): O projeto deve ser adequado à estratégia corporativa e aos objetivos de negócios Deve haver adesão completa ao projeto por parte dos executivos, gerentes e usuários É importante gerenciar as expectativas do usuário sobre o projeto concluído O data warehouse deve ser construído progressivamente Deve ser incorporada adaptabilidade Intelligence - cap. 2 47
Desenvolvimento de Data Warehouses Algumas das melhores práticas para implementar data warehouse (Weir, 2002): Tanto profissionais de TI quanto de negócios devem gerir o projeto Deve ser desenvolvida uma relação empresa/fornecedor Devem ser carregados somente os dados que foram limpos ou que sejam de uma qualidade conhecida pela organização Não se deve negligenciar as exigências de treinamento É preciso estar politicamente consciente Intelligence - cap. 2 48
Desenvolvimento de Data Warehouses Fatores de risco em projetos de data warehouse: Questões culturais ignoradas Arquitetura inapropriada Indefinição dos objetivos do negócio Falta de informação Expectativas irreais Baixos níveis de sumarização de dados Baixa qualidade dos dados Intelligence - cap. 2 49
Desenvolvimento de Data Warehouses Questões a considerar para o sucesso no desenvolvimento de um data warehouse: Começar com a cadeia de patrocinadores errada Criar expectativas que não podem ser atingidas e frustrar os executivos na hora da verdade Assumir um comportamento politicamente inocente Carregar informações no warehouse só porque ele está disponível Intelligence - cap. 2 50
Desenvolvimento de Data Warehouses Questões a considerar para o sucesso do desenvolvimento de um data warehouse: Acreditar que o projeto de banco de dados de data warehousing é o mesmo do projeto de banco de dados transacional Escolher um gerente de data warehouse que seja orientado pela tecnologia, não pelo usuário Concentrar-se nos tradicionais dados internos orientados por registros,, e ignorar o valor de dados externos e de textos, imagens,, e, talvez, som e video Intelligence - cap. 2 51
Desenvolvimento de Data Warehouses Questões a considerar para o sucesso no desenvolvimento de um data warehouse: Oferecer dados com definições confusas e conflitantes Acreditar em promessas de desempenho, capacidade e escalabilidade Acreditar que seus problemas terminarão quando o data warehouse estiver funcionando Concentrar-se em data mining e relatórios rios periódicos ad hoc em vez de alertas Intelligence - cap. 2 52
Desenvolvimento de Data Warehouses Os fatores de implementação podem ser categorizados em tres critérios rios Questões organizacionais Questões relativas ao projeto Questões técnicas A participação do usuário no desenvolvimento da modelagem de dados e de acesso é um fator crítico de sucesso no desenvolvimento de um data warehouse Intelligence - cap. 2 53
Desenvolvimento de Data Warehouses Data warehouses gigantescos e escalabilidade Principais questões relativas à escalabilidade: O volume de dados no warehouse A rapidez com que se espera que ele cresca O número de usuários simultâneos A complexidade das consultas dos usuários Boa escalabilidade significa que as consultas e outras funões de acesso aos dados terão um crescimento diretamente proporcional ao tamanho do warehouse Intelligence - cap. 2 54
Desenvolvimento de Data Warehouses Questões de revisão: 1. Descreva a integração de dados. 2. Por que o processo de ETL é tão importante para os empreendimentos de DW? 3. Liste alguns critérios rios para selecionar um fornecedor de DW e descreva por que são importantes. 4. Faça uma análise da empresa em que trabalha, ela segue as melhores práticas listadas em aula? Se sim, como; ; se não, por quê? 5. A empresa em que voce trabalha já teve problemas na implementação de DW? Por quê? Intelligence - cap. 2 55