Padrões para o ambiente DW-PBH

Transcrição

1 Empresa de Informática e Informação do Município de Belo Horizonte S/A PRODABEL Diretoria de Sistema - DS Superintendência de Arquitetura de Sistemas - SAS Gerência de Arquitetura de Informação - GAAS Padrões para o ambiente DW-PBH Belo Horizonte - MG 18 agosto, 2015

2 Sumário 1 PADRÕES DE NOMENCLATURA DOS AMBIENTES DO DW-PBH PADRÕES PARA MODELAGEM DIMENSIONAL TÉCNICA DE MODELAGEM PADRÕES DE UTILIZAÇÃO DO EA PARA MODELAGEM DO DATA WAREHOUSE (DIMENSIONAL) PADRÕES DE NOMENCLATURAS DE TABELAS E ATRIBUTOS NOMENCLATURA DE TABELAS E ATRIBUTOS NA ÁREA DE RECB NOMENCLATURA DE TABELAS E ATRIBUTOS NA ÁREA DE STGA NOMENCLATURA DE TABELAS E ATRIBUTOS NA ÁREA DM NOMENCLATURA DE TABELAS E ATRIBUTOS NOS PROTOCOLOS (MODELO MULTIDIMENSIONAL)..7 4 PADRÕES PARA A DOCUMENTAÇÃO E ORGANIZAÇÃO DE DIRETÓRIOS PADRÕES PARA ETL PROCEDIMENTOS PADRÕES DE NOMECLATURA E CARGA Página 2 de 11

3 1 PADRÕES DE NOMENCLATURA DOS AMBIENTES DO DW-PBH Os ambientes de desenvolvimento, homologação, carga de produção e acesso de produção possuem as seguintes áreas no banco de dados Oracle: RECB_<SIGLA> guarda dados de recebimento de cada projeto de Data Mart. São criados uma RECB para cada data mart. STGA guarda dados da Stage que é única para todos os DMs do DW-PBH. DM_<SIGLA> - uma área para cada data mart. Armazena os dados do DM que serão acessados pelo usuário. Recebimento e Stage existem no servidor de acesso como espelhamento, pois os dados reais que o usuário acessa estão na área DM_<SIGLA>. Obs : Os DMs antigos não seguiram o padrão: Data Mart Área de Recebimento Área de Stage Área de Data Mart DM Execução de Despesas e Contratos RECB STGA DM_EXDP DM Tramitação de Processos X STGA OPUS DM Censo Educação RECB_SMED STGA DM_CSED DM PPAG-LOA RECB_PPAG STGA DM_PPAG DM Dívida Ativa RECB_DVAT STGA DM_DVAT DM Sac Web Serviços RECB_SACWEB STGA DM_SACWEB Página 3 de 11

4 2 PADRÕES PARA MODELAGEM DIMENSIONAL 2.1 Técnica de modelagem Somente é permitida a utilização da modelagem dimensional na forma Estrela (STAR SCHEMA), modelo onde todas as dimensões relacionam-se diretamente com a tabela Fato. É permitida a utilização de chaves artificiais (surrogate key). Para uma dimensão que possui visões diferentes no mesmo fato é criada uma FK para cada visão. Sempre verificar a necessidade de controle de versionamento e histórico da informação. Seguir os padrões de modelagem da GAAS disponível em: Padrões de utilização do EA para modelagem do Data Warehouse (dimensional) A enciclopédia do DW-PBH fica no servidor de projetos gerenciado pela GESS-PB. Para realizar o acesso verificar o documento Manual de Instalação/Configuração Driver ODBC e Login em Projeto Enterprise Architect disponível no link: RECB: é modelada na ferramenta EA contendo todas as tabelas da área de recebimento. Normalmente é um modelo único, mas para ser inteligível é permitido a criação de submodelos que representam cada assunto que será tratado no data mart. STGA: é modelada na ferramenta EA apenas com as tabelas do contexto do data mart em questão. A stage coorporativa com todas as tabelas existentes possui um modelo próprio. DM: é modelado por Fato tratado no data mart dentro de um assunto específico, se for o caso. Cada tabela fato com suas respectivas dimensões será um submodelo da área de data mart. Página 4 de 11

5 A árvore do projeto na estrutura de modelo físico no EA deverá ficar conforme a estrutura exemplo da figura 1: Figura 1: árvore do projeto no EA Página 5 de 11

6 3 PADRÕES DE NOMENCLATURAS DE TABELAS E ATRIBUTOS 3.1 Nomenclatura de tabelas e atributos na área de RECB Usar os nomes originais do sistema transacional. Caso o dado venha via TXT e não exista uma tabela correspondente no transacional utilizar nomes significativos. Seguir padrão de modelagem da GAAS. 3.2 Nomenclatura de tabelas e atributos na área de STGA Tabelas - S888_NOMEDATABELA onde: 1. S para as tabelas criadas na área de stage é o nº seqüencial do sistema de origem dos dados. Verificar a numeração na lista de sistemas disponível no link: 3. NOMEDATABELA usar o mesmo do transacional ou nomes significativos quando não existir no transacional. 4. Atributos das tabelas: usar os mesmos nomes do sistema transacional ou nomes significativos quando não existir no transacional. Ex: S167_REGIONAL (S-stage, 167-sistema SIATU, Regional-nome da tabela no sistema transacional) 5. Acrescentar em cada tabela uma PK única não significativa com a seguinte lei de formação: ID_NOMEDATABELA Obs: a letra que representa a área e o sequencial que representa o sistema de origem do dado não fazem parte do nome da PK que será acrescentada nas tabelas. 3.3 Nomenclatura de tabelas e atributos na área DM Tabelas - D888_NOMEDATABELA onde: 1. D é a letra que indica que a tabela é do ambiente Data Mart é o nº seqüencial do sistema de origem dos dados. Verificar a numeração na lista de sistemas disponível no link: 3. NOMEDATABELA a. Fato: nome do fato no plural. Página 6 de 11

7 b. Dimensão: nome da dimensão no singular. 4. Utilizar nomes significativos para fatos e dimensões (que identifique unicamente a tabela dentro do DW-PBH). 5. Atributos: nome completo por extenso. 6. Nomes no Oracle têm limite de 30 bytes. Usar underscore(_) para separar palavras. Não usar acentos, preposições e artigos. 7. Digitar o nome das tabelas e atributos em upper case. Obs : Os primeiros DMs (EXECDESP / OPUS / CONTRATOS / CENSO) não seguem totalmente os padrões de nomenclatura de tabelas e atributos. Casa seja necessário abreviar algum atributo é necessário consultar o documento de Padrão palavra disponível no link: Sempre que algo for criado para o data mart (tabela, atributo etc.) deve-se seguir os padrões de modelagem da GAAS para modelos entidade-relacionamento e dimensional. 3.4 Nomenclatura de tabelas e atributos nos protocolos (Modelo multidimensional) Tabelas Fato PF888_NOMEDATABELA onde: 8. PF é a letra que indica que a tabela é um Fato faz parte de um protocolo para modelo multidimensional é o nº seqüencial do sistema de origem dos dados. Verificar a numeração na lista de sistemas disponível no link: NOMEDATABELA a. Fato: nome do fato no plural. Tabelas Dimensão PD888_NOMEDATABELA onde: 11. PD é a letra que indica que a tabela é uma dimensão e faz parte de um protocolo para modelo multidimensional é o nº seqüencial do sistema de origem dos dados. Verificar a numeração na lista de sistemas disponível no link: Página 7 de 11

8 13. NOMEDATABELA a. Dimensão: nome da dimensão no singular. 14. Utilizar nomes significativos para fatos e dimensões (que identifique unicamente a tabela dentro do DW-PBH). 15. Atributos: nome completo por extenso. 16. Nomes no Oracle têm limite de 30 bytes. Usar underscore(_) para separar palavras. Não usar acentos, preposições e artigos. 17. Digitar o nome das tabelas e atributos em upper case. Obs : Os protocolos não são estruturas separadas e não possuem integração com os data marts existentes no DW-PBH. Não possuem área de recebimento e stage, apenas área de data mart que é carregada diretamente do sistema transacional. Todo o processo de carga, manutenção e sustentação é realizada pelo analista do sistema transacional. Casa seja necessário abreviar algum atributo é necessário consultar o documento de Padrão palavra disponível no link: Sempre que algo for criado para o data mart (tabela, atributo etc.) deve-se seguir os padrões de modelagem da GAAS para modelos entidade-relacionamento e dimensional. Página 8 de 11

9 4 PADRÕES PARA A DOCUMENTAÇÃO E ORGANIZAÇÃO DE DIRETÓRIOS A documentação dos projetos encontra-se no repositório da GAAS endereço: Toda documentação produzida para um data mart ou protocolo deve ser armazenada sob um diretório específico para cada data mart. Ex: DM_SACWEB Dentro deste diretório deverá haver no mínimo três pastas Documentação, Produtos e Backups, podendo, diante da necessidade criar outras pastas. Os arquivos de documentação como modelo e dicionário de dados, modelo multidimensional, seqüência de carga, análises de cargas, manuais e outros deverão estar localizados no diretório específico de cada data mart na pasta Documentação. Artefatos produzidos nas diversas fases da metodologia deverão estar localizados no diretório específico de cada data mart na pasta Produtos. Backups realizados pelo analista de DW (Gerados na ferramenta ETL ou na OLAP) deverão estar localizados no diretório específico de cada data mart na pasta Backups. Página 9 de 11

10 5 PADRÕES PARA ETL 5.1 Procedimentos Solicitar a criação da pasta referente ao data mart no repositório do Power Center através da seguinte estrutura do SDM: Serviços de tecnologia de informação Sistema de Informação <Área temática em que o Data Mart está classificado> <nome/sigla/acrônimo do Data Mart> Arquitetura Manutenção Ambiente ETL Solicitar a criação do ambiente de desenvolvimento com as áreas de recebimento, stage e data mart através do script gerado pela ferramenta EA na seguinte estrutra do SDM: Servicos de Tecnologia e Informação Sistemas de Informacao Tecnologia da Informacao Atendimento-Servicos Arquitetura.Arquitetura Informação Apoio 5.2 Padrões de nomeclatura e carga 1. Repositório e tabelas: A pasta no repositório do Power Center sempre deverá ter a seguinte estrutura Datamart_<SIGLA>. Para arquivos de origem txt usar como separador de campos o caracter serquilha (#). 2. Mapeamento: Nomeclatura no Power Center Desing deve seguir a seguinte estrutura m_area_que_esta_sendo_carregada_nometabela (ou um nome significativo). Ex: m_recb_regional Em caso de necessidade de criação de mapplet utilizar a seguinte estrutura mp_nome_significativo. 3. Fluxos de trabalho: Nomeclatura no Power Center Workflow Manager deve seguir a seguinte estrutura wk_nome_significativo. Em caso de necessidade de criação de worklets utilizar a seguinte estrutura wl_nome_significativo. Obs: os nomes significativos ou nomes da tabela devem ser digitados em upper case. Página 10 de 11

11 4. Carga: Inserir em todas as dimensões no ambiente de DM: Código 1 com a descrição Não se aplica para o caso em que o dado da dimensão não é aplicável no que se refere ao registro da tabela Fato. Código -2 com a descrição 'Não Encontrado' para quando um código que vier na tabela Fato não for localizado na dimensão correspondente. Código 3 com a descrição Valor Nulo para quando o valor do atributo não vier preenchido. Página 11 de 11