Diagrama Funcional das Informações

Transcrição

1 Arquitetura

2 Processo Diagrama Funcional das Informações Produção das Informações Coleta das Informações Gestores Algoritmo de Processamento / Data Loader Decriptografia e descompactação Armazenamento Consumo Repositório/Cubo Multidimensional Processos Gestão Estoque F a s e Fornecedores Extração das Informações Consistência de chaves Integridade Referencial Servidor de Aplicações Performance Vendas Margem e Metas Colaboradores Clientes Sistemas Arquivos Geração das Interfaces Upload Validação de Estrutura Criptografia Compactação Transferência segura Atualização Histórica Limpeza Particionamento, indexação e compactação Motor algoritimo Web Excel Tablet Smart Fone Word Negociação com Fornecedores Participação nos Resultados com KPI s Exploração das informações Administração Executiva PDF SQL

3 Arquitetura 4Insights

4 4Insights Data Modeler Modelagem Multidimensional Desenho das dimensões Desenho das tabelas de Fatos Definição das agregadas Definição das consolidadas Definição das fotografias Definição dos relacionamentos Definição das estruturas de dados Definição das regras de transformação Definição das regras de atualização dos dados Definição das chaves das tabelas Definição das descrições das dimensões Definição das Lookups Controle de Versão por ambientes (Produtivo ou não) Definição dos usuários, credencial e grupos de acesso Definição da camada semântica Definição dos tipos de dados Definição das chaves de refresh Definição das funções de agregação Modelos pré-definidos Importação de modelos já existentes Painel de execução das cargas

5 4Insights Data Uploader Interface Visual Integrado com o Data Modeler Visualização das interfaces Validação das estrutura definida no Data Modeler Facilita a construção das interfaces Valida as estruturas das interfaces Criptografa as interfaces Compacta as interfaces Transfere as interfaces Console (linha de comando) Automatização do fluxo de transferência dos dados Validação das estrutura definida no Data Modeler Criptografa as interfaces Compacta as interfaces Transferência das informações

6 4Insights Data Loader Algoritmo que converte o modelo definido no Data Modeler em programas que realizam a carga dos dados Motor de sincronização e atualização dos dados Carga histórica Carga eventual Limpeza dos históricos Criação e manutenção do modelo de dados físico no banco de dados Criação da camada de Data Quality Criação da camada de Working Carga das dimensões (modelo Star Schema ou Snowflaque) Carga das tabelas de fatos Carga das tabelas agregadas Carga das tabelas consolidadas Fotografia das tabelas não agregáveis (exemplo estoque) Validação da integridade referencial e recarga dos dados revalidados durante a carga Validação das chaves primárias e únicas Validação de valores de checagem Validação de nulidade de valores

7 4Insights Data Control Motor para automatização das cargas (Scheduler) Controle de dependências Geração de Logs Histórico dos tempos de carga Controle de falhas Envio de mensagens Integração com Big Data Hadoop, Spark e Sqoop Observação: Ferramenta desenvolvida em System Manager sendo convertida para Java

8 Repositório DataWarehouse Compatível com bancos de dados colunares Proporciona maior performance Compatibilidade e integração com Big Data Hadoop, Spark e Sqoop Bancos Compatíveis: InfiniDB (MySql); MariaDB; RedShift; DB2 BLU Repositório do metadados Compatível com bancos de dados relacionais que possuem JDBC Mysql, Oracle, Sql-Server, DB2 e outros Os repositórios podem ser Proprietários ou Open Source

9 Plug-in 4Insights Construídos em ferramenta de extração e transformação dos dados (ETL) Utilizado para realizar as extrações de dados de forma ágil e garante que as integrações são geradas no formato/padrão necessário Conecta em diferentes bases de dados, arquivos, interfaces, XML, HTTP, HDFS, Spark, Sqoop Procedures, Querys, Hadoop e compatível com Big Data Recebe os Layout das integrações já modelados na ferramenta 4Insights Data Modeler e acelera o desenvolvimento das extrações dos dados Criptografa as informações Compacta as interfaces Transfere de forma segura (protocolo SFTP) Ferramenta visual PDI Pentaho Data Integration Data Stage IBM (disponível em 31/12/2016) Power Center (disponível em 31/12/2016)

10 MicroStrategy Front-End Ferramenta Analítica Desenvolvimento dos relatórios e Dashboard Possui Visual Insights Motor que criar automaticamente a camada semântica (até o final de 10/2016)

11 Obrigado!