Serviço Público Inteligente

Transcrição

1 Serviço Público Inteligente Sistemas de BI, decidir com base em informação de qualidade 15 de maio de 2013 Auditório B, Reitoria UNL Patrocínio Prata Patrocinadores Globais APDSI

2 Business Intelligence no Banco de Portugal Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

3 AGENDA Introdução - Enquadramento e Visão Geral Estratégia para atingir um DW Gestão da informação de referência Arquitetura de BI Implementação incremental Perspetiva de evolução Sumário /Principais conclusões Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

4 Enquadramento As funções que competem ao Banco de Portugal, nomeadamente no que concerne a: Intervenção ao nível do Eurosistema (designadamente ao nível de Política Monetária); Supervisão da Estabilidade do Sistema Financeiro; Elaboração de Estatísticas; Produção de Estudos e Análises Económicas; Regulação dos Sistemas de Pagamentos ; necessitam de um suporte analítico apropriado, pois recebem informação de várias fontes que consolidam, analisam e cruzam de acordo com diferentes perspetivas. Acrescem, tal como à generalidade das instituições, as funções operacionais sobre as quais também é necessário assegurar uma adequada gestão dos recursos internos. Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

5 SPAI Sistema de partilha Gestão da informação de referência Definição da Arquitetura de Referência BI Enquadramento Visão Cronológica Primeiros sistemas a disponibilizarem facilidades analíticas: Estatísticas BoP e SEIS Sistema de Exploração de Informação de Supervisão Processo de revisão da Arquitetura de Referência Implementação incremental Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

6 1º pilar SPAI Sistema de partilha Gestão da informação de referência Âmbito do SPAI Estratégia para atingir uma DW - centrada na informação de referência (dimensões) (partilhada e gerida por um sistemas de partilha SPAI) Informação de Estado Informação de Referência Caraterização: Específica Dinâmica Quantifica Comum / Partilhada Semi-estática Qualifica Exemplos: Balanços Movimentos Fluxos Posições Stocks Montantes Valores Instituição Financeira Empresa não Financeira País Divisa Setor de Atividade Económica Tipo de Operação Enquadramento: Factos Dimensões Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

7 Partilha da informação de referência Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

8 Partilha da Informação de referência Tipo Crédito Data Instit Crédito Mês Prazo Instit Monet CRC Cruzamento Região de dados EMF Rubrica País CAE Região CAE Devedor

9 Necessidade de gestão da informação de referência C l I e n t e s F o n t e s Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

10 Ausência de gestão dos dados de referência Problemas Comparabilidade e integração de dados Dispersão Proliferação de identificadores de negócio não relacionados Incompatibilidade de conceitos, metodologias e classificações Informação inconsistente entre sistemas Custos de desenvolvimento e manutenção SI Custos de gestão da informação (utilizador) Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

11 Estratégia para atingir umdw SPAI Gestão da Informação de Referência C l I e n t e s F o n t e s Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

12 Estratégia para atingir uma DW - centrada na informação de referência (dimensões) (partilhada e gerida por um sistemas de partilha SPAI) Objetivos Qualidade da Informação de Referência controlo da redundância, articulação e coerência dos dados Reutilização da informação comum utilizada nos sistemas operacionais / transacionais ou analíticos (Facilitador da) Integração de Sistemas através dos dados de referência partilhados Benefícios Consistência dos dados Como resultado da gestão centralizada (necessário para) cruzamento de informação A atribuição de um id único no SPAI, permite referenciar as mesmas dimensões em diferentes SI s Redução de esforço no desenvolvimento e manutenção bem como na gestão dos dados Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

13 Departamento de Organização, Sistemas e Tecnologias de Informação SPAI Domínios de informação 15 de Maio de 2013 TPAICAL0_Calendario PAICAL_IdDia PAICAL_Data PAICAL_NumMes PAICAL_NomeMes PAICAL_NomeMesAbrv PAICAL_Month PAICAL_MonthAbrv PAICAL_DiaMes PAICAL_FimMes PAICAL_FimTrim PAICAL_FimSmtr PAICAL_FimAno PAICAL_DiaSema PAICAL_NomeDia PAICAL_NomeDiaAbrv PAICAL_FimSema PAICAL_FeriadoNac PAICAL_FeriadoReg PAICAL_SemaAno PAICAL_IniSema PAICAL_Ano PAICAL_AnoMes PAICAL_Trimestre PAICAL_Semestre U1 PAICAL_NumSeqDia PAICAL_NumSeqSema PAICAL_NumSeqMes PAICAL_DiaEqvAnoAnt FK1 PAITER_IdMembro TPAISTI0_SectorInstituc PAISTI_IdMembro FK2,I2 PAITAE_IdMbrTipoAE FK1,I1 PAIRSI_IdRegiao TPAISTI1_SectorInstitSIET,FK1 PAISTI_IdMembro PAISTI_SIETCodSI PAISTI_SIETDsgSI PAISTI_SIETNivHier PAISTI_SIETCodSIPai TPAISTI2_SectorInstitEMF,FK1 PAISTI_IdMembro PAISTI_EMFCodSI PAISTI_EMFDsgSI PAISTI_EMFNivelHier PAISTI_EMFCodSIPai PAISTI_EMFFormula TPAISTI3_SectorInstitCN,FK1 PAISTI_IdMembro U1 PAISTI_CNCodSI PAISTI_CNDsgSI PAISTI_CNSiglaSI PAISTI_CNDsgSIIngles PAISTI_CNNivHier PAISTI_CNCodSIPai PAISTI_CNIdSI PAISTI_CNIdSIPai PAISTI_CNOrdem PAISTI_CNFicticio TPAIRSI0_RegiaoSI,I1 PAIRSI_IdRegSI PAIRSI_DsgRegiao FK1,U2,U1 PAITER_IdMbrTerr TPAITAE0_TipoAgEcon,I1 PAITAE_IdMembro PAITAE_DsgTipoAgEcon PAITAE_FlagSI PAITAE_FlagSIBase I3 PAITAE_FlagTipoAF I2 PAITAE_FlagIFM TPAINUT0_NUTS PAINUT_CodNUTS FK1,I1 PAITER_IdMembro PAINUT_NivHierUT TPAICNC0_Concelho,FK1,I1,U1 PAITER_IdMembro FK4,I4 PAIDST_CodDstr PAICNC_CodConc FK3,I3 PAINUT_NUTS_III PAICNC_CodDstrEstat PAICNC_CodConcEstat FK2,I2,I5 PAITER_IdMbrDstr PAITER_IdMbrTerrNac TPAIDST0_Distrito PAIDST_CodDstr FK1,U2,U1 PAITER_IdMembro TPAIFRG0_Freguesia PAIFRG_CodFreg FK1 PAITER_IdMembro TPAIHAT0_HierAgregTerrit,FK1,FK2 PAINEG_IdAreaNeg,FK2,I2 PAITAT_CodTaxAgrTerr,FK1,I3,I1 PAIVAT_IdVerAgrTerr PAIHAT_NivHier PAIHAT_CodOrden TPAITPT0_TipoTerritorio,I1 PAITPT_IdTipoTerr PAITPT_TipoTerritorio TPAINEG0_AreaNegocio,I1 PAINEG_IdAreaNeg PAINEG_DsgAreaNegocio TPAICAT0_ComposAgregTerrit,FK2 PAINEG_IdAreaNeg,FK2,I4,I2 PAIVAT_IdVerAgrTerr,FK1,I1,I5 PAITER_IdMbrTerrFilho PAICAT_DataIni I3 PAICAT_DataFim TPAITAT0_TaxonAgregTerrit,FK1 PAINEG_IdAreaNeg PAITAT_CodTaxAgrTerr PAITAT_DsgTaxonom PAITAT_Disjuncao TPAIVAT0_VersaoAgregTerrir,FK2 PAINEG_IdAreaNeg,I4 PAIVAT_IdVerAgrTerr FK1,I3,I1 PAITER_IdMembro TPAITER0_Territorio PAITER_IdMembro I2 PAITER_DesignPT PAITER_DesignPTm PAITER_DesignEN PAITER_DesignENm PAITER_AcronPT PAITER_AcronEN I4 PAITER_ISONum PAITER_ISOAlfa2 I3 PAITER_ISOAlfa3 PAITER_DataIni PAITER_DataFim I1 PAITER_Activo PAITER_#Versoes PAITER_DesignAnterior PAITER_ISONumAnt PAITER_ISOAlfa3Ant TPAICTT0_ClassifTipoTerrit,FK2,I2 PAITER_IdMembro,FK1,I4,I1 PAINEG_IdAreaNeg FK3,I3 PAITPT_IdTipoMembro TPAIDIV0_Divisa PAIDIV_IdMembro U1 PAIDIV_ISOAlfa I1 PAIDIV_ISONum PAIDIV_DsgDivisa PAIDIV_DataIni PAIDIV_DataFim PAIDIV_DivSubst PAIDIV_DsgAnterior PAIDIV_FlgEuro PAIDIV_FlgPrinc PAIDIV_FlgCambio PAIDIV_EntidCotac TPAIPDV0_Pais_Divisa,FK2,I4,I2 PAITER_IdMbrTerrit,FK1,I3,I1 PAIDIV_IdMbrDivisa PAIRPD_DataIni PAIRPD_DataFim TPAIDVH0_HistClassDivisaBP FK1,I1 PAIDIV_IdMembro PAIDVH_DataIni PAIDVH_DataFim PAIDIV_FlgCambio PAIDIV_FlgPrinc TPAICAF0_ClassificAF FK1,I1 PAIEMP_IdMbrAF FK2,I2 PAITAE_IdMbrTipoAF PAIAGF_CodAF PAITAF_CodTipoAF PAICAF_DataIni PAICAF_DataFim PAIXFI_TipoDimensao PAIXFI_SistFonteInf TPAIAFM0_AF_IMF PAITAE_IdMbrTipoIMF PAIAFM_DataIniIMF PAIAFM_DataFimIMF PAIAFM_TipoIniIMF PAIAFM_TipoFimIMF PAIAGE_IdMbrAFDestActlz PAIAFM_RespReporte PAIAFM_PeriodicReporte PAIAFM_RepTxJuro PAIAFM_Estracto PAIAFM_ActivOffShore PAIAFM_NomeCasaMae PAIXFI_TipoDimensao PAIXFI_SistFonteInf TPAIAGF0_AgenteFinanceiro,FK3 PAIAGE_IdMembro PAIAGF_FlgIFR PAIAGF_CodAF PAIAGF_DataOriAF PAIAGF_DataExtAF FK1,I1 PAIAGE_IdMbrAFDestino PAIAGF_MotivoFimAF PAIAGF_MoradaAF PAIAGF_LocalidadeAF PAIAGF_CodPostalAF PAIAGF_ExtCodPostalAF PAIAGF_ZonaPostalAF PAIXFI_TipoDimensao PAIXFI_SistFonteInf FK2 PAITER_IdMembro TPAITAF0_TipoAgFinanc,FK1,I1 PAITAE_IdMembro PAITAF_CodTipoAF PAITAF_SiglaTipoAF PAITAF_SuperTAF PAITAF_FlagAntRev PAITAF_FlagPosRev TPAIGFI0_GrupoFinanceiro PAIGFI_IdMembro PAIGFI_CodGF PAIGFI_FlgGFEstrang PAIGFI_DataCriacaoGF PAIGFI_DataExtincaoGF PAIXFI_TipoDimensao PAIXFI_SistFonteInf TPAIAFV0_VersaoAF,FK6 PAIEMP_IdMbrVer FK1,I1 PAIAGE_IdMembro PAIAFV_SiglaAF PAIAFV_NomeAFAbrev PAIAFV_NomeAFCompl FK2,I3 PAITAE_IdMbrTipoAF PAIAFV_NIPC FK3,I4 PAITER_IdMbrPaisSede FK4,I5 PAITER_IdMbrPaisOrigCapital FK5,I2,I6 PAITER_IdMbrPaisResid PAIAFV_DataIniVer PAIAFV_DataFimVer PAIXFI_TipoDimensao PAIXFI_SistFonteInf TPAIGFV0_VersaoGF PAIGFV_IdMbrVer FK2,I2 PAIGFI_IdMembro PAIGFV_SiglaGrupoFinanceiro PAIGFV_NomeGrupoFinanceiro PAITER_IdMbrPaisMaioriaCapital PAIGFV_DataIniVer PAIGFV_DataFimVer PAIXFI_TipoDimensao PAIXFI_SistFonteInf FK1,I1 PAIGFI_IdMbrGFPai TPAIGFC0_ComposGF I3 PAIGFC_IdSeq FK2,I2 PAIAGE_IdMbrAF FK1,I1 PAIGFI_IdMbrGF PAICGF_FlgCabecaGrupo PAICGF_FlgReportador PAICGF_FlgFilial PAICGF_FlgPerimConsolid PAICGF_DataIni PAICGF_DataFim PAICGF_FlgCancel PAINEG_IdAreaNeg PAIGFC_UseridProposta PAIGFC_UseridRespons PAIGFC_DtHoraProposta PAIGFC_DtHoraRegDefinit TPAIXUG1_UtilizMembroSI,FK6,I2 PAISIS_CodSistInfo FK1,I1,I3 PAIDIM_IdDim FK2,FK3,FK4,FK5,FK7,FK8 PAIXUG_IdMembro PAIXUG_CodSIMembro TPAIDIM0_Dimensao,I1 PAIDIM_IdDim I2 PAIDIM_NumDigMemb I3 PAIDIM_NumDigVer PAIDIM_DsgDimensao TPAISIS0_SistemaInformacao PAISIS_CodSistInfo PAISIS_DsgSistemaInform TPAITVL0_TipoValor PAITVL_IdMembro PAITVL_DsgTipoValor TPAITCT0_TipoConta PAITCT_IdMembro PAITCT_DsgTipoConta TPAIPRZ0_IntervPrazos PAIPRZ_IdMembro PAIPRZ_DscrIntervPrazo PAIPRZ_CodOrdem TPAIECR0_EscalaoCredito PAIECR_IdMembro PAIECR_DsgEscCredito TPAIFCR0_FinalidadeCredito PAIFCR_IdMembro PAIFCR_DsgFinCredito TPAIRUB0_Rubrica PAIRUB_IdMembro PAIRUB_CodRubrica PAIRUB_DsgRubrica PAIRUB_Formula TPAIAEC0_ActivEcononica PAIAEC_IdMembro PAIAEC_DsgActivEcon TPAICAE0_CodActivEcon,I2 PAICAE_IdMembro PAICAE_CAE FK1,I3,I1 PAIAEC_IdMbrActEcon PAICAE_Revisao PAICAE_NivHier PAICAE_Divisao PAICAE_SubDiv PAICAE_Classe PAICAE_Grupo PAICAE_SubGrp PAICAE_DataIni AUX_TPAIIAE_IdentAgEcon_020 PAIIAEPaisDoc PAITPDTipoDoc PAIIAENumDoc FK1 PAIAGE_IdMembro PAIIAEDtReg PAIIAEDtFim PAIXFITipoDimensao PAIXFISistFonteInf PAIAGETipoEmpPart AUX_TPAIAGE_AgEcon_020 PAIAGE_IdMembro PAIAGENomeAgEcon PAIAGETipoEmpPart PAIAGETipoNacEstrang PAIAGEPaisResidencia PAIAGEPaisNacionalidade PAIAGEDtReg PAIAGEDtFim PAIXFITipoDimensao PAIXFISistFonteInf PAIAGEDtRegFonte AUX_TPAIEMP0_EmpresaVersao_020 PAIEMP_IdVerMbr FK1 PAIAGE_IdMembro PAIAGENomeAgEcon PAIDSTCodDistrito PAIDSTCodConcelho PAIEMPDtCriacaoEmpresa FK2 PAICAE_IdMbrCAEResCred PAINJUCodNatJuridica PAIEMPDtHoraReg PAIEMPDtHoraFim PAIXFITipoDimensao PAIXFISistFonteInf PAIEMP_OrdemVersao Empresa Agente Financeiro Actividade Económica Sector Institucional Tempo Unidade Territorial Território Divisa Título

14 F o n t e s C l I e n t e s Armazenamento efetivo de dados de referência conformes; Processos específicos de ETL Views dedicadas para disponibilizar os dados Gestão da Informação de referência -SPAI gestão ViewPoint consulta on-line ETL Views ETL Base de Dados SPAI ETL Views aquisição armazenamento disponibilização

15 SI Cliente SPAI - Equipa dedicada interatua com equipa de projeto (desenvolvimento incremental) Estudo Planeamento Análise Desenho Construção Testes Inicial Implem. SPAI Identificação Domínios Informação Partilhada Identificação Necessidades Informação e Serviços SPAI Definição Requisitos Informação Referência Definição Condições Fornecimento Serviços Definição Views Alter. Base Dados SPAI Desenv. Proc. ETL Parametriz. ViewPoint Certificação Qualidade Serviços SPAI Passagem Produção Objectos SPAI

16 2º pilar Definição da Arquitetura de Referência BI Enquadramento e visão geral da arquitetura de BI decomposição em camadas Arquitetura de BI abordada a 3 níveis: Negócio (conceitos do negócio independentes da tecnologia) Concetual (tipos de tecnologias ou categorias de funcionalidades ) Tecnológica (Infraestrutura e componentes aplicacionais específicas)

17 Difusão: BPstat, BDIE Camada de negócio visão de dados Identificação de domínios de informação Função Domínios de Informação SI s Estatísticas Monetárias e Financeiras EMF Estatística Estatísticas da Balança de Pagamentos Estatísticas da Posição do Investimento Internacional BoP PII Estatísticas de Títulos Estatísticas das Contas Nacionais Financeiras Estatísticas das Empresas não Financeiras Estatísticas das Responsabilidades de Crédito SIET CN Central de Balanços ITENF CRC/CRE Supervisão

18 Camada de negócio visão de dados Cruzamento de informação entre domínios estatísticos

19 Correlação entre domínios de Informação partilha de informação de referência

20 Camada de Negócio Cadeia de Valor da informação Aquisição Produção Exploração Disseminação Controlo Aquisição Gestão Produção Gestão Exploração Gestão Dif usão Gestão Dados Ref erência Gestão Meta-Inf ormação (semântica, regras negócio e operação) Desenvolvimento Metodológico / Auditoria Estatística A cadeia de valor inicialmente estudada para os sistemas estatísticos é abrangente e generalizável para outros sistemas de BI (os quais poderão não passar por todos os passos no mínimo Aquisição e Exploração sempre presentes).

21 Cadeia de Valor da informação atividades tipo Aquisição Produção Exploração Difusão Recolha Estimação / Extrapol Consulta Dados Monitorização Recepção Amostragem Cálculo Indicadores Análise Interactiva Extracção Análise Temporal Cálculo Representativ Public Relatórios Validação Cruzam / Integração Agregação Ad hoc Consulta Relatórios Qualidade Agreg / Contributos Análise Dimensional Subscr Relatórios Correcção Cálculo Variáveis Análise Tendência Distrib Relatórios Categorização Ranking Análise Exploratória Reporte Periódico Transformação Análise Descritiva Análise Predictiva Publicação Identificação Outliers Ad hoc Reporting

22 Dados de trabalho atualizáveis transacionais detalhados Microdados base e derivados Dados atualizáveis Voláteis (ciclo prod.) Camada Concetual repositórios de dados Estruturado para consulta e análise Atualizações calendarizadas / automáticas Não volátil (todo o histórico existente) Dados menos detalhados (e anonimizados) Não volátil

23 B D I E B P s t a t Aquisição Produção Conceptual Exploração layer data view Data repositories Difusão Central de Balanços Data Staging Central de Responsabilidades de Crédito Data Staging Balança de Pagamentos Data Staging Working Data Store Data Warehouse Data Marts Estatísticas de Títulos Data Staging (Outros domínios estatísticos) Data Staging SPAI Reference Data ViewPoint Metadata

24 Camada concetual componentes funcionais

25 Camada Tecnológica Infraestrutura de dados

26 Camada Tecnológica componentes aplicacionais

27 Excel Services Camada Tecnológica - Componentes da plataforma de BI Microsoft Ferramentas end-user Microsoft Office Excel 2007 /2010

28 Nova gama de ferramentas Perspetiva de evolução - principais drivers da reformulação da Arquitetura Novos Conceitos Necessidades do negócio Reformulação da Arquitetura de BI Novos suportes tecnológicos Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

29 Sumário / Ideias chave: Arquitetura de BI abordada a 3 níveis: Negócio (conceitos do negócio independentes da tecnologia); Concetual (tipos de tecnologias ou categorias de funcionalidades ); Tecnológica (produtos específicos). Cadeia de Valor da informação para sistemas de BI com similitudes e generalizável. Estratégia de implementação: Desenvolvimento incremental por projetos individualizados (sem perder a visão de conjunto); Integração assente na informação de referência (dimensões) e com o suporte de um sistema (de partilha); Recurso a uma arquitetura (e consequentemente a uma plataforma tecnológica) comum - a utilização da mesma arquitetura e tecnologia facilita a integração e reutilização de soluções. Parceria entre técnicos das áreas de negócio e dos SI s. Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013