Medição de tamanho para Sistemas de Data Mart

Transcrição

1 1 Universidade Católica de Brasília Programa de Pós-Graduação em Gestão do Conhecimento e Tecnologia da Informação Medição de tamanho para Sistemas de Data Mart Angélica Toffano Seidel Calazans Orientadores: Prof ª Dra. Kathia de Oliveira Marçal Prof. Dr. Rildo Ribeiro dos Santos

2 2 Roteiro Motivação Objetivos gerais e específicos Revisão de literatura - Data Warehouse /Data Mart - Medição e Métricas de tamanho Medição para Data Mart Aplicação e análise dos resultados Conclusões

3 3 Motivação Estimar o tamanho software Expectativas mais realistas Avaliar e medir resultados Conhecer melhor o patrimônio Estimar prazo, custo e recursos Indicadores tomada de decisões Avaliar impacto novas tecnologias Indicadores de performance, qualidade, etc Allan Albrecht APF COSMIC FFP MK II Data Mart MEDIÇÃO DE TAMANHO PARA SISTEMAS DE DATA MART

4 Objetivos gerai e específicos Objetivo geral Definição de uma proposta de mensuração de tamanho para Projetos de Data Mart Identificar aspectos diferenciados sistemas transacionais x Data Mart Objetivos específicos Estudar algumas métricas analisando aplicabilidade a este contexto Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida 4

5 5 Data Warehouse/Data Mart Data Warehouse/ Data Mart Dar suporte aos processos de tomada de decisão Conjunto de dados orientado por assuntos integrados Variante no tempo Não volátil Modelagem multidimensional de dados Desnormalização de banco de dados Processo de ETL (Extração, transformação e carga dos dados) Tratamento de dados (sumarização, derivação, agregação e etc).

6 6 Data Warehouse/Data Mart Modelo de Arquitetura Sistemas Operacionais origem Extrair Data staging area Serviços Serviços Armazenamentmento de de Armazena- dados dados Carregar Área de apresentação de dados Data Data Mart Mart número número 1: 1: Dados Dados baseados baseados em em um um único único processo processo de de negócio negócio Acessar Ferramentas de acesso a dados Ferramentas Ferramentas de de consultas consultas específicas específicas Extrair Extrair Processamento Processamento Fatos e dimensões em conformidade Criadores Criadores de de relatórios relatórios Carregar Data Data Mart Mart número número 2 2 Acessar

7 7 Medição e Métricas de tamanho Medição Processo através do qual números ou símbolos são atribuídos a entidades do mundo real de forma a tornar possível caracterizar cada entidade através de regras claramente definidas Medida Entidade Métrica

8 8 Métricas de Tamanho Permitem definir uma estimativa da quantidade de trabalho a ser executada na construção de um software São utilizadas para estimativas de esforço e cronograma Possibilitam melhor planejamento e suporte a tomada de decisões. Algumas métricas de tamanho: LOC Lines of Code (1950/1960) Halstead (1972) APF Análise por pontos de função (1979) Mark II Functions Points (1991) COSMIC FFP COSMIC Pontos de função cheio (2001)

9 9 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 Características: Estimar o tamanho do software; Medir o que foi requisitado e recebido do usuário; Utilizável desde o início do sistema; Apoiar a análise de produtividade e qualidade; Unidade de medida padrão - PF. Medir funções de dados e transações. Independente da tecnologia; Críticas: Não independência de tecnologia Baseada na análise estruturada

10 10 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Novo Desenvolvimento Manutenção Aplicativo Existente Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Determinar pontos de funções ajustados

11 11 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Interno X Externo Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Determinar pontos de funções ajustados

12 12 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Contar as funções de dados e suas complexidades Arquivos Lógicos Internos (ALI) Arquivos de Interface Externa (AIE) Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Determinar pontos de funções ajustados

13 13 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Entradas Externas (EE) Saídas Externas (SE) Consultas Externas (CE) Determinar pontos de funções ajustados

14 14 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Soma ponderada das funções de dados e transações Determinar pontos de funções ajustados

15 15 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Determinar pontos de funções ajustados 14 características gerais Escala de 0-5 FA = 0,65 + (0,01 x graus de influência das características gerais)

16 16 Análise por pontos de Função - APF Allan Albrecht/IBM 1974 APF Fases Estabelecer objeto de contagem Determinar a fronteira Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Determinar pontos de funções ajustados PFDes =Pontos não ajustados x FA

17 17 Medição de Tamanho para Data Mart Processo de construção de sistemas transacionais são diferentes dos sistemas de Data Mart Grande esforço em atividades de ETL Críticas as métricas existentes Adequação para Medição de Data Mart APF

18 APF para Data Mart APF Fases Estabelecer objeto de contagem Determinar a fronteira Contar as funções de dados e suas complexidades Contar funções transacionais e suas complexidades Calcular pontos de funções não ajustados Determinar o fator de ajuste Adequação APF Idem Com necessidade de análise de como será elaborado o processo de extração dos dados Adequação para contagem data staging area Adequação para modelos Snow flake Adequação para a contagem de uma EE para cada ALI SE e CE sem adequações Idem Mantêm 4 características Adapta 2 características Eliminou 8 características Cria mais 7 características Determinar pontos de funções ajustados Idem 18

19 19 APF para Data Mart Adequação das Características Considerar as diferenças observadas no processo de construção Analisar os aspectos que abrangem os fatores de ajuste de APF tradicional (LOKAN) Complexidade de desenvolvimento Suporte ao usuário Arquitetura Interação Fatores limitantes Operação Reusabilidade Qualidade Definir escala seguindo mesmo padrão da APF Total de 13 características adequação da fórmula de fator de ajuste: FA = 0,67 +(0,01 x graus de influência das características gerais)

20 20 Características gerais de sistema Características aplicáveis contexto Data Mart Características adaptadas Características não aplicáveis contexto Data Mart Características APF Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Eficiência usuário final Processamento complexo Comunicação de dados Utilização de equipamento Volume de transações Entrada de dados on line Atualização on line Facilidade de implantação Múltiplos locais Facilidade de mudanças Características para Data Mart Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Quantidade agregação Qualidade de dados Utilização de ferramenta p/ ETL Qtd sistemas transacionais Documentação dos sist. trans. Frequência atualização fontes Estrutura dados origem Volume de dados Nível de conhecimento

21 21 Características gerais de sistema Características aplicáveis contexto Data Mart Características adaptadas Características não aplicáveis contexto Data Mart Características APF Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Eficiência usuário final Processamento complexo Comunicação de dados Utilização de equipamento Volume de transações Entrada de dados on line Atualização on line Facilidade de implantação Múltiplos locais Facilidade de mudanças Características para Data Mart Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Quantidade agregação Qualidade de dados Utilização de ferramenta p/ ETL Qtd sistemas transacionais Documentação dos sist. trans. Frequência atualização fontes Estrutura dados origem Volume de dados Nível de conhecimento

22 Aplicação em projetos reais Instituições pesquisadas: 3 instituições federais Quantidade de sistemas de Data Mart : 10 Planejamento Critérios utilizados: Quantidade de dias por mês Carga horária diária Quantidade de recursos alocados Fator de produtividade Aplicação 10 projetos já concluídos Qtd recursos e prazo (obtidos através entrevistas); Pontuadas as funções de dados e transações; Fator de ajuste (obtidos através de entrevistas). 22

23 23 Aplicação das duas abordagens em projetos de três instituições Qtd PF - APF X Proposta Qtd PF I1S1 I1S2 I1S3 I1S4 I1S5 I1S6 I2S1 I3S1 I3S2 I3S3 Sistemas APF Proposta

24 24 Aplicação das duas abordagens em projetos das três instituições Comparação Tempo real x Estimado APF x Estimado proposta Tempo em meses Tempo real em meses Tempo estimado APF Tempo estimado proposta 0 I1S1 I1S2 I1S3 I1S4 I1S5 I1S6 I2S1 I3S1 I3S2 I3S3 Sistem as

25 25 Análise dos resultados Objetivo Verificar qual duas estimativas se aproximavam mais do tempo real Tratamentos do tempo real utilizado para construção do Data Mart do tempo estimado após a aplicação da APF do tempo estimado após aplicação da proposta Testes realizados 1 o ) Verificar se as médias eram realmente diferentes ANOVA 2 o ) Verificar quais médias eram estatísticamente iguais TUKEY

26 26 Análise dos resultados ANOVA Teste de Tukey Nivel de significância = 0,05 p-valor da ANOVA= 0,017 < nível de significância Conclusão existe pelo menos uma média estatisticamente diferente. Nivel de significância = 0,05 Valor de Tukey: 3,2325 Média Tempo proposta - 7,1051 Média Tempo Real - 7,6000 Diferenças absoluta entre médias Tempo real e tempo APF 4,3664 Tempo proposta e tempo APF 3,8715 Tempo proposta e tempo real 0,4949 Conclusão > Valor de Tukey estatísticamente diferente Média do tempo proposta = média do Tempo real

27 Conclusões Objetivos Identificar aspectos diferenciados sistemas transacionais x Data Mart Estudar algumas métricas analisando aplicabilidade a este contexto Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida 27

28 Conclusões Objetivos Identificar aspectos diferenciados sistemas transacionais x Data Mart Estudar algumas métricas analisando aplicabilidade a este contexto características da tecnologia Dat Mart e identificadas as principai Estudadas as principai diferenças Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida 28

29 Conclusões Objetivos Identificar aspectos diferenciados sistemas transacionais x Data Mart Estudar algumas métricas analisando aplicabilidade a este contexto Estudadas as abordagens d métricas de tamanho existentes, seu pontos fortes e as críticas existentes. Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida 29

30 Conclusões Objetivos Identificar aspectos diferenciados sistemas transacionais x Data Mart Estudar algumas métricas analisando aplicabilidade a este contexto Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida Foi definida a APF como mai indicada Foi definida uma proposta d adequação, os mesmos passos foram mantidos, mas, foram criadas nova formas de pontuar as funções d dados e transações. Foram criada novas características gerais d sistemas. 30

31 Conclusões Objetivos Identificar aspectos diferenciados sistemas transacionais x Data Mart Estudar algumas métricas analisando aplicabilidade a este contexto Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida A proposta foi aplicada em alguns projetos de três instituições 31

32 Conclusões Objetivos Identificar aspectos diferenciados sistemas transacionais x Data Mart Estudar algumas métricas analisando aplicabilidade a este contexto Propor adequação de uma das abordagens Utilizar e avaliar a nova adequação em projetos de Data Mart Comparar os resultados desta proposta com os resultados da abordagem escolhida Foram efetuadas análises para verificar a adequabilidade da proposta a este contexto. 32

33 33 Trabalhos Futuros Aplicar a abordagem em projetos de manutenção Desenvolver ferramenta de apoio para contagem Aplicar a abordagem em um número maior de projetos de Data Mart Expandir a aplicação para demais categorias de projetos Data Warehouse, Active Data Warehouse, Real time Data Warehouse e outros. Investigar outras tecnologias e domínios que necessitam ser mensurados