Um Armazém de Dados para o arquivo e pesquisa de informação sobre uma Universidade. Marco Nunes marco@fe.up.pt Supervisor: Gabriel David gtd@fe.up.

Tamanho: px

Começar a partir da página:

Download "Um Armazém de Dados para o arquivo e pesquisa de informação sobre uma Universidade. Marco Nunes marco@fe.up.pt Supervisor: Gabriel David gtd@fe.up."

Mikaela Avelar Sampaio
8 Há anos
Visualizações:

1 Um Armazém de Dados para o arquivo e pesquisa de informação sobre uma Universidade Marco Nunes marco@fe.up.pt Supervisor: Gabriel David gtd@fe.up.pt Índice Objectivos Matriz de data marts vs dimensões Normas De atribuição de nomes aos objectos De armazenamento dos dados Dos dados das dimensões Processo de ETL Eficiência

2 Objectivo Elaboração de um Armazém de Dados ao nível de universidade: Integrado Coerente Fácil acesso Estruturado de forma a suportar análises complexas Encarado como arquivo definitivo. Uniformizar critérios de comparação e de gestão Responder a inquéritos regulares de entidades exteriores Matriz de data marts vs dimensões

3 Matriz de data marts vs dimensões Objectivos principais: Data marts Dimensões Granularidades dos data marts e dimensões Relações entre os data marts e as dimensões Objectivos secundários: Atributos das dimensões e tipo de actualização Hierarquias e tipo de implementação Medidas das tabelas de factos Casos de modelação Hierarquias de nº fixo de níveis Dimensão curso Hierarquia: Pais, Universidade, Escola superior, Curso. Técnica: hierarquias de níveis fixos Dimensão calendário Hierarquias: Dias, meses, trimestres, anos; Dias, semanas; Técnica: hierarquias de níveis fixos

4 Casos de modelação Hierarquias de nº variável de níveis Dimensão regime de ingresso Hierarquia: regimes de ingresso Como o nº de níveis não é fixo e pode haver referência a regimes não folhas Técnica: tabela de ponte Dimensão divisão administrativa Hierarquias: Pais, NUTS I, NUTS II, NUTS III, concelho, freguesia Pais, distrito, concelho, freguesia. Técnica: tabela de ponte com coluna adicional para ter duas hierarquias Utilização para a naturalidade, nacionalidade, freguesia de residência sem a replicação de informação obrigatória pelo método de elaboração de hierarquia de nº fixo de níveis. Casos de modelação 3- Dimensões degeneradas Dimensão ano curricular (Coluna ano_curricular_val) Dimensão opção de candidatura (Coluna opcao_candidatura_val) Referência de uma dimensão a outra dimensão ( snowflake ) A dimensão ramo tem um referencia para a dimensão curso (Coluna ramo_curso_id) Tabelas de ponte entre a tabela de factos e a dimensão provas de ingresso Uma candidatura pode ter várias provas de ingresso.

5 Data mart de candidaturas Normas É mais importante ter normas e utiliza-las do que ter normas perfeitas [KIMBALL, REEVES, ROSS e THORNTHWAITE, 1998] Normas De atribuição de nomes aos objectos De armazenamento dos dados Dos dados das dimensões

6 Normas dos dados das dimensões Os dados das dimensões devem sempre que possível basearem-se em normas ou na informação disponibilizada pela entidade responsável pela sua definição Implica a criação de mapeamentos entre os dados das dimensões e os dados dos sistemas operacionais Exemplos: Cursos, Escolas, Universidades: DGES Países: Norma ISO 3166 Distritos, concelhos, freguesias: INE Códigos postais: CTT Processo de ETL A definição e implementação do processo ETL consiste num dos processos mais demorados e complicados da implementação de um Armazém de Dados. É, igualmente, um dos principais motivos para que a implementação de um Armazém de Dados não seja efectuada com sucesso.

7 Processo de ETL Eficiência - BD Oracle Maximizar a utilização de linguagens de tratamento de conjuntos (SQL) e minimizar a utilização de linguagens procedimentais (PL/SQL) Direct path Inserts INSERT /*+ append*/ INTO <tabela destino>(<colunas>) SELECT <colunas> FROM <tabela origem> Merge MERGE INTO < tabela destino > USING <vista, tabela, vista implicita, table function> ON (<condição de determinação se é uma inserção ou actualização >) WHEN MATCHED THEN <instrução de update> WHEN NOT MATCHED THEN <Instrução de insert> Processo de ETL Eficiência - BD Oracle Table function (Se não for evitavel a utilização de linguagens procedimentais ou se o SQL for extremamente complexo) MERGE INTO <tabela destino> USING (SELECT * FROM TABLE ( <função>(<parametros>))... FUNCTION <função> (<parametros>) RETURN <tipo TYPE... IS TABLE OF... > PIPELINED IS BEGIN... PIPE ROW (<variavel>);... END

8 Processo de ETL Eficiência - BD Oracle Manter as estatisticas dos objectos da BD actualizadas DBMS_STATS.gather_table_stats (<parametros>); Truncate Se o objectivo for apagar todos os dados é muito mais rapido do que o delete Optimização da BD Não experimentei...existe alguma literatura que refere alguns parametros da BD...não tenho experiencia se funciona!!! Desactivar indexes, desactivar restrições de integridade, colocar os objectos com a propriedade nologging e parallel Experimentei e os resultados na altura não foram satisfatórios...

Documentos relacionados

Consistem num conjunto de apontadores para instâncias especificas de cada relação.

Mecanismo usado para mais fácil e rapidamente aceder à informação existente numa base de dados. Bases de Dados de elevadas dimensões. Consistem num conjunto de apontadores para instâncias especificas de