1ª Forma Normal. Uma relação está na 1ª Forma normal se todos os seus atributos são valores escalares.

Transcrição

1 Cláu Antunes 2006 Base de Dados Operacional uma colecção de dados, que descreve as actividades de uma ou mais organizações, relacionadas entre si suportar a realização das operações diárias das organizações (introdução, actualização e eliminação de registos) Modelo de Dados (uma colecção de descrições dos dados a alto-nível, que esconde os detalhes de armazenamento dos mesmos) Modelo Relacional uma base de dados é uma colecção de uma ou mais relações, cada uma delas caracterizada por um conjunto de atributos. Formas Normais - permitem a detecção e prevenção da existência de redundância, evitando malias na introdução, actualização e eliminação de dados 2 Seja uma entidade (ou associação) X com atributos {i 1,..,i n, a 1,...,a m }, com {i 1,..,i n } os atributos que constituem a chave de X. A 1ª Forma Normal prende-se com a estrutura de cada atributo de X. A 2ª Forma Normal prende-se com a dependência entre os atributos {a 1,...,a m } e os atributos {i 1,..,i n }. A 3ª Forma Normal prende-se com as dependências mútuas entre os atributos {a 1,...,a m }. A BCNF prende-se com a existência de várias chaves 1ª Forma Normal Uma relação está na 1ª Forma normal se todos os seus atributos são valores escalares. Todas as relações normalizadas estão na 1ª Forma Normal 3 4 2ª Forma Normal Uma Relação está na 2ª Forma normal se está na 1ª Forma Normal e cada atributo não chave é completamente dependente dos atributos chave Ou seja, todos os atributos que não pertencem a nenhuma chave são completamente dependentes de pelo menos uma chave. Todas as relações na 1FN e com uma chave simples estão necessariamente na 2FN. X é completamente dependente de Y se qualquer subconjunto de Y não determina X 3ª Forma Normal Uma Relação está na 3ª Forma normal se todos os atributos não chave são completamente dependentes dos atributos chave e são independentes entre si. Ou seja, a 3FN implica a 2FN e que não existam dependências entre os atributos não chave. Todas as relações que apenas têm um atributo não chave estão na 3FN, se estiverem na 2FN. Nada se diz quanto às dependências mútuas entre os atributos que pertencem às chaves 5 6 1

2 Forma Boyce Codd (BNFC) Uma Relação está na BCNF quando todos os determinantes são chave Não existem dependências entre os atributos não chave Não existem dependências entre sub-conjuntos dos atributos das chaves. A BCNF só se distingue da 3FN quando: Existe mais do que uma chave As chaves são formadas por vários atributos 7 Problemas a eliminação das malias implica a fragmentação das relações inicialmente identificadas modelo inicial, em que se modela a organização em causa evidenciando as relações entre as várias entidades envolvidas modelo em que se evidenciam as relações microscópicas existentes entre as diversas características das várias entidades e relações em vez de modelar as regras do negócio, são modeladas as regras que regem as relações entre os dados 8 Objectivos Análise de dados (históricos) sob as várias perspectivas do negócio Co-relacionar os dados Modelo Standard Modelo Multidimensional Factos são registos de ocorrências Exemplos: o de unidades vendidas, ou o montante de vendas efectuado; a temperatura registada; Não são aditivos! o saldo de uma conta bancária tendem a ser mensuráveis (pelo que muitas vezes são referidos como medidas) é imprescindível que possam ser agregados possibilitar a análise a diferentes níveis de granularidade tipicamente são numéricos e aditivos 9 10 Funções de agregação de factos: Distributivas: se o resultado derivado da aplicação da função à agregação de n valores é igual ao valor derivado da soma da aplicação da função a cada um dos valores isoladamente. contagem (count), soma (sum), mínimo (min)... Algébricas: se a função pode ser calculada por uma função algébrica de n argumentos, resultantes da aplicação de funções distributivas, com n um inteiro positivo limitado. avg (avg=sum/count), mínimo de n (min_n) e o desvio padrão (stdev). Holísticas: se não existe nenhuma função algébrica capaz de calcular a agregação. a moda (mode), a mena (men) ou a ordenação (rank) 11 Dimensões conjunto de atributos que descrevem uma mesma propriedade da ocorrência Tipicamente, os atributos de uma dimensão são descritivos e não-mensuráveis (valores textuais com um limitado de possibilidades) São organizados segundo hierarquias bem definidas possibilita a análise dos factos a diferentes níveis de granularidade Fornecem as restrições mais interessantes para análise Se os factos registam as ocorrências de um negócio, as dimensões descrevem as condições do negócio. 12 2

3 O modelo multidimensional concretiza-se pelo registo dos dados em tabelas A relação principal de um modelo multidimensional, que relaciona factos e dimensões, é designada tabela de factos. Está relacionada com cada uma das tabelas de dimensão do modelo. Tabelas de Factos Contêm um ou mais factos que ocorrem numa dada combinação de registos das várias dimensões. É esta combinação de registos que identifica univocamente cada facto. Traduz sempre uma relação de muitos para muitos, possuindo uma chave primária composta por múltiplas chaves estrangeiras (uma para cada dimensão que caracteriza a ocorrência do facto). Tabelas de Dimensão Contêm os diferentes atributos respeitantes à dimensão e um identificador unívoco para cada registo da tabela a chave primária da tabela. Considere-se por exemplo a dimensão tempo como anteriormente ( < < ), e um intervalo temporal de 10 s. A tabela de dimensão para este intervalo de tempo teria 365*10 entradas, uma por cada ao longo dos 10 s Importante: Sem Anos Bissextos! Todos os factos dizem respeito à mesma granularidade, agregar os dados de forma coerente Registo feito ao nível mais detalhado (cada facto é caracterizado pelos atributos mais detalhados de cada dimensão) Exemplo Tabelas de Factos e de Dimensão Considere o problema genérico do registo diário das vendas efectuadas em cada loja, com discriminação dos produtos vendidos e da transacção efectuada. Considere ainda que se pretende registar a quantidade de produtos vendidos, assim como o montante da venda, o custo dos produtos vendidos e o lucro bruto obtido pela transacção. Com todos os montantes expressos em euros (). Para além destes valores, é importante descriminar se a venda foi feita durante alguma promoção. Factos? Exemplo Tabelas de Factos e de Dimensão Considere o problema genérico do registo diário das vendas efectuadas em cada loja, com discriminação dos produtos vendidos e da transacção efectuada. Considere ainda que se pretende registar a quantidade de produtos vendidos, assim como o montante da venda, o custo dos produtos vendidos e o lucro bruto obtido pela transacção. Com todos os montantes expressos em euros (). Para além destes valores, é importante descriminar se a venda foi feita durante alguma promoção. Dimensões? Exemplo Tabelas de Factos e de Dimensão Considere o problema genérico do registo diário das vendas efectuadas em cada loja, com discriminação dos produtos vendidos e da transacção efectuada. Considere ainda que se pretende registar a quantidade de produtos vendidos, assim como o montante da venda, o custo dos produtos vendidos e o lucro bruto obtido pela transacção. Com todos os montantes expressos em euros (). Para além destes valores, é importante descriminar se a venda foi feita durante alguma promoção. 17 Tabelas de Factos Tabelas de Dimensão transacção_id Custo dos s semana Ano Trimestre Mês Dia Sem Transacção! sub da origem distribuidor 18 3

4 Desenho A de cada modelo é feita através de um esquema, que estabelece as relações existentes entre os factos e as dimensões. O esquema em estrela (star schema) é o esquema mais simples uma tabela de factos ligada a um conjunto de tabelas de dimensão não existe qualquer relação entre as tabelas de dimensão 19 Exemplo Esquema em Estrela semana sub da transacção_id origem distribuidor Custo dos s Transacção transacção_id outros atributos 20 Exercício 7 Esquema em Estrela Suponha um datawarehouse que contém as seguintes quatro dimensões:, Espectador, Localização e Jogo e o facto preço que consiste no valor, em euros, pago por um espectador quando assiste a um determinado jogo numa dada data. Suponha ainda que os espectadores podem ser estudantes, adultos ou séniores, e que cada uma destas s tem o seu preço de bilhete. Pretende-se que: a dimensão data contenha o, e ; a dimensão Localização contenha o do estádio e o nºde adeptos do clube a que o estádio respeita. a dimensão Jogo contenha o das duas equipas defrontadas a) Desenhe um esquema em estrela para modelar os dados. O esquema em floco de neve (snowflake schema) é um refinamento do esquema em estrela, em que cada dimensão pode ser representada por mais do que uma tabela de dimensão Permite-se normalização das dimensões, para evitar demasiada redundância, e evitar desperdício de espaço. Dimensão normalizada (snowflaked dimension) quando os atributos de menor cardinalidade foram removidos da tabela para outra separada com ligação à primeira através da utilização de uma chave primária Em geral não é recomendada introduz complexidade na exploração dos dados o espaço que se poupa é geralmente negligenciável face ao espaço gasto pelo registo dos factos ocorridos Admite-se na presença de uma subdimensão natural Exemplo Esquema em Floco de Neve semana sub transacção_id da origem distribuidor Custo dos s Cidade _ID Transacção transacção_id _ID outros atributos Exercício 7 Esquema em Floco de Neve Considere o problema anterior. Para além disso, suponha que a dimensão Localização deverá ter dados sobre a (, e continente) em que se situa, assim como o nº de habitantes da. a) Desenhe um esquema em floco de neve para modelar os dados

5 Hiper-cubo com Cubos n dimensões um cubo é a estrutura de dados usada para manipular os dados que instanciam um modelo multidimensional as arestas do cubo correspondem às diferentes dimensões a intersecção dos valores de cada dimensão (células) expressam a agregação dos factos registados na combinação dessas condições os cubos são criados para pré-calcular as agregações mais frequentes, para acelerar a exploração de dados existem vários cubos para representar um só modelo n O exacto de cubos N é dado por N = (dim i. níveis + 1) i= 1 O cubo que representa os factos ao mais baixo nível de detalhe designa-se por cubo base O cubo ao mais alto nível de detalhe por cubo apíce 25 Exemplo Cubos Ainda para o exemplo introduzido atrás (sem a dimensão Transacção), o cubo ápice resume-se a quatro valores: um para cada facto registado. Quanto ao cubo base, será um hipercubo de 4 dimensões (uma vez mais sem considerar a dimensão Transacção). Considere apenas o lucro obtido e as dimensões, e teremos um cubo de 3 dimensões Considere ainda que foram registados dados durante 5 s, o que corresponde a 1826 (5x365+1) entradas na tabela ; nas 10 lojas de uma cadeia, referentes a n produtos Dimensão Prod n... Prod 2 Prod Dimensão Dimensão 26 Exemplo Cubos (cont.) Se a dimensão fosse considerada, o cubo apresentado seria o correcto quando se considerasse esta dimensão ao mais alto nível de granularidade (ou seja totalmente agregada). Neste caso, cada célula diria respeito ao total de lucros diários obtidos por loja e produto, considerando todas as promoções. Para o problema em análise, e se se considerasse apenas a hierarquia << << << da dimensão, estaríamos na presença de 120 cubos distintos, resultantes de (4+1)x(5+1)x(3+1), de acordo com a Equação 1. Visto que a dimensão possui a hierarquia loja << << << <<, e a dimensão a hierarquia produto << sub <<. Em resumo Tabelas de Factos Tabelas de Dimensão Solução para grande parte dos problemas!...mas existem situações que não estão cobertas! semana transacção_id Custo dos s Transacção transacção_id outros atributos sub da origem distribuidor E os produtos cobertos pela promoção não vendidos? Abordagens: Não registar os produtos em promoção perda de informação Acrescentar a lista de produtos em promoção na tabela de dimensão relaciona duas tabelas de dimensão Registar os produtos abrangidos por uma promoção Onde? Tabela de Factos sem Factos Tabelas de factos ligadas a tabelas de dimensão em que não existe o registo de nenhuma medida São úteis: para registar a cobertura de uma determinada situação para registar eventos que não têm nenhuma medida associada. A análise é feita através de contagens (count)

6 sub da origem distribuidor Cobertura da 31 Tal como nem todas as ocorrências (factos) são numéricos... nem todas as dimensões têm atributos. Exemplo: dimensão Transacção. O que caracteriza uma transacção? uma relação entre o produto e o comprador atributos:? identificador a data e a quantidade vendida. Na verdade, a transacção apenas serve como elemento agregador das várias vendas efectuadas numa única ocorrência. 32 Dimensões Degeneradas dimensões a que não estão associadas tabelas, apenas uma chave (identificador) adequada para representar s de controlo operacionais Exemplos o de uma ordem de compra, de uma guia de remessa ou de uma factura Surgem em tabelas de factos em que se registam os vários elementos de uma entidade as linhas de uma factura os produtos vendidos numa transacção... semana transacção_id Custo dos s sub da origem distribuidor semana transacção_id Custo dos s sub da origem distribuidor Modo de pagamento Divisa Devolução do produto? Reclamação? Dimensões Junk forma conveniente de agrupar os atributos associados aos factos... que não são caracterísitcas de nenhuma das dimensões identificadas... e que não traduzem entidades por si só. Vantagens Evita a proliferação de dimensões degeneradas Reduz o espaço ocupado pela tabela de factos Evita a perda de dados

7 semana 1 transacção_id outros_id Custo dos s Lucro Bruto Outros outros_id devolvido divisa modo pagamento reclamação sub da origem distribuidor Cláu Antunes