Business Intelligence com SQL Server 2012 na prática

Transcrição

1 Requisitos de Hardware No momento em que escrevia esse livro, utilizei um computador com processador I7, com 8GB de RAM e HD de 1TB. Utilizei o software Virtual Box da Oracle, para virtualizar o ambiente, onde foram utilizados 4GB de RAM em uma máquina virtual. A quem se destina esse livro O livro destina-se a analistas de negócio, DBAs e profissionais de tecnologia, iniciantes ou não, que queiram entender na prática como funciona um projeto de BI. O livro não tem o intuito de discutir teorias e os diferentes modelos adotados por diversas empresas, focando assim nas ferramentas e na prática de um projeto com uma linguagem simples e objetiva. 2

2 Sumário 1 - Conhecendo Business Intelligence e o ambiente de trabalho O que é BI Ambiente operacional, tático e estratégico Nível Operacional Nível Tático Nivel Estratégico A Tabela Fato O processo de transferência de dados, análise e geração de relatórios Case de sucesso Cenário geral de BI Instalando o SQL Server Preparando o Windows A instalação do SQL Server Visão Geral do Projeto O Modelo Transacional Criação do ambiente OLTP Criação das tabelas do ambiente OLTP Carga da Tabela Cliente Carga da tabela Endereço Carga da Tabela Categoria Carga das tabelas Fornecedor, Produto, Vendedor e Forma Pagamento Carga da tabela Nota Fiscal Cursor para geração de dados Carga da tabela ITEM NOTA Notas fiscais sem itens Preenchendo o valor total da tabela NOTA_FISCAL

3 Consultas em ambiente OLTP Criação de Constraints Visão do ambiente O ambiente Stage Definição do ambiente de Stage A Ferramenta Integration Services e a carga de dados O Integration Services Criando um projeto no Integration Services A Solution Explorer e os pacotes Control Flow, Data Flow, Toolbox e as Tasks Carga do ambiente Stage Carregando a tabela ST_CLIENTE Criando um OLEDB Connection O componente Execute SQL Task O Componente OLEDB Source O Componente Derived Column O Componente Lookup O Componente Data Conversion O Componente OLEDB Destination Executando um pacote Carregando a tabela ST_VENDEDOR Conexões Compartilhadas Carregando a tabela ST_CATEGORIA Carregando a tabela ST_PRODUTO O Componente Sequence Container Cursor Camelcase Carregando a tabela ST_FORMA Carregando a tabela ST_FORNECEDOR Carregando a tabela ST_NOTA Carregando a tabela ST_FATO Visão geral de cenário Datawarehouse e Datamarts O que é um Datawarehouse? Datamarts Chaves Substitutas ou Surrogate Keys SCD - Slowly Changing Dimensions

4 SCD Tipo SCD Tipo SCD Tipo Modelagem do Datwarehouse A unidade de tempo A Dimensão Tempo Carga do Datawarehouse Carga da Dimensão Tempo A carga da Tabela Categorias Carregando novos dados sem o componente Slowly Changing Dimension Carga da Dimensão Fornecedor Configurando o componente Slowly Changing Dimension Carga da Dimensão Produtos Testando o SCD na dimensão produto Carga da Dimensão Cliente Carga da tabela DIM_FORMA Carga da tabela DIM_VENDEDOR Carga da Dimensão Nota A carga da tabela Fato O processo de Watermark Ferramenta de Cubo Analysis Services Utilizando a Ferramenta Criando um projeto do Analysis Services Criando um Data Source no Analysis Services Criando um Data Source View Criando a Dimensão Cliente Hierarquias Processando uma Dimensão O Serviço Browser Dimensão Fornecedor Dimensão Vendedor Dimensão Nota Fiscal Dimensão Forma Dimensão Produto Dimensão Tempo

5 11 O Cubo A criação do Cubo A Tabela fato e suas medidas e as dimensões associadas Verificando os Dados do Cubo Análise com Hierarquias Análise com mais de uma dimensão Análise com expressões Criando Membros Calculados Expressões MDX para campos calculados Publicando um cubo Verificando a publicação do cubo A Ferramenta de Relatórios O Reporting Services Report Server Status Service Account Web Service URL Report Server Database Report Manager URL Shared Data Source Adicionando um item de relatório Adicionando um Dataset A Toolbox do Reporting Services O Componente Table A aba Preview A barra de formatação O Painel de Propriedades Adicionando cabeçalhos e rodapés Adicionando imagens aos relatórios Adicionando expressões Classificando colunas Agrupando dados Relatórios consumindo uma base OLAP Colunas calculadas Relatório de localidades e clientes Trabalhando com Drill Down e Drill Up Adicionando Subtotais

6 Adicionando Totais Informações agrupadas por linhas Adicionando uma nova coluna ao Dataset Informações agrupadas por linhas Formatação condicional Adicionando Views Relatórios zebrados Relatórios com parâmetros Link entre relatórios Gráficos Realizando o deploy de relatórios Automatização de Tarefas Iniciando o SQL Server Agent Integration Services Catalog Automatizando um pacote Criando um Job de agendamento Automatizando o processamento do cubo Dashboards e Tabelas dinâmicas O Microsoft Excel Organizando a Estrutura Adicionando o cubo ao Excel Adicionando Slicers Classificando dados Adicionando gráficos Removendo medidas do relatório Alterando o tipo de gráfico Alterando o estilo dos gráficos Alterando características dos gráficos Apagando gráficos do relatório Interligando abas Montando a Dashboard Finalização

7 8

8 Business Intelligence com SQL Server 2012 na prática 9

9 1 - Conhecendo Business Intelligence e o ambiente de trabalho O que é BI O conceito de Business Intelligence foi criado pelo grupo Gartner Group. A empresa desenvolve programas para tomada de decisão empresarial. Nos dias atuais, toda empresa informatizada mantém os seus dados armazenados em bancos de dados. Mas de nada adianta apenas armazenar esses dados e não utilizá-los para tomada de decisão ou análise da empresa, como por exemplo, verificar o crescimento da empresa em um determinado período de tempo ou se a venda de determinado produto aumenta ou diminui conforme a sazonalidade. Esse tipo de análise ajuda o gestor na condução do negócio, diminuindo assim o risco de decisões precipitadas. Portanto, BI não é uma ferramenta. Trata-se da análise de dados para a tomada de decisão, análise essa que será feita com ferramentas explicadas neste livro Ambiente operacional, tático e estratégico A empresa COMÉRCIO.SA é do ramo de vendas no varejo. A empresa conta com um sistema de cadastro de clientes, vendedores e produtos assim como as vendas realizadas. Os funcionários da empresa cadastram os dados em seu sistema, que encontra-se em ambiente OLTP - On- Line Transactional Proccess - ambiente de transação on line. Esse ambiente é o chão de fábrica da empresa. É o ambiente onde funcionários sem poder de decisão realizam apenas a inserção e atualização de dados referentes às vendas diárias. Podemos então, citar a pirâmide empresarial, que divide a empresa em 3 partes, conforme a figura 1.1: Nível Operacional Figura 1.1 A pirâmide empresarial 10

10 É o ambiente onde encontram-se os sistemas que lidam diretamente com o negócio da empresa. Nesse ambiente, encontra-se o sistema de cadastro de vendas da empresa COMERCIO.SA. Os operadores do sistema são funcionários comuns, que tem somente a função de registrar o dia a dia da empresa. O nivel operacional equivale ao ambiente OLTP de banco de dados, ambiente onde estão presentes as formas normais de bancos de dados, que visam principalmente diminuir a redundância e consequentemente o espaço ocupado pelos dados armazenados. Com a aplicação de formas normais e a segmentação de dados em várias tabelas, faz-se necessário o uso de JOINS para a recuperação desses dados, o que ocasiona um aumento do processamento e consequentemente um maior tempo para o resgate dos dados. Nesse ambiente, é mais comum a ocorrência de comandos como INSERT, DELETE e UPDATE. Conclue-se então que o SELECT não é utilizado nesse ambiente para fins de análise, apenas para consultas cotidianas. Aqui vemos a tabela de clientes junto aos seus enderecos em ambiente OLTP. Comando utilizado para a captura dos dados das duas tabelas: Nível Tático Nesse nível encontram-se os gerentes da empresa. É o ambiente onde são tomadas decisões de médio prazo. Os gerentes e gestores tem como papel a orientação e fiscalização dos funcionários do nível operacional Nivel Estratégico Aqui encontram-se diretores, acionistas e presidentes. Nesse nível são tomadas as decisões de longo prazo, que afetam a estratégia da empresa, como por exemplo continuar ou não a comprar produtos de um determinado fornecedor para o ano seguinte, prosseguir ou não com a venda de um produto, ou analisar o ano empresarial comparando ao ano anterior. Aqui é importante esclarecer que as decisões são tomadas com base em uma grande massa de dados. Analisa-se um perído de por exemplo 6 meses, comparado a outro período de 6 meses do ano anterior, portanto é uma análise de alto custo no que diz respeito a desempenho, pois o número de registros gerados para essa comparação é resultante de muitos dados. 11

11 Como as análises estratégicas demandam um extremo processamento, não é recomendável que a mesma seja realizada no ambiente operacional, atrapalhando assim os demais funcionários que estão trabalhando no negócio, podendo causar lentidão. Visto esse cenário, é necessária a criação de um outro ambiente, que seja de uso esclusivo dos gestores e responsáveis pela tomada de decisão da empresa. A esse ambiente dá-se o nome de OLAP - On-Line Analitycal Proccess - Ambiente de análise online Conforme a figura 1.2. Nesse ambiente as tabelas são criadas desnormalizando o ambiente OLTP, ou seja, retirando as formas normais. Com a desnormalização, teremos então uma redundancia de dados, porém eliminaremos o número de JOINS, aumentando assim a velocidade das queries. Figura 1.2 O ambiente OLAP na pirâmide empresarial Em resumo, o ambiente OLAP deve refletir o ambiente OLTP com os dados relevantes para a análise do negócio, porém sem a aplicação de formas normais. Ao banco de dados criado em ambiente OLAP, da-se o nome de DATAWAREHOUSE. Quanto a modelagem um datawarehouse, pode ser classificado em STAR ou SNOW FLAKE, que veremos mais adiante. Em um datawarehouse as tabelas criadas recebem o nome de dimensões ou fato. Uma dimensão é uma tabela modelada para um datawarehouse, modelagem essa que elimina o uso de joins juntando duas ou mais tabelas em uma só dimensão. É importante citar que as dimensões são apenas conceitos. Fisicamente, as dimensões são criadas da mesma forma que são criadas as tabelas. Abaixo temos um exemplo de como ficaria a dimensão cliente baseada nas tabelas Cliente e Endereço do ambiente OLTP. Note que os dados ocuparam a mesma tabela (dimensão) eliminando assim a presença do JOIN e otimizando o tempo da consulta. Comando utilizado para a captura dos dados da dimensão sem a cláusula JOIN: 12

12 1.2 - A Tabela Fato A tabela fato armazena as medidas so negócio, que geralmente são numéricas, por exemplo, quantidade de produtos vendidos, valores dos produtos, total de vendas. A idéia ao analisar as informações em um ambiente OLAP é que se ganhe desempenho, pois são feitas muitas agregações para que se tenha uma visão detalhada do negócio. Veremos a seguir como um simples relatório de quantidade de produtos vendidos da empresa COMERCIO.SA pode ser apresentado: Quantidade de produtos vendidos: O relatório acima tem a medida QUANTIDADE, porém é um relatório básico, de dificil análise para tomada de decisão, então acrescentaremos mais uma dimensão ao relatório. Aqui vemos os mesmos produtos vendidos, porém temos uma melhor noção de que o mês de janeiro foi o melhor mês da empresa em termos de quantidades vendidas. Podemos enriquecer ainda mais o relatório acrescentando mais uma dimensão. Com a dimensão de categorias adicionada ao relatório, chegamos a conclusão de que no mes de janeiro a categoria mais vendida foi a de livros, o que pode levar a crer que seja um período de compras de material escolar. 13

13 Acrescentada a dimensão Vendedores, temos a quantidade de produtos dividida por período, categoria e vendedores. Você imagina como fazer o simples relatório acima através de uma query? E se quiséssemos acrescentar mais duas, três ou até cinco dimensões? E se ainda, ao acrescentarmos as dimensões, os gestores solicitassem que o relatório fosse dinâmico? O processo de transferência de dados, análise e geração de relatórios Falamos anteriormente que a análise não deve ser feita em ambiente OLTP e sim no Datawarehouse, criado em ambiente OLAP. Mas como são transferidos os dados entre esses ambientes? O processo de transferência é feito com ferramentas ETL - Extract Transform Load. Ferramentas que extraem os dados, transformam caso necessário e carregam no destino escolhido. As ferramentas ETL não servem apenas para carregar datawarehouses. As ferramentas ETL lêem diversos formatos de fontes de dados como planilhas eletrônicas, arquivos texto estruturados, bancos de dados de diversos fabricantes, XML e convertem os dados para qualquer um dos formatos que esteja disponível na própria ferramenta, servindo assim para qualquer projeto de conversão de dados. A ferramenta ETL que veremos no livro será o Integration Services. Considerada uma das melhores ferramentas de ETL do mercado. Alguns exemplos de ferramentas ETL são: Oracle Data Integrator da fabricante Oracle. Spoon, ferramenta de software livre da suíte Pentaho, criada na linguagem Java. Temos então a utilização da ferramenta de ETL que lerá dados do ambiente OLTP e carregará esses mesmos dados no banco OLAP. Posteriormente carregados os dados, analisaremos os mesmos com a ferramenta OLAP da Microsoft, o Analysis Services, que é uma ferramenta de cubo, capaz de analisar o mesmo negócio por várias óticas diferentes. Por exemplo: Quantas unidades do produto X foram vendidas no primeiro trimestre desse ano comparado ao primeiro trimestre do ano passado? 14

14 Qual vendedor mais vendeu o produto X durante esse ano? Em que época do ano o produto X é mais vendido? Qual a categoria de clientes mais compra o produto X? Case de sucesso Um dos cases de sucesso mais citados por profissionais da área de BI é o de uma grande rede varejista dos EUA, onde associou-se à venda de cerveja às vendas de fraldas. Tratou-se da análise das compras de clientes dessa rede onde identificou-se o perfil masculino para compradores de fraldas. Deduziu-se que os pais saiam a noite para comprar fraldas para seus filhos e compravam também cervejas. Os produtos foram disponibilizados lado a lado, disparando assim a venda dos dois produtos. Esse tipo de análise é completamente valioso para a empresa que quer sair na frente de seus concorrentes. Toda a informação necessária está ali, no seu próprio banco de dados. 1.4 Cenário geral de BI Ainda analisando os dados, podemos disponibilizar também relatórios para os gestores e usuários responsáveis. Os relatórios podem ter como fonte tanto bancos em ambientes OLTP quanto bancos em ambientes OLAP. O que diferencia nesse caso é somente o nível de informação do relatório. Relatórios como vendas diárias, por exemplo, ou com curtos períodos de tempo, são criados em ambiente OLTP. Já os relatórios que abranjam tomada de decisão estratégica são criados a partir do datawarehouse. A ferramenta que será utilizada nesse livro será o Reporting Services. A ilustração a seguir reflete um ambiente de BI desde o ambiente OLTP até a análise do ambiente OLAP, conforme a figura

15 Figura 1.3 O ambiente de Business Intelligence Aqui temos uma área chamada Staging Área, a qual ainda não comentamos. Trata-se de uma área para o tratamento dos dados antes da carga no datawarehouse. Como exemplo prático podemos citar a seguinte situação: Em nossa empresa possuímos dois sistemas de cadastros de clientes, um que armazena os dados em um banco Oracle, e outro que armazena os dados em um banco SQL Server. A tabela do banco Oracle é modelada da forma com que o sexo do cliente seja armazenado como "Masculino" e "Feminino", já no banco SQL Server, os dados são armazenados como "M" e "F". Ao efetuar a carga para o datawarehouse, os dados devem ser homogêneos, ou seja, não podem apresentar diferenças em sua classificação. Armazenar na coluna sexo os valores, masculino, feminino, M e F nos traria a ocorrência de 4 tipos de sexo, causando diferença nas análises. Utilizamos então da Staging Area para transformar os dados, sejam todos em "M" e "F" ou todos em "Masculino" e "Feminino" para só então carregar o datawarehouse. A Staging Area é utilizada somente com esse fim. Vemos aqui também a presença de um componente chamado DATAMART. Um datamart é uma parte de um datawarehouse. Ou um datawarehouse é composto de vários datamarts. Um datamart delimita uma porção do negócio. Por exemplo, Datamart de Marketing, Datamart de Finanças, Datamart de Vendas. Na prática, um datamart é utilizado quando não se quer analisar todo o negócio, mas apenas parte dele, ou ainda quando o datawarehouse não será centralizado, ficando assim cada setor com o seu próprio datamart.veremos Datamarts e Datawarehouses mais à frente. 16

16 2 - Instalando o SQL Server Preparando o Windows Para o ambiente do livro, estou utilizando uma máquina com processador I7 e 4 GB de memória Ram, com Windows 7 Ultimate. Criaremos uma conta com direitos administrativos na máquina local para a instalação do SQL Server. Em painel de controle, clique em Contas de usuário, conforme a figura 2.1. Figura 2.1 Contas de usuário do Windows Clique em Gerenciar Outra Conta, conforme a figura 2.2. Figura 2.2 Gerenciamento de Contas Clique em Criar uma nova conta, conforme a figura 2.3. Figura 2.3 Chamaremos a conta de SQLADM e selecionaremos Administrador, conforme a figura 2.4. Figura 2.4 Nomeação da conta de Administrador Após clicar em Criar Conta, a tela abaixo aparece conforme a figura 2.5. Clique na conta SQLADM para configurarmos uma senha. 17

17 Figura 2.5 Escolhendo a conta criada SQLADM Clique em Criar Senha, na segunda opção, conforme a figura 2.6. Figura 2.6 Defina uma senha de sua preferência e clique em Criar Senha. Utilizamos a senha 1234, conforme a figura A instalação do SQL Server 2012 Figura Clique em Setup para iniciar a instalação do SQL Server Na primeira tela, clique em INSTALLATION, ao lado esquerdo da tela, conforme a figura

18 Figura Clique na primeira opção, que irá realizar uma nova instalação ou adicionar características a uma instalação existente, conforme mostra a figura 2.9. Figura Confirme a operação e clique em Executar, conforme a figura

19 Figura É feito um relatório de compatibilidade, conforme a figura Clique em OK. Figura Caso não possua uma licença, especifique a versão de avaliação, conforme mostra a figura 2.12 Clique em Next. Figura 2.12 Licença de avaliação do SQL Server Aceite os termos do contrato e clique em Next, conforme a figura

20 Figura O SQL Server indicará quais KBs necessita para continuar a instalação e fará o download automaticamente, conforme mostra a figura Clique em Next. Figura 2.14 Quantidade de KBs em megabytes 9 - Download dos pacotes e a instalação em progresso, conforme mostra a figura Figura Após a instalação, o SQL Server informa que o Firewall está habilitado, conforme mostra a figura Para fins de estudo, vamos desabilitá-lo e após, clique em NEXT. 21

21 Figura 2.16 Firewall do Windows habilitado gerando um Warning Selecione a primeira opção da figura 2.17 SQL Server Feature Installation. Figura Clique em Select All para realizarmos a instalação completa do produto. Clique em Next, conforme mostra a figura

22 Figura É executado mais um relatório de compatibilidade conforme mostra a figura Clique em Next Figura Clique em next para instalar a primeira instância padrão, conforme mostra a figura

23 Figura 2.20 Selecionada a instância padrão com o nome de MSSQLSERVER 14 O relatório de espaço em disco é mostrado na tela, conforme a figura Clique em Next. Figura Chegamos à parte em que configuramos as contas dos serviços do SQL Server. Para fins de estudo configuraremos a conta SQLADM que criamos no início da instalação para gerenciar todos os serviços. Podemos também configurar a conta de Administrador da máquina para esse fim. Estamos em ambiente acadêmico, porém em ambiente de produção a Microsoft recomenda que sejam criadas uma conta para cada serviço. Isso evita que caso haja problema em alguma dessas contas os demais serviços sejam comprometidos.configure conforme a figura 2.22 Figura 2.22 Configuração das contas para serviços no SQL Server

24 16 - Na tela abaixo configuraremos as contas com direitos administrativos no banco. Escolheremos o modo de autenticação misto e definiremos uma senha, para fins de estudo, Essa senha será a senha do usuário AS, que possui direitos administrativos no banco. Após, clique no botão Add Current User para adicionar o usuário que estamos logado como administrador do banco. Configure conforme a figura Figura 2.23 Usuário Administrador adicionado como Administrador do SQL Server Adicione o Usuário atual como administrador do Analysis Services clicando em Add Current User conforme a figura 2.24 e clique em next. Figura Configure conforme a figura 2.25 para instalar e configurar o Reporting Services e clique em Next. 25

25 Figura 2.25 Adicione o Usuário logado e clique em Next, conforme a figura 2.26 Figura 2.26 Atribua o nome da própria máquina ao servidor, conforme mostra a figura 2.27 e clique em Next Figura 2.27 O servidor se chamará SQL2012-PC Clique em Next na próxima tela. Será exibido um último relatório de compatibilidade. Clique mais uma vez em Next na tela mostrada na figura 2.28 Figura 2.28 É exibido um sumário da instalação conforme a figura Clique no botão Install. 26

26 Figura 2.29 Sumário de instalação Aguarde a instalação. Após a instalação com sucesso, é mostrada a figura É necessário reiniciar o computador. Figura Visão Geral do Projeto Temos então o seguinte cenário à construir, conforme mostra a figura 3.1: Fase 1 - Modelagem e carga do banco em ambiente OLTP. Fase 2 - Criação, carga e transformações na área de Stage. Fase 3 - Criação e carga do Datawarehouse. Fase 4 - Análise com as ferramentas de cubo e criação de relatórios em ambiente OLAP. 27

27 3.1 - O Modelo Transacional Figura 3.1 Abaixo, conforme mostra a figura 3.2 temos o modelo de entidade e relacionamento da empresa COMERCIO.SA. Figura 3.2 O Diagrama de Entidades e Relacionamento Criação do ambiente OLTP Abaixo criaremos o banco da empresa COMERCIO.SA em ambiente OLTP. Como vimos anteriormente, esse ambiente tem a aplicação das formas normais visando reduzir a redundância de dados diminuindo assim o espaço em disco. É nesse banco de dados que os dados são salvos pelo sistema de cadastro de vendas da empresa. Logue no Windows com um usuário com direitos administrativos. 28