Sistemas de Apoio a Decisão

Transcrição

1 Sistemas de Apoio a Decisão (Inteligência nos Negócios - Business Inteligente) Sistemas de Informação/Ciências da Computação Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 2)

2 Apresentação A tecnologia da informação no geral e os sistemas de informação em particular, contribuem para que as organizações automatizarem e controlarem seus processos e suas operações e assim garantir a quantidade e qualidade de dados que atendem as necessidades de informação das organizações, e neste sentido atingir o objetivo principal da tecnologia da informação: informar. Os dados dos sistemas transacionais são insumos para as necessidades gerenciais de informação que dão apoio aos processos de gestão e de decisão das organizações. 2

3 Apresentação Muitas organizações possuem projetos de informática, representados pelos seus sistemas transacionais (sistemas de apoio à operação), os quais dão suporte ao dia-a-dia da organização (sistemas que controlam seus processos e suas operações). Possuir projetos de informática não significa ter a informação disponíveis para suprir as necessidades gerenciais de apoio aos processos de gestão e de decisão. 3

4 Apresentação Quando as organizações perceberam esse fato, começarem a desenvolver seus projetos de informação como complemento aos de informática: Data Warehouse. Os DW levaram as organizações a possuir repositórios de dados históricos, integrados, não volátil e com a visão do assunto de negócio. 4

5 Apresentação Com o aumento do volumem de dados, surge a necessidade de ter técnicas adequadas para permitir a análise dos dados do repositório DW. O conceito de análise de dados engloba ferramentas de processamento analítico (OLAP), ferramentas de análise exploratória de dados (AED) e ferramentas de extração de conhecimento (processo de descoberta em banco de dados KDD), as quais possibilitam a descoberta de informações (explícitas e implícitas) que possam ser úteis às organizações. 5

6 Apresentação As técnicas de análise de dados permitem a extração de informações para atender as necessidades da organização, mais também permite a extração de informações implícitas (conhecimento) que estão escondidas entre os dados, que permitem a identificação de padrões, relações e tendências que auxiliem na interpretação dos fatos, com o objetivo de suprir as necessidades gerenciais de apoio aos processos de gestão e de decisão das organizações. 6

7 Apresentação Pergunta de pesquisa da disciplina: Como descobrir informações e conhecimentos que possam ser úteis às organizações, de fontes de dados estruturadas para auxiliar no processo decisório dos analistas de negócios das organizações? A pergunta esconde duas outras perguntas e uma extensão natural : Como representar as fontes de dados que facilitem a descoberta de informações e conhecimentos (para o apoio ao processo decisório)? Quais são as ferramentas e técnicas que permitem a descoberta de informações e conhecimentos (para o apoio ao processo decisório)? 7

8 Sistemas de Informação Sistemas de apoio às operações (Sistemas OLTP) Sistemas de apoio à gerência (Sistemas SAG) Visão operacional da TI Visão estratégica da TI 8

9 Características Visão operacional da TI Visão estratégica da TI Função Características dos sistemas Monitorar e processar as funções básicas e rotineiras do dia-a-dia Elaboração das informações que sejam pertinentes (embasar) ao processo decisório Forma Baseado em transações Baseados em análises Representante Representado pelos sistemas OLPT Características dos dados Representado pelos sistemas de apoio à gerência (SAG) Natureza Dados atuais Dados históricos Organização Sistemas de BI Por processo ou sistema de informação Orientado a assuntos de negócios Conteúdo Armazenam dados em detalhe Dados sumarizados Modelo Modelo relacional (ER) Modelo dimensional 9

10 Apresentação O valor do BI resulta de uma boa análise das necessidades de informação (requisitos para o DW), da pertinência e da qualidade das fontes de coleta (dados) e da qualidade das análises e informações extraídas (análises de dados) para os analistas de negócio. Equipe técnica que desenvolve BI Analistas de negócio 10

11 Apresentação: delimitação Mais recentemente, se tem popularizado o termo Big Data, que descreve grandes volumes de dados, com grande variedade de formatos e gerados com alta velocidade, que requerem tecnologias que sejam capazes de capturar, armazenar, gerenciar e analisar. Os dados provenientes das redes sociais, blogs, s, chats, sensores, GPS, vídeos, imagens, gerados pelos computadores, smartfones, tables, aparelhos domésticos, são parte do Big Data. Os pesquisadores incluem a veracidade e o valor dos dados, o que é chamado dos 5 Vs do Big Data. 11

12

13 Apresentação

14 Apresentação: a disciplina não é! A gestão do conhecimento organizacional, refere-se a gestão de todos os ativos de conhecimento (explícitos e implícitos) da organização. Sendo assim, a gestão do conhecimento não somente consiste na descoberta (que é uma forma de aquisição), senão também na criação (essencial para o processo de inovação), armazenamento (diz respeito a representação e integração do conhecimento que permita ser acessado e compartilhado para a socialização do conhecimento) e manipulação (que permitam a utilização e reuso do conhecimento). 14

15 Apresentação Analise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análises Exploratória de Dados Ferramentas OLAP Analises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/ Data Marts Dados ( OLTP e outras fontes) Dados 15

16 2. Estrutura de dados para projetos de informação 16

17 Fundamentação da disciplina Análise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análise exploratória de dados Ferramentas OLAP Análises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/Data Marts Dados (OLTP e outras fontes) Dados 17

18 2.1 Data Warehouse: A memória da organização 18

19 DW: a memória da organização Data Warehouse é um conjunto de dados baseado em assuntos, integrado, não volátil, variável em relação ao tempo e de apoio às decisões dos analistas de negócios e da gerência. De outra forma, DW é um repositório de dados que contém dados históricos, integrados por assunto ou domínio de aplicação (negócio) para utilização em ambientes de análise de dados e sistemas de apoio à decisão. Um Data Mart é um subconjunto lógico de um Data Warehouse completo. DW não é mais do que a união de vários Data Marts 19

20 DW: a memória da organização Características Baseado em assuntos: os sistema OLPT (vendas, pedidos, folha de pagamento, ERP) são organizados em torno de processos ou áreas funcionais. Os dados sobre um determinado assunto, tais como produtos ou empregados, estão espalhados (e geralmente de forma inconsistente) nas diversas bases de dados da organização. Assunto significa que os DWs organizam os dados em torno de assuntos de negócio (área de interesse da organização) e têm o intuito de fornecer informações estratégicas sobre o negócio. 20

21 DW: a memória da organização Integrado: dados anteriormente independentes que fornecem respostas redundantes e ambíguas são integrados em fonte única, produzindo respostas únicas. Os dados de um DW possuem um alto nível de integração, o que significa que inconsistências devem ser eliminadas e que as convenções de nomes de atributo, tais como sexo, datas, estado civil, entre outras, devem ser uniformizadas. 21

22 DW: a memória da organização Não volátil: uma vez armazenado, o dado não sofrerá alterações, isto é, os dados são acrescentados ao DW e dificilmente são atualizados ou apagados. Variável em relação ao tempo: como os dados estão sendo sempre acrescentados no DW, há um acúmulo de dados sobre diversos períodos, possibilitando análises históricas do negócio, tendências etc. 22

23 Instalação de Ferramentas 23

24 JAVA 1. Se não tiver o Java instalado, baixar do endereço: 2. Escola a versão 8u-XX e a opção JRE para instala 24

25 JAVA Configurando o JAVA: Criando variável JAVA_HOME 1. Abrir Painel de Controle\Sistema; 2. Selecione a aba Avançado e clique em Variáveis de Ambiente; 3. Em Variáveis do sistema clique no botão Nova; 4. Na janela Nova variável de sistema, digite JAVA_HOME no campo Nome da variável e no campo Valor da variável digite o caminho do diretório onde foi instalado o JRE e clique no botão OK; 25

26 JAVA 26

27 JAVA Configurando o JAVA Editando variável PATH 1. Selecione a variável Path em Variáveis do sistema e clique no botão Editar; 2. Digite ;%JAVA_HOME%\bin ao final do conteúdo do campo Valor da variável e em seguida clique no botão OK; 3. Na janela Variáveis de ambiente clique no botão OK; 4. Na janela Propriedades do sistema clique no botão OK. 27

28 JAVA 28

29 SQL Power Architect 1. Baixar e instalar o aplicativo da comunidade do endereço: (ver figura); 29

30 2.2 Modelo dimensional: Conceitos e características 30

31 Modelo dimensional O modelo ER é uma técnica de modelagem de dados que tem como foco principal a eliminação de redundâncias de dados e a manutenção da consistências dos dados. Técnicas de normalização eliminam por completo a redundância de dados, reduzindo significativamente a probabilidade de inconsistência e aumentando a velocidade de processamento transacional. 31

32 Modelo dimensional O processo de normalização está relacionado com dois aspectos de integridade que devem ser considerados: integridade de entidades e integridade referencial. A integridade de entidades exige que cada tabela tenha uma chave primária, que é a combinação de um ou mais atributos (campos), cujo valor localiza inequivocamente cada linha da tabela. A integridade referencial exige que o banco de dados mantenha cada chave estrangeira consistente com a sua chave primária. 32

33 Modelo dimensional Elementos do modelo ER Entidades podem ser definidas como qualquer objeto distinguível em um banco de dados. Uma ocorrência de uma entidade é chamada de instância da entidade. Assim, o conjunto formado por todos os clientes de uma organização forma a classe de entidades CLIENTES. Atributos descrevem características das entidades. Esses atributos também são chamados de propriedades. O nome do cliente é um atributo da entidade CLIENTE. Identificadores são atributos que identificam uma determinada instância de entidade. Relacionamentos descrevem a interação estrutural e a associação entre as entidades de um modelo. 33

34 Modelo relacional Modelagem dimensional Chave primária: identificador único Atributos Id Nome CPF Nascimento Endereço 1345 João /03/ Maria /07/ Registros Ana /09/ Chave candidata: também é identificador Chave estrangeira: 34 chave primária de outra relação

35 Modelo dimensional A modelagem dimensional (MD) é uma técnica de modelagem de dados voltada especialmente para a implementação de um modelo que permita a visualização de dados de forma intuitiva e com altos índices de performance na extração de dados. Visualização de dados intuitiva significa que os usuários (analistas de negócio) facilmente entendem e navegam pelo modelo, vendo as questões às quais desejam que o DW responda, isto é, o modelo dimensional proporciona uma representação dos dados mais simples, expressiva e fácil de entender que a modelagem ER. 35

36 Modelo dimensional Elementos do modelo dimensional Tabela de fato: é a principal tabela do modelo dimensional. O fato representa uma medição do negócio, isto é, uma linha da tabela de fato é uma transação ou evento do negócio modelado pela tabela. As tabelas de fato possuem uma chave composta de chaves estrangeiras (dados de contexto) e dados de medida do negócio (atributos numéricos e aditivos). 36

37 Modelo dimensional Elementos do modelo dimensional Medidas: são atributos que quantificam um determinado fato, representando a performance de um indicador em relação ao contexto do fato. São atributos numéricos e aditivos que representam a medida do negócio. 37

38 Modelo dimensional Tabelas de dimensão: são tabelas com atributos textuais do negócio que determinam o contexto em que acontece o fato e mostram as possibilidades analíticas dos sistemas de BI, isto é, implementam a interface para o usuário. Uma dimensão refere-se ao contexto em que um determinado fato ocorreu, como períodos de tempo, produtos, mercados, clientes e fornecedores, elementos que possam descrever o contexto de um determinado fato, classificando as medições ativas de uma organização. 38

39 Modelo dimensional: Esquema Estrela Dimensão Tempo Dimensão Cliente Dimensão Região Dimensão Vendedor Fato de Vendas Dimensão Produto O esquema estrela é a estrutura básica de um modelo de dados multidimensional. É composto de uma entidade central (tabela de fato) e de um conjunto de entidades (tabelas de dimensões), que são organizadas ao redor dessa entidade central formando uma estrela.

40 Modelo dimensional: Esquema Estrela A maioria dos fatos envolve pelo menos quatro dimensões básicas: onde, quando, quem e o quê. 40

41 Modelo dimensional: Esquema Estrela A dimensão Onde determina o local onde o fato ocorreu (local geográfico, filial). A dimensão Quando é a própria dimensão tempo. A dimensão Quem determina que entidades participaram do fato (cliente, fornecedor, etc.). A dimensão O que determina qual é o objeto do fato (produto, serviço). Fazer exercício 1 da folha 1 41

42 Modelo dimensional: Exemplo Exercício 1 Folha 1 Uma empresa administradora de planos de saúde decidiu construir um BI para auxiliar os analistas de negócios na gestão da empresa. No levantamento de requisitos foram identificadas as necessidades de informação para a construção de um modelo dimensional. O modelo consiste de 4 dimensões (tempo, médico, clinica e paciente), e das medidas nro_consultas (número de consultas realizadas pelo médico) e vlr_consultas (quantia cobrada pelo médico no número de consultas). A dimensão tempo deve ter o mês, trimestre, semestre e ano; a dimensão médico o nome do médico e a especialidade médica; a dimensão paciente o nome, código do paciente, sexo e o ano de nascimento do paciente, e a dimensão clínica, o nome e endereço da clinica. 42

43 Solução Folha 1: exercício 1 43

44 Modelagem Dimensional Produto Loja Venda Leite A 50 Leite B 260 Leite C 00 Leite D 40 Leite E 70 Iogurte A 80 Iogurte B 190 Iogurte C 120 Iogurte D 140 Iogurte E 20 Manteiga A 10 Manteiga B 300 Manteiga C Tabela relacional 44

45 Modelagem Dimensional Uma maneira mais natural para representar a tabela anterior seria utilizar uma matriz bidimensional : P LOJAS R A B C D E O Leite D Iogurte U Manteiga T Requeijão O Tabela dimensional 45

46 Modelagem Dimensional O modelo dimensional permite a visualização de dados na forma de um cubo, em que cada dimensão do cubo representa o contexto de um determinado assunto e a intersecção entre as dimensões representa as medidas do assunto. 46

47 Modelo dimensional: Esquema Estrela 47

48 Modelo dimensional Granularidade O nível de detalhe em que serão armazenados os dados da tabela de fato é chamado de granularidade. A granularidade afeta o volume de dados do DW e, portanto, a performance na extração de informações. Baixa granularidade = Alto nível de detalhes (mais detalhado) Alta granularidade = Baixo nível de detalhes (menos detalhado) 48

49 Modelo dimensional Granularidade alta Economia de espaço em disco, melhor performance nas consultas, redução na capacidade de atender a consultas. Granularidade baixa Grande quantidade de espaço em disco, consultas mais pesadas, aumento na capacidade de responder a questões. Por exemplo, guardar as vendas de 50 produtos por dia pode representar até registros por mês; guardar por mês, pode representar 50 registros. 49

50 Modelo dimensional: Esquema Snowflake (flocos de neve) Dimensão Semana Dimensão Mês Dimensão Tempo Dimensão Cidade Dimensão Estado Dimensão Cliente Fato de Vendas Dimensão Região Dimensão Vendedor Dimensão Produto Dimensão Tipo do Produto

51 Modelo dimensional: esquema flocos de neve O esquema floco de neve é uma variação do esquema estrela. Aqui todas as tabelas dimensão são normalizadas na terceira forma normal (3FN) Reduzem a redundância mas aumentam a complexidade do esquema e, consequentemente, a compreensão por parte dos usuários Dificultam as implementações de ferramentas de visualização dos dados Impossibilitam o uso de esquemas de indexação mais eficientes

52 Modelo dimensional 2.3 Construção de um modelo dimensional 53

53 Passos do modelo dimensional 1º Passo: decidir qual(is) processo(s) (assunto) do negócio devemos modelar por meio da combinação do conhecimento do negócio com o conhecimento dos dados que estão disponíveis. Qual é o assunto de negócio que vai ser modelado? Um processo do negócio (assunto) é uma operação importante suportada por algum tipo de sistema legado do qual é possível coletar dados para o DW. Exemplos de negócios a serem modelados: vendas, pedidos, etc. 54

54 Passos do modelo dimensional 2º Passo: definir os fatos e as métricas, isto é, o que queremos avaliar. Definido o assunto de negócio, os fatos e as medidas respondem à pergunta O que estamos avaliando? Exemplo: nosso usuário é um gerente da área comercial de uma rede de lojas que quer avaliar o processo de negócio VENDAS. As medidas a serem analisadas poderiam ser a quantidade de itens vendidos, o valor de venda, o custo de cada item e as margens de lucro. 55

55 Passos do modelo dimensional 3º Passo: escolher as dimensões pelas quais as medidas serão analisadas. Essas dimensões serão aplicadas a cada registro da tabela de fatos. Aqui perguntamos ao usuário Como as métricas serão analisadas? ou Quais serão as dimensões do negócio para avaliar os fatos? Exemplo: as vendas poderão ser analisadas por mês e ano (dimensão tempo); por produto (dimensão produto); por município e por estado (dimensão geografia). 56

56 Passos do modelo dimensional 4º Passo: definir a granularidade de cada dimensão. Significa definir o nível de detalhe (grão) do processo de negócios da tabela de fatos. Aqui devemos perguntar: Qual é o nível de detalhe desejado? Exemplo: faz sentido avaliar as vendas por dia? Dimensão tempo: grão = dia; Dimensão produto: grão = item do produto; Dimensão geografia: grão = loja. 57

57 Passos do modelo dimensional 5º Passo: definir a hierarquia de agrupamentos de informações. Como se espera agrupar ou sumarizar as informações? Exemplo: qual é o total de canetas vendidas nas lojas do Estado de SP no último semestre? Dimensão tempo: hierarquia: dia-mês-semestre-ano Dimensão produto: hierarquia: item-linha-categoria Dimensão geografia: hierarquia: loja-município-uf-região 58

58 Passos do modelo dimensional Faturas Pedidos Vendas Métricas diárias, por tipo de produto, por loja Grão (Passo 4: escolher o grão) Negócios (Passo 1: escolher o processo de negócios) Dia-Mês-Ano Tipo produto Loja-cidade-UF Medidas (Passo 2: definir métricas) Unidades vendidas Preço em R$ Preço em U$ Tempo Produto Loja Exercícios 2 e 3 Hierarquia (Passo 5: escolher a hierarquia dos agrupamentos) da Folha 1 Dimensões (Passo 3: escolher as dimensões) 59

59 Exercício 2 Folha 1 Modelo dimensional Nas entrevistas de levantamento de requisitos de informação, para a construção de um modelo dimensional de uma rede de concessionárias de carros foram identificadas algumas necessidades de informação: Acompanhar a evolução mensal das vendas (número de carros vendidos) e do valor total arrecadado por concessionária; Identificar o perfil dos clientes pelo: sexo, estado civil (solteiro, casado, viúdo, outro) e a profissão (empregado privado, funcionário público, profissional liberal, negócio próprio); Identificar qual é a marca (exemplo, Fiat, etc.) e o modelo (exemplo, Palio, Siena, etc.) de carros mais vendidos pelas concessionárias. Desenhe o modelo dimensional (tabela de fatos, medidas e dimensões) que atenda os requisitos de informação. O gestor deseja saber qual foi o número de carros vendidos da marca Fiat no ano de 2011 por concessionária. É possível responder com SQL esta pergunta sobre o modelo dimensional? 60

60 Solução Folha 1: exercício 2 61

61 Exercício 3 Folha 1 Modelo dimensional Desenhe um modelo dimensional (fatos, medidas e dimensões) para um Instituto de Meteorologia que possui estações meteorológicas, classificadas em terrestres, marítimas e espaciais, as quais recolhem dados básicos sobre as condições atmosféricas a cada hora, incluindo pressão atmosférica, temperatura e precipitação. Com o modelo dimensional construído, responder: Qual é o tamanho das tabelas (número de registros) em 1 ano? 62

62 Solução Folha 1: exercício 3 63

63 Solução Folha 2 64

64 Solução Folha 2 65

65 Solução Folha 3 66

66 Solução Folha 3 67

67 Solução Folha 4 68

68 Solução Folha 4 69

69 Solução Folha 5 70

70 Solução Folha 5 71

71 Fundamentação da disciplina Análise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análise exploratória de dados Ferramentas OLAP Análises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/Data Marts Dados (OLTP e outras fontes) Dados 72