Inteligência nos Negócios (Business Inteligente)

Transcrição

1 Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 3)

2 Fundamentação da disciplina Analise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análises Exploratória de Dados Ferramentas OLAP Analises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/ Data Marts Dados ( OLTP e outras fontes) Dados 2

3 PostgreSQL 3

4 Exercício da folha 6. PostgreSQL 1. Criamos uma nova base de dados sobre o servidor local (localhost). 4

5 Exercício da folha 6. PostgreSQL 2. Escolhemos um nome para a base de dados, por exemplo curso. 5

6 Exercício da folha 6. PostgreSQL 3. Escolhemos o tipo de codificação, UTF8. 6

7 Exercício da folha 6. PostgreSQL 4. A base de dados foi criada, com o Schema public. 7

8 PostgreSQL Exercício da folha Restauramos o banco de dados relacional_vinhos_82.backup. 8

9 Exercício da folha 6. PostgreSQL 6. Escolhemos o arquivo de backup correspondente a base restaurada. 9

10 Exercício da folha 6. PostgreSQL 7. Deixamos todas as opções default. 10

11 Exercício da folha 6. PostgreSQL 8. Quando o código de retorno é 0, a base foi restaurada sem problemas. 11

12 PostgreSQL- Visualizando os dados Exercício da folha Se o esquema relacional_vinhos não aparece, damos um refresh no 12 esquema.

13 PostgreSQL- Visualizando os dados Exercício da folha Agora podemos visualizar as tabelas e os dados. 13

14 PostgreSQL- Visualizando os dados Exercício da folha Podemos fazer consultas SQLs as tabelas do esquema. 14

15 Fundamentação da disciplina Analise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análises Exploratória de Dados Ferramentas OLAP Analises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/ Data Marts Dados ( OLTP e outras fontes) Dados 15

16 Extração, Transformação e Carga - ETL 16

17 ETL O ETL é um sistema ou conjunto de scripts SQLs para extrair os dados das bases de operação e carregar-las no modelo dimensional construído depois da transformação. O objetivo da etapa de ETL é fazer a integração de informações de fontes múltiplas e complexas, portanto, torna-se uma etapa bastante crítica, já que uma informação que for carregada erroneamente pode trazer conseqüências imprevisíveis nas fases posteriores. Esta etapa divide-se basicamente em três passos: extração, transformação e carga. 17

18 ETL Extração: A extração, implica muitas vezes na seleção de diferentes fontes de dados e na integração de tais dados, com o objetivo de obter uma única fonte de dados. As origens das fontes de dados podem ser várias e também em diferentes formatos; como de sistemas transacionais, ERP, planilhas, arquivos textos, e fazer a extração deles. Na extração e integração, é efetuada a limpeza de dados, operações de remoção de ruídos, atributos incompletos ou erros produzidos por erros de digitação ou erros nos sistemas de captura de dados. 18

19 ETL Transformação: antes de construir o repositório de dados final, é necessária a etapa de transformação, onde, é necessário padronizar os diferentes formatos dos dados provenientes de diferentes fontes, devese realizar a adequação dos dados para serem utilizados pelas ferramentas de análises de dados. A limpeza (é uma forma de transformação) também entra nesta fase. A necessidade da limpeza dos dados se dá porque os dados normalmente advêm de uma fonte muitas vezes desconhecida, concebida há muito tempo e contendo muito lixo e inconsistência, portanto, faz-se à limpeza desses dados, para haver compatibilidade entre eles. 19

20 ETL Podem ser as seguintes transformações: Resumo ou agregação: é o processo de eliminar atributos ou reduzir o número de valores de um determinado atributo, por exemplo reduzir o atributo data com granularidade em dias para mês (redução de 365 para 12). 20

21 ETL Redução do número de valores de um atributo: a redução do número de valores de um atributo é feita por discretização ou suavização dos valores de um atributo contínuo. Muitos algoritmos de classificação por exemplo necessitam de dados categorizados (discretos), algoritmos de associação de dados binários. Assim caraterísticas que assumem valores contínuos podem ser transformados em valores discretos (em classes) e os valores discretos em binários. 21

22 ETL Transformação de tipo: para que o algoritmo possa utilizar o dado mais adequadamente. A transformação pode ser: 1. De numérica para categórica: Direta: substitui valores numéricos por categóricos, exemplo, sexo: 1 = M e 0 = F Intervalos: os intervalos podem ser definidos pelo usuário, de igual comprimento ou calculados por clusters. 2. De categórica para numérica: Pode ser utilizada uma notação binária ou discreta. Por exemplo a variável estado civil: solteiro = 0 ou 000; casado = 1 ou 001; divorciado = 2 ou 010; viúvo = 3 ou 011; outro =

23 ETL Carga: Uma vez que a origem dos dados pode ser de sistemas diferentes, padroniza-se os diferentes formatos de modo que fiquem num formato uniforme normalmente sugerido pelo próprio usuário e é feito a carga no repositório de dados (DW). Com isso a analise dos dados recuperados pela ferramenta OLAP fica mais fácil, pois o usuário não estará vendo informações iguais em formatos diferentes. 23

24 Suite BI Open Pentaho 24

25 Suite BI Open Pentaho 25

26 Suite BI Open Pentaho: BI Server 26

27 27

28 Suite BI Open Pentaho: Front-end 28

29 Descompactar o arquivo pdi-ce-5.x.x-stable.zip e iniciar Spoon.bat (Windows) ou Spoon.sh (Linux, MacOS). 29

30 PDI esta formado por um conjunto de ferramentas: Spoon: é a ferramenta gráfica para construir transformações e jobs. Pan: é a ferramenta que nos permite executar as transformações do spoon de uma linha de comando. Kitchen: similar ao Pan, mais para executar jobs. Carte: é um servidor web que permite a execução remota de transformações e jobs. 30

31 Configurando o JAVA: Criando variável JAVA_HOME 1. Abrir Painel de Controle\Sistema; 2. Selecione a aba Avançado e clique em Variáveis de Ambiente; 3. Em Variáveis do sistema clique no botão Nova; 4. Na janela Nova variável de sistema, digite JAVA_HOME no campo Nome da variável e no campo Valor da variável digite o caminho do diretório onde foi instalado o JDK e clique no botão OK; 31

32 32

33 Configurando o JAVA Editando variável PATH 1. Selecione a variável Path em Variáveis do sistema e clique no botão Editar; 2. Digite ;%JAVA_HOME%\bin ao final do conteúdo do campo Valor da variável e em seguida clique no botão OK; 3. Na janela Variáveis de ambiente clique no botão OK; 4. Na janela Propriedades do sistema clique no botão OK. 33

34 34

35 Tela principal do aplicativo data integration. 35

36 Exercícios da folha Criamos o Schema dwvinhos_pdi 36

37 Exercícios da folha Criamos a conexão curso na opção: Conexões Adicionar conexão Nova conexão 37

38 Exercícios da folha Geramos o scripts das tabelas: Ferramentas - SQL 38

39 Exercícios da folha 7. Escolhemos a base curso, o SGBD PostgreSQL e o schema dwvinhos_pdi, e damos OK 39

40 4. Executamos o scripts. 40

41 Exercícios da folha 7. Vamos a carregar a dimensão vinhos. 5. Criamos uma nova transformação: File Novo - Transformação 41

42 Exercícios da folha Pegamos os dados de entrada pelos componentes do grupo Input 42

43 Exercícios da folha Escolhemos o componente Table input e configuramos o componente. Primeiro criamos uma conexão, opção New 43

44 Exercícios da folha O servidor será localhost, a base de dados curso, login/senha do banco e o nome da conexão (nome fantasia) vinhos 44

45 Exercícios da folha Testamos a conexão. 45

46 Exercícios da folha Configuramos agora o SQL para obter os dados necessários para a carga da dimensão vinhos. 46

47 Exercícios da folha Fazemos um Preview para saber se o SQL está respondendo. 47

48 Exercícios da folha Escolhemos o componente Select values do grupo Tranform. 48

49 Exercícios da folha Fazemos a conexão entre os dois componentes. 49

50 Exercícios da folha Configuramos o componentes: Get fields to select traz os campos de saída do componente anterior. 50

51 Exercícios da folha Na aba Remove fazemos o get dos campos não necessários. 51

52 Exercícios da folha Escolhemos o componente Table output do grupo Output para gravar os dados na dimensão vinhos. 52

53 Exercícios da folha Configuramos a conexão, o esquema e a tabela onde os dados serão gravados. 53

54 Exercícios da folha Salvamos e executamos a transformação. 54

55 Exercícios da folha Compartilhamos a conexão para realizar a carga da dimensão loja e geografia, que são similares a carga da dimensão vinho. 55

56 Exercícios da folha Carga da dimensão tempo. O componente Modified Java Script Value é do grupo Scripting e os componentes Sort e Unique rows do grupo Transform. 56

57 Exercícios da folha Configuração do componente Java Script. 57

58 Exercícios da folha Configuração dos componentes Sort e Unique. 58

59 Exercícios da folha Transformação da carga da tabela fato. 59

60 Exercícios da folha No componente de Table input pegamos todos os dados necessários do esquema relacional. 60

61 Exercícios da folha Configuração dos componentes Database lookup, é necessário um 61 componente para cada dimensão.

62 Exercícios da folha Configuração do componente Calculadora para criar a medida que está faltando. 62

63 Exercícios da folha Configuração do componente Group By. 63

64 Exercícios da folha Configuração do componente Insert/Update. 64

65 Exercícios da folha 8: item a) Alteração da carga da tabela fato para incluir uma nova medida. 65

66 1. Configuração do componente Java Script para calculo da porcentagem de desconto. 66

67 2. Incluir o campo de desconto no componente Select, e calcular a nova medida (Valor_venda_desconto) no componente Calculadora. 67

68 3. Incluir a nova medida no componente Group by. 68

69 4. Incluir a nova medida no componente Insert/Update. 69

70 Exercícios da folha 8: item b) 70

71 Exercícios da folha 8: item c) Dimensão tempo. 71

72 1. Configuração do componente Generate rows. 72

73 2. Configuração do componente Add sequence. 73

74 3. Configuração do componente Calculadora. 74

75 4. Configuração do componente Sort e Unique. 75

76 5. Configuração do componente Filter. 76

77 6. Configuração do componente Java Script. 77

78 7. Configuração do componente Insert/Update. 78

79 Exercícios da folha 8: item d) Criação da job. 79

80 Exercícios da folha 8: item e) 80

81 Exercícios da folha 8: item e) 81

82 Exercícios da folha 8: item e) 82

83 Exercícios da folha 8: item e) 83

84 Exercícios da folha 8: item e) 84

85 Exercícios da folha 8: item e) 85

86 Exercícios da folha 8: item e) 86

87 Exercícios da folha 8: item e) 87

88 Exercícios da folha 8: exercício 2) 88

89 Exercícios da folha 8: exercício 2) 89

90 Exercícios da folha 8: exercício 2) 90

91 Exercícios da folha 8: exercício 2) 91

92 Exercícios da folha 8: exercício 2) 92

93 Exercícios da folha 8: exercício 2) 93

94 Exercícios da folha 8: exercício 2) 94

95 Exercícios da folha 8: exercício 2) 95

96 Fundamentação da disciplina Analise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análises Exploratória de Dados Ferramentas OLAP Analises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/ Data Marts Dados ( OLTP e outras fontes) Dados 96