Métodos de Análise de Dados (AO-802)

Transcrição

1 Métodos de Análise de Dados (AO-802) DADOS INFORMAÇÃO CONHECIMENTO Rodrigo A. Scarpel INTELIGÊNCIA

2 Introdução: Revolução dos Serviços (final anos 80) Dilúvio de dados Processo de KDD (1996) BI e BA Alguns eventos Analytics Data Science 2

3 A Terceira Revolução Industrial: A Revolução dos Serviços (1980 a?): Microinformática Tecnologia da informação Softwares Telecomunicações Setor financeiro Grandes varejistas Educação e ensino Internet (década de 90) 3

4 Um dilúvio de dados: Sistemas de Informação Call Centers Transações CRM Reclamações Artigos eletrônicos Mensagens ( s, ) Outros 4

5 O processo de KDD: Fonte: FAYYAD, U., PIATETSKY- SHAPIRO, G., SMYTH, P. From data mining to knowledge discovery: An overview. In: Advances in Knowledge Discovery and Data Mining, AAAI Press / The MIT Press, MIT, Cambridge, Massachusetts, 1996, p

6 Mineração de dados: 6

7 Business Intelligence: Objetivo: Transformar dados em conhecimento Dados Informação Conhecimento 7

8 Business Analytics: Métodos Prescritivos Métodos Preditivos BA Métodos Descritivos BI Dados Informação Conhecimento Inteligência 8

9 Alguns eventos (início dos anos 2000): DW failure rates range between 50% and 70% and range as high as 90% for the insurance industry (Conning and Co. em 2002) Fonte: 9

10 Alguns eventos (fracassos BI e BA): (integração dos dados) (qualidade dos dados) ( propriedade dos dados) (cultural - carreira) (grandes consultorias) (mais do mesmo) (incertezas nos resultados) 10

11 Alguns eventos: Dilúvio de dados Universo de dados Fonte: 11

12 Alguns eventos (Big Data Initiative): Fonte: 12

13 Analytics Data Science: 13

14 Programa da disciplina: Aula Conteúdo 1 Apresentação da disciplina. Avaliação (trabalhos). Caso 1: Análise Exploratória de dados. 2 Caso 2: Formação de agrupamentos hierárquicos. 3 Caso 3: Redução de dimensão + Formação de agrupamentos hierárquicos. 4 Caso 4: Formação de agrupamentos não-hierárquicos. 5 e 6 Aplicações em métodos não supervisionados (formação de agrupamentos e redução de dimensão). 7 e 8 Apresentação de trabalhos (métodos não supervisionados). 9 Caso 5: Classificador discriminante (Euclideano, linear e não-linear). 10 Caso 6: Classificador AID / CART. 11 Caso 7: Classificador por regressão logística. 12 Caso 8: Classificador por support vector machine (SVM). 13 e 14 Aplicações em métodos supervisionados. 15 e 16 Apresentação de trabalhos (métodos supervisionados). 14

15 Avaliação e bibliografia: Avaliação: 2 trabalhos individuais (apresentação e relatório): 1. APRESENTAÇÃO: 50% 2. RELATÓRIO: 50% Bibliografia: Ragsdale, C. T., Modelagem de planinha e análise de decisão uma introdução prática a business analytics, 7 a edição. Cencage, Gareth, J., Witten, D., Hastie, T. e Tibshirani, R. An Introduction to Statistical Learning with applications in R. Springer,

16 Caso 1: Análise exploratória de dados Objetivos da AED: 1. Mostrar comparações: evidenciar uma hipótese demanda comparações em relação a alguma hipótese alternativa (pergunta: comparada a que? ) 2. Mostrar causalidade, explicação: gerar evidências em relação a como o sistema (mundo considerado) funciona 3. Mostrar dados multivariados: o mundo real é multivariado, ou seja, é complexo e envolve muitas variáveis simultaneamente 4. Integrar várias formas para evidenciar: gráficos (de diferentes tipos), tabelas, Descrever e documentar evidências: contar histórias completas de forma convincente OBS: O conteúdo é soberano: a história sendo contada é o mais importante (AED não salva se o conteúdo não for bom) 16

17 Caso 1: Análise exploratória de dados Análise exploratória: cidades conforme seus índices de criminalidade Dados: Observações (linhas): 72 maiores cidades dos EUA Variáveis (colunas): índices de criminalidade (por habitantes) Processo: Murder (F): (1) 0 10; (2) 11 20; (3) 21 40; (4) 40+; Rape (E): (1) 0 40; (2) 41 60; (3) 61 80; (4) ; (5) 100+; Robbery (D): (1) 0 400; (2) ; (3) ; (4) 1000+; Assault (C): (1) 0 300; (2) ; (3) ; (4) ; (5) ; (6) 1251+; Burglary (B): (1) ; (2) ; (3) ; (4) ; (5) 2200+; Larceny (A): (1) ; (2) ; (3) ; (4) ; (5) ; (6) ; (7) ; (8) 7000+; Motor vehicle theft: (1) 0 500; (2) ; (3) ; (4) ; (5)

18 Caso 2: Formação de agrupamentos hierárquicos Agrupamentos hierárquicos: são utilizados para organizar observações / variáveis que estão próximas em agrupamentos. Questões: 1. Como nós definimos próximas? Precisamos definir alguma distância: Euclideana, Manhattan, correlação, 2. Como agrupar as observações? Precisamos definir algum critério de agrupamento: ligação simples, ligação média, ligação completa, centróide, Ward, entre outros 3. Como visualizar os agrupamentos gerados? Dendograma 4. Como interpretar os agrupamentos gerados? Análise exploratória de dados: gráficos e tabelas 18

19 Caso 2: Formação de agrupamentos hierárquicos Agrupamento de cidades conforme seus índices de criminalidade Dados: Observações (linhas): 72 maiores cidades dos EUA Variáveis (colunas): índices de criminalidade (por habitantes) Processo: Murder (F): (1) 0 10; (2) 11 20; (3) 21 40; (4) 40+; Rape (E): (1) 0 40; (2) 41 60; (3) 61 80; (4) ; (5) 100+; Robbery (D): (1) 0 400; (2) ; (3) ; (4) 1000+; Assault (C): (1) 0 300; (2) ; (3) ; (4) ; (5) ; (6) 1251+; Burglary (B): (1) ; (2) ; (3) ; (4) ; (5) 2200+; Larceny (A): (1) ; (2) ; (3) ; (4) ; (5) ; (6) ; (7) ; (8) 7000+; Motor vehicle theft: (1) 0 500; (2) ; (3) ; (4) ; (5)

20 Caso 2: Formação de agrupamentos hierárquicos Agrupamento de cidades conforme seus índices de criminalidade Resultados: Site:

21 Caso 3: Agrupamentos hierárquicos com RD Agrupamento de cidades (conforme seus índices de criminalidade) com redução de dimensão Dados: mesmos do caso 1 Processo: Objetivo da análise de componentes principais (PCA): encontrar um novo conjunto de variáveis, não correlacionadas, que expliquem o máximo possível da variância presente nos dados (princípio: data compression). 21

22 Caso 3: Agrupamentos hierárquicos com RD Resultados: Resultados - PCA: 22

23 Caso 3: Agrupamentos hierárquicos com RD Resultados: Resultados - Agrupamentos:

24 Caso 4: Agrupamentos não hierárquicos Agrupamento de cidades (conforme seus índices de criminalidade) com redução de dimensão Dados: mesmos do caso 3 (com redução de dimensão por ACP) Processo: Métodos não hierárquicos de formação de agrupamentos: alternativa quando há muitas observações. Demandam, a priori, a definição do número de agrupamentos. 24

25 Caso 4: Agrupamentos não hierárquicos Resultados: Resultados - Agrupamentos: 25

26 Caso 5: Classificador Discriminante Classificação cidades (conforme seus índices de criminalidade) nos agrupamentos gerados Dados: Observações (linhas): 72 maiores cidades dos EUA Variável explicada: agrupamento da cidade (resultado do método não hierárquico) Variáveis explicativas: índices de criminalidade (por habitantes) Murder (F): (1) 0 10; (2) 11 20; (3) 21 40; (4) 40+; Rape (E): (1) 0 40; (2) 41 60; (3) 61 80; (4) ; (5) 100+; Robbery (D): (1) 0 400; (2) ; (3) ; (4) 1000+; Assault (C): (1) 0 300; (2) ; (3) ; (4) ; (5) ; (6) 1251+; Burglary (B): (1) ; (2) ; (3) ; (4) ; (5) 2200+; Larceny (A): (1) ; (2) ; (3) ; (4) ; (5) ; (6) ; (7) ; (8) 7000+; Motor vehicle theft: (1) 0 500; (2) ; (3) ; (4) ; (5)

27 Caso 5: Classificador Discriminante Classificação cidades (conforme seus índices de criminalidade) nos agrupamentos gerados Processo: Transformação dos dados: geração das 2 primeiras componentes principais Mineração de dados: 27

28 Caso 5: Classificador Discriminante Análise Discriminante Linear X Análise Discriminante Quadrática TREINAMENTO: i (para cada uma das classes) (pooled) TREINAMENTO: i (para cada uma das classes) i (para cada uma das classes) 28

29 Caso 5: Classificador Discriminante Classificação cidades (conforme seus índices de criminalidade) nos agrupamentos gerados Matriz de confusão (validação leave-one-out) Discriminante Linear: Taxa de acerto: Discriminante Quadrática: Taxa de acerto: 29

30 Caso 6: Classificador CART / AID Classificação em abandono de clientes (Churn) Dados: 30

31 Caso 6: Classificador CART / AID Sistema de classificação que particiona o espaço de atributos de forma a criar regras para definir as classes Resultado: um conjunto de regras e uma árvore (diagrama) Algoritmos disponíveis: CART (Classification And Regression Trees) CHAID (Chi-Square Automatic Interaction Detection) Elementos da árvore de decisão Nó raiz (primeira questão) Ligações ou ramos (possíveis respostas) Outros nós Nó terminal (outras questões) (decisão final) A classificação de uma observação inicia no nó raiz e segue as ligações correspondentes às respostas corretas até chegar no nó terminal. 31

32 Renda anual (R$) Caso 6: Classificador CART / AID Ilustração: classificação em risco IDADE > 35 NÃO SIM Alto risco Renda anual maior que R$ ,00 NÃO SIM Médio risco Baixo risco Acurácia = % Idade (anos) Esse modelo é construído a partir de um conjunto de treinamento seguindo algumas regras: Partição: escolha da melhor partição Parada: quando parar de particionar A acurácia é obtida a partir de um conjunto de teste. 32

33 Caso 6: Classificador CART / AID Classificação em abandono de clientes (Churn) 33

34 Y Y Caso 7: Classificador por Regressão Logística Regressão Linear Regressão Logística Y i A B* X i C * X 2 1 i... Y i 1 e 1 ( A B* X1i C* X 2 i...) 1 1 0,9 0,9 0,8 0,8 0,7 0,7 0,6 0,6 0,5 0,4 0,3 0,2 0, X 0,5 0,4 0,3 0,2 0, X 34

35 Caso 8: Classificador por Support Vector Machine Support Vector Machine (SVM) CLASSIFICAÇÃO BINÁRIA (y i -1,1) PROBLEMA: achar uma função, linear ou não, para um hiperplano de separação dos pontos em dois conjuntos no R m, em que m é o número de dimensões existentes. Caso 1: populações separáveis por um hiperplano linear Dados: N observações no R M (M:dimensões) x i = x i1,, x im y i -1,+1 i = 1,,N Separable Linear Kernel Problem: Objetivo: Maximizar D(H 1, H 1 ) 2 w 2 t w w Minimizar 1 D t w w 2 Restrições: w t x + b +1 para y = +1 w t x + b -1 para y = -1 y(w t x + b) +1 35

36 Caso 8: Classificador por Support Vector Machine Support Vector Machine (SVM) CLASSIFICAÇÃO BINÁRIA (y i -1,1) Exemplo: X1 X2 Y Solução: w 1 = - 0,5 w 2 = 1,0 b = - 4,5 Min w 1 t w w w2 2 2 w w w ( w ) s.a. y(w t x + b) +1 y(w 1.x 1 +w 2.x 2 + b) +1-1(w 1.4+w b) +1 +1(w 1.6+w b) +1 Hiperplano de Separação (H 0 ): w t x + b = 0-0,5. x 1 +1,0. x 2 4,5 = 0 x 2 = 4,5 + 0,5. x 1 Hiperplano Superior (H +1 ): -1(w 1.6+w b) +1 +1(w 1.4+w b) +1 w t x + b = +1 x 2 = 5,5 + 0,5. x 1-1(w 1.3+w b) +1 +1(w 1.5+w b) +1 Hiperplano Inferior (H -1 ): -1(w 1.5+w b) +1 +1(w 1.3+w b) +1 w t x + b = -1 x 2 = 3,5 + 0,5. x 1 36

37 Caso 8: Classificador por Support Vector Machine Support Vector Machine (SVM) CLASSIFICAÇÃO BINÁRIA (y i -1,1) Caso 2: populações não separáveis por um hiperplano linear Modificações: Introduz-se N variáveis de folga i 0, i=1,,n Modifica-se as restrições para: w t x i + b +1 - i para y i = +1 w t x i + b -1 + i para y i = -1 Combinando as duas restrições: y i (w t x i + b) +1 - i Cria-se uma penalidade na função objetivo, obtendo-se um modelo com N + M + 1 incógnitas ( 1,, N,w 1,,w M,b): Min 1 2 t w w N C i 1 i onde C é uma constante de penalização (C 0) 37

38 Caso 8: Classificador por Support Vector Machine Support Vector Machine (SVM) CLASSIFICAÇÃO BINÁRIA (y i -1,1) Exemplo: (C=1) X1 X2 Y w 1 = - 0,5714 w 2 = 0,8571 b = - 3,2857 Solução: 1 = 0 2 = 0 3 = 0 4 = 0 5 = Min (w1 w2 ) ( ) 2 s.a. y(w 1.x 1 +w 2.x 2 + b) +1 - i -1.(w 1.4+w b) , 2, 3, 4, 5, 6, 7, (w 1.6+w b) = 2,286 7 = 0,286 8 = 0 Hiperplano de Separação (H 0 ): -0,57. x 1 +0,86. x 2 3,3 = 0-1.(w 1.6+w b) (w 1.4+w b) +1-6 x 2 = 3,83 + 0,67. x 1-1.(w 1.3+w b) (w 1.5+w b) +1-7 (H +1 ): x 2 = 4,83 + 0,67. x 1-1.(w 1.5+w b) (w 1.3+w b) +1-8 (H -1 ): x 2 = 2,83 + 0,67. x 1 38

39 OBSERVAÇÃO Este material refere-se às notas de aula do curso AO-802 (Métodos de Análise de Dados) do Instituto Tecnológico de Aeronáutica (ITA). Não substitui o livro texto, as referências recomendadas e nem as aulas expositivas. Este material não pode ser reproduzido sem autorização prévia do autor. Quando autorizado, seu uso é exclusivo para atividades de ensino e pesquisa em instituições sem fins lucrativos.

40 DADOS INFORMAÇÃO CONHECIMENTO INTELIGÊNCIA Rodrigo A. Scarpel http: