Inteligência nos Negócios (Business Inteligente)

Transcrição

1 Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 6)

2 Fundamentação da disciplina Analise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análises Exploratória de Dados Ferramentas OLAP Analises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/ Data Marts Dados ( OLTP e outras fontes) Dados 2

3 Classificação 3

4 Tarefa: Classificação Identificação do perfil de clientes inadimplentes no cartão de crédito Tarefa T: classificar potenciais novos clientes como inadimplentes ou adimplentes; Experiência de Treinamento E: uma base de dados histórica em que os clientes já conhecidos são previamente classificados como inadimplentes ou adimplentes; Medida de Desempenho P: porcentagem de clientes classificados corretamente 4

5 Tarefa: Classificação Introdução: Definição, objetivos, tarefas e características da classificação; Abordagem Simbólica: classificação baseado na IA simbólica (heurística): árvore de decisão, teoria da informação, algoritmos ID3 e C4.5; Abordagem Estatística: Classificadores Bayesianos (Naive Bayes), K-Vizinhos mais próximos (k-nearest Neighbor); Abordagem Biológica: classificador baseado na IA biológica: redes neurais e algoritmos genéticos. 5

6 Tarefa: Classificação Definição: É determinar com que grupo de entidades, já classificadas anteriormente um novo objeto apresenta mais semelhanças. O objetivo da classificação, é analisar os dados e desenvolver uma descrição ou modelo para descobrir um relacionamento entre os atributos previsores e o atributo meta. 6

7 Tarefa: Classificação Tarefa: descobrir um relacionamento entre os atributos previsores e o atributo meta, usando registros cuja classe é conhecida, para se construir um modelo de algum tipo que possa ser aplicado aos objetos não classificados para classifica-os. Classificação é usada principalmente para previsão. A tarefa da classificação, é caracterizada por uma boa definição das classes, adquirida em um conjunto de exemplos pre-classificados (dados de treino).

8 Tarefa: Classificação Dia Aspecto Temperatura Umidade Vento Decisão 1 Sol Quente Alta Fraco N 2 Sol Quente Alta Forte N 3 Nublado Quente Alta Fraco S 4 Chuva Agradável Alta Fraco S Algoritmo de classificação (1) Um algoritmo de aprendizagem é executado para induzir um classificador a partir do conjunto de treino Um conjunto de treino com exemplos rotulados é usado para treinar o classificador. Aprender modelo (2) Uma vez construído o classificador, este pode ser usado para classificar futuros exemplos DEDUÇÃO Aplicar modelo (4) MODELO (3) Aspecto Temperatura Umidade Vento Decisão Sol Quente Alta Forte? Nublado Quente Alta Fraco? Chuva Agradável Alta Fraco? Chuva Fria Normal Fraco? conjunto de exemplos sem rótulos 8

9 Abordagem Simbólica 9

10 Técnica: Árvores de Decisão São um método de aprendizagem supervisionado que constrói árvores de classificação a partir de exemplos. Algoritmos : ID3, C4.5, (Quinlan), CART (Breiman) Os métodos baseados em árvores, dividem o espaço de entrada em regiões disjuntas para construir uma fronteira de decisão. As regiões são escolhidas baseadas em técnicas heurísticas onde a cada passo os algoritmos selecionam a variável que provê a melhor separação de classes. 10

11 ID Sexo Cidade Idade 1 M Floripa 25 2 M Criciuma 21 3 F Floripa 23 4 F Criciuma 34 5 F Floripa 30 6 M Blumenau 21 7 M Blumenau 20 8 F Blumenau 18 9 F Floripa M Floripa 55 Comprou Produto X? S S S S N N N N N N 11

12 Não Se (Cidade=Blumenau) Então (Decisão = Não) Cidade Floripa Idade Se (Cidade=Criciúma) Então (Decisão = Sim) Sim Não Sim Se (Cidade=Floripa e Idade <= 27) Então (Decisão = Sim) Se (Cidade=Floripa e Idade > 27) Então (Decisão = Não) 12

13 Cidade SIM NÂO Floripa Criciúma Blumenau 27 Idade 13

14 Algoritmo ID3 ID3, é um algoritmo que construí uma árvore de decisão sob as seguintes premissas: Cada vértice (nodo) corresponde a um atributo, e cada aresta da árvore a um valor possível do atributo. Uma folha da árvore corresponde ao valor esperado da decisão segundo os dados de treino utilizados. A explicação de uma determinada decisão está na trajetória da raiz a folha representativa desta decisão. 14

15 Algoritmo ID3 Cada vértice é associado ao atributo mais informativo que ainda não tenha sido considerado. Para medir o nível de informação de um atributo se utiliza o conceito de entropia da Teoria da Informação. Menor o valor da entropia, menor a incerteza e mais utilidade tem o atributo para a classificação. 15

16 Algoritmo ID3: Exemplo Dia Aspecto Temperatura Umidade Vento Decisão 1 Sol Quente Alta Fraco N 2 Sol Quente Alta Forte N 3 Nublado Quente Alta Fraco S 4 Chuva Agradável Alta Fraco S 5 Chuva Fria Normal Fraco S 6 Chuva Fria Normal Forte N 7 Nublado Fria Normal Forte S 8 Sol Agradável Alta Fraco N 9 Sol Fria Normal Fraco S 10 Chuva Agradável Normal Fraco S 11 Sol Agradável Normal Forte S 12 Nublado Agradável Alta Forte S 13 Nublado Quente Normal Fraco S 14 Chuva Agradável Alta Forte N 16

17 Sol Aspecto Nublado Alta Unidade Vento SIM NÃO Normal SIM SIM Fraco Forte NÃO 17

18 Folha 12 Exercício 1 Algoritmos de classificação 1. Leitura dos dados do problema: Import / Data 2. Escolher o componente Read (segundo o formato dos dados), e configurar os parâmetros; 18

19 Algoritmos de classificação 3. Escolher o componente SetRole para indicar qual é a variável meta. Configurar as propriedades: target role e attibute name. 19

20 Algoritmos de classificação 4. Escolher o algoritmo de mineração ID3: Modeling/Predictive/Trees 20

21 Algoritmos de classificação 5. Executar o processo para ver os resultados. Qual será a decisão, se o dia estiver com sol, temperatura fria, umidade alta e vento forte? 21

22 Algoritmos de classificação Processo para resolver o exercício 2, e configuração do componente Set Role. 22

23 Algoritmos de classificação Outra forma de resolver o exercício 2. O componente Read (2) se configura como o Read anterior, escolhendo o sheet number = 2. Escolher Apply Model de: Modeling/Model Application 23

24 Algoritmos de classificação 24

25 Algoritmo C 4.5 O C 4.5 é uma extensão do ID3: Construí árvores de decisão, com valores desconhecidos para alguns atributos. Trabalha com atributos que apresentam valores contínuos. Utiliza o conceito de poda (pruning) de árvores. Quando existem atributos desconhecidos para alguma variável, os mesmos são considerado como uma nova categoria. Quando existem variáveis com atributos contínuos, o algoritmo cria intervalos segundo as alterações na variável de decisão.

26 Algoritmos de classificação Processo para resolver o exercício 3. 26

27 Abordagem Estatística 27

28 Classificadores Bayesianos: Probabilidade condicional P(B A) = P(A B) / P(A) (1) P(A B) = P(A B) / P(B) (2) Naive Bayes De (2) podemos ter: P(A B) = P(A B). P(B) (3) Substituindo (3) em (1) chegamos a regra de Bayes: P(B A) = P(A B). P(B) / P(A) (regra de Bayes)

29 Classificadores Bayesianos: Naive Bayes Sejam A 1,..., A k atributos, [a 1,..., a k ] uma tupla do banco de dados, e C uma classe a ser prevista. A previsão ótima é uma classe de valor c tal que: P(C = c A 1 = a 1... A k = a k ) é máxima. Transformando através da regra de Bayes, que estabelece: = P(A 1 = a 1... A k = a k C = c) * P(C = c) / P(A 1 = a 1... A k = a k ) Considerando independência entre os atributos: = P(A 1 = a 1 C = c) *... P(A k = a k C = c) * P(C = c) / P(A 1 = a 1 ) *... P(A k = a k )

30 Classificadores Bayesianos: Naive Bayes Dia Aspecto Temperatura Umidade Vento Decisão 1 Sol Quente Alta Fraco N 2 Sol Quente Alta Forte N 3 Nublado Quente Alta Fraco S 4 Chuva Agradável Alta Fraco S 5 Chuva Fria Normal Fraco S 6 Chuva Fria Normal Forte N 7 Nublado Fria Normal Forte S 8 Sol Agradável Alta Fraco N 9 Sol Fria Normal Fraco S 10 Chuva Agradável Normal Fraco S 11 Sol Agradável Normal Forte S 12 Nublado Agradável Alta Forte S 13 Nublado Quente Normal Fraco S 14 Chuva Agradável Alta Forte N 30

31 Classificadores Bayesianos: Naive Bayes Qual será a decisão, se o dia estiver com sol, temperatura fria, umidade alta e vento forte? P(Jogar = S / Aspecto = Sol Temperatura = Fria Umidade = Alta Vento = Forte) =? P( Sol/S) * P( Fria/S) * P(Alta/S) * P(Forte/S) * P(S) P( Sol) * P( Fria) * P(Alta) * P(Forte) (2/9 * 3/9 * 3/9 * 3/9 * 9/14) / (5/14 * 4/14 * 7/14 * 6/14) = 0,0053/0,028 = 0,189 31

32 Classificadores Bayesianos: Naive Bayes P(Jogar = N / Aspecto = Sol Temperatura = Fria Umidade = Alta Vento = Forte) =? P( Sol/N) * P( Fria/N) * P(Alta/N) * P(Forte/N)*P(N) P( Sol) * P( Fria) * P(Alta) * P(Forte) (3/5 * 1/5 * 4/5 * 3/5 * 5/14) / (5/14 * 4/14 * 7/14 * 8/14) = 0,0206/0,028 = 0,734 32

33 K- Nearest Neighbor Exemplo: A classificação de? (F(?)), será a classificação de X i (F(X i )), onde X i é a instancia mais próxima de?. Se k=1, na figura? seria classificado como O Se k=7, na figura? seria classificado como # Outra alternativa, do algoritmo, é dar peso a contribuição de cada um dos k-vizinhos de acordo com sua distancia. 33

34 K- Nearest Neighbor x = < idade(x), altura(x), peso(x), classe(x)>, onde classe pode ser sim, não ] Exemplo: joão = (<36, 1.80, 76>,???) a ser classificado josé = (<30, 1.78, 72>, sim) maria = (<25, 1.65, 60>, sim) anastácia = (<28, 1.60, 68>, não) Calculo da distância euclidiana: d ( x, y) ( x1 y1) ( x2 y2)... ( x p y p ) d(joão,josé) = [(36-30) 2 + ( ) 2 + (76-72) 2 ] 1/2 = ( ) 1/2 = 7,21 d(joão,maria) = ( ) 1/2 = 19,41 d(joão, anastácia) = ( ) 1/2 = 11,32 34

35 K- Nearest Neighbor Processo do exercício 4. 35

36 Avaliação dos algoritmos de aprendizado 36

37 Avaliação do algoritmo de aprendizado O desempenho de um classificador é medido em termos da sua capacidade preditiva nos futuros exemplos: Como estimar o erro verdadeiro usando apenas um conjunto de exemplos limitado? Taxa de erro de um classificador: proporção de exemplos incorrectamente classificados: Taxa de Erro = Erros / Total 37

38 Avaliação do algoritmo de aprendizado Um algoritmo de aprendizagem deve ser avaliado tendo em conta o seu desempenho (capacidade de generalização) naqueles exemplos que não foram usados para construir o classificador. Ideia básica: Particionar o conjunto de dados disponível em dois conjuntos: conjunto de treino: exemplos que são usados pelo algoritmo de aprendizagem para induzir o classificador; conjunto de teste: exemplos que são usados para estimar a taxa de erro. 38

39 Avaliação do algoritmo de aprendizado Os principais métodos para particionar os dados no conjunto de treino e no conjunto de teste são: Hold-out (para conjuntos de dados com mais de 1000 exemplos): Dividir os dados 2/3 para treino e 1/3 para teste. 39

40 Avaliação do algoritmo de aprendizado Cross-validation (para conjuntos de tamanho intermédio, aproximadamente 1000 exemplos): o conjunto de dados é dividido em N subconjuntos,com k dados cada conjunto. Sendo que as fases de teste são realizadas N vezes, com 1 conjunto como sendo de teste e os N-1 restante de treinamento. Em cada interação, um desses subconjuntos é selecionado para ser o conjunto de teste, enquanto os demais compõem o conjunto de treinamento. A estimativa do erro é obtida como a média dos erros de cada interação k 1 E E i k i 1 40

41 Avaliação do algoritmo de aprendizado Bootstrap (para conjuntos pequenos, < 500 exemplos): método de estimação baseado em amostragem com reposição. Dado um conjunto de dados com N exemplos é gerado um número B de amostras (bootstraps) de tamanho N. Cada amostra é gerada usando amostragem com reposição, (cada vez que um exemplo é adicionado aleatoriamente este é logo reposto). Uma amostra bootstrap é gerada e usada como conjunto de treino, os exemplos do conjunto de dados que não pertencem à amostra são usados como conjunto de teste. 41

42 Avaliação do algoritmo de aprendizado Processo para resolver o exercício 5. Configure os componentes Read e Set Role. 42

43 Avaliação do algoritmo de aprendizado 2. Configure o componente Validation. O operador Validation exige que seja indicado qual o algoritmo de aprendizagem a ser avaliado na fase de training (um operador do grupo Modeling) e qual a medida de desempenho na fase de testing (um operador do grupo Performance Measurement) 43

44 Avaliação do algoritmo de aprendizado Exemplos positivos Exemplos negativos Predito positivo Tp Fp Predito Negativo Fn Tn A partir da matriz de confusão, pode-se obter vários resultados para medir a qualidade da classificação: Precision, Recall, Accuracy e F- measure. Accuracy (taxa de acerto): essa medida denota a proporção de predições corretas, sendo calculada como: Accuracy = (tp + tn)/(tp + fp + tn + fn)

45 Avaliação do algoritmo de aprendizado 3. Configure o subprocesso do componente Validation. O operador Validation define um sub-processo que é definido por duas fases: Fase de treino: o operador Decision Tree é usado para aprender um modelo de classificação Fase de teste: são necessários dois operadores: o operador Apply Model que aplica o modelo a cada exemplo do conjunto de teste para obter a classe predita o operador Performance: que permite calcular uma série de medidas de desempenho 45

46 Avaliação do algoritmo de aprendizado Temos uma acurácia de 93,33% ou 6,67% de erro de classificação, do total de 150 casos testados. 46

47 Avaliação do algoritmo de aprendizado Continuação do exercício 5 (continuação) 47

48 Avaliação do algoritmo de aprendizado Continuação do exercício 5: utilizando K-NN. 48

49 Avaliação do algoritmo de aprendizado Resultado com Decision Tree, Naive Bayes e k-nn. 49

50 Avaliação do algoritmo de aprendizado Exercício 6 50