Inteligência nos Negócios (Business Inteligente)

Transcrição

1 Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 7)

2 Fundamentação da disciplina Analise de dados Decisões Interpretação/ Avaliação Mineração de dados - KDD Análises Exploratória de Dados Ferramentas OLAP Analises dos tomadores de decisão Conhecimento Informação BI Data Warehouse/ Data Marts Dados ( OLTP e outras fontes) Dados 2

3 Agrupamentos 3

4 Exemplo de Agrupamento Agrupar os alunos de uma escola Tarefa T: agrupar os alunos da escola em função das condições socioeconômicas dos alunos; Experiência de Treinamento E: uma base de dados com os dados socioeconômicos dos alunos; Medida de Desempenho P: distância média entre os alunos de cada grupo; 4

5 Agrupamentos Introdução: Principais conceitos e dificuldades da técnica de agrupamento; Algoritmos por particionamentos: Medidas de Similaridade, algoritmo k-means; 5

6 Conceitos Conjunto de métodos usados para a construção de grupos de objetos com base nas semelhanças e diferenças entre os objetos, de tal maneira que os grupos obtidos são os mais homogêneos e bem separados possíveis. A Clusterização é uma tarefa prévia à classificação. Sem classes, não se pode determinar a pertinência de um objeto em determinado contexto.

7 Conceitos O problema de Clustering é descrito como: Tendo um conjunto de dados, de objetos, tentar agrupá-los de forma que os elementos que compõem cada grupo sejam mais parecidos entre si do que parecidos com os elementos dos outros grupos. Em resumo, é colocar os iguais (ou quase iguais) juntos num mesmo grupo e os desiguais em grupos distintos.

8 Como agrupar os animais seguintes? Com bico Sem bico Ovíparo Mamífero Água Terra 8

9 Desafios Como medir a similaridade entre os itens? (como qualificar os itens) Como formar os agrupamentos? (que variáveis fazem parte da geração dos agrupamentos) Quantos grupos devem ser formados? (como definir o número de agrupamentos, ou o raio de abrangência do agrupamento). 9

10 Vantagens e desvantagens Trabalha com dados categóricos e numéricos e é de fácil aplicação; Alta dependência na escolha da métrica de similaridade; Sensibilidade aos parâmetros iniciais e tipos de dados; Pode ser difícil interpretar os resultados alcançados;

11 Medidas de similaridade 13

12 Medidas de Similaridade As medidas de similaridade fornecem valores numéricos que expressam a distância (correlação ou associação) entre dois objetos. Quanto menor o valor da distancia, mais semelhantes serão os objetos e deverão estes ficarem no mesmo cluster. Não há uma medida de similaridade que sirva para todos os tipos de variáveis que podem existir numa base de dados. A similaridade pode ser medida de diversas formas: Medidas Correlacionais (e.g., correlação de Pearson); Medidas de Distância (e.g., distância euclidiana); Medidas de Associação (e.g., índice de Jaccard)

13 Medidas de Similaridade Variáveis numéricas: As medidas que é normalmente usadas para computar as dissimilaridades de objetos descritos por tais variáveis é a: Distancia Euclidiana d ( x, y) ( x y ) 2 ( x y ) 2... x y p p ( ) 1 2

14 Algoritmos por Particionamento 17

15 Algoritmo K-means Dataset a ser agrupado Observações Variáveis Item x1 x2 A 5 3 B -1 1 C 1-2 D -3-2

16 Algoritmo K-means Passo 1 Particiona-se os itens em dois clusters (AB) e (CD) e calcula-se a coordenada (x1,x2) do centróide do cluster. Coordenadas dos centros Cluster x1 x2 (AB) (5 + (-1)) / 2 = 2 (3 + 1) / 2 = 2 (CD) (1 + (-3)) / 2 = -1 (-2 + (-2)) / 2 = -2

17 Algoritmo K-means Passo 2 Calcula-se a similaridade de cada item em relação ao centróide e em relação a cada item no grupo mais próximo. Se um item é movido o centróide do cluster dever ser atualizado. d 2 (A, (AB)) = (5-2) 2 + (3-2) 2 = 10 d 2 (B, (AB)) = (-1-2) 2 + (1-2) 2 = 10 d 2 (C, (AB)) = (1-2) 2 + (-2-2) 2 = 17 d 2 (D, (AB)) = (-3-2) 2 + (-2-2) 2 = 41 d 2 (A, (CD)) = (5 + 1) 2 + (3 + 2) 2 = 61 d 2 (B, (CD)) = (-1 + 1) 2 + (1 + 2) 2 = 9 d 2 (C, (CD)) = (1 + 1) 2 + (-2 + 2) 2 = 4 d 2 (D, (CD)) = (-3 + 1) 2 + (-2 + 2) 2 = 4

18 Algoritmo K-means Ocorre o deslocamento do item (B) para o segundo cluster e calcula-se novamente as coordenadas. Coordenadas dos centros Cluster x1 x2 A 5 3 (BCD) -1-1

19 Algoritmo K-means Calcula-se a distância dos itens em relação ao cluster, para verificar a parada do algoritmo. Distâncias dos centróides Item Cluster A B C D A (BCD) d 2 ( A, A) (5 5) 2 (3 3) 2 0 d d d ( A,( BCD)) ( B, A) (5 1) ( 1 5) ( B,( BCD)) 2 2 ( 1 1) (3 1) (1 3) (1 1) 2 4

20 Algoritmo K-means Processo para resolver o exercício 1, item a da Folha 13. Configuração do componente k-means 25

21 26

22 27

23 Algoritmo K-means Processo para resolver o exercício 1, item b da Folha 13. Configuração do componente normalize 28

24 29

25 Algoritmo K-means 1. Processo para resolver o exercício 2 da Folha 13, item a. Configuração do componente Select Atributes 30

26 Algoritmo K-means Configuração do componente K-means 31

27 Visualização dos resultados. Algoritmo K-means 32

28 Visualização dos resultados Algoritmo K-means 33

29 Algoritmo K-means Processo para resolver o exercício 2, item b. Configuração do componente Normalize 34

30 Algoritmo K-means Processo para resolver o exercício 2, item c. 35

31 Algoritmo K-means Processo para resolver o exercício 3 Folha 13. Configuração do componente Set Role 36

32 Processo para resolver o exercício 3, parte 2 da Folha 13. Configuração do componente Set Role e Validation 37

33 38

34 Processo para resolver o exercício 4, da folha