INTELIGÊNCIA ARTIFICIAL Data Mining (DM): um pouco de prática. (1) Data Mining Conceitos apresentados por

Transcrição

1 INTELIGÊNCIA ARTIFICIAL Data Mining (DM): um pouco de prática (1) Data Mining Conceitos apresentados por 1

2 2

3 (2) ANÁLISE DE AGRUPAMENTOS Conceitos apresentados por. 3

4 LEMBRE-SE que PROBLEMA em IA Uma busca em um espaço de estados com o objetivo de partir de um estado inicial e se chegar a um estado-meta (estado final). 4

5 5 Análise de agrupamentos

6 6

7 7

8 8

9 9

10 Análise de agrupamentos Algoritmos hierárquicos Problema (baseado no exemplo do livro Introdução à análise de agrupamentos W. O. Bussab,E.S. Miazaki e D.F. Andrade 9 o Simpósio Brasileiro de Probabilidade e Estatística São Paulo, julho/1990) Tarefa: formar agrupamentos (clusters) em uma amostra de seis indivíduos (A,B,C,D,E,F) com base na altura e no peso dos mesmos A matriz de dados é o material básico para aplicação das técnicas de A.A. As variáveis apresentam unidades de medidas diferentes: variável X1(Altura) está em cm e a variável X2 (Peso) está em Kg. Ok, é possível aplicar as técnicas de diretamente sobre as variáveis mas... as vezes é interessante padronizar (relativizar) os valores... 10

11 Vamos padronizar as variáveis Altura e Peso usando o escore Z: São 2 as variáveis que iremos padronizar: Altura e Peso. Precisamos da média e do desvio padrão dessas variáveis: Agora sim podemos padronizar as variáveis. Veja por exemplo a padronização da altura e do peso do indivíduo A 11

12 Então as variáveis Altura e Peso ficam padronizadas assim: Note que com a variável padronizada (escore Z) não temos mais unidades de medidas (cm e kg). Aliás, podemos dizer que nossa unidade de medida é o desvio padrão (DP). Podemos então falar, por exemplo, que o escore Z da variável Altura para o indivíduo B vale 0,33 DP, e que o escore Z da variável Peso para o indivíduo D vale -0,93 DP Observe também que toda variável padronizada apresenta média 0 e desvio padrão 1 12

13 Queremos então agrupar os objetos (indivíduos no exemplo) com base nas variáveis padronizadas Zalt e Zpeso. Como verificar se o objeto (indivíduo no exemplo) A é mais parecido com B do que C? Devemos usar coeficientes de parecença para atributos quantitativos. Exemplo: métricas de Minkowsky 13

14 Vamos usar a distância euclideana, a mais popular Vamos então calcular a distância euclidiana entre A e B, A e C, A e D,..., B e C, B e D, B e E, B e F,..., E e F. Vamos registrar todas as distâncias euclideanas na matriz de similiaridade (distância). Veja abaixo: Os autores do exemplo usam uma generalização da distância euclidiana denominada distância euclidiana média... mas aqui vamos usar a distância euclidiana simples. Continuando, vamos aplicar então uma técnica de agrupamento hierárquico aglomerativo. Incialmente, cada objeto (indivíduo) é um grupo (um cluster). À medida que o algoritmo avança, os objetos vão sendo agrupados pela reunião de pares semelhantes até reunir todos os objetos em um único grupo. 14

15 Trabalhamos com a matriz de similaridades... A cada passo realizamos a junção de dois grupos (clusters), no caso, os grupos com menor distância entre si. A cada passo a matriz de similaridades fica com uma linha e uma coluna a menos, justamente por se juntarem dois grupos... Passo 1 Inicialmente temos 6 grupos: (A), (B), (C), (D), (E) e (F). Vamos juntar os grupos com menor distância entre si. Observando a matriz de similaridades acima, percebemos que os grupos (D) e (F) são os que apresentam menor distância euclidiana (maior similaridade portanto) entre todas as similaridades possíveis. A similaridade entre (D) e (F) é 0,52. Então vamos juntá-los num grupo só. Então passaremos a ter 5 grupos (clusters): (A), (B), (C), (DF) e (E). Mas e agora? Qual a distância euclidiana entre (DF) e (A)? Entre (DF) e (B)? Entre (DF) e (C)? Entre (DF) e (E)? Neste ponto devemos utilizar um entre distintos métodos de definição de valor representativo quando o grupo (cluster) tem 2 ou mais objetos: Método do centroide (centroid linkage) Método da ligação simples ou vizinho mais próximo (single linkage) Método da ligação completa ou vizinho mais longe (complete linkage) Método da ligação por média (average linkage) Método das medianas (median linkage) Método de Ward (Ward linkage) 15

16 Vamos usar o método dos centroides. O ponto centroide é o ponto cujas coordenadas apresentam como valor a média de cada uma das variáveis em questão. No exemplo, as variáveis em questão são Zalt e Zpeso. Então vamos calcular o ponto centroide do grupo (DF): Agora sim podemos responder qual a distância euclidiana entre (DF) e (A)? Entre (DF) e (B)? Entre (DF) e (C)? Entre (DF) e (E)? 16

17 Vamos refazer a matriz de similaridades contendo agora 5 grupos: (A), (B), (C), (DF) e (E) Passo 2 Agora temos 5 grupos: (A), (B), (C), (DF) e (E). Vamos juntar os grupos com menor distância entre si. Observando a matriz de similaridades acima, percebemos que os grupos (A) e (B) são os que apresentam menor distância euclidiana (maior similaridade portanto) entre todas as similaridades possíveis. A similaridade entre (A) e (B) é 0,95. Note que os grupos (B) e (E) também apresentam valor 0,95. Então podemos escolher qualquer um deles para agrupar. Escolhemos aqui agrupar (A) e (B). Então vamos juntá-los num grupo só. Então passaremos a ter 4 grupos (clusters): (AB), (C), (DF) e (E). Mas e agora? Qual a distância euclidiana entre (AB) e (C)? Entre (AB) e (DF)? Entre (AB) e (E)? Primeiro calculamos o centroide do grupo (AB): Agora sim podemos responder qual a distância euclidiana entre (AB) e (C)? Entre (AB) e (DF)? Entre (AB) e (E)? 17

18 Vamos refazer a matriz de similaridades contendo agora 4 grupos: (AB), (C), (DF) e (E) Passo 3 Agora temos 4 grupos: (AB), (C), (DF) e (E). Vamos juntar os grupos com menor distância entre si. Observando a matriz de similaridades acima, percebemos que os grupos (AB) e (E) são os que apresentam menor distância euclidiana (maior similaridade portanto) entre todas as similaridades possíveis. A similaridade entre (AB) e (E) é 0,92. Então vamos juntá-los num grupo só. Então passaremos a ter 3 grupos (clusters): (ABE), (C) e (DF). Mas e agora? Qual a distância euclidiana entre (ABE) e (C)? Entre (ABE) e (DF)? Primeiro calculamos o centroide do grupo (ABE): Agora sim podemos responder qual a distância euclidiana entre (ABE) e (C)? Entre (ABE) e (DF)? 18

19 Vamos refazer a matriz de similaridades contendo agora 3 grupos: (ABE), (C) e (DF) Passo 4 Agora temos 3 grupos: (ABE), (C) e (DF). Vamos juntar os grupos com menor distância entre si. Observando a matriz de similaridades acima, percebemos que os grupos (C) e (DF) são os que apresentam menor distância euclidiana (maior similaridade portanto) entre todas as similaridades possíveis. A similaridade entre (C) e (DF) é 1,34. Então vamos juntá-los num grupo só. Então passaremos a ter 2 grupos (clusters): (ABE) e (CDF). Como restaram 2 clusters, o próximo agrupamento certamente será (ABCDEF). De toda forma, vamos calcular a distância euclideana entre (ABE) e (CDF)... Primeiro calculamos o centróide do grupo (CDF): Agora sim podemos responder qual a distância euclidiana entre (ABE) e (CDF) 19

20 Passo 5 Agora temos somente 2 grupos: (ABE) e (CDF). Vamos juntar estes grupos. Juntando os 2 grupos, chegamos ao fim do algoritmo de agrupamento juntando todos os objetos (indivíduos no exemplo) num único grupo (ABCDEF). Partimos de 6 distintos clusters e fomos aglomerando-os a cada iteração do algoritmo. Daí porquê ser uma técnica aglomerativa. O nível de parecença (similaridade) ente (ABE) e (CDF) vale 2,25. 20

21 Apresentação dos resultados A cada passo, o algoritmo foi agrupando dois subgrupos distintos de acordo com um valor de parecença (um nível de similaridade). Por exemplo, no passo 3 foram agrupados os subgrupos (AB) e (E) com um nível de similaridade de 0,92. Vamos tabular os valores: Passo Junção Nível de Similaridade 1 (D) com (F) 0,52 2 (A) com (B) 0,95 3 (AB) com (E) 0,92 4 (DF) com (C) 1,34 5 (ABE) com (CDF) 2,25 Agora vamos construir um mapa denominado dendrograma, que é um gráfico em forma de árvore mostrando os possíveis agrupamentos com os respectivos valores de parecença (níveis de similaridade) 21

22 Podemos cortar o dendrograma em diversas partes para definir 2, 3, 4, 5 ou 6 clusters. Por exemplo podemos cortar o dendrograma e registar a existência de 2 clusters com nível de similaridade 2,25: (ABE) e (CDF). Veja: Podemos cortar o dendrograma e registar a existência de 3 clusters: (ABE), e (DF). Veja: 22

23 Avaliação e interpretação dos resultados O dendrograma pode ser considerado como uma representação simplificada da matriz de similaridades mas... será que é uma boa simplificação? Uma forma de verificar quão bom é o dendrograma é avaliar se o dendrograma é capaz de reproduzir a matriz de similaridades. Para verificar isto, inicialmente montamos a matriz cofenética. A matriz cofenética é a matriz de distâncias entre os objetos obtidos a partir do dendrograma. Por exemplo, a distância (cofenética) entre A e C é dada pelo nível em que os dois são agrupados, no caso 2,25. Já a distância entre A e E e entre B e E vale 0,92. 23

24 Agora tomamos a matriz de similaridades e a matriz cofenética e calculamos o coeficiente de correlação linear r dos valores. O coeficiente de correlação linear r pode assumir valores entre 1 e 1: -1 r 1 Quanto mais próximo de 1 estiver r, melhor será a representação do dendrograma ao agrupamento. E quanto mais próximo de zero estiver r menor qualidade tem o agrupamento. A fórmula do coeficiente de correlação é a seguinte: Vamos então calcular o coeficiente de correlação r das matrizes: 24

25 O valor r = 0,756 é alto ou baixo? Responder isto é tão difícil como responder, na maioria das situações, o que é um alto coeficiente de correlação entre duas variáveis. Depende da área de estudo e de padrões que vão se desenvolvendo com a prática. Podese adiantar que em A.A. algo em torno de 0,8 já pode ser considerado bom ajuste. Analisando todos os resultados do exemplo ilustrado, poder-se-ia concluir que a amostra piloto sugere dois tipos de indivíduos: pequenos e grandes. Para continuar o estudo retrospectivo bastaria escolher (ou sortear) apenas duas pessoas: uma do conjunto (A,B,E) e outra de (C, D, F) e teríamos elementos representativos do grupo, segundo critérios de altura e peso, na crença de que essas variáveis sejam substitutas da característica de interesse * * * FIM do algoritmo hierárquico aglomerativo * * * 25

26 Análise de Agrupamentos (Clustering) Algoritmo K-Means Clustering K-means algorithm - ( algoritmo básico ).O algoritmo K-means é um algoritmo não hierárquico sendo, portanto, um algoritmo cujo método é baseado em partição. K-means é um dos mais simples algoritmos de aprendizagem não supervisionada voltado para o propósito de resolver o problema de clusterização (formação de agrupamento). K-means clustering - idéias básicas (I) 1) Determinar a amostra de N objetos (padrões) a serem agrupados ( clusterizados ) 2) Considerar P atributos (variáveis) do padrão em questão que servirão de base para a inclusão deste nos agrupamentos a serem formados 3) Definir, a priori, K clusters (agrupamentos) para alocar os N objetos (padrões) da amostra 4) Após definir o número K de clusters, gerar K pontos centróides, C 1 para o cluster 1, C 2 para o cluster 2,..., C k para o cluster K. 5) Aplicar o algoritmo K-means para alocar cada um dos N objetos (padrões) da amostra em algum dos K clusters (agrupamentos) 26

27 5.1) Para alocar um determinado ponto n dos N objetos em algum dos K clusters, a idéia é alocá-lo ao cluster m, 1 m k, cuja distância entre o objeto n e o centróide C m do cluster m seja a menor entre todas as distâncias entre n e os centróides C 1, C 2,... C k. K-means clustering - idéias básicas (II) Para entender a idéia básica do algoritmo K-means vamos analisar a seguinte situação: Suponha que desejemos agrupar algumas cidades em função do seu consumo per capita mensal de laranja e limão. As cidades e os valores de consumo per capita mensal (medidos, digamos, em litros/habitante/mês) são os abaixo apresentados: Desta forma, temos determinados os N objetos (padrões) a serem agrupados (clusterizados): N = 20 cidades Temos também determinados os P atributos (variáveis) do padrão em questão no caso cidades que servirão de base para a inclusão deste nos agrupamentos a serem formados. P = 2 atributos a saber: (1) consumo per capita mensal de laranja e (2) consumo per capita mensal de limão. 27

28 K-means clustering - idéias básicas (II) Vamos estabelecer, a priori, que desejamos classificar as 20 cidades em K = 3 grupos (clusters). Em seguida, definido que K = 3, vamos gerar 3 pontos de centróides, C 1, C 2 e C 3. 28

29 K-means clustering - idéias básicas (II) Em seguida, ao se executar o algoritmo de clusterização efetivamente, obtemos o resultado abaixo apresentado: Note que os centróides C 1, C 2 e C 3 mudaram espacialmente de lugar ao final da execução do algoritmo (compare com a situação inicial de C 1, C 2 e C 3 ). No exemplo, pode-se observar no grid que as cidades A, C, D e E estão no CLUSTER 2, as cidades B e G estão no CLUSTER 1 e F está no CLUSTER 3. 29

30 K-means clustering - idéias básicas (II) Se executássemos o algoritmo de clusterização para 2, 4 e 5 clusters obteríamos os seguintes resultados: Algumas Questões levantadas Questão 1: Como inicializar os centróides dos K clusters? Questão 2: Como calcular a distância entre um determinado ponto (padrão) n e o centróide C 1, C 2,..., C k de cada um dos K clusters? Questão 3: Em termos semânticos (ou, em termos analíticos) o que representa cada um dos clusters gerados? Vamos começar tentando responder a Questão 3, depois a Questão 2 e depois a Questão 1: 30

31 K-means clustering - idéias básicas (III) Questão 3: Em termos semânticos (ou, em termos analíticos) o que representa cada um dos clusters gerados? A designação qualitativa dos grupamentos são de responsabilidade exclusiva do usuário/analista de negócio. O algoritmo K-means não apresentará tal designação qualitativa. Para o exemplo citado anteriormente podemos ter, por exemplo: 31

32 K-means clustering - idéias básicas (III) Questão 2: Como calcular a distância entre um determinado ponto (padrão) n e o centróide C 1, C 2,..., C k de cada um dos K clusters? Existem diversos coeficientes usados para medir distância e similaridade entre padrões, com base nos tipos de atributos (variávies) dos padrões. Quando os atributos (variáveis) são quantitativos, uma medida de distância bastante popular é a distância euclideana, que foi utilizada no exemplo dos perfis de padrões de cidades com relação ao consumo per capita mensal de laranja e limão. Distância Euclideana Fórmula de Cálculo 32

33 K-means clustering - idéias básicas (III) Questão 1: Como inicializar os centróides dos K clusters? Os centróides representam o ponto médio do cluster em formação e/ou já formado. Não existe um método único de inicialização dos K centróides para os K clusters. É possível, por exemplo: Inicializar os K centróides escolhendo por sorteio K pontos (padrões) entre os N objetos (padrões) a serem agrupados. Escolher, por sorteio, K pontos (não necessariamente pontos entre os N objetos a serem agrupados) com range entre os valores máximos e mínimos de cada uma das P variáveis de classificação do padrão em questão. No exemplo das cidades, foi utilizado o seguinte critério de geração de centróides iniciais: Registrou-se o valor máximo e valor mínimo de cada dimensão do padrão (no caso valor máximo e mínimo do consumo de laranja e limão) Sabendo o número K de clusters desejado escolheram-se valores dos pontos médios de cada um dos K intervalos: 33

34 K-means clustering - idéias básicas (III) Exemplo de sorteio de 3 centróides iniciais para o agrupamento das N = 20 cidades em termos de consumo per capita mensal de laranja e limão e K = 3 clusters: 34

35 K-means clustering - Idéia do algoritmo básico (1) Informar o valor de K (número de clusters desejado); (2) Informar o valor de P (número de atributos do padrão que servirão de base para a clusterização); (3) Gerar C 1, C 2,... C k pontos de centróides para os K clusters; (incialmente os clusters estão vazios, contendo somente os pontos centróides gerados na etapa (3)) (4) Ler o arquivo de padrões e, para cada registro n (ou seja, cada padrão) associá-lo a um dos K clusters, através do cálculo de distância de n aos C 1, C 2,... C k pontos centróides, considerando a menor distância. (neste momento, após o passo (4), o cluster 1 tem n 1 pontos, o cluster 2 tem n 2 pontos,..., e o cluster k tem n k pontos devido a anexação de pontos lidos do arquivo de padrões). (5) Recalcular o novo valor dos pontos centróides dos K clusters com base na média aritmética de cada uma das P dimensões de seus pontos. (a idéia de centróide aqui pode ser vista como centro geométrico ) (6) Com base nos novos valores de centróides, voltar ao passo (4) para reavaliar a localização em clusters dos padrões de classificação. No caso de nenhum dos n padrões do arquivo ser realocado em outro cluster, o algoritmo termina e a clusterização, portanto está concluída. 35