Introdução às Redes Neurais Artificiais

Transcrição

1 Introdução às Redes Neurais Artificiais Clusterização: Conceitos Básicos Prof. João Marcos Meirelles da Silva Departamento de Engenharia de Telecomunicações Escola de Engenharia Universidade Federal Fluminense Prof. João Marcos Meirelles da Silva p. 1/56

2 Créditos autorais Este curso e estes slides são parcialmente adaptados da bibliografia citada e das aulas do professor Luiz Pereira Calôba - COPPE/UFRJ caloba Prof. João Marcos Meirelles da Silva p. 2/56

3 Sumário Introdução Aplicações Tipos de Atributos Definições de clusterização Definições Proximidade entre dois pontos Proximidade entre um ponto e um conjunto Proximidade entre dois conjuntos Prof. João Marcos Meirelles da Silva p. 3/56

4 Introdução Aprendizado Não-Supervisionado; Dados disponíveis não estão rotulados; Descobrir se existem padrões escondidos nos dados; Prof. João Marcos Meirelles da Silva p. 4/56

5 Introdução Os passos básicos necessários para uma clusterização são: Seleção de Atributos Medidas de proximidade Critério de clusterização Algoritmos de clusterização Validação dos resultados Interpretação dos resultados Prof. João Marcos Meirelles da Silva p. 5/56

6 Introdução Os passos básicos necessários para uma clusterização são: Seleção de Atributos Medidas de proximidade Aula de hoje! Critério de clusterização Algoritmos de clusterização Validação dos resultados Interpretação dos resultados Prof. João Marcos Meirelles da Silva p. 6/56

7 Introdução Aplicações de Análise de Cluster Redução de dados Geração de hipóteses Teste de hipóteses Predição baseada em grupos Prof. João Marcos Meirelles da Silva p. 7/56

8 Introdução Tipos de Atributos Quanto aos valores dos atributos: atributos Intervalo contínuo (sub-conjunto de R) Conjunto finito de valores discretos Se o conjunto finito de valores discretos tiver apenas dois elementos, então o atributo é chamado de binário ou dicotomia. Prof. João Marcos Meirelles da Silva p. 8/56

9 Introdução Tipos de Atributos nominal Ex: Masculino 0, Feminino 1 ordinal Ex: Notas de um aluno 4,3,2,1 Excelente, muito bom, bom, ruim. intervalo Ex: Paris (5 o C) e Londres (10 o C) Paris está 5 o C a mais que Londres Paris está o dobro de Londres. razão Ex: Pessoa A (100Kg), Pessoa B (50Kg) Pessoa A pesa duas vezes mais que Pessoa B. Prof. João Marcos Meirelles da Silva p. 9/56

10 Introdução Definições de Clusterização O que é um cluster? Diversas definições Muitas são baseadas em termos cuja definição não é clara: similar, parecido, etc... Algumas definições são específicas para alguns problemas Não há uma definição universalmente aceita [1]. Prof. João Marcos Meirelles da Silva p. 10/56

11 Introdução Figura 1: Exemplo de padrões para classificação. Prof. João Marcos Meirelles da Silva p. 11/56

12 Introdução Figura 2: Há diferentes critérios para agrupamento. Prof. João Marcos Meirelles da Silva p. 12/56

13 Introdução Definições de Clusterização Em [1], os vetores são vistos como pontos no espaço l-dimensional, e os clusters são descritos como regiões contínuas deste espaço contendo uma densidade relativamente alta de pontos, separados de outras regiões de alta densidade por regiões de densidade relativamente baixa de pontos. Esta visão é bem próxima de nossa percepção visual de clusters em espaço de duas e três dimensões. Prof. João Marcos Meirelles da Silva p. 13/56

14 Introdução Definições de Clusterização Figura 3: Definição de clusters. Prof. João Marcos Meirelles da Silva p. 14/56

15 Introdução E o que é Clusterização? Seja X nosso conjunto de dados (experimentais ou não): X = {x 1, x 2,...,x N } (1) Consideramos como uma clusterização m a partição do conjunto X em m sub-conjuntos (clusters), C 1,...,C m, de forma que as 3 condições seguintes sejam satisfeitas: 1. C i, i = 1, 2,...,m 2. m i=1 C i = X 3. C i Cj =, i j, i, j = 1, 2,...,m Prof. João Marcos Meirelles da Silva p. 15/56

16 Introdução Os vetores contidos no cluster C i são mais similares uns aos outros e menos similares aos vetores de atributos dos outros clusters. Quantificar os termos similar e dissimilar depende muito dos tipos de clusters envolvidos. Um vetor pertence a um único cluster hard clustering ou crisp clustering fuzzy clustering. Prof. João Marcos Meirelles da Silva p. 16/56

17 Introdução Figura 4: (a) compacto (b) alongado (c) elipsoidal Prof. João Marcos Meirelles da Silva p. 17/56

18 Entre 2 pontos (reais) Medidas de dissimilaridade Medidas de similaridade L p ponderada L p sem pesos Manhattan Produto interno Pearson Tanimoto Hamming Medidas de dissimilaridade L 1 Entre 2 pontos (discreto) Medidas de similaridade L 2 Tanimoto Edit Distance Prof. João Marcos Meirelles da Silva p. 18/56

19 Todos os pontos do conjunto função proximidade mínima função proximidade máxima função proximidade média ponto médio Entre um 1 ponto e 1 conjunto Pontos representantes centro médio centro mediano Plano representativo Hiperesfera representativa Prof. João Marcos Meirelles da Silva p. 19/56

20 Entre 2 conjuntos Função proximidade máxima Função proximidade mínima Função proximidade média Função proximidade mediana Função M Di Prof. João Marcos Meirelles da Silva p. 20/56

21 Definições O que é uma métrica? Uma métrica é um conceito matemático que generaliza a idéia geométrica de distância. Uma métrica deve satisfazer a 4 condições: 1. Ser positivamente definida: d(x, y) 0, (x, y) R; 2. Ser simétrica: d(x, y) = d(y, x), (x, y) R; 3. Obedecer à seguinte desigualdade triangular: d(x, z) d(x, y) + d(y, z); 4. Ser nula apenas nos pontos coincidentes: d(x, y) = 0 x = y. Prof. João Marcos Meirelles da Silva p. 21/56

22 Definições Uma medida de dissimilaridade (DM) d em X é uma função: onde R é o conjunto dos números reais, tal que: d : X X R (2) d 0 R : < d 0 d(x, y) < +, x, y X (3) Prof. João Marcos Meirelles da Silva p. 22/56

23 e d(x, x) = d 0, x X (4) d(x, y) = d(y, x), x, y X (5) d 0 é o valor mínimo possível no conjunto X. Em (5) temos a chamada propriedade comutativa. Prof. João Marcos Meirelles da Silva p. 23/56

24 Se, ainda: e d(x, y) = d 0, sse x = y (6) d(x, z) d(x, y) + d(y, z), x, y, z X (7) então d é chamado uma métrica DM. Prof. João Marcos Meirelles da Silva p. 24/56

25 A equação (6) indica que o valor da dissimilaridade mínima possível d 0 entre dois vetores quaisquer em X é alcançada quando eles são idênticos; A inequação (7) também é conhecida como desigualdade triangular; Algumas vezes, iremos nos referir à dissimilaridade como distância. Prof. João Marcos Meirelles da Silva p. 25/56

26 Uma medida de similaridade (SM) s em X é definida como: tal que: s : X X R (8) s 0 R : < s(x, y) s 0 < +, x, y X (9) Prof. João Marcos Meirelles da Silva p. 26/56

27 e s(x, x) = s 0, x X (10) s(x, y) = s(y, x), x, y X (11) d 0 é o valor máximo possível no conjunto X. Em (5) temos a chamada propriedade comutativa. Prof. João Marcos Meirelles da Silva p. 27/56

28 Se ainda: e s(x, y) = s 0,, sse x = y (12) s(x, y)s(y, z) [ s(x, y) + s(y, z) ] s(x, z), x, y, z X (13) então, s é chamado métrica SM. Prof. João Marcos Meirelles da Silva p. 28/56

29 Exemplo: Considere a distância Euclidiana, d 2 d 2 (x, y) = l (x i y i ) 2 i=1 onde x, y R, e x i, y i são as i-ésimas coordenadas de x e y, respectivamente. Prof. João Marcos Meirelles da Silva p. 29/56

30 Esta é uma medida de dissimilaridade em X, com d 0 = 0; A distância mínima possível entre dois vetores em X é zero; A distância de um vetor a eles mesmo é zero; É possível observar que d(x, y) = d(y, x). A distância Euclidiana é uma medida de dissimilaridade. Prof. João Marcos Meirelles da Silva p. 30/56

31 É possível estender as definições anteriores de modo a medirmos proximidade entre subconjuntos de X. Seja U um conjunto contendo subconjuntos de X. Isto é, D i X, i = 1,...,k, e U = D 1,...,D k. Prof. João Marcos Meirelles da Silva p. 31/56

32 Uma Medida de Proximidade P em U é uma função P : U U R As equações (3)-(7) para medidas de dissimilaridade, e as equações (9)-(13) para medidas de similaridade podem ser utilizadas com D i, D j em vez de x, y, e U no lugar de X. Normalmente, medidas de proximidade entre dois conjuntos D i e D j são definidos em termos de medidas de proximidade entre elementos de D i e D j. Prof. João Marcos Meirelles da Silva p. 32/56

33 Exemplo: Seja X = {x 1, x 2, x 3, x 4, x 5, x 6 } e U = {{x 1, x 2 }, {x 1, x 4 }, {x 3, x 4, x 5 }, {x 1, x 2, x 3, x 4, x 5 }}. Vamos definir a seguinte função dissimilaridade: d ss min(d i, D j ) = min d 2 (x, y) x D i,y D j onde d 2 é a distância Euclidiana entre dois vetores e D i, D j U. Prof. João Marcos Meirelles da Silva p. 33/56

34 O valor mínimo possível de d ss min é dss min,0 = 0. Também, d ss min (D i, D i ) = 0, pois a distância Euclidiana entre um vetor de D i e ele mesmo é 0. É possível notar ainda que a propriedade comutativa é satisfeita. Logo, esta função dissimilaridade é uma medida. Não é difícil verificar que d ss min não é uma métrica. Prof. João Marcos Meirelles da Silva p. 34/56

35 Conclusões DMs e SMs são opostos. Se d é uma (métrica) DM, com d(x, y) > 0, x, y X, então d = a/d, com a > 0 é uma (métrica) SM. Se d max d é uma (métrica) SM, onde d max é o valor máximo de d entre todos os pares de elementos de X, tal que d(x, y) > 0, x, y X, então também serão ln(d max + k d) e kd/(1 + d), k > 0. Prof. João Marcos Meirelles da Silva p. 35/56

36 Conclusões Por outro lado, se s é uma (métrica) SM, com s 0 = 1 ε, onde ε é uma constante pequena e positiva, então 1/(1 s) também é uma (métrica) SM. Comentários similares podem ser feitos para medidas de similaridade e dissimilaridade entre conjuntos D i, D j U. Prof. João Marcos Meirelles da Silva p. 36/56

37 Entre Dois Pontos A seguir, veremos as medidas de proximidade (similaridade e dissimilaridade) entre dois pontos comumente utilizadas em clusterização. Vamos utilizar a notação b min e b max para os valores mínimos e máximos, respectivamente, que podem ser assumidos em um conjunto finito de vetores X. Prof. João Marcos Meirelles da Silva p. 37/56

38 Entre Dois Pontos Norma L p ponderada (DM): d p (x, y) = ( l ) 1/p ω i x i y i p i=1 (14) Norma Euclidiana ou Norma L 2 (DM): Em (14), quando os pesos ω i = 1, i = 1,...,l e p = 2, temos: ( l d 2 (x, y) = x i y i 2 ) 1/2 (15) i=1 Utilizada principalmente com vetores de valores reais. Prof. João Marcos Meirelles da Silva p. 38/56

39 Entre Dois Pontos Norma L 2 ponderada generalizada (DM): A norma L 2 ponderada pode ser generalizada como: d 2 (x, y) = (x y) T B(x y) (16) onde B é uma matriz simétrica, positiva definida [2]. Isto inclui a distância de Mahalanobis como caso especial. Prof. João Marcos Meirelles da Silva p. 39/56

40 Entre Dois Pontos Norma L 1 (ponderada) ou norma Manhattan (DM): d 1 (x, y) = l ω i x i y i (17) i=1 Norma L (ponderada) (DM): d (x, y) = max 1 i l ω i x i y i (18) Prof. João Marcos Meirelles da Silva p. 40/56

41 Entre Dois Pontos Produto interno (SM): s inner (x, y) = x T y = l x i y i (19) i=1 Normalmente usada quando os vetores são normalizados. Prof. João Marcos Meirelles da Silva p. 41/56

42 Entre Dois Pontos Similaridade cossenoidal (SM): s cos (x, y) = xt y x. y (20) l onde x = i=1 x2 i e y = l i=1 y2 i dos vetores x e y, respectivamente. Esta medida é invariante à rotação, mas não à transformações lineares. são o tamanho Prof. João Marcos Meirelles da Silva p. 42/56

43 Entre um Ponto e um Conjunto Em muitos problemas de clusterização, um vetor x é associado a uma classe C levando-se em consideração a proximidade entre x e C, p(x, C). Há duas direções para a definição de p(x, C): 1. Todos os pontos de C contribuem para p(x, C); 2. A classe C possui um representante e a proximidade entre x e C é medida através da distância entre x e o representante da classe C; Prof. João Marcos Meirelles da Silva p. 43/56

44 Entre um Ponto e um Conjunto No primeiro caso, medidas típicas empregadas são: i Função proximidade máxima: p max (x, C) = max y C p(x, y) ii Função proximidade mínima: p min (x, C) = min y C p(x, y) iii Função proximidade média: p avg (x, C) = 1 n C y C p(x, y) n C é a cardinalidade do conjunto C, e p(x, y) pode ser qualquer métrica de proximidade entre dois pontos. Prof. João Marcos Meirelles da Silva p. 44/56

45 Exemplo: Seja o vetor x = [6.0, 4.0] T e conjunto de vetores C: x a b x 1 1,5 1,5 x 2 2,0 1,0 x 3 2,5 1,75 x 4 1,5 2,0 x 5 3,0 2,0 x 6 1,0 3,5 x 7 2,0 3,0 x 8 3,5 3,0 Figura 5: Vetores do Exemplo. Prof. João Marcos Meirelles da Silva p. 45/56

46 Calcule d ps max(x, C), d ps min (x, C) e dps avg(x, C). Assuma que a norma Euclidiana é utilizada como medida de dissimilaridade entre dois pontos: x x i 2 x 1 5,14 x 2 5,00 x 3 3,71 x 4 4,92 x 5 3,60 x 6 5,02 x 7 4,12 x 8 2,69 Σ 34,2 d ps max(x, C) = d(x, x 1 ) = 5, 14 d ps min (x, C) = d(x, x 8 ) = 2, 69 d ps avg(x, C) = 4, 33 Prof. João Marcos Meirelles da Silva p. 46/56

47 Entre um Ponto e um Conjunto No segundo caso, muitos representantes tem sido utilizados, dentre eles: o ponto, o hiperplano e a hiperesfera. Figura 6: Representações por hiperplano (a) e hiperesfera (b). Prof. João Marcos Meirelles da Silva p. 47/56

48 Entre um Ponto e um Conjunto i Ponto médio: ii Centro médio: m p = 1 n C y C y y C d(m c, y) y C d(z, y), z C Prof. João Marcos Meirelles da Silva p. 48/56

49 Entre um Ponto e um Conjunto iii Centro mediano: med(d(m med, y) y C) = med(d(z, y) y C), z C onde med(t), T é um conjunto de q escalares, é definido como o menor número inteiro pertencente ao conjunto que satisfaz a relação: med(t) q (21) Prof. João Marcos Meirelles da Silva p. 49/56

50 Entre um Ponto e um Conjunto Em algumas aplicações, com visão computacional, é comum termos classes com um formato Planar (ou hiperplanar). Nestes casos, a representação da classe por um ponto não é muito adequada, sendo melhor o hiperplano representativo. H : l a j x j + a 0 = a T x + a 0 = 0 (22) j=1 Prof. João Marcos Meirelles da Silva p. 50/56

51 Entre Dois Conjuntos A maioria das funções de proximidade p ss utilizadas para comparações entre conjuntos são baseadas em medidas de proximidade. Se D i, D j são dois conjuntos de vetores, as funções de proximidade mais comuns são: i função de proximidade máxima ii função de proximidade mínima iii função de proximidade média iv função de proximidade mediana Prof. João Marcos Meirelles da Silva p. 51/56

52 i função de proximidade máxima p ss max(d i, D j ) = ii função de proximidade mínima max p(x, y) x D i,y D j p ss min(d i, D j ) = min x Di,y D j p(x, y) Prof. João Marcos Meirelles da Silva p. 52/56

53 iii função de proximidade média p ss avg(d i, D j ) = 1 n Di n Dj x D i y D j iv função de proximidade mediana p ss mean = p(m Di, m Dj ) onde m Di, onde m Di é o ponto representante do conjunto D i, i = 1, 2. O ponto m Di pode ser o ponto médio ou mediano de D i. Prof. João Marcos Meirelles da Silva p. 53/56

54 O neurônio como SM Podemos utilizar um modelo de neurônio que atue como um medidor de similaridade. O neurônio deverá implementar a seguinte função: u i = x w 2 0 (23) onde u i é a medida de similaridade entre o vetor x e o vetor w. u i = 0 é a máxima similaridade. Prof. João Marcos Meirelles da Silva p. 54/56

55 Referências 1. Everitt, B., Landau, S. Leese, M., Cluster Analysis, Arnold, Strang, G., Linear Algebra 3. Theodoris, S., Koutroumbas, K, Pattern Recognition, 4 th edition, Academic Press. Prof. João Marcos Meirelles da Silva p. 55/56

56 FIM Prof. João Marcos Meirelles da Silva p. 56/56