Descrição do Método de Análise de Clusters

Transcrição

1 ANÁLISE DE CLUSTERS A análise de Clusters designa uma série de procedimentos estatísticos sofisticados que podem ser usados para classificar objectos e pessoas por observação das semelhanças e dissemelhanças entre elas. Essa informação conhecida, é organizada em grupos relativamente homogéneos (Clusters). Os métodos utilizados nesta análise são exploratórios e têm por objectivo a geração de hipóteses, cujos resultados serão posteriormente validados por aplicação de outros métodos estatísticos. Descrição do Método de Análise de Clusters O método da análise de Clusters pode ser descrito da seguinte forma: dado um conjunto de n indivíduos para os quais existe informação sobre a forma de p variáveis, o método agrupa os indivíduos em função da informação existente, de modo que os indivíduos de um grupo sejam tão semelhantes quanto possível e sempre mais semelhantes, aos elementos do mesmo grupo do que a elementos dos restantes grupos. 1

2 A selecção das variáveis de partida, caracterizadoras de cada indivíduo, deve ser cuidada. Nesta análise não deverá existir dependência entre as variáveis, ou seja, os grupos configuram-se sem ser necessário definir uma relação causal entre as variáveis utilizadas. A análise de Clusters deverá seguir cinco etapas genéricas: 1. Selecção de indivíduos ou de uma amostra de indivíduos a serem agrupados, no caso de estudo. 2

3 2. Definição do conjunto de variáveis a partir das quais será obtida a informação necessária ao agrupamento de indivíduos. 3. Definição da distância entre cada Nut III. 4. Definição do algoritmo de classificação 5. Validação dos resultados encontrados Para evitar que alguma medida de semelhança/distância da análise de Clusters reflicta sobretudo o peso das variáveis de maiores valores e dispersão, deverá proceder-se à standardização prévia, já que as variáveis se apresentam definidas em diferentes escalas de medidas. Para anular o efeito das diferentes unidades de medida das variáveis nos resultados finais, efectua-se a estandardização das variáveis (conhecidas as médias e desvios-padrão das variáveis), que consiste na sua transformação em novas variáveis: Z µ = X σ com média nula e desvio-padrão unitário. Desta forma, todas as variáveis terão o mesmo peso. 3

4 Técnicas utilizadas na análise de Clusters Na aplicação do método, é necessário identificar a técnica mais apropriada. As técnicas disponíveis dividem-se nos seguintes grupos: 1 Técnicas Hierárquicas 2 Técnicas de Optimização 3 Técnicas de Densidade 4 outras técnicas O Método Hierárquico baseia-se na construção de uma matriz de semelhança ou diferenças, em que cada elemento da matriz descreve o grau de semelhança ou diferença entre cada dois casos, com base nas variáveis escolhidas. O objectivo consiste em obter uma hierarquia de partições P 1, P 2,, P n do conjunto total dos n objectos em n grupos. Os métodos hierárquicos têm como output dendogramas. A análise desses dendogramas permite avaliar qual o número de Clusters a considerar como input no método de optimização. 4

5 5

6 Medidas de Distância ou Dissemelhança entre os elementos de uma matriz de dados Distância Euclidiana a distância entre dois casos (i e j) é a raiz quadrada do somatório dos quadrados das diferenças entre os valores i e j para todas as variáveis (v=1,2,,p). d ij = p ( X v= 1 iv X jv ) 2 Quadrado da Distância Euclidiana a distância entre dois casos (i e j) é definida como o somatório dos quadrados das diferenças entre os valores i e j para todas as variáveis (v=1,2,,p). d 2 ij = p ( X v= 1 iv X jv ) 2 A aplicação dos Métodos Hierárquicos permite apresentar os resultados sob a forma de dendograma e os critérios mais conhecidos para agregar e desagregar os indivíduos são: Critério do Centróide ou Centroid Method Critério do Vizinho mais próximo ou Single-Linkage Method Critério do Vizinho mais afastado ou Complete- Linkage Method 6

7 Critério da Média dos grupos ou Average-Linkage Method Critério de Ward ou Ward s Method Pretende-se inferir sobre: distância entre indivíduos do mesmo grupo e distância entre indivíduos de grupos diferentes; dispersão dos indivíduos dentro do grupo; densidade dos indivíduos dentro e fora dos grupos. O Critério do Vizinho mais próximo ou Single-Linkage Method, define como semelhança entre 2 grupos, a semelhança máxima entre quaisquer 2 casos pertencentes a esses grupos, ou seja, dados 2 grupos (i, j) e (k), a distância entre os dois é a menor das distâncias entre os elementos dos 2 grupos. ( i, j) k = { d ik d jk d min ; Qualquer grupo é definido como o conjunto de casos em que qualquer elemento é mais semelhante a pelo menos um outro elemento do mesmo grupo do que a qualquer elemento de outro grupo. } 7

8 7 Tree Diagram for 28 Cases Single Linkage Euclidean distances 6 Linkage Distance Grande Lisboa Grande Porto Alto Alentejo Pinhal Interior Sul Serra da Estrela Beira Interior NOrte Pinhal Interior Norte Tâmega Entre Douro e Vouga Ave Cávado Península de Setubal Cova da Beira Baixo Alentejo Alentejo Litoral Leziria do Tejo Médio Tejo Beira Interior Sul Alentejo Central Algarve Oeste Médio Tejo Baixo Mondego Baixo Vouga Dão-Lafões Alto Trás-os-Montes Douro Minho-Lima Critério de Ward baseia-se na perda de informação resultante do agrupamento dos indivíduos e medida através da soma dos quadrados dos desvios das observações 8

9 individuais relativamente às médias dos grupos em que são classificadas. Este método segue as seguintes etapas: Cálculo das médias das variáveis para cada grupo; Cálculo do quadrado da distância Euclidiana entre essas médias e os valores das variáveis para cada indivíduo; Soma das distâncias para todos os indivíduos; Minimiza a variância dentro dos grupos. A função objectivo que se pretende minimizar é a soma dos quadrados dos erros. 25 Tree Diagram for 28 Cases Ward`s method Euclidean distances 20 Linkage Distance Grande Lisboa Grande Porto Algarve Peninsula de Setubal Oeste Pinhal Litoral Baixo Mondego Baixo Vouga Tâmega Entre Douro e Vouga Ave Cávado Baixo Alentejo Alentejo Litoral Leziria do Tejo Médio Tejo Beira Interior Sul Cova da Beira Dão-Lafões Alto Trás-os-Montes Douro Alto Alentejo Pinhal Interior Sul Beira Interior Nore Pinhal Interior Norte Serra da Estrela Alentejo Central Minho-Lima 9

10 Identificado o número de grupos a considerar está-se em condições de aplicar os Métodos de Optimização. Estes baseiam-se directamente na escolha antecipada de um número de agrupamentos que conterão todos os casos. Procede-se, em seguida, a uma divisão de todos os casos pelos k grupos preestabelecidos e a melhor partição dos n casos será aquela que optimizar o critério escolhido. O Método Partitivo Iterativo usado para proceder a essa divisão, foi o denominado de k-means ou nearest centroid sorting. O método segue os seguintes passos: 1. Começa por fazer uma partição inicial dos indivíduos por um número, predefinido pelo analista, de 10

11 Clusters; calcula, para cada cluster o respectivo centróide; 2. Calcula as distâncias entre cada indivíduo e os centróides dos vários grupos; transfere cada indivíduo para o cluster relativamente ao qual se encontra a uma menor distância (por exemplo, distância Euclidiana); 3. Recalcula os centróides de cada cluster; 4. Repete os passos 2 e 3 até que todos os indivíduos se encontrem em Clusters estabilizados e não seja possível efectuar mais transferências de indivíduos de um cluster para o outro. 11

12 12

13 13

14 Exemplo de caracterização: Cluster 1 : - Grupo de NUT a que correspondem valores baixos de: densidade populacional, percentagem de população entre os 15 e os 25 anos, percentagem de população economicamente activa e dimensão das famílias. - Grupo que agrega NUT com elevados PIB/habitante e despesas camarárias em actividades sócio-culturais/habitante, despesas essas possivelmente possibilitadas pela riqueza das regiões (elevados PIB)

15 ANÁLISE POR GRUPOS DE VARIÁVEIS (Exemplo Cont.) Considerou-se que os indicadores escolhidos podem ser divididos em 4 grupos: - Varáveis demográficas : densidade Populacional, % população anos, % população activa, dimensão média das famílias e taxa de divorcio (pretende caracterizar a quantidade, distribuição etário e tipo de população existente em cada NUT). - Variáveis económicas : PIB/habitante e taxa de desemprego (pretende-se medir a condição económica e financeira da população). - Variáveis culturais : N.º de museus/ha, N.º de bibliotecas/ha, Tiragem de publicações/habitante e despesas camarárias com actividades sócio-culturais/habitante (pretende-se medir o ambiente cultural a que a população tem acesso). - Variáveis de condições de ensino : N.º alunos/estabelecimento de ensino (publico/privado) e n.º alunos/docente (público/privado) (pretende-se medir algumas condições de ensino e a influência deste ser leccionado concentrando um elevado ou baixo numero de pessoas). Assim, aplicou-se a análise de Clusters a cada grupo de variáveis isoladamente, utilizando o mesmo número de grupos que se havia considerado aquando da análise com todas as variáveis em conjunto, de forma a ser possível efectuar comparações. 15

16 Síntese de Resultados: Cluster 4: A agregação das NUT Grande Porto e Grande Lisboa não foi uma surpresa se se tiver especial atenção ao tipo de variáveis presentes na análise, ou seja variáveis demográficas. 16

17 Estas duas NUT partilham entre si conjuntos de características comuns que as tornam independentes das restantes, nomeadamente, e tendo como referência a média de cada variável no conjunto das observações, um valor elevado de densidade populacional, um valor próximo da média de % de população entre os 15 e 24 anos e dimensão média das famílias, um valor ligeiramente superior à média da % população economicamente activa e taxa de divórcio. No que diz respeito à comparação entre os grupos formados e as médias de Física dos elementos que os constituem, verifica-se que para o conjunto das variáveis demográficas seleccionadas não existe uma relação directa entre os grupos formados (NUT com características semelhantes entre si ) e as médias de Física obtidas dentro de cada grupo. As médias, dentro de grupos distintos variam sempre entre intervalos comuns, pelo que se conclui que não existem características demográficas que possam justificar as médias na disciplina em estudo. Uma ultima referência para o facto de se poder realizar a análise de Clusters não com os indicadores iniciais mas sim com os factores resultantes da análise factorial com as componentes principais. Essa tarefa torna-se mais facilitada quando se consegue atribuir um significado aos factores, permitindo a definição das características de cada cluster. 17

18 Nos dendogramas seguintes, resultantes da análise de Clusters com os referidos factores, verifica-se que apesar de existirem algumas diferenças para a análise com as variáveis originais, estas não são muito profundas. 25 Tree Diagram for 28 Cases Ward`s method Euclidean distances 20 Linkage Distance Grande Lisboa Grande Porto Algarve Leziria do Tejo Peninsula de Setubal Baixo Mondego Pinhal Litoral Oeste Baixo Vouga Tâmega Entre Douro e Vouga Ave Cávado Alto Alentejo Baixo Alentejo Alentejo Litoral Alentejo Central Beira Interior Sul Pinhal Interior Sul Serra da Estrela Beira Interior Norte Pinhal Interior Norte Alto Trás-os-Montes Douro Medio Tejo Cova da Beira Dão-Lafões Minho-Lima! " 18