Roteiro. PCC142 / BCC444 - Mineração de Dados Agrupamento (Segmentação) Agrupamento (Segmentação) Introdução. Denição. Aplicações

Transcrição

1 Roteiro PCC142 / BCC444 - Mineração de Dados (Segmentação) Luiz Henrique de Campos Merschmann Departamento de Computação Universidade Federal de Ouro Preto luizhenrique@icebufopbr wwwdecomufopbr/luiz Introdução Denição Aplicações Dados e Funções de Distância Requisitos Importantes para Técnicas de Categorias de Métodos Algoritmo k-means Introdução (Segmentação) (segmentação) é o processo de identicação de um conjunto nito de categorias (ou grupos - clusters), não denidos previamente, que contêm objetos similares Exemplo: Deseja-se separar os clientes em grupos de forma que aqueles que apresentam o mesmo comportamento de consumo quem no mesmo grupo Cada tupla deste exemplo indica a quantidade total de produtos consumidos e o preço médio destes produtos relativos a cada consumidor Consumidor QtdProds Preço Médio Prods Cons Qtd $ Méd Prods Grupo Cons Qtd $ Méd Prods Cada grupo identicado é caracterizado por consumidores semelhantes em relação à quantidade de produtos e ao preço médio dos mesmos

2 Em termos de aplicação: Objetivo Obter um agrupamento de dados com alta similaridade intra-grupos e baixa similaridade inter-grupos como tarefa alvo: Ajudar na percepção da distribuição dos dados Observar características particulares de cada grupo (cluster) como uma das etapas do processo de mineração de dados: Etapa de pré-processamento para outros algoritmos (p ex, classicação) Classicação x Exemplos de Aplicações Classicação é dito um processo de mineração supervisionado, pois os elementos que fazem parte da base de treinamento já têm seu atributo classe informado é dito um processo de mineração não supervisionado, pois os elementos que fazem parte da base de entrada não têm o seu grupo denido Muitas vezes nem mesmo o número de grupos é previamente denido Área de Negócios Descobrir grupos distintos em relação ao comportamento de consumo Biologia Denição de taxonomias de animais e plantas de genes com funcionalidades similares Geograa Descoberta de regiões da superfície terrestre com similaridades na utilização da terra Internet de documentos da Web

3 Área de pesquisa em plena evolução, onde esforços são realizados com objetivo de encontrar métodos ecientes capazes de trabalhar com grandes volumes de dados Dados Algoritmos de agrupamento trabalham a partir de uma das seguintes estruturas de dados: Matriz de dados (n p): base de dados com p objetos caracterizados por n atributos x11 x1f x1p xi1 xif xip xi1 xif xip Matriz de dissimilaridades (n n): d(i, j) = dissimilaridade entre os objetos i e j 0 d(2, 1) 0 d(3, 1) d(3, 2) 0 d(n, 1) d(n, 2) 0 Funções de Distância Algumas Funções de Distância Função de distância Para que uma função d seja uma distância, as seguintes condições devem ser satisfeitas para quaisquer objetos i, j, k: d(i, j) 0 d(i, i) = 0 d(i, j) = d(j, i) d(i, j) d(i, k) + d(k, j) Distância Euclidiana: d(i, j) = xi1 xj1 2 + xi2 xj xip xjp 2 Distância de Manhattan: d(i,j) = xi1 xj1 + xi2 xj2 + + xip xjp Distância de Minkowski: d(i, j) = q xi1 xj1 q + xi2 xj2 q + + xip xjp q

4 Atributos contínuos (escala não-linear) Atributos contínuos (escala linear) Processo de normalização: Objetivo: dar um peso igual para cada um dos atributos Procedimento (dados os valores de um atributo f): 1 Calcular o desvio médio absoluto: sf = 1 ( x1f mf + x2f mf + + xnf mf ), n onde mf é o valor médio do atributo f 2 Calcular os valores normalizados (z-score): zif = xif mf sf Valores segundo uma escala não-linear (p ex, crescimento de uma população de bactérias escala exponencial) Maneiras para se calcular a dissimilaridade: Tratar os atributos escalonados não-lineares da mesma forma que tratamos os atibutos contínuos (não recomendado) Transformar os valores dos atributos escalonados não-lineares para que eles quem em uma escala linear Por exemplo, se xif estiver numa escala exponencial, basta aplicar a função logarítmica (yif = log(xif )) para que os valores passem para uma escala linear Substituir cada xif por um valor rif correspondente na escala 1, 2,, Mf, onde Mf é o número de valores distintos assumidos pelo atributo f Feita essa substituição, trata-se os valores como tratamos os atributos contínuos (escala linear) Atributos binários Tratar os atributos binários da mesma forma que tratamos os numéricos pode nos conduzir à construção de agrupamentos errôneos Métodos especícos para o tratamento de valores binários são necessários Atributos binários Vejamos uma abordagem: Determinar a matriz de dissimilaridades para valores binários considerando a tabela de contingência Objeto j 1 0 Soma 1 q r q+r Objeto i 0 s t s+t Soma q+s r+t p onde: q é o número de atributos com valor 1 para i e j r é o número de atributos com valor 1 para i e 0 para j s é o número de atributos com valor 0 para i e 1 para j t é o número de atributos com valor 0 para i e j p é o número total de atributos, ou seja, p = q + r + s + t

5 Atributos binários (simétricos) Um atributo binário é simetrico se ambos os valores (0 e 1) são igualmente importantes para o agrupamento Exemplo: atributo Sexo (M ou F) Nesse caso, a distância entre dois objetos i e j é dada por r + s d(i, j) = q + r + s + t, ou seja, d(i, j) é a porcentagem de atributos que discordam entre os dois objetos Atributos binários (assimétricos) Um atributo binário é assimetrico se os valores (0 e 1) não forem igualmente importantes para o agrupamento Exemplo: nos resultados de testes para detectar uma enfermidade, o valor 1 (positivo) pode ser considerado mais importante do que o valor 0 (negativo) Nesse exemplo, a concordância entre os 1's é muito mais importante do que a concordância entre os 0's Nesse caso, a distância i e j é denida como sendo o coeciente de Jacquard: d(i, j) = r + s q + r + s, ou seja, d(i, j) é a porcentagem de atributos que discordam entre os dois objetos (mas o total de atributos desconsidera aqueles que concordam e ambos são iguais a 0) Atributos binários (assimétricos) Exemplo: Nome Gênero Febre Tosse Teste1 Teste2 Teste3 Teste4 Jack M Sim Não Pos Neg Neg Neg Mary F Sim Não Pos Neg Pos Neg Jim M Sim Sim Neg Neg Neg Neg Atributo(s) binário(s) simétrico(s): Gênero Atributo(s) binário(s) assimétrico(s): Febre, Tosse, Teste1, Teste2, Teste3 e Teste4 Considerando apenas os atributos assiméticos em nossa análise (e portanto utilizando o coeciente de Jacquard): d(jack, Mary) = d(jack, Jim) = = 0, 33 = 0, 67 d(jim, Mary) = = 0, 75 Atributos nominais Atributos nominais: generalização dos atributos binários, dado que eles podem ter mais do que 2 valores possíveis Cálculo da dissimilaridade: d(i, j) = p m, p onde p é o número total de atributos e m o número de atributos coincidentes Assim, d(i, j) é o percentual de atributos cujos valores são diferentes Outra possibilidade para o cálculo da dissimilaridade: Considerando que um atributo nominal A possa assumir M valores distintos, cria-se um novo atributo binário para cada um dos M possíveis valores Utiliza-se o método para atributos binários discutido anteriormente

6 Atributos ordinais Semelhante a um atributo nominal, com a diferença de que os valores assumidos admitem uma ordenação Exemplo: atributo Medalha, cujos valores são: Bronze, Prata e Ouro Atributos ordinais Cálculo de dissimilaridade: Seja xif o valor do atributo f do i-ésimo objeto Considere que f possui Mf valores distintos, que ordenados podem ser representados por 1, 2,, Mf Substitua cada xif por seu valor rif correspondente na escala 1, 2,, Mf Como os atributos ordinais podem ter quantidades diferentes de valores possíveis, é comum mapear os valores de todos os atributos ordinais para a escala [0, 1] para que eles tenham o mesmo peso no cálculo da distância O mapeamento é feito da seguinte maneira: zif = rif 1 Mf 1 Feita a conversão de xif para zif procede-se o cálculo da distância utilizando-se alguma das funções discutudas anteriormente (Euclidiana, Manhattan, ) Atributos mistos Até agora mostramos o cálculo de dissimilaridades considerando que todos os atributos são do mesmo tipo Mas na realidade um objeto pode ser caracterizado por atributos de tipos diferentes Nesse caso, como calcular a dissimilaridade entre dois objetos? R: Uniformizar a escala dos valores dos atributos Atributos mistos Uniformização da escala dos valores dos atributos Transformar os valores de todos os atributos colocando-os numa escala comum [0, 1] Suponha uma base de dados com p atributos A dissimilaridade d(i, j) entre os objetos i e j é dada por: onde: d(i, j) = p f=1 δf ij df ij p f=1 δf ij δij = 0 se uma das seguintes situações acontecer: 1 os valores xif ou xjf são desconhecidos 2 o atributo f é binário assimétrico e xif = xjf = 0 δij = 1, caso contrário,

7 Atributos mistos Uniformização da escala dos valores dos atributos O cálculo de d f ij depende do tipo do atibuto f: 1 Se o atributo f for binário ou nominal: d f ij = 0 se xif = xjf Caso contrário, d f ij = 1 2 Se o atributo f for contínuo (escala linear): d f ij = xif xjf maxh{xhf } minh{xhf }, onde h são os valores conhecidos do atributo f 3 Se o atributo f for ordinal ou contínuo (escala não-linear): mapeia-se xif para inteiros rif e considera-se zif = r if 1 M f 1 como atributo contínuo (escala linear) Requisitos Importantes para Técnicas de Escalabilidade Alguns algoritmos de agrupamento só trabalham bem com bases de dados pequenas (< 200 objetos) Contudo, uma base de dados pode conter milhões de objetos Fazer agrupamento a partir de uma amostra da base de dados original pode nos levar a resultados tendenciosos Necessidade por algoritmos de agrupamento escaláveis Requisitos Importantes para Técnicas de Requisitos Importantes para Técnicas de Habilidade para trabalhar com atributos de tipos diferentes Alguns algoritmos de agrupamento trabalham apenas com dados numéricos Contudo, várias aplicações apresentam outros tipos de dados (nominais, binários, ordinais etc) Necessidade por algoritmos de agrupamento capazes de trabalhar com diferentes tipos de dados Encontrar grupos com formas variadas Vários algoritmos de agrupamento denem os grupos a partir das medidas de distância Euclidiana ou Manhattan O uso dessas medidas tende a gerar somente grupos com formato esférico com tamanho e densidade semelhantes No entanto, a princípio, os grupos podem ter qualquer forma Importância do desenvolvimento de algoritmos de agrupamento que detectem grupos com quaisquer formatos

8 Requisitos Importantes para Técnicas de Requisitos Importantes para Técnicas de Habilidade para trabalhar com dados contendo ruídos Parâmetros de entrada Alguns algoritmos de agrupamento necessitam de parâmetros e entrada (pex, número de grupos desejados) Os resultados encontrados por esses algoritmos podem ser extremamente sensíveis a esses parâmetros A denição desses parâmetros pode ser muito difícil para o usuário, principalmente para bases de grandes dimensões Grande parte das bases de dados reais contêm outliers e/ou valores ausentes Algoritmos sensíveis a essas características podem apresentar resultados insatisfatórios Sensibilidade à ordenação dos dados Alguns algoritmos de agrupamento são sensíveis à ordenação dos dados de entrada É importante o desenvolvimento de algoritmos insensíveis à ordenação dos dados de entrada Requisitos Importantes para Técnicas de Métodos de Alta dimensionalidade Existem algoritmos de agrupamento são adequados apenas para bases de dados com poucos atributos Um desao é a criação de boas técnicas de agrupamento para objetos em espaços de dimensões altas com restrições Principais categorias de métodos: Métodos de Particionamento Métodos Hierárquicos Métodos Baseados em Densidade Métodos Baseados em Grade Aplicações reais podem exigir a realização de agrupamentos sob determinadas condições (restrições) Necessidade por técnicas que produzam bons agrupamentos respeitando todas as retrições

9 Métodos de Particionamento Métodos de Particionamento Seja uma base de dados D com n objetos Constrói k partições de dados, k n, onde: cada grupo contém pelo menos um objeto cada objeto pertence a somente um grupo Dado k, o método cria um particionamento inicial Por um processo iterativo de realocação, tenta-se melhorar o particionamento movimentando-se os objetos entre os grupos O que seria um bom particionamento? Resp: Em geral, um bom particionamento é aquele em que objetos de um mesmo grupo são semelhantes, enquanto objetos de grupos distintos são diferentes Métodos de Particionamento Métodos de Particionamento Existem dois métodos heurísticos populares: Como encontrar o melhor particionamento? Resp: Enumeração exaustiva de todas as partições possíveis Será esta a abordagem utilizada pelos algoritmos de agrupamento baseados em particionamento? k-means: cada grupo é representado pelo valor médio dos seus objetos k-medoids: cada grupo é representado pelo objeto mais próximo ao centro do grupo Características dessas heurísticas: Funcionam bem para bases de dados não muito grandes Encontram grupos (clusters) com formato esférico

10 Métodos Hierárquicos Métodos Hierárquicos Estes métodos criam uma decomposição hierárquica a partir de uma base de dados D com n objetos Podem ser classicados como: Aglomerativos Divisivos Aglomerativos (abordagem bottom-up): Inicialmente cada objeto corresponde a um grupo A cada iteração, os objetos ou grupos mais próximos vão sendo agrupados Este processo se repete até que todos os objetos quem num único grupo ou uma condição de nalização seja vericada Métodos Hierárquicos Métodos Hierárquicos Divisivos (abordagem top-down): Inicialmente todos objetos são colocados num mesmo grupo A cada iteração, o(s) grupo(s) vão sendo divididos em grupos menores Este processo se repete até que cada grupo contenha um único objeto ou uma condição de nalização seja vericada Qual a desvantagem dos métodos hierárquicos? Dica: Eles são rígidos Vantagem: redução do custo computacional Resp: Uma vez que numa dada iteração um passo (agrupamento ou divisão) é realizado, ele não pode ser desfeito

11 Métodos Hierárquicos Métodos Baseados em Densidade Duas abordagens foram propostas para melhorar estes métodos: 1 Realizar cuidadosa análise da ligação entre os objetos em cada iteração Exemplo: CURE e Chameleon 2 Juntar aglomeração com realocação, primeiro realizando aglomeração e então renando o resultado com realocação Exemplo: BIRCH Os métodos de particionamento agrupam objetos com base na distância entre eles Por isso, tais métodos cam limitados a encontrar grupos (clusters) com formato esférico Outros métodos têm sido desenvolvidos com base na noção de densidade Métodos Baseados em Densidade Métodos Baseados em Grades Idéia geral: Os grupos continuam a crescer enquanto a densidade (número de objetos) na vizinhança exceder um determinado limite Exemplos: DBSCAN e OPTICS Formato NÃO esférico Estes métodos dividem o espaço de objetos em um número nito de células formando uma estrutura de grid A partir da formação do grid todas as operações de agrupamento são realizadas sobre esta estrutura Exemplos: STING, WaveCluster e CLIQUE

12 Métodos Baseados em Grades Métodos de Qual a vantagem dos métodos baseados em grades? Dica: Vantagem com relação ao tempo de processamento Resp: O tempo de processamento independe do número de objetos de dados Ele depende somente do número de células em que o espaço de objetos foi dividido Alguns algoritmos de clusterização integram idéias de diferentes categorias de métodos Desta forma, pode ser difícil classicá-los como pertencendo a uma única categoria Algoritmo k-means Algoritmo k-means É um método de particionamento clássico Características: Quantidade de grupos é xa (parâmetro k) Resultados muito sensíveis à escolha inicial Para num ótimo local Entrada: Base de dados contendo n objetos Valor do parâmetro k Saída: Um conjunto de k clusters que minimiza um critério de erro

13 Algoritmo k-means Algoritmo k-means 1 Escolhe arbitrariamente k objetos como centros iniciais dos clusters 2 (Re)associa cada objeto com o cluster ao qual ele é mais similar (calculando a distância de cada objeto ao centro de cada cluster) 3 Atualiza o centro dos clusters (calculando o valor médio dos objetos para cada cluster) 4 Volta ao passo 2 e continua até que não haja mais alteração Algoritmo k-means Considerações Adicionais O k-means produz um conjunto de clusters que minimiza o erro quadrático (E) com relação ao centros de gravidade de cada cluster k E = p mi 2, i=1 p Ci onde p é um ponto do espaço que representa um dado objeto e mi é o ponto médio do cluster Ci O método funciona muito bem quando os clusters são núvens compactas de dados, bem separadas umas das outras O k-means é muito sensível a ruídos (que podem causar grande alteração no centro de gravidade dos clusters) Perguntas?