IA: Aprendizado IV. Professor Paulo Gurgel Pinheiro. 30 de Setembro de 2010

Transcrição

1 IA: Aprendizado IV Professor Paulo Gurgel Pinheiro MC906A - Inteligência Articial Instituto de Computação Universidade Estadual de Campinas - UNICAMP 30 de Setembro de / 75

2 pinheiro/ [MC906] 2 / 75

3 O que vamos aprender hoje? 1 Agrupamento Classicação x Agrupamento O que é um Cluster? Principais etapas de clustering Técnicas de Agrupamento 2 K-means e K-medóides 3 e K-means 3 / 75

4 Relembrando... 4 / 75

5 Relembrando Relembrando Supervisionado: Dado um conjunto de exemplos na forma entrada/saída, encontre uma regra, uma função, que possa prever a saída de novas entradas. Classicadores Não supervisionado Dado apenas um conjunto de entradas, identique padrões nesse conjunto Não sabe exatamente o que aprender (agrupamento) 5 / 75

6 O que é um cluster? Principais etapas (Agrupamento) 6 / 75

7 O que é um cluster? Principais etapas Classicação x Classicação: Aprender um método para predizer as categorias (classes) de instâncias não vistas a partir de exemplos pré-rotulados (classicados) Aprendizado Supervisionado Amostras de treinamento são classicadas Número de classes é conhecido Aprendizado por exemplos Agrupamento de Dados (): Encontrar os rótulos das categorias (grupos ou clusters) diretamente a partir dos dados Aprendizado não supervisionado Aprendizado por Observação 7 / 75

8 O que é um cluster? Principais etapas Aprendizado não supervisionado Encontrar grupos "naturais"de objetos não rotulados..... tais que objetos em um mesmo grupo sejam: Similares ou relacionados entre si E diferentes ou não relacionados aos demais Objetivo: indivíduos semelhantes devem pertencer a mesma classe É um objetivo intuitivo mas não é uma denição precisa da noção de classe 8 / 75

9 O que é um cluster? Principais etapas O que é um Cluster? 9 / 75

10 O que é um cluster? Principais etapas O que é um Cluster? Conceitualmente, denições são subjetivas Coesão interna (Homogeneidade) Isolamento externo (Heterogeneidade - separação entre os grupos) 10 / 75

11 O que é um cluster? Principais etapas O que é um Cluster? a) Grupos coesos e isolados b) Grupos isolados mas não coesos c) Grupos coesos com vários pontos intermediários d) Não existência de grupos "naturais" 11 / 75

12 O que é um cluster? Principais etapas O que é um Cluster? Conceitos são subjetivos É preciso formalizar matematicamente Existem diversas medidas Em geral, baseada em algum tipo de similaridade Por exemplo, distância Euclidiana. 12 / 75

13 O que é um cluster? Principais etapas Utilizando alguma medida de similaridade podemos denir clusters dependendo da sua apresentação. Clusters: Clusters naturais Clusters com protóripo Grafo Baseados em densidade 13 / 75

14 O que é um cluster? Principais etapas O que é um Cluster? Sem protótipo: Um cluster é um conjunto de objetos no qual cada objeto é mais semelhante a objetos dentro do cluster do que qualquer outro objeto fora do cluster. Baseado em protótipos: Um cluster é um conjunto de objetos no qual cada objeto está mais próximo ao protótipo (centróide) que dene o cluster do que dos protótipos (centróide) de quaisquer outros clusters. 14 / 75

15 O que é um cluster? Principais etapas O que é um Cluster? Baseado em Grafos: Os objetos são os vértices (a, b...) Se existe aresta de a para b, então a está mais perto de b do que de outros objetos. Estar perto signica estar diretamente conectado Problemas Quando há ruidos, pode haver distorções nos clusters Exemplo: Dois clusters distintos podem ser transformados em um único clusters devido a poucos outliers. 15 / 75

16 O que é um cluster? Principais etapas O que é um Cluster? Baseado em Densidade: O cluster é uma região densa rodeada por uma região de baixa densidade Utilizada quando os clusters são entrelaçados ou irregulares e quando há ruídos e outliers presentes. Exemplo: Temos três clusters (3 regiões densas). A ponte de outliers ligando as duas esferas foi dissolvida 16 / 75

17 O que é um cluster? Principais etapas O que é um Cluster? Cluster conceitual: Um cluster representa um conceito. Os objetos de um cluster possuem uma propriedade que é derivada do conjunto total de objetos. Denição utilizada em reconhecimento de padrões No exemplo podemos identicar os clusters: triângulo e os dois anéis. 17 / 75

18 O que é um cluster? Principais etapas 18 / 75

19 O que é um cluster? Principais etapas Encontre grupos de personagens similares Eamon Keogh, sbbd / 75

20 O que é um cluster? Principais etapas é difícil de denir, mas sabemos quando a vemos. Eamon Keogh, sbbd2003 O real signicado de similaridade é uma questão losóca. É necessário adotar uma visão pragmática. 20 / 75

21 O que é um cluster? Principais etapas Matriz de distâncias Armazena uma coleção de medidas de distância (diferença) entre dois objetos quaisquer Quanto mais alto o valor, mais distantes (diferentes) eles são Valor 0 signica que são o mesmo objeto 21 / 75

22 O que é um cluster? Principais etapas Funções de distância Alguma forma de calcular a diferença entre dois objetos quaisquer Exemplo: Distância de Transformação Funções de distância Distância Euclidiana, distância de Manhattan / 75

23 O que é um cluster? Principais etapas Principais etapas da formação de agrupamento 23 / 75

24 O que é um cluster? Principais etapas Principais etapas (a) Aquisição dos dados 1) Seleção das observações (indivíduos, objetos, casos, itens) 2) Seleção das variáveis (caracteres, descritores) e das correspondentes escalas 3) Construção da Tabela de Dados (b) Pré-processamento dos dados 1) Mudança de escala 2) Normalização (c) Construção da Tabela de Dados (d) Cálculo da Proximidade 1) Escolha de um Índice de Proximidade 2) Construção da Matriz de Proximidades (e) Seleção de um Algoritmo de Formação de Grupos em função do tipo de agrupamento desejado (f) Análise e Interpretação dos Resultados 24 / 75

25 O que é um cluster? Principais etapas Principais etapas - (a)aquisição de dados (a) Aquisição dos dados 1) Seleção das observações -OK! 2) Seleção das variáveis (caracteres, descritores) e das correspondentes escalas 3) Construção da Tabela de Dados -OK! 2) As variáveis podem ser: Quantitativas contínuas (ex, Peso, Altura) discretas (ex, numero de antenas, número de lhos) Qualitativas (ex, sexo, grau de instrução) Binárias (ex, presença de asas) 25 / 75

26 O que é um cluster? Principais etapas Principais etapas - (a)aquisição de dados (Cont.) (a) Aquisição dos dados 1) Seleção das observações -OK! 2) Seleção das variáveis (caracteres, descritores) e das correspondentes escalas-ok! 3) Construção da Tabela de Dados -OK! 2) Com escalas: Nominal (ex, sexo (masculino, feminino)) Ordinal (ex, Grau de instruçãoprimário, segundário,superior) Intervalar (ex, grau celsius) 26 / 75

27 O que é um cluster? Principais etapas Principais etapas - (b), (c), (d) (b) Pré-processamento dos dados 1) Mudança de escala - OK, visto na aula passada 2) Normalização - OK, visto na aula passada (c) Construção da Tabela de Dados - OK, ex. playtennis (d) Cálculo da Proximidade 1) Escolha de um Índice de Proximidade - OK, ex. distância Euclidiana 2) Construção da Matriz de Proximidades - OK, ex. lista armazenando distâncias 27 / 75

28 O que é um cluster? Principais etapas Principais etapas - (e), (f) (e) Seleção de um Algoritmo de Formação de Grupos em função do tipo de agrupamento desejado (f) Análise e Interpretação dos Resultados Vamos ver agora! 28 / 75

30 O que é um cluster? Principais etapas Assim como para classicação, existem várias técnicas, para diferentes contextos de aplicação Sucesso de cada método depende do domínio de aplicação e do problema particular em mãos Tipos de técnicas: Particionamento Hierárquicas aglomerativas Hierárquicas Divisórias 30 / 75

32 O que é um cluster? Principais etapas Particionamento Particional e baseada em protótipos. Encontra k clusters que são representados por seus centróides (protótipos) K-means K-medóides: PAMM (Partitioning Around Medoids, 1987), CLARA (A (Kaufmann e Rousseeuw, 1990), CLARANS (Ng e Han, 1994)) 32 / 75

33 O que é um cluster? Principais etapas Particionamento n amostras divididas em k grupos n quantidade de dados do banco k informado pelo usuário 33 / 75

34 O que é um cluster? Principais etapas Hierárquicas Aglomerativas Produzem agrupamentos hierárquicos Cada objeto começa com seu próprio grupo (clusters unitários) Os dois grupos mais similares são aglutinados formando um novo cluster. A cada passo, o número de grupos é reduzido em uma unidade. Para quando tiver achado k grupos. Bottom-up (merging) ROCK, CHAMELEON, BIRCH, CURE. 34 / 75

35 O que é um cluster? Principais etapas Hierárquicas Aglomerativas Agrupar as nove maiores cidades dos EUA. 35 / 75

36 O que é um cluster? Principais etapas Hierárquicas Aglomerativas AGNES (Agglomerative Nesting -1990) Aglomera nós que tem as menores dissimilaridades Eventualmente todos os nós pertencem ao mesmo grupo 36 / 75

37 O que é um cluster? Principais etapas Hierárquicas Divisórias Produzem agrupamentos hierárquicos Começa com um cluster único contendo todo o conjunto de objetos Repetidamente divide os clusters em duas partes de acordo com o critério de similaridade Repete até se chegar ao número k de cluster. Bottom-down (splitting) DIANA 37 / 75

38 O que é um cluster? Principais etapas Hierárquicas Divisórias DIANA (Divisive Analysis-1990) Ordem inversa de AGNES Eventualmente cada nó forma um grupo unitário 38 / 75

39 O que é um cluster? Principais etapas Hierárquicas Divisórias Como dividir um cluster? Aplicar a média ou a mediana em uma das direções do vetor de características Os cálculos necessários no clustering divisivo são mais intensos que no clustering aglomerativo, sendo estes mais comuns. 39 / 75

40 O que é um cluster? Principais etapas Hierárquicas 40 / 75

41 O que é um cluster? Principais etapas Por densidade Regiões densas = clusters Regiões de baixa densidade = ruídos e outliers Um ponto pertence a uma região densa se numa vizinhança de raio α pequeno existem pelo menos M objetos (M dado pelo usuário). k é determinado pelo algoritmo. OPTICS, DBSCAN, DENCLUE 41 / 75

42 Calculando o objetivo Posição inicial da semente 42 / 75

43 Calculando o objetivo Posição inicial da semente O Algoritmo das k-médias (k-means em inglês): É um dos mais simples e populares algoritmos de agrupamento de dados Minimiza as distâncias intra-grupos Indiretamente maximiza as distâncias inter-grupos 43 / 75

44 Calculando o objetivo Posição inicial da semente 1) Escolha aleatoriamente um número k de pontos (centróides) para os clusters 2) Aponte cada ponto para o centróide mais próxima (segundo alguma distância, e.g. Euclidiana) formando assim k clusters 3) Para cada cluster recalcule o novo centro 4)Repetir os passos 2 e 3 até que algum critério de convergência seja obtido: número máximo de iterações limiar mínimo de mudanças nos centróides 44 / 75

45 Calculando o objetivo Posição inicial da semente Passo 1 Introdução a sistemas inteligentes - Ricardo Campello ICMC/USP 45 / 75

52 Calculando o objetivo Posição inicial da semente Resumindo / 75

53 Calculando o objetivo Posição inicial da semente K-Medóide Passo 1 53 / 75

56 Calculando o objetivo Posição inicial da semente K-Medóide Passo n 56 / 75

57 Calculando o objetivo Posição inicial da semente Para quando... Para quando atingir algum critério de convergência Até que nenhuma amostra mude de agrupamento Até que os centróides não sejam alterados Até alcançar um limite de número de iterações A centróide pode ser um próprio ponto: Nesse caso, chamaremos de ponto representante do cluster. Um critério de convergência seria quando o ponto representante não se alterasse: Sendo assim: Pare quando o representante não mais se alterar. 57 / 75

58 Calculando o objetivo Posição inicial da semente Segmentação de imagens 58 / 75

59 Calculando o objetivo Posição inicial da semente Observações Boa parte dos clusters já convergem nos primeiros passos do algoritmo, Ficando somente uma quantidade pequena de clusters que ainda modicam. Assim, uma condição de parada pode ser do tipo : "até que somente 1% dos objetos mudam de clusters". 59 / 75

60 Calculando o objetivo Posição inicial da semente Calculando o objetivo 60 / 75

61 Calculando o objetivo Posição inicial da semente Calculando o objetivo K-means Soma dos erros quadráticos entre clusters Erro (x) = d(x,ci ) = distância de x até o centróide ci de seu cluster Ci K-medóide ErroAcumulado(xi) = (d(xi, xj)) Variando j, sendo j o número de pontos do cluster menos o x i Nova centróide: arg min ErroAcumulado(x) 61 / 75

62 Calculando o objetivo Posição inicial da semente Posição inicial da semente 62 / 75

63 Calculando o objetivo Posição inicial da semente Posição inicial das sementes Resultado pode variar signicativamente dependendo da escolha das sementes (protótipos) iniciais; Prisão em ótimos locais O que fazemos? Executamos diferentes rodadas Escolhemos a melhor. 63 / 75

64 Calculando o objetivo Posição inicial da semente Exemplo Exemplo de 2 rodadas: 64 / 75

65 Calculando o objetivo Posição inicial da semente Posição inicial das sementes Técnicas para inicializar as centróides Escolha aleatória Executar diversas rodadas do k-means até encontrar a escolha que produz a menor soma dos erros Nem sempre funciona Depende dos dados e do k Utilizar clusterização hierárquica Aplico o método de clusterização hierárquica Centróides iniciais = centróides dos clusters formados Funciona se a amostra é pequena Métodos hierárquicos são computacionalmente caros Pode-se utilizar heurísticas para procurar os centróides iniciais de forma mais adequada. 65 / 75

66 Calculando o objetivo Posição inicial da semente Exercício Executar K-means com K=3 nos dados a partir das sementes [6,6], [4,6] e [5,10] e depois outros a sua escolha 66 / 75

67 Calculando o objetivo Posição inicial da semente Resumo do K-means Vantagens: Simples e intuitivo Possui complexidade computacional linear em todas as variáveis críticas Ecaz em muitos cenários de aplicação e produz resultados de interpretação simples Considerado um dentre os 10 mais inuentes algoritmos em mineração de dados Desvantagens: K=? Sensível à inicialização dos protótipos e a outliers Cada item deve pertencer a um único cluster (partição rígida, ou seja, sem sobreposição) Limitado a atributos numéricos 67 / 75

68 68 / 75

69 - Exemplo 1 Abra o explorer do weka e carregue o dataset iris Abra a aba Cluster do e selecione o algoritmo SimpleKMeans. Marque a opção "classes to cluster evaluation" Quando marcamos essa opção, o atributo classe não é usado para a geração dos agrupamentos, mas o resultado dos agrupamentos pode ser comparado com a classe real de cada exemplo. Gere agrupamentos variando o k. Para cada número de grupos, anote o valor do "Within cluster sum of squared errors"e do "Incorrectly clustered instances". O número de clusters para o qual "within cluster sum of squared errors"é o menor valor é o mesmo que minimiza "Incorrectly clustered instances"? É o mesmo que o número real de classes? Você pode visualizar os agrupamentos clicando com o botão direito em cada execução na result-list, e selecionando "vizualize cluster assignments" 69 / 75

70 - Exemplo 2 O exemplo mostra como agrupar dados com o algoritmo. Os dados usados são das ores Íris, mas com os rótulos (que identicam as ores) removido O arquivo original do contém os rótulos. Parte do arquivo modicado, seria: 70 / 75

71 - Exemplo 2 Executando K-means com k=3: java weka.clusterers.simplekmeans -t iris-unlabeled.ar -N 3 71 / 75

72 - Exemplo 2 Resultado da execução do algoritmo Número de iterações até a convergência Medida objetiva minimizada (soma dos erros quadráticos entre clusters) 72 / 75

73 - Exemplo 2 Resultado da execução do algoritmo 73 / 75

74 Referências Referências P.-N. Tan, Steinbach, M., and Kumar, V., Introduction to Data Mining, Addison-Wesley, / 75

75 Paulo Pinheiro 75 / 75