Aprendizagem de Máquina

Transcrição

1 Aprendizagem de Máquina Aprendizado não-supervisionado Formação de agrupamentos Aprendizado Não-Supervisionado Classificação supervisionada: discriminar padrões com base num modelo pré-definido de classes. Classificação não-supervisionada: as classes não são pré-definidas e devem ser aprendidas com base na similaridade entre os padrões. Neste caso, o problema é colocado como uma tarefa de categorização, ou identificação de agrupamentos (clustering): Encontrar os grupos naturais em dados multidimensionais, com base nas similaridades entre os padrões. Classificação não-supervisionada é um problema muito difícil porque dados multidimensionais podem formar agrupamentos com diversas formas e tamanhos, demandando ferramentas poderosas de modelagem. 2

2 Exemplos de tarefas com aprendizagem não-supervisionada 1. Identificação de agrupamentos (clusterização): Os dados de entrada são agrupados por similaridade das suas características. Por aprendizagem não-supervisionada, o sistema deve encontrar os agrupamentos inerentes nos dados de entrada (casamento de densidade). A saída do sistema fornece o rótulo do agrupamento dos padrões de entrada. 2. Quantização vetorial: Um espaço contínuo de entrada deve ser discretizado otimamente (regiões equiprováveis). Cada vetor contínuo de entrada é atribuído a um vetor protótipo que melhor representa as suas características. A saída do sistema é uma representação discreta do espaço de entrada. 3. Redução de dimensionalidade: Os dados de entrada são projetados num sub-espaço com uma dimensionalidade menor que a dimensionalidade dos dados. O sistema deve aprender um mapeamento ótimo, em que a variância nos dados de entrada seja preservada nos dados de saída. 4. Extração de características: O sistema deve extrair as características do sinal de entrada. Em geral, implica redução de dimensionalidade. 3 Modelos Descritivos A tarefa de geração de um modelo descritivo consiste (em grande parte) em analisar os dados do domínio (entradas) e sugerir uma partição do domínio, de acordo com similaridades observadas nos dados. Entradas Modelo Determinação de uma configuração de centróides de agrupamentos dos dados Modelo de agrupamento dos dados 4

3 Dados para agrupamento de subespécies da planta Iris uma amostra do domínio Conjunto de medidas c_sepala l_sepala c_petala l_petala 5,1 3,8 1,5 0,3 5,4 3,4 1,7 0, ,0 3,2 4,7 1,4 6,4 3,2 4,5 1, ,3 2,9 6,3 1,8 6,7 2,5 5,8 1, comprimento-sepala largura-sepala comprimento-petala largura-petala Modelo Rótulo de classe natural 5 Dados da planta Iris largura-sepala largura-petala comprimento-sepala comprimento-petala 6

4 Modelo de agrupamento para os dados da planta Iris largura-sepala Classes de interesse versus classes naturais largura-petala setosa virginica Classes de interesse setosa versicolor virginica versicolor 3 agrupamentos classes naturais comprimento-sepala comprimento-petala 7 Avaliação de modelos descritivos Questão fundamental: quantos grupos representam mais adequadamente os dados? Usualmente, adotam-se métricas estatísticas de qualidade da configuração de agrupamento: média de distâncias intra-grupo e de distâncias inter-grupos. A avaliação da qualidade de um modelo descritivo normalmente é problemática se não dispusermos de informação extra (conhecimento de perícia). A busca informada pela melhor configuração é muito mais eficiente. 8

5 Introdução A descoberta de agrupamentos é uma tarefa descritiva que procura agrupar dados utilizando a similaridade dos valores de seus atributos como fator de decisão quanto a sua pertinência num entre vários agrupamentos possíveis. Este processo utiliza técnicas de aprendizagem não supervisionada, pois a similaridade entre os atributos é uma característica intrínseca dos dados, não necessitando de um arquivo de treinamento com classes pré-definidas. 9 Introdução Em geral, a identificação dos agrupamentos intrínsecos dos dados permite a descrição de cada agrupamento através de um padrão protótipo. O processo normalmente é iterativo e interativo, necessitando que o usuário modifique parâmetros e reapresente os dados até encontrar uma configuração satisfatória de agrupamentos. A ênfase nesta tarefa é a descrição dos dados e não a previsão de como um novo caso será classificado. 10

6 Agrupamento de conceitos O agrupamento de conceitos é uma tarefa onde o sistema de aprendizagem aceita um conjunto de descrições de objetos (eventos, observações, fatos) e produz um esquema de classificação sobre as observações. O sistema não requer um professor para pré-classificar os objetos; ele usa uma função de avaliação para descobrir classes com boas descrições conceituais. Agrupamento de conceitos é um tipo de aprendizagem por observação, se opondo ao aprendizado por exemplos. É uma forma importante de sumarizar os dados de uma maneira interpretável. 11 Aplicações típicas de agrupamentos Em negócios, podem ajudar comerciantes a descobrir grupos distintos em suas bases de clientes e caracterizar grupos baseados em padrões de compras. A maioria das ferramentas de agrupamento trabalha em razão de um número pré-definido de grupos especificado por um usuário. Classificação de documentos na Web para a descoberta de informação. Como uma função de MD, para se ter uma visão de distribuição de dados, para se observar as características de cada agrupamento e para focar em um conjunto particular de grupos para análise posterior. Alternativamente, a clusterização pode servir como uma etapa de préprocessamento para outros algoritmos, tais como caracterização e classificação, que irão então operar sobre os agrupamentos detectados. Em biologia, podem ser usadas para derivar taxonomias de plantas e animais, categorizar genes com funcionalidades similares e ter uma visão dentro de estruturas inerentes em populações 12

7 Tipos de representação de agrupamentos Os grupos podem ser: (a) exclusivos, instâncias pertencem apenas a um grupo (b) sobrepostos, em que uma instância pode pertencer a diversos grupos (c) probabilísticos, caso em que uma instância pertence a cada grupo com alguma probabilidade (d) hierárquicos, é feita uma divisão a grosso modo de instâncias em grupos maiores, os quais são refinados, se decompondo em grupos menores. (a) a d j k g h i e f c b (b) a d k j g h e i c f b (c) a 0,4 0,1 0,5 b 0,1 0,8 0,1 c 0,3 0,3 0,4 d 0,1 0,1 0,8 e 0,4 0,2 0,4 f 0,1 0,4 0,5 g 0,7 0,2 0,1 h 0,5 0,4 0,1... (d) g a c i e d k b j f h 13 Escolha da representação de agrupamentos A escolha entre as possíveis representações de agrupamento depende da natureza dos mecanismos que determinam o fenômeno específico do agrupamento considerado. Como raramente estes mecanismos são conhecidos, até porque é o que queremos descobrir, por razões pragmáticas, a escolha é normalmente ditada pelas ferramentas computacionais disponíveis. 14

8 Método k-médias O método k-médias deriva o seu nome do fato de ele iniciar com um conjunto de k germes escolhidos como suposição inicial para os centróides, ou médias, dos agrupamentos. No algoritmo original (MacQueen 1967), a inicialização dos centróides é feita tomando-se simplesmente os k primeiros vetores (registros) dos dados. Quando os dados possuem algum tipo de ordenação, pode-se escolher registros que estejam mais espaçados entre si. Cada um dos k vetores é um agrupamento embrionário com apenas um único elemento. No segundo passo do algoritmo, cada vetor de dado recebe o rótulo do agrupamento que estiver mais próximo. Isto é feito, medindo-se a distância entre o vetor e cada centróide dos agrupamentos. Após a rotulação de todos os dados, os centróides dos agrupamentos são atualizados, calculando-se cada um como a média de todos os vetores que pertencem ao agrupamento correspondente. A atualização dos centróides é repetida até eles não se modificarem mais. 15 Algoritmo k-médias Algoritmo: Entrada: Saída: k-médias, para particionamento baseado no valor médio dos objetos no agrupamento. O número de agrupamentos k e um banco de dados contendo n objetos. Um conjunto de k agrupamentos que minimizam o critério de erro-quadrático. Método: (1) escolher arbitrariamente k objetos como os centros dos agrupamentos iniciais; (2) repetir (3) (re)designar cada objeto para o agrupamento ao qual o objeto é mais similar, baseado no valor médio dos objetos no agrupamento; (4) atualizar as média dos agrupamentos, i.e., calcular o valor médio dos objetos para cada agrupamento; (5) até que não haja mudanças; 16

9 Exemplo do método k-médias As figuras abaixo, representam a aplicação dos dois primeiros passos do algoritmo k-médias em um arquivo com 20 dados com dois atributos contínuos, considerando-se um número de médias k = 3. Inicialização das médias Atribuição dos rótulos 17 Após o passo de rotulação, as médias são atualizadas considerando-se a nova configuração dos agrupamentos. Após as médias serem atualizadas, os rótulos são atualizados pela distância às novas médias. Atualização das médias Nova atribuição de rótulos e atualização das médias 18

10 Medida de distorção Suponha que um conjunto de dados {x 1,..., x N } consistindo de N observações de uma variável euclidiana aleatória de dimensão D. O objetivo é particionar o conjunto de dados em K agrupamentos, representados por vetores k, k = 1,...K, de dimensão D, sendo k o protótipo do agrupamento k. Desejamos encontrar uma atribuição de pontos de dados a agrupamentos, bem como um conjunto de vetores { k }, de modo que a soma das distâncias quadráticas de cada ponto ao vetor protótipo mais próximo seja mínima. Para isto, define-se um conjunto de variáveis indicadoras r nk {0, 1}, k = 1,...K, onde r nk = 1 e r nj = 0, j k, indica que a instância x n pertence ao agrupamento k. Com isso, podemos definir a função objetivo chamada de medida de distorção, que representa a soma das distâncias quadráticas intra-clusters: Desejamos encontrar os valores de {r nk } e { k } de modo a minimizar J. 19 Algoritmo de otimização iterativa em dois passos A minimização da medida de distorção pode ser obtida por um processo iterativo em dois passos, análogo ao algoritmo EM (E expectation, M maximization) usado para encontrar os parâmetros que maximizam a verossimilhança em modelos probabilísticos de mistura, que será analisado mais adiante. O algoritmo começa escolhendo valores iniciais para os parâmetros ( k ), o que equivale a uma hipótese inicial de partição (inicialização do modelo corrente). Com base no modelo corrente (fixando-se k ), determina-se a expectativa (passo E) de cada instância pertencer a cada um dos agrupamentos (determina-se r nk ). No passo seguinte (M), com base nas pertinências (fixando-se r nk ), atualizam-se os parâmetros de modo a minimizar a medida de distorção (determina-se k ). O procedimento de re-atribuição dos dados aos clusters (r nk ) e de atualização do modelo ( k ) continua até não haver mais alteração nas atribuições (r nk ). Como cada fase reduz o valor da função objetivo J, a convergência do algoritmo é garantida. As fórmulas de atualização de r nk e k, são obtidas pela minimização da função objetivo J em relação a estes parâmetros, mostrada a seguir. 20

11 Atualização dos parâmetros A função J é linear em relação aos parâmetros r nk e a atribuição independente de cada instância ao cluster mais próximo minimiza o valor de x n k 2. Com isso, no passo E, a minimização de J é obtida pela atribuição de cada instância ao agrupamento mais próximo, ou seja: 1 se arg min 0 caso contrário No passo M, com os r nk fixos, J é uma função quadrática em relação aos k e pode ser minimizada igualando o seu gradiente a zero, resultando em: 2 Que pode ser facilmente resolvida para k, resultando em: Esta expressão indica que o protótipo do agrupamento k representa a média de todos as instâncias atribuídas a este agrupamento (algoritmo K médias) Características do algoritmo K-means Apesar da garantia de convergência do algoritmo, ele pode convergir para um mínimo local, não necessariamente o mínimo global de J. O artigo do MacQueen discute as propriedades de convergência do algoritmo. A implementação direta do algoritmo pode ser lenta, porque no passo E é necessário calcular a distância euclidiana entre cada vetor protótipo e cada instância do arquivo de treinamento, com custo O(KN). Existem alternativas para acelerar o processo, gerando árvores que agrupam pontos próximos em sub-árvores, ou usando a desigualdade triangular para evitar cálculos desnecessários de distâncias para pontos comprovadamente distantes. O uso da distância euclidiana como medida de dissimilaridade entre uma instância e o protótipo não é apropriado para variáveis categóricas, além de ser sensível a outliers. Uma generalização do K-means é o algoritmo K-medoids. O algoritmo K-medoids usa uma medida de dissimilaridade genérica entre dois vetores, (x, x ), resultando na minimização da medida de distorção:, 22

12 Algoritmo K-medoids Medoid é um conceito de protótipo similar ao de centróide, mas um medoid é sempre um membro do arquivo de dados. No passo E do algoritmo, cada instância é atribuída ao protótipo k que resulta na menor dissimilaridade (x n, k ), levando ao mesmo custo computacional O(KN). Entretanto, o passo M é potencialmente mais complexo que o do K-means, para medidas de dissimilaridade genéricas (atualização do protótipo). Ao invés de procurar uma expressão analítica para atualizar o protótipo, restringindo o protótipo a ser um dos vetores do agrupamento transforma o passo M numa busca discreta pelo vetor que produz a menor dissimilaridade (x n, k ), o que requer O(N k2 ) avaliações de (x n, k ), onde N k é o número de instâncias atribuídas ao agrupamento k. 23 Quantização vetorial (VQ) pelo K-means Os dados são vetores de 3 componentes, {R, G, B}, das intensidades no intervalo [0, 1]. As imagens foram quantizadas (VQ) substituindo o pixel original pelo seu protótipo k. A imagem é desenhada usando uma paleta com apenas K cores (code-book vectors), o que representa um processo de compressão de dados com perdas (lossy data compression). 24

13 Medidas de similaridade A pertinência de um registro num determinado agrupamento depende da medida de similaridade adotada entre os vetores. Na versão padrão deste método, a distância euclidiana é utilizada. A representação geométrica do método k-médias mostra a sua adequação natural para lidar com atributos numéricos contínuos. Entretanto, existem diversos tipos de variáveis (numéricas em escalas diferentes e não numéricas) que podem ser utilizadas como atributo, e cada variável deve ser apropriadamente ajustada para que o método funcione bem. Além disso, no método k-médias todos os atributos têm a mesma importância. Entretanto, em algumas aplicações existe o conhecimento prévio de que alguns atributos são mais importantes que outros, e gostaríamos que o critério de similaridade levasse isso em conta. A importância relativa dos atributos (bias) é fixada através de pesos. Por ser baseado em distância (euclidiana), o modelo dos agrupamentos é isotrópico gerando uma partição equivalente a um diagrama de Voronoi. 25 No caso de atributos numéricos, em geral basta adotar-se um critério de escalamento das variáveis, para que a importância relativa entre elas seja preservada. Um exemplo aqui seriam as variáveis rendimento e área de moradia. Neste caso, a similaridade entre dois registros se dá pela distância entre os dois pontos correspondentes, no espaço normalizado de características. Na versão padrão deste método, a distância euclidiana é utilizada. Quando as proporções entre os valores dos atributos é mais importante que o seu valor absoluto, então uma medida de similaridade baseada em ângulos entre vetores é mais apropriada. peixe grande peixe pequeno gato grande gato pequeno 26

14 Partição induzida método k-médias Diagrama de Voronoi: poliedros convexos em torno dos centróides. Limitações do método: Em métodos baseados em distâncias a médias, as fronteiras de decisão não levam em conta as diferentes distribuições multivariadas. Além disso, diferenças entre cardinalidades das distribuições deveriam afetar as posições das fronteiras de decisão. 27 Limitações do k-médias O método k-médias tem dificuldades quando os agrupamentos têm: Tamanhos diferentes (cardinalidade) Densidades diferentes (dispersão) Formas não esféricas K-médias tem problemas para lidar com dados estranhos (outliers) 28

15 Tamanhos diferentes Dados originais K-médias (3 Clusters) 29 Densidades diferentes Dados originais K-médias (3 grupos) 30

16 Formas não esféricas Dados originais K-médias (2 grupos) 31 Solução possível Dados originais Grupos encontrados por K-médias Uma solução é usar muitos agrupamentos Encontra partes dos grupos, mas precisa colocá-los juntos. 32

17 Exemplo de solução Dados originais Grupos encontrados por K-médias 33 Exemplo de solução Dados originais Grupos encontrados por K-médias 34