Aprendizagem de Máquina

Tamanho: px

Começar a partir da página:

Download "Aprendizagem de Máquina"

Sebastiana Dias Marreiro
6 Há anos
Visualizações:

1 Problema do Agrupamento Aprendizagem de Máquina Alessandro L. Koerich Seja x = (x 1, x 2,, x d ) um vetor d dimensional de características Seja D um conjunto de x vetores, D = { x(1), x(2),, x(n) } Problema do Agrupamento: Tendo D desejamos agrupar os N vetores em k grupos tal que o agrupamento seja ótimo. Mestrado em Informática Aplicada Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado em Informática Aplicada Aprendizagem de Máquina 2 O algoritmo k Means ou k Médias é uma técnica iterativa muito simples e poderosa para particionar um conjunto de dados em grupos separados, onde o valor de k, deve ser pré determinado. k = número de grupos. A distância Euclidiana entre os vetores de atributos x i e os representantes dos clusters Θ i é utilizada como medida de dissimilaridade. Entrada: um conjunto de exemplos D contendo N vetores de atributos d dimensionais k = número de clusters Saída: k vetores de média, isto é, os centros dos k clusters) afiliação (membership) para cada um dos N vetores de atributos de D. Mestrado em Informática Aplicada Aprendizagem de Máquina 3 Mestrado em Informática Aplicada Aprendizagem de Máquina 4

2 1. Escolha estimativas iniciais arbitrárias Θ j (0) para os Θ j s, j=1,..., m (i.e. para os centróides dos m clusters. 2. Repetir Para i = 1 a N Determine o representante mais próximo, isto é, Θ (i.e., o j centróide mais próximo) de x i. Faça b(i) = j Fim Para i = 1 a m Atualização de parâmetros: Determinar Θ j como a média dos vetores x i X com b(i) = j Fim 3. Até que não ocorra mudanças em Θ j entre duas iterações sucessivas. Mestrado em Informática Aplicada Aprendizagem de Máquina 5 Mestrado em Informática Aplicada Aprendizagem de Máquina 6 A vantagem deste algoritmo é sua simplicidade computacional. Na prática, existem diversas variações deste algoritmo que empregam operações de particionamento, união e descarte dos clusters resultantes. Mestrado em Informática Aplicada Aprendizagem de Máquina Mestrado em Informática Aplicada Aprendizagem de Máquina

3 Mestrado em Informática Aplicada Aprendizagem de Máquina Mestrado em Informática Aplicada Aprendizagem de Máquina Conjunto de exemplos D: (2-dimensional) Centros iniciais dos clusters (k=2) Initial Cluster Centers at Iteration Mestrado em Informática Aplicada Aprendizagem de Máquina Mestrado em Informática Aplicada Aprendizagem de Máquina

4 Atualizando afiliações (iteração 1) Atualizando centros (iteração 2) Updated Memberships and Boundary at Iteration 1 Updated Cluster Centers at Iteration 2 Y Variable X Variable Mestrado em Informática Aplicada Aprendizagem de Máquina Mestrado em Informática Aplicada Aprendizagem de Máquina Atualizando afiliações (iteração 2) Atualizando centros (iteração 3) Updated Memberships and Boundary at Iteration 2 Updated Cluster Centers at Iteration 3 Y Variable X Variable Mestrado em Informática Aplicada Aprendizagem de Máquina 15 Mestrado em Informática Aplicada Aprendizagem de Máquina 16

5 Atualizando afiliação Atualizando centros (iteração 4) Updated Memberships and Boundary at Iteration 3 Updated Cluster Centers at Iteration 4 Y Variable X Variable Mestrado em Informática Aplicada Aprendizagem de Máquina 1 Mestrado em Informática Aplicada Aprendizagem de Máquina 1 Comentários sobre k Means Atualizando afiliação (iteração 4) Computacionalmente simples. Updated Memberships and Boundary at Iteration 4 O Erro Quadrático Total (TSE) decresce (ou converge) a cada iteração. Y Variable X Variable Ele encontra um TSE mínimo global? Não necessariamente Os resultados são sensíveis ao ponto inicial (inicialização dos centróides) Na prática, podemos executá lo a partir de múltiplos pontos de partida e pegar a solução com menor erro (TSE). Mestrado em Informática Aplicada Aprendizagem de Máquina 1 Mestrado em Informática Aplicada Aprendizagem de Máquina 20

Exemplo k Means Exemplo k Means Exemplo: Agrupando pixels em uma imagem Como fazer? Podemos usar o algoritmo k Means para agrupar a intensidade dos pixels de uma imagem em k clusters.

Tamanho (matriz de pixels) = m x n Converter para um vetor com (m x n) linhas e 1 coluna Executar o algoritmo k Means com entrada = vetor de intensidades.

6 Exemplo k Means Exemplo k Means Exemplo: Agrupando pixels em uma imagem Como fazer? Podemos usar o algoritmo k Means para agrupar a intensidade dos pixels de uma imagem em k clusters. É uma maneira simples de segmentar uma imagem em k regiões. É um método mais automático do que um limiar escolhido manualmente. Tamanho (matriz de pixels) = m x n Converter para um vetor com (m x n) linhas e 1 coluna Executar o algoritmo k Means com entrada = vetor de intensidades. Atribuir para cada pixel a cor ou nível de cinza do cluster a que ele for atribuído. Mestrado em Informática Aplicada Aprendizagem de Máquina 21 Mestrado em Informática Aplicada Aprendizagem de Máquina 22 Exemplo: Imagem Original Exemplo: k Means (k=2) Mestrado em Informática Aplicada Aprendizagem de Máquina 23 Mestrado em Informática Aplicada Aprendizagem de Máquina 24

Exemplo: Imagem Original Exemplo: k Means (k=2) 20 40 60 0 0 0 20 40 60 0 0 0 Mestrado em

7 Exemplo: k Means (k=3) Exemplo: k Means (k=5) Mestrado em Informática Aplicada Aprendizagem de Máquina 25 Mestrado em Informática Aplicada Aprendizagem de Máquina 26 Exemplo: Imagem Original Exemplo: k Means (k=2) Mestrado em Informática Aplicada Aprendizagem de Máquina 2 Mestrado em Informática Aplicada Aprendizagem de Máquina 2

Exemplo: k Means (k=3) Exemplo: k Means (k=) colormap( hsv ) Mestrado em

Aplicada Aprendizagem de Máquina 30 Agrupando Imagens Agrupando Imagens

= 2 Cada vetor = uma imagem inteira (dimensão m x n) N imagens de tamanho m x

k Means agrupará as imagens em k grupos Cluster 1 Cluster 2 Mestrado em

8 Exemplo: k Means (k=3) Exemplo: k Means (k=) colormap( hsv ) Mestrado em Informática Aplicada Aprendizagem de Máquina 2 Mestrado em Informática Aplicada Aprendizagem de Máquina 30 Agrupando Imagens Agrupando Imagens Exemplo: Podemos também agrupar conjuntos de imagens 5 primeiros indivíduos, k = 2 Cada vetor = uma imagem inteira (dimensão m x n) N imagens de tamanho m x n Execute k Means k Means está agora agrupando em um espaço de dimensão m x n k Means agrupará as imagens em k grupos Cluster 1 Cluster 2 Mestrado em Informática Aplicada Aprendizagem de Máquina 31 Mestrado em Informática Aplicada Aprendizagem de Máquina 32

Agrupando Imagens Agrupando Imagens 5 segundos

k = 5 Cluster 1 Cluster 2 Mestrado em Informática

Informática Aplicada Aprendizagem de Máquina 34

atributos similares, isto é, coloca em um mesmo

Por ser um bastante simples e funcionar bem na

9 Agrupando Imagens Agrupando Imagens 5 segundos indivíduos, k = 2 Todos indivíduos faces alegres, k = 5 Cluster 1 Cluster 2 Mestrado em Informática Aplicada Aprendizagem de Máquina 33 Mestrado em Informática Aplicada Aprendizagem de Máquina 34 Resumo k Means é um algoritmo de aprendizagem não supervisionada. Ele não classifica, mas agrupa vetores de atributos similares, isto é, coloca em um mesmo agrupamento vetores similares. Por ser um bastante simples e funcionar bem na prática, ele é um principais e mais usados métodos de agrupamento. Mestrado em Informática Aplicada Aprendizagem de Máquina 35

Documentos relacionados

Aprendizagem de Máquina

Aprendizagem de Máquina Alessandro L. Koerich Algoritmo k Means Mestrado/Doutorado em Informática (PPGIa) Pontifícia Universidade Católica do Paraná (PUCPR) 2 Problema do Agrupamento Seja x = (x 1, x 2,,