Redes Neurais não Supervisionadas: SOM

Save this PDF as:

WORD PNG TXT JPG

Tamanho: px

Começar a partir da página:

Download "Redes Neurais não Supervisionadas: SOM"

João Gabriel Madureira Andrade
6 Há meses
Visualizações:

Transcrição

1 Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais não Supervisionadas: SOM DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1

2 Tópicos Aprendizado não supervisionado O problema de Clustering Técnicas: K-Means Redes de Kohonen Redes de Kohonen Treinamento Competitivo 2

Aprendizado não Supervisionado Muitas vezes não é praticável a utilização de técnicas de aprendizado supervisionado devido à limitação na coleta de exemplos rotulados.

3 Aprendizado não Supervisionado Muitas vezes não é praticável a utilização de técnicas de aprendizado supervisionado devido à limitação na coleta de exemplos rotulados. Muitos dos conhecimentos adquiridos pelo seu humano é de forma não supervisionada. Ex.: Bebê chorando para chamar atenção dos pais. O choro é a primeira forma de comunicação dos pais com o bebê e acaba se tornando no sinal prioritário para chamar a atenção. 3

4 Aprendizado não Supervisionado Desvantagens do Aprendizado Supervisionado: Coletar e rotular um grande conjunto de exemplos pode custar muito tempo e esforço. Solução: Utilizar técnicas de aprendizado não supervisionado para coletar uma grande quantidade de exemplos, encontrar padrões existentes nesse conjunto e, por fim, rotular os padrões encontrados. 4

5 Aprendizado não Supervisionado O principal objetivo das técnicas de aprendizado não supervisionado é descobrir a organização dos exemplos em agrupamentos (clusters). Os clusters são formados através de critérios de similaridade e dissimilaridade entre os exemplos. 5

6 Clustering (Agrupamento) Clusterização é um mecanismo utilizado para dividir informações em grupos ou clusters que possuam características similares. Problema das técnicas de clustering: Encontrar as medidas corretas de similaridade. Todos os objetos contidos dentro de um clusters devem ser similaridades. Objetivo: Maximizar a similaridade entre objetos de mesmo clusters. Encontrar as medidas corretas de dissimilaridade. A similaridade entre os clusters deve ser mínima. Objetivo: Minimizar a similaridade entre objetos de diferentes clusters. 6

7 Clustering (Agrupamento) Técnicas de Clustering: Algoritmos Hierárquicos. Aglomeração de agrupamentos. Divisões de agrupamentos. Algoritmos não hierárquicos: K-Means Redes Neurais: Mapas Auto organizáveis de Kohonen (SOM) 7

8 Algoritmo K-Means O método mais comumente utilizado nos problemas de clustering. Objetivo: Dividir n objetos em k grupos. Vantagem: Simples implementação. Desvantagem: Necessidade do conhecimento da quantidade de clusters a priori. Necessidade de uma boa inicialização de parâmetros. 8

9 Algoritmo K-Means: Funcionamento 1. Para cada clusters, escolher k centroides de forma aleatória. 2. Associar cada objeto ao seu clusters, de acordo com a proximidade ao centroide. 3. Recalcular os centroides com base nos objetos selecionados por grupo. 9

10 Algoritmo K-Means: Exemplo Exemplo: Conjunto de dados. Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 10

11 Algoritmo K-Means: Exemplo Exemplo: Seleção dos centroides de cada clusters (3) [passo 1]. Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 11

12 Algoritmo K-Means: Exemplo Exemplo: Associação dos objetos: 1ª iteração do algoritmo [passo 2]. Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 12

13 Algoritmo K-Means: Exemplo 2ª iteração [passo 2] 3ª iteração [passo 2] 4ª iteração [passo 2] 5ª iteração [passo 2] Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 13

14 Algoritmo K-Means: Exemplo Exemplo: Após a 10ª iteração do algoritmo [passo 2]. Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 14

15 Algoritmo K-Means: Exemplo Exemplo: Recalculando os centroides [passo 3]. Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 15

16 Algoritmo K-Means: Exemplo Passo 2 novamente: 1ª iteração 2ª iteração [passo 2] 3ª iteração [passo 2]... Slide retirado do material do prof. Edirlei S. Lima [Ref. 01] 16

17 Algoritmo K-Means: Exemplo Desvantagem: Necessidade do conhecimento da quantidade de clusters a priori. Necessidade de uma boa inicialização dos centroides. 17

18 Algoritmo K-Means: Exemplo Desvantagem: Necessidade do conhecimento da quantidade de clusters a priori. Necessidade de uma boa inicialização dos centroides. Solução: Utilizar técnicas que reconhecem os clusters sem necessitar a priori da quantidade de clusters. Redes Neurais: Mapas Auto organizáveis de Kohonen / Kohonen self-organising map (SOM). 18

19 Redes de Kohonen / Mapas de Kohonen / SOM 19

Redes de Kohonen As redes de Kohonen, também conhecido como mapas auto organizáveis de Kohonen (SOM), foram propostas pelo pesquisador Teuvo Kohonen em 1984.

20 Redes de Kohonen As redes de Kohonen, também conhecido como mapas auto organizáveis de Kohonen (SOM), foram propostas pelo pesquisador Teuvo Kohonen em As redes de Kohonen fazem parte do grupos de redes neurais competitivas, as quais utilizam o princípio de competição entre os neurônios. O prêmio para o neurônio vencedor é o ajuste dos pesos. 20

21 Redes de Kohonen Arquitetura da rede: Uma camada de entrada. Um mapa de neurônios (camada de saída). Unidimensional Bidimensional Tridimensional... 21

22 Redes de Kohonen O mapa de neurônios divide os grupos de neurônios de acordo com suas especialidades/características. 22

23 Redes de Kohonen Inspiração neurofisiológica: O disparo de um neurônio causa a excitação de outros neurônios próximos dele. Divisão por especialidade conforme o córtex cerebral, onde a ativação de uma região específica corresponde à resposta frente a determinado estímulo. 23

24 Redes de Kohonen: Treinamento Treinamento da rede: 1. Competição Encontrar o neurônio vencedor para o padrão apresentado. 2. Adaptação Ajustar os pesos do neurônio vencedor. 3. Cooperação Ajustar os pesos dos neurônios vizinhos ao vencedor. 24

25 Redes de Kohonen: Treinamento 1. Competição: Encontrar o neurônio vencedor para o padrão apresentado. Dado um conjunto de padrões de entrada: x = x 1, x 2, x 3,, x n Dado um conjunto de pesos aleatórios pequenos para cada neurônio j: w j = w j1, w j2, w j3,, w jn Calcula-se o critério de proximidade do vetor de entrada e do vetor de pesos de cada neurônio. Ex.: Distância Euclidiana. O neurônio vencedor é aquele que está mais próximo do vetor de entrada (menor distância). Selecionado pelo melhor casamento entre entrada e os pesos sinápticos. 25

26 Redes de Kohonen: Treinamento 2. Adaptação: Ajustar os pesos do neurônio vencedor. Atualização dos pesos do neurônio vencedor utilizando a regra de Hebb: w k = w k + η [x w k ] Obs.: A taxa de aprendizagem, η, pode variar no tempo para obter ajustes iniciais grandes e menores ajustes com o passar do tempo. η t = η 0 e t ζ 26

27 Redes de Kohonen: Treinamento 3. Cooperação: Ajustar os pesos dos neurônios vizinhos ao vencedor. Determinação de uma vizinhança topológica: Definição de um valor de raio da vizinhança. Definição de uma função gaussiana. 27

Redes de Kohonen: Treinamento 3. Cooperação: Ajustar os pesos dos neurônios vizinhos ao vencedor. Determinação de uma vizinhança topológica: Definição de uma função gaussiana.

28 Redes de Kohonen: Treinamento 3. Cooperação: Ajustar os pesos dos neurônios vizinhos ao vencedor. Determinação de uma vizinhança topológica: Definição de uma função gaussiana. Função gaussiana: Vizinhança topológica centrada no vencedor. h j,x t = e 2 d j,v 2σ 2 t A função de vizinhança é simétrica na distancia do vencedor ao vetor de entrada (d 2 j,v ) e sua amplitude decresce conforme cresce a distância laterais (σ 2 t = σ e t ζ). 28

29 Redes de Kohonen: Treinamento 3. Cooperação: Ajustar os pesos dos neurônios vizinhos ao vencedor. Ajuste dos pesos das vizinhos: Utilizando a regra de Hebb e a função de vizinhança topológica: w k = w k + η h j,x k x w k Os passos de competição, adaptação e cooperação devem ser seguidos até que a mudança no mapa seja consideravelmente pequena. 29

30 Redes de Kohonen Aspectos que devem ser levados em conta na configuração de uma rede de kohonen: Definição da organização espacial dos neurônios. Delimitação dos conjuntos de vizinhança de cada neurônio. Especificação do critério de ajuste do vetor de pesos do neurônio vencedor e de seus vizinhos. 30

31 Exemplo 01: Classificar Veículos Desenvolvimento de uma rede de Kohonen para classificar veículos. Aspectos: Raio da Vizinhança = 0; Taxa de aprendizagem: η= 0.8 (fixo). Mapa de neurônios 2x2. Exemplos: Rodas Motor Bicicleta 2 0 Carro

32 Exemplo 02: Classificação de Cores Exemplo: Arquitetura da rede 32

33 Exemplo 02: Classificação de Cores Exemplo: Pesos iniciais aleatórios. Cada neurônio tem seu vetor de pesos. 33

34 Exemplo 02: Classificação de Cores Exemplo: Treinamento: Encontrar o vencedor. 34

35 Exemplo 02: Classificação de Cores Exemplo: Treinamento: Ajuste da vizinhança. 35

36 Exemplo 02: Classificação de Cores Exemplo: Treinamento: Encontrar o vencedor. 36

37 Exemplo 02: Classificação de Cores Exemplo: Treinamento: Ajuste da vizinhança. 37

38 Exemplo 02: Classificação de Cores Exemplo: Mapa de neurônios após apresentação de 4 cores. 38

Referências 1. Lima, Edirlei S. INF 1771 - Inteligência Artificial. Notas de Aula. Disponível em: http://edirlei.

39 Referências 1. Lima, Edirlei S. INF Inteligência Artificial. Notas de Aula. Disponível em: 2. Haykin, Simon S. Redes Neurais Artificiais: Princípio e Prática. 2ª ed.são Paulo: Bookman,

Referências 3. Lima, Isaías; Pinheiro, Carlos; Santos Oliveira, Flávio. Inteligência artificial. 1 ed. Rio de Janeiro: Elsevier, 2014. 4. YOUTUBE.

40 Referências 3. Lima, Isaías; Pinheiro, Carlos; Santos Oliveira, Flávio. Inteligência artificial. 1 ed. Rio de Janeiro: Elsevier, YOUTUBE. Mapa auto-organizável de Kohonen para contagem de objetos em uma imagem. Disponível em: <https://www.youtube.com/watch?v=m-vpokhj7sa>. Acesso em: 27 de outubro de

41 Dúvidas? Dúvidas por 41

Documentos relacionados

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro O volume de dados está crescendo sem parar Gigabytes, Petabytes, etc. Dificuldade na descoberta do conhecimento Dados disponíveis x Análise dos Dados Dados disponíveis Analisar e compreender os dados 2