HP UFCG Analytics Abril-Maio Um curso sobre Reconhecimento de Padrões e Redes Neurais. Por Herman Martins Gomes.

Transcrição

1 HP UFCG Analytics Abril-Maio 2012 Um curso sobre Reconhecimento de Padrões e Redes Neurais Por Herman Martins Gomes hmg@dsc.ufcg.edu.br

2 Programa Visão Geral (2H) Reconhecimento Estatístico de Padrões (3H) Redes Neurais (15H) Introdução ao Reconhecimento de Padrões com foco em Redes Neurais

3 Programa Reconhecimento Estatístico de Padrões (3H) Extração e Seleção de Características

4 Extração e Seleção de Características Reduzir o número de variáveis de um problema pode levar a melhorias no desempenho de classificação e maior entendimento dos dados Seleção: um subconjunto das variáveis originais é selecionado para o projeto do classificador Extração: aplicação de uma transformação linear ou não linear sobre as variáveis originais a fim de produzir um conjunto reduzido

5 Extração e Seleção de Características Alguns propósitos da redução de variáveis Facilitar análise dos dados e descobrir relações escondidas Produzir uma representação mais estável ou discriminativa que melhora o desempenho de classificação Remover informação redundante ou irrelevante Permitir visualização gráfica do conjunto de dados Apesar disso, seleção de características não é uma etapa obrigatória para alguns algoritmos de classificação modernos SVM, Combinações de múltiplos classificadores

6 Extração e Seleção de Características A redução da dimensionalidade pode ser conseguida de várias formas Identificando quais variáveis não contribuem para a classificação Encontrando uma transformação das medições para um espaço de características de menor dimensão

7 Extração e Seleção de Características Seleção Vs. extração de características

8 Extração e Seleção de Características Seleção e extração de características podem ser tratados como métodos de transformação Pesos são aplicados às variáveis originais a fim de se obter as varíaveis transformadas Processo de aprendizagem faz o ajuste desses pesos Seleção: pesos binários Extração: pesos contínuos

9 Extração e Seleção de Características Aprendizagem requer a otimização de uma função critério J, normalmente baseada em uma medida de distância ou dissimilaridade entre distribuições (e entre padrões) Seleção: otimização sobre todos os possíveis subconjuntos X d de tamanho d das p possíveis características X ~ 1,, X p, busca-se o subconjunto X d para o qual Abordagens sub-ótimas que adicionam características a um conjunto existente são normalmente adotadas

10 Extração e Seleção de Características Extração: otimização executada sobre todas as possíveis transformações das variáveis A classe da transformação é normalmente especificada (por exemplo, uma transformação linear do conjunto de variáveis) e busca-se a transformação à para a qual :

11 Extração e Seleção de Características Seja X uma característica, X o conjunto de todas as características e S = X {X} Características irrelevantes não contribuem para a regra de classificação Forte relevância: X é fortemente relevante s.s.s. Fraca relevância: X é fracamente relevante s.s.s. e Irrelevância: X é irrelevante s.s.s

12 Extração e Seleção de Características Características redundantes: são fortemente correlacionadas Cobertura de Markov M x para o nó X = {d,e,f,g,h,i} Assumindo um conjunto de características G X Uma característica em G é redundante s.s.s é fracamente relevante e tem uma cobertura de Markov em G Rede Bayesiana

13 Extração e Seleção de Características Caracterização das abordagens para seleção de características Métodos de filtragem: antes da classificação, propriedades estatísticas das variáveis são empregadas para remover variáveis que contém pouca informação Dependem de medidas das características gerias dos dados de treinamento, como distância e dependência Métodos wrapper: computacionalmente mais caros que os anteriores, nestes métodos subconjuntos de treinamento são avaliados dentro de um algoritmo de classificação, tendo a acurácia de classificação como medida da qualidade do conjunto de características dependente do classificador Métodos embarcados (embedded): a busca por um conjunto ideal de características é incorporada ao projeto do classificador pode ser vista como um problema de busca no espaço combinado de subconjuntos de características e modelos de classificação

14 Análise de Componentes Principais Abordagem muito utilizada para extração de características Conjunto de Treinamento X Normalização X = X - X Decomposição XX=LUV Projeção de Padrão de Teste Y P = Y V* Seleção de Autovetores V*=[v i s com maiores u i s ]

15 Próxima etapa Redes Neurais (15H) Processo de Aprendizagem Análise de Componentes Principais Perceptrons de Simples e Múltiplas Camadas Mapas Auto Organizáveis Redes Neurais Recorrentes Previsão e Análise de Séries Temporais

16 Definição de uma Rede Neural Uma rede neural é um processador maciçamente paralelo e distribuído constituído por unidades de processamento simples, o qual tem a propensão natural de armazenar conhecimento experimental e torná-lo disponível para uso. [Haykin99]

17 Algumas Semelhanças entre uma Rede Neural e o Cérebro O conhecimento é adquirido do ambiente pela rede neural através de um processo de aprendizagem Os pesos das conexões entre neurônios são utilizados para armazenar o conhecimento adquirido

18 Características de Redes Neurais Generalização Não-linearidade (ao se utilizar neurônios não lineares) Aprendizagem a partir de exemplos (a partir de tabelas de entrada-saída Adaptatividade a mudanças no ambiente Respostas fornecidas com um nível de confiança Tolerância a falhas Facilidade de implementação em Hardware (VLSI) Analogia neurobiológica

19 O Cérebro Humano Estímulos Sensores Rede Neural Atuadores Respostas Sistema Nervoso Central Circuitos Inter-regiões Nível de Abstração Circuitos locais Neurônios Árvores dendrídicas Microcircuitos neurais Sinapses Moléculas

20 Modelo Computacional de um Neurônio Um conjunto de sinapses, ou pesos de conexão Um somador dos sinais de entrada ponderados pelos pesos de conexão Uma função de ativação para limitar a amplitude de saída do neurônio

21 Modelo Estocástico f ( x) = com probabilidade P( v) com probabilidade1 P( v) P( v) = 1+ 1 exp( v / T )

22 Arquiteturas Neurais Redes de única camada sem retro-alimentação

23 Arquiteturas Neurais Redes de múltiplas camadas sem retro-alimentação

24 Arquiteturas Neurais Redes recorrentes

25 Representação do Conhecimento O conhecimento normalmente consiste de 2 tipos de informação: O estado conhecido do ambiente, representado por fatos (informação a priori). Observações (medições) sobre o ambiente obtidas em termos de sensores. O conhecimento pode ser rotulado ou não-rotulado Exemplos (observações) utilizados para treinar uma rede neural podem ser positivos ou negativos.

26 Representação do Conhecimento Existe um conjunto de quatro regras intuitivas que explicam de uma forma geral a representação do conhecimento numa rede neural [Anderson88]

27 Representação do Conhecimento Regra 1: Entradas similares de classes similares devem normalmente produzir representações similares dentro da rede neural, e devem portanto ser classificadas como sendo da mesma classe.

28 Representação do Conhecimento Regra 2: Objetos que serão classificados em classes diferentes devem receber representações amplamente diferentes dentro da rede neural.

29 Representação do Conhecimento Regra 3. Se uma característica em particular é importante, então deve existir um grande número de neurônios envolvidos na representação daquela característica na rede neural.

30 Representação do Conhecimento Regra 4: A informação a priori e invariâncias devem ser incorporadas ao projeto de uma rede neural, portanto simplificando o problema de aprendizagem.

31 Representação do Conhecimento Como incorporar informação a priori no projeto de uma rede neural? Restringindo a arquitetura através do uso de campos receptivos Restringindo a escolha de pesos sinápticos através do uso de compartilhamento de pesos

32 Representação do Conhecimento Como Incorporar Invariâncias no Projeto de uma Rede Neural? Invariância por estrutura Invariância por treinamento Espaços de características invariantes

33 Representação do Conhecimento Campos receptivos e compartilhamento de pesos x1 x2 x3 x4 1 2 x5 x6

34 Representação do Conhecimento Invariância por estrutura Conexões sinápticas entre os neurônios são definidas de tal forma que versões transformadas de uma mesma entrada são forçadas a produzir uma mesma saída Por exemplo: suponha que forcemos wji=wjk para todos os pixels que estão a uma mesma distância do centro de uma imagem. Então a rede neural construída desta forma será invariante a rotações em torno do centro da imagem.

35 Representação do Conhecimento Invariância por treinamento Subconjunto das possíveis transformações que um vetor de entrada pode sofrer são apresentados durante o treinamento Exemplo1: para reconhecer objetos visuais independente do ângulo de visão, pode-se treinar a rede com diferentes visões planas do objeto (reconhecimento 3D a partir de imagens 2D). Exemplo2: para determinar que uma certa caligrafia pertence a um indivíduo, pode-se treinar uma rede neural com diferentes amostras de caracteres de um mesmo autor. Muito útil quando é difícil se derivar um modelo para os dados. Desvantagens: overhead computacional, variações de treinamento precisam ser fornecidas para cada nova classe.

36 Representação do Conhecimento Espaços de Características Invariantes Entrada Extrator de Características Invariantes Classificador Neural Estimativa de classe Vantagens: redução da dimensão do espaço de entrada, arquitetura da rede pode ser mais simples, invariância normalmente vale para todas as classes de objetos. Possível desvantagem: quando o processo de extração de características é muito complicado ou demanda muito tempo.

37 ? Dúvidas