Reconhecimento de Padrões/Objetos

Transcrição

1 Reconhecimento de Padrões/Objetos André Tavares da Silva Capítulo 2 de Gonzales

2 Classificação Linear

3 Introdução Para utilizar uma função discriminante linear (Linear Discriminant Function) precisamos ter: Dados rotulados Conhecer a forma da fronteira Estimar os parâmetros desta fronteira a partir dos dados de treinamento. Nesse caso uma reta.

4 Introdução Ruim Boa Suponha duas classes Assuma que elas são linearmente separáveis por uma fronteira l(θ) Otimizar o parâmetro θ para encontrar a melhor fronteira. Como encontrar o parâmetro Minimizar o erro no treinamento O ideal é utilizar uma base de validação.

5 Funções Discriminante Lineares Em geral, uma função discriminante linear pode ser escrita na forma g ( x ) wt x w wt é a componente angular e w o linear wt também pode ser um vetor (características, por exemplo)

6 Funções Discriminante Lineares Para duas dimensões, w determina a orientação do hiperplano enquanto w representa o deslocamento com relação a origem

7 Perceptron Um classificador linear bastante simples, mas bastante importante no desenvolvimento das redes neurais é o Perceptron. O perceptron é considerado como sendo a primeira e mais primitiva estrutura de rede neural artificial. Concebido por McCulloch and Pits na década de 5. Ele tenta encontrar a melhor fronteira que separa os dados, ou seja, é uma Função Discriminante Linear.

8 Perceptron Uma função de ativação utilizada no perceptron é a hardlim (threshold) A função de ativação é responsável por determinar a forma e a intensidade de alteração dos valores transmitido de um neurônio a outro.

9 Perceptron Resolve problemas linearmente separáveis somente. Problemas reais, entretanto, na maioria das vezes são mais complexos.

10

11 Exemplo Considere por exemplo, o problema XOR w x w2 x2 Em altas dimensões os problemas podem ser linearmente separáveis. Sendo assim, vamos mudar o problema de R2 para R3 adicionando uma terceira característica. Como?

12 Exemplo Considere por exemplo, o problema XOR w x w2 x Λ x2 x2 Como: adicionando a característica X3, resultado da operação AND entre X e X2. O fato de adicionarmos essa característica faz com que o problema torne-se linearmente separável. Outra forma: múltiplas camadas.

13 3 Perceptron

14 4 Função de ativação Função sinal: se a soma das entradas multiplicadas pelos pesos for maior que um limiar, o neurônio dispara Função linear (identidade): não usa função de ativação (a saída é a soma das entradas multiplicadas pelos pesos) Sigmoid: no meio é mais ou menos linear, mas nos extremos ela satura: Máximo:, mínimo: A sigmoid tem a vantagem de ser integrável

15 5 Perceptron - aprendizado Inicialmente os pesos são inicializados aleatoriamente dentro de um intervalo especificado (geralmente entre - e ) Assim, a primeira vez que o Perceptron for ativado, o valor na saída provavelmente não corresponderá ao valor desejado A diferença entre o valor desejado e o obtido na saída é usada para ajustar os pesos sinápticos A rede aprende a responder corretamente

16 6 Perceptron exemplo Digamos que um perceptron seja usado para aprender a função AND. Os dados de treinamento seriam: O perceptron em questão teria duas entradas e uma saída

17 7 Perceptron - exemplo Digamos que os pesos tenham sido inicializados aleatoriamente e os seguintes valores foram obtidos: w =. w2 =.64 w =.9 As saídas correspondentes então seriam: x x2 obtida alvo erro Os erros são então usados para ajustar os pesos através da regra delta

18 8 Interpretação geométrica Um neurônio pode ser considerado como uma reta que divide os padrões em classes A equação desta reta é definida pelos pesos Para os pesos iniciais definidos anteriormente: w =. w2 =.64 w =.9 A equação da reta seria:. * x +.64 * x2 +.9 = Esta equação pode ser plotada no plano 2D, onde x é o eixo das ordenadas e x2 o das abscissas

19 9 Reta dividindo as classes - início

20 2 Reta dividindo as classes - final

21 MLP (Multi Layer Perceptron)

22 Rede neural multi-camada Outra maneira de resolver o problema do XOR, consiste em adicionar uma camada extra (escondida) entre as camadas de entrada e saída. Dado uma quantidade suficiente de neurônios na camada escondida, é possível resolver qualquer tipo de problemas Claro que isso depende das características de entrada.

23 Camada Escondida A camada escondida (ou oculta) pode ser vista como um extrator de características, ou seja, a grosso modo, o neurônio escondido seria uma característica a mais O que torna o problema do XOR linearmente separável.

24 2 4 Rede para resolver o XOR

25 2 5 Solução para o problema do XOR

26 Rede MLP Redes Multi Layer Perceptron (MLP) Formadas por diversos neurônios dispostos em camadas Cada neurônio da rede é um Perceptron Três ou mais camadas: Camada de entrada Camada(s) oculta(s) Camada de saída As entradas e saídas são numéricas Se forem discretas (classes), usa-se s e s

27 2 7 Rede MLP

28 Rede MLP

29 2 9 Codificação das entradas e saídas Uma rede neural só aceita valores numéricos, assim as entradas precisam ser codificadas Se um parâmetro é contínuo (temperatura em graus), então ele pode ser usado diretamente Se um parâmetro é discreto, então se utiliza uma codificação com valores binários Atributos com dois valores: uma entrada pode ser ou Exemplos: Frio = ; Quente = ; Não = ; Sim = ;

30 3 Codificação das entradas e saídas Atributos com mais de dois valores: número de entradas igual ao número de valores: = Frio = Morno = Quente O mesmo vale para as saídas Uma rede que responde sim ou não tem apenas uma saída com função de ativação Sigmoid Uma rede que responde quente, morno ou frio possui três saídas com função Sigmoid

31 Codificação das entradas e saídas

32 3 2 Decorar x generalizar Uma rede com muitos parâmetros livres (muitos pesos) tende a decorar os exemplos se tiver poucos dados de treinamento; Mas o que se deseja geralmente é generalizar, ou seja, aprender a ideia geral da função; Se treinar uma rede neural além do ponto, ela pode se super especializar nos dados de treinamento e perder a capacidade de generalização;

33 3 3 Decorar x generalizar Para evitar esse problema, são utilizadas duas bases de dados: uma de treino e uma de testes; A medida que o aprendizado prossegue, o erro nas duas vai caindo; Mas chega um ponto em que o erro para a base de testes (Z3) começará a subir; Neste ponto devemos parar o treinamento para evitar o overfiting, aumentando a generalização.

34 MLP para o problema XOR z -3,29 b -4.95,9 7, -2,76 x b -4,95 h 7, y x y x y

35 MLP para o problema XOR Para calcular a saída da rede, primeiramente devemos encontrar o valor do neurônio escondido (h). * 7. + * * 7. = 4.34 Passando o valor 4.34 na função de ativação, temos.987. O valor de saída é então calculado * * *.9 + * = 2.52 Passando 2.52 na função de ativação temos a saída igual a.9

36 MLP para o problema XOR,9 z -3,29 b -4.95,9 7, -2,76 x b -4,95 h 7, y

37 MLP para o problema XOR Após classificarmos todos os padrões de entrada teríamos x y z Podemos usar como regra de decisão um limiar igual a.9, por exemplo.

38 Retropropagação (BackPropagation) Dada uma rede neural do tipo perceptron multicamadas, com uma inicialização aleatória de pesos baixos para as conexões entre neurônios, o treinamento por retropropagação visa atualizar estes pesos de forma a minimizar o erro quadrático E obtido na classificação das amostras rotuladas de Z. N c E j = [ g ( x j ) I (w i, l( z j ))] 2 j = i= Onde xj é um vetor de características e I(wi, l(zj)) é se o rótulo de wi = l(zj) e (zero) caso contrário.

39 Retropropagação (BackPropagation) Sabe-se que o método descendente de gradiente atualiza um parâmetro θ, que influencia em uma função de erro J(θ), por θ θ + η J/ θ, onde η > é a taxa de aprendizagem. Portanto, o peso wj de qualquer conexão de entrada de qualquer neurônio da rede deve ser atualizado por onde oj é o valor de ativação wj wj + ηδoj e do neurônio j e δ é o erro w w + ηδo.

40 Retropropagação (BackPropagation) A questão é como calcular δ e os novos oj? Os valores oj de entrada de todas as conexões de todos os neurônios são calculados por propagação de uma amostra rotulada x ℜn de objeto em Z. Os erros δ de cada neurônio são encontrados por retropropagação (da camada de saída para a de entrada).

41 Propagação Seja oj o valor de ativação para o neurônio j. Seja f uma função de ativação. Seja wij o peso entre os neurônios i e j. Seja netj a entrada para o neurônio j, a qual é n calculada por net j wij oi i onde n é o número de unidades ligadas ao neurônio j e o j f (net j )

42 Algoritmo Backpropagation O treinamento acontece da seguinte maneira:. Inicializar os valores dos pesos e neurônios aleatoriamente. 2. Apresentar um padrão a camada de entrada da rede 3. Encontrar os valores para as camadas escondidas e a camada de saída. 4. Encontrar o erro da camada de saída. 5. Ajustar os pesos através da retropropagação dos erros (Backpropagation). Diminuir o erro a cada iteração 6. Encontrar o erro na camada escondida 7. Ajustar os pesos e retorna ao passo 2. Critério de parada é o erro desejado

43 BackProp O valor corrente de ativação de um neurônio k é ok e o target é tk Após realizar os passos, 2, e 3, o próximo passo consiste em calcular o erro, o qual pode ser realizado através da seguinte equação k (t k ok )ok ( ok )

44 BackProp: Exemplo Considere uma rede inicializada da seguinte forma,5 b z,5 h x b y

45 BackProp: Exemplo Cálculo do erro: z (.5).5 (.5).25 Em wij wij + ηδoij para atualizar os pesos w entre o neurônio i e j, usando uma taxa de aprendizagem (learning rate) η =, no exemplo anterior, temos:

46 BackProp: Exemplo Lembrando: wjj wjj + ηδoij w xz = =. 25 w yz =+..25 = w hz = =. 625 w bz = =. 25,5 b x z h,5 y b A fórmula para calcular o erro dos neurônios da camada escondida é i oi ( oi ) k wik k Como temos somente um neurônio no nosso exemplo h oh ( oh ) z whz

47 BackProp: Exemplo Nesse caso teríamos h.5(.5) Para atualizar os pesos, usamos a mesma fórmula w xh = =. 953 w yh = = w bh = =. 953 Com os novos pesos calculados, a saída da rede seria.573

48 BackProp: Exemplo Após aplicarmos todos os padrões, teríamos o seguinte Usando uma taxa de aprendizagem =., o algoritmo levará 2. iterações para convergir. Uma solução para melhorar isso seria aumentar a taxa de aprendizagem. Se usarmos 2, o algoritmo converge em 48 iterações.

49 Aspectos Práticos Alguns aspectos práticos devem ser considerados na utilização de redes neuronais MLP. Taxa de aprendizagem Momentum Online vs batch Shuffle Normalização Inicialização dos pesos Generalização Tamanho da rede

50 Taxa de Aprendizagem Taxas muito pequenas tornam o processo bastante lento. Taxas muito grandes tornam o processo mais rápido mas podem não trazer bons resultados. Superfície do erro Erro mínimo Taxa pequena Taxa grande

51 Taxa de Aprendizagem O ideal é começar com uma taxa grande e reduzir durante as iterações. Permite a exploração global no início (exploration) a local (exploitation) quando o algoritmo estiver próximo do ótimo global. Geralmente valores entre.5 e.75 fornecem bons resultados.

52 5 2 O problema dos mínimos locais

53 Momentum É uma estratégia usada para evitar mínimos locais. Considere a seguinte superfície Existem três mínimos locais antes do mínimo global.

54 Momentum Considere, por exemplo, que uma bola seja solta no início da superfície. Se ela tiver momentum suficiente, ela vai conseguir passar os três mínimos locais e alcançar o mínimo global. wij ` wij j ok Normalmente <= α <=.9

55 On-line vs Batch A diferença está no momento em que os pesos são atualizados. Na versão on-line, os pesos são atualizados a cada padrão apresentado a rede. Na versão batch, todos os pesos são somados durante uma iteração (todos os padrões) e só então os pesos são atualizados. Versão batch Interessante para aplicações que possam ser paralelizadas. Versão on-line Geralmente converge mais rapidamente.

56 Embaralhar exemplos (Shuffle) Redes neurais aprendem melhor quando diferentes exemplos de diferentes classes são apresentados a rede. Uma prática muito comum consiste em apresentar um exemplo de cada classe a rede Isso garante que os pesos serão atualizados levando-se em consideração todas as classes.

57 Embaralhar exemplos (Shuffle) Se apresentarmos à rede todos os exemplos de uma classe, e assim por diante, os pesos finais tenderão para a última classe; Ou seja, a rede vai esquecendo o que ela aprendeu antes (classes anteriores).

58 Normalização A normalização é interessante quando existem características em diversas unidades dentro do vetor de características. Nesses casos, valores muito altos podem saturar a função de ativação. Uma maneira bastante simples de normalizar os dados consiste em somar todas as características e dividir pela soma Outra normalização bastante usada é a normalização Z-score.

59 Normalização Para redes neurais MLP, geralmente é interessante ter as características com média próxima de zero X Z Melhora o tempo de convergência durante a aprendizagem.

60 Normalização As características devem ser não correlacionadas se possível Quando temos poucas características podemos verificar isso facilmente. Com várias características, o problema se torna muito mais complexo. Métodos de seleção de características.

61 Inicialização dos Pesos Assumindo que os dados foram normalizados e uma sigmoid está sendo usada como função de ativação. Os pesos devem ser inicializados aleatoriamente mas de modo que fiquem na região linear da sigmoid Pesos muito altos ou muito baixo a sigmoid deve saturar - Gradientes pequenos - Aprendizagem muito lenta.

62 Generalização Um aspecto bastante importante quando treinamos um classificador é garantir que o mesmo tenha um bom poder de generalização. Evitar overfitting. A maneira clássica de se garantir uma boa generalização consiste em reservar uma parte da base de treinamento para validar a generalização (Z = treinamento e Z2 = validação).

63 Generalização A cada iteração, devemos monitorar o desempenho na base de validação. Não é raro observar o seguinte desempenho

64 Generalização

65 Generalização

66 Generalização Uma outra estratégia é a validação cruzada. Interessante quando a base não é muito grande Separar alguns exemplos para validação pode prejudicar o treinamento. Divide-se a base de treinamento (Z U Z2) em n partições iguais e usar n- partições para aprendizagem e uma partição para validação.

67 Generalização A cada iteração de aprendizado a partição usada para validação é trocada. ª. iteração 2ª. iteração 3ª. iteração

68 Regiões de classificação Exemplos de regiões de classificação para algumas configurações com, 2 e 3 camadas escondidas.

69 Tamanho da rede Geralmente uma camada escondida é suficiente. Em poucos casos é preciso adicionar mais camadas escondidas. Não existe uma fórmula matemática para se encontrar o número de neurônios. Empírico Dica prática Comece com uma rede menor, pois a aprendizagem vai ser mais rápida.