Algoritmos de Aprendizado

Transcrição

1 Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Radial Basis Functions (RBFs) Competitive Learning Hopfield

2 Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Radial Basis Functions (RBFs) Competitive Learning Hopfield Treinamento Bayesiano

3 Radial Basis Functions Probabilistic Neural Networks RBFs Generalized Regression Neural Networks

4 Probabilistic Neural Networks (PNN) Rede inspirada nos classificadores Bayesianos Classificadores bayesianos e as PNN foram utilizados com sucesso em vários problemas de classificação

5 Probabilistic Neural Networks (PNN) Possui as vantagens do BP: Learning (mapeamento não-linear) Generalização (tratamento de dados ruidosos) Concorrência (paralelismo)

6 Probabilistic Neural Networks (PNN) Vantagens Adicionais: Aprendizado rápido Convergência para Classificador Bayesiano com dados suficientes, a PNN converge para o CB, definido como ótimo Treinamento Incremental Indicação de Confiança PNN fornece uma saída indicando o grau de evidência sobre o qual se baseia a decisão

7 O Teorema de Bayes fornece um método para efetuar classificações ótimas Dada uma quantidade suficiente de informação, o teorema mostra como classificar um novo exemplo com a máxima probabilidade Devido aos seus fundamentos teóricos, o classificador Bayesiano é usado como padrão para a avaliação de outros métodos Apesar do seu potencial, o CB é conceitualmente simples e intuitivo

8 Teorema de Bayes P(C k ) = probabilidade a priori fração dos padrões de entrada que pertencem à classe k P(C k,x l ) = probabilidade conjunta probabilidade que o padrão possui a característica X l e pertence à classe C k P(X l C k ) = probabilidade condicional probabilidade que uma observação tenha a característica X l dado que ela pertence à classe C k

9 Teorema de Bayes C 1 C X l P(C k,x l ) = P(X l C k ). P(C k ) = P(C k,x l ) = P(C k X l ). P(X l ) Total de Amostras = 45 Amostras da Classe 1 = 27 P(X 1 ) = 2/45 = Amostras da Classe 2 = 18 P(C 1 X 1 )= 2/2 = 1 P(C ) = 27/45 = 0.6 P(C 1,X 1 ) = = P(X 1 C )= 2/27 = P(C 1,X 1 ) = 0.6 x = = 2/45

10 Teorema de Bayes P(C k X l ) = P(X l C k ). P(C k ) P(X l ) Probabilidade a priori da classe C k Probabilidade a posteriori (após medir a entrada como X l ) Probabilidade classecondicional de X l para a classe C k Normalizador assegura que a posteriori soma 1

11 Exemplo: classificação de pedaços de madeira baseada na medida de sua densidade a partir de dados históricos, sabe-se: a fração de peças que são carvalho e pinho h carv, h pinho probabilidade a priori a probabilidade que a peça tenha a densidade medida f carv, f pinho função densidade de probabilidade calcula-se: h carv f carv h pinho f pinho

12 Exemplo: classificação de pedaços de madeira baseada na medida de sua densidade a partir de dados históricos, sabe-se: a fração de peças que são carvalho e pinho h carv, h pinho probabilidade a priori a probabilidade que a peça tenha a densidade medida f carv, f pinho função densidade de probabilidade calcula-se: h carv f carv h pinho f pinho a classificação é feita designando a peça à classe com maior produto

13 Exemplo: classificação de pedaços de madeira baseada na medida de sua densidade Em alguns casos, decisões erradas podem ter conseqüências diferentes: Calcula-se: h carv carv f carv l carv h pinho f pinho l pinho perda devido a uma classificação errada de carvalho como pinho Da mesma forma, a classificação é feita designando a peça à classe com maior produto

14 As equações anteriores podem ser estendidas para problemas envolvendo: mais de duas classes; mais de uma característica.

15 Exemplo: carvalho, pinho, pau-brasil h i fração de cada tipo de madeira entre as peças conhecidas 10% carvalho h carv = % pinho h pinho = % pau-brasil h pau = 0.2 f i probabilidade que uma peça de um certo tipo tenha a densidade medida função densidade de probabilidade (pdf - probability density function)

16 Função Densidade de Probabilidade

17 Função Densidade de Probabilidade Quando o número de cestas tende a infinito tem-se a função densidade de probabilidade de acordo com a definição matemática, a curva deve ter área igual a 1 A probabilidade que uma peça tenha densidade entre a e b éa área neste intervalo

18 Observação: Se h e l são iguais para todas as classes, a classificação é determinada pela Função Densidade de Probabilidade (pdf( pdf) Exemplo: densidade medida da peça de madeira =

19 Exemplo: h carv = 0.2 l carv = 5 h pinho = 0.5 l pinho = 1 h pau = 0.3 l pau = 2 Densidade = 0.8 f carv = 0.5 f pinho = 0.7 f pau = 0.3 Produto: carvalho = 0.5 pinho = 0.35 pau-brasil = 0.18 melhor classificação

20 As equações anteriores podem ser estendidas para problemas envolvendo: mais de duas classes; mais de uma característica.

21 Exemplo: classificação de pedaços de madeira baseada na medida de sua densidade e dureza dureza densidade. Pdf bidimensional

22 Clasificadores Bayesianos requerem uma pdf para cada classe Como determiná-la? Janela de Parzen Método para estimar a Função Densidade de Probabilidade a partir dos dados disponíveis, que podem ser incompletos ou parcialmente imprecisos

23 Exemplo: uma característica (uma entrada) e uma classe Para cada amostra constrói-se uma gaussiana (de área unitária) centrada no valor da entrada. x 1 x 2 Soma-se todas as curvas para se produzir a curva final. x j

24 Parzen mostrou que, com uma grande quantidade de amostras e escalonamento adequado, a curva final se aproxima da pdf real Embora não exista uma prova que indique o número necessário de amostras para estimar a pdf com um grau de precisão especificado, bons resultados têm sido alcançados com número modesto

25 Observação: não é preciso calcular a pdf completa, bastando avaliar o seu valor no ponto de teste. Extensão para n entradas: f a (X) = 1 (1/n a ) Σ n a exp[- (X - Y ai ) t (X - Y ai )/2σ 2 ] [(2π) p/2 σ p ] Gaussiana para o ponto Y ai do conjunto de treinamento avaliada com o vetor de entrada X n a número de vetores de treinamento da classe A p número de componentes no vetor de treinamento σ desvio padrão

26 Determinação de σ: Deve ser selecionado de forma a fornecer uma largura apropriada para a curva Não existe um método para se escolher o melhor valor teste!

27 σ = 0.5

28 σ = 1.0

29 σ = 2.0

30 Conclusão: 2 classes d(x) = θ a d(x) = θ b se h a l a f a (X) > h b l b f b (X) se h a l a f a (X) < h b l b f b (X) d(x) decisão sobre o vetor teste X θ a classe A h a a probabilidade de ocorrência de vetores de treinamento da classe A l a perda por classificar erradamente o vetor X da classe A como classe B f a (X) Função Densidade de Probabilidade da classe A

31 Conclusão: múltiplas classes d(x) = θ r se h r l r f r (X) > h s l s f s (X) r s h r = n r / n total Geralmente cada classe tem um l diferente para cada outra classe matriz de perdas D(X) = θ r se l r Σ n r exp[- (X - Y ri ) t (X - Y ri )/2σ 2 ] l s Σ n s exp[- (X - Y si ) t (X - Y si )/2σ 2 ] r s

32 Probabilisic Neural Networks Relançamento de Classificadores Bayesianos através de Redes Neurais A relação entre PNN e Redes Neurais tradicionais pode ser vista claramente se os vetores de entrada forem normalizados Cálculo de net entre o vetor de entrada X e o vetor peso W = X Ri (X - X Ri ) t (X -X Ri ) X t X-2X t X Ri + X t Ri X Ri com vetores normalizados 2-2X t X Ri = -2(X t X Ri -1) D(X) = θ r se Σ n r exp[(x t X Ri -1)/σ 2 ] Σ ns exp[(x t X Si -1)/σ 2 ] r s

33 Probabilisic Neural Exemplo com 2 classes: Camada de Entrada um processador para cada vetor de treinamento p amostras da classe A + q amostras da classe B F(.) = exp[(x t X Ri -1)/σ 2 Soma todos os processadores de uma certa classe S C = Σ exp[(x t X Ri -1)/σ 2 Efetua comparação, com saída 1 para S a e 0 para S b Networks

34 Probabilistic Neural Networks (PNN) Observações: Treinamento instantâneo Robusto na presença de ruído Aproxima-se do Classificador Bayesiano se o conjunto de treinamento for grande o suficiente