Redes Neurais e Sistemas Fuzzy

Transcrição

1 Redes Neurais e Sistemas Fuzzy Redes de uma única camada O Perceptron elementar Classificação de padrões por um perceptron A tarefa de classificação consiste em aprender a atribuir rótulos a dados que podem pertencer a uma entre várias categorias. Podemos considerar a classificação como uma tarefa de previsão onde um conjunto de atributos previsores (características) é usado para prever um atributo alvo (rótulo). A tarefa consiste em descobrir o relacionamento entre os atributos previsores e o atributo meta, usando um conjunto de exemplos de dados representativos das classes, já rotulados anteriormente. Após o aprendizado, o objetivo é utilizar o relacionamento descoberto para prever a classe de dados novos, a partir apenas dos seus atributos previsores. No caso de um problema envolvendo classes linearmente separáveis, o classificador pode ser implementado por um perceptron elementar. Para problemas de classificação não linearmente separável, é necessário conectar-se um número adequado de perceptrons numa topologia multicamada. 2

2 Exemplo simples de um problema de classificação Considere um banco de dados bancário que contém informações sobre 21 clientes, cada um identificado pelo seu número de conta, que receberam empréstimo do banco em algum momento no passado. Este BD contém os valores dos atributos renda pessoal e dívida (valor do empréstimo concedido) de cada um desses clientes. Além disso, cada cliente foi classificado previamente como bom ou mau pagador, dependendo do seu histórico de pagamento do empréstimo tomado. Por exemplo, se o pagamento de seu empréstimo esteve sempre em dia, ele é considerado um bom pagador. Por outro lado, se o cliente deixou de pagar ou atrasou consideravelmente os seus pagamentos, então ele foi considerado um mau pagador. O problema consiste em determinar um modelo de classificação a partir deste BD, que preveja se um candidato a empréstimo é potencialmente um bom ou mau pagador, a partir dos seus atributos renda e dívida, para que seja tomada a decisão de conceder ou não um novo empréstimo. 3 BD para determinação do modelo de classificação LS N_Conta Renda Dívida Classe bom mau bom mau mau bom bom bom mau bom mau mau bom mau bom mau bom bom mau bom bom Renda Dívida mau (9) + bom (12) 1 w 0 w 1 w 2 v (v) y 4

3 Resolução gráfica do problema de classificação Uma forma de se encontrar os pesos do perceptron que resolve o problema de classificação linearmente separável (de baixa dimensionalidade) é através do conhecimento de um especialista, que posiciona manualmente a reta de decisão no espaço de características de modo a separar adequadamente os padrões a serem classificados. d x(1) x(2) x(3) x(4) (0,) (,) (0, 0) (, 0) w 1 w 2 w 0 v (v) y w 0 + w 1 + w 2 = 0 5 A reta que divide o espaço de características em dois equivale ao limiar do teste da tomada de decisão do perceptron, ou seja, ela segue a expressão: w 0 + w 1 + w 2 = 0 Para encontrarmos os pesos do perceptron, devemos solucionar o sistema de equações obtido pela substituição de dois pontos da reta. A solução deste sistema, entretanto, fornece apenas uma relação entre os valores dos pesos. Os valores absolutos só podem ser determinados quando impusermos alguma condição de contorno, como por exemplo, a minimização do erro médio quadrado. Note também, que uma reta de decisão pode solucionar dois problemas duais, geometricamente equivalentes mas com rotulações invertidas. w 1 w 0 v (v) y w 2 6

4 Exemplo de treinamento de um perceptron Considere o problema de ajustar os pesos de um perceptron de modo que ele aprenda a classificar o conjunto de treinamento abaixo, composto de 4 vetores bidimensionais pertencentes a uma entre duas classes (OR bipolar): d x(1) x(2) x(3) x(4) w 1 w 2 w 0 y (v) =, se v 0,, se v < 0 ( 1,) ( 1, 1) (,) (, 1) O problema consiste em encontrar os pesos adequados que posicionam uma reta no espaço de características, dividindo-o em dois, de acordo com a rotulação de classe desejada. 7 Resolução gráfica do problema Uma solução possível, está indicada pela reta no espaço de características:, 0 ( 1,) ( 1, 1) 0, (,) (, 1) w 1 w 2 w 0 y x(1) x(2) x(3) x(4) d w 0 + w 1 + w 2 = 0 Considerando-se, p. ex., que os valores dos pesos estão restritos ao conjunto {, 0 }, determine w 0, w 1 e w 2. 8

5 A reta de decisão passa pelos pontos A = (, 0) e B = (0, ). Com isso, a partir da expressão genérica da reta de decisão do perceptron, monta-se um sistema de duas equações, para A e para B, a três incógnitas, w 0, w 1 e w 2 : w 0 + w 1 a 1 + w 2 a 2 = 0 w 0 + w 1 b 1 + w 2 b 2 = 0 Estas equações determinam a solução geométrica do problema, ou seja, a relação entre os módulos dos valores dos pesos. O sinal dos pesos é determinado numa segunda etapa, a partir dos rótulos numéricos das classes desejadas. Entrando com A = (, 0) Entrando com B = (0, ) w 0 w 1 = 0 w 1 = w 0 w 0 w 2 = 0 w 2 = w 0 Solução geométrica: w 1 = w 1 = w 0 = w 9 A posição da reta de decisão é determinada apenas por uma relação entre os pesos que independe da sua polaridade (sinal): w 0 + w 1 + w 2 = 0 w 0 w 1 w 2 = 0 Entretanto, a polaridade dos pesos determina potenciais de ativação distintos, e por conseqüência, valores de saída distintos. v 1 = w 0 + w 1 + w 2 e v 2 = w 0 w 1 w 2 Para se determinar os pesos corretos, é necessário, portanto, determinar a polaridade dos pesos a partir da polaridade dos rótulos desejados. d d 10

6 Efeito do valor dos pesos sobre o plano de mapeamento A mesma relação dos pesos, w 0 = w 1 = w 2 = w, pode implementar a função booleana soma (OU) ou a sua função dual (NOR), dependendo da polaridade dos pesos. v = v = 0,5 + 0,5 + 0,5 v = 0 w + w + w = 0 v = 0,5 0,5 0,5 11 Perceptron de camada única Um perceptron pode ter mais de um neurônio na camada de saída, podendo realizar classificação com um número qualquer de classes. Cada neurônio de saída soluciona um problema linearmente separável. Exemplo - Utilizando os 4 vetores de entrada das FB, especifique o perceptron que classifica estes padrões em 3 classes segundo a regra abaixo: x 0 w 10 O rótulo de classe é um vetor y = (y 1, y 2 ) w 11 1 w 12 w 20 w 21 2 y 1 y 2 Padrões da classe, com y = ( 1, 1): x 0 = ( 1, 1), x 3 = (,) Padrão da classe C 2, com y = (, 1): = ( 1, ) Padrão da classe C 3, com y= ( 1, ): = (, 1) x 0 x 3 x 0 y 1 y 2 C i C 2 C 3 w 22 12

7 Representação gráfica da solução da classificação em três classes i 1 = ( ) C i 1 1 i 1 i C 2 C 3 i 2 = ( ) (,) (,) (,) (,) (,) (,) (,) (,) 13 Representação gráfica da classificação em 3 classes w 10 x 0 w 11 1 w12 y 1 F 4 v 1 = w 11 + w 12 + w 10 = 0 w 20 (-1,) (,) w 21 2 y 2 C 2 w 22 x 0 y 1 y 2 C i (-1,-1) (,-1) x 0 x C 2 C 3 C 3 F 2 v 2 = w 21 + w 22 + w 20 = 0 14

8 O problema do XOR A tabela-verdade da função booleana XOR induz uma partição que não é realizável por meio de uma única reta. Assim, este problema é não-linearmente separável e um perceptron elementar não o consegue resolver. x(2) x(4) x(1) x(2) x(3) x(4) x(1) x(3) 15 O treinamento do perceptron Para derivar o algoritmo de aprendizagem por correção de erro do perceptron é interessante definir os sinais de entrada e os pesos como vetores. Neste modelo, o bias é tratado como o peso w 0 (n) ligado a uma entrada fixa em. x(n) = [, (n), (n),, x m (n)] T ; w(n) = [w 0 (n), w 1 (n), w 2 (n),, w m (n)] T Correspondentemente, a saída do CLA pode ser escrita como: m v(n) = w i (n).x i (n) = w T (n) x(n) = w (n) x(n) i=0 Para um n fixo, a equação da superfície de decisão do perceptron é: w T x = 0 x(n) x 0 = (n) (n) x m (n) w 1 (n) w 2 (n) w 0 (n) CLA v(n) w m (n) ( ) y(n) C1 C 2 wt x = 0 16

9 O problema de classificação Suponha que as entradas do perceptron se originem de duas classes linearmente separáveis e C 2. Considere que H 1 seja o subconjunto de vetores de treinamento (1), (2), que pertencem à classe, e que H 2 seja o subconjunto de vetores de treinamento (1), (2), que pertencem à classe C 2. A união de H 1 e H 2 é o conjunto de treinamento completo H. Dados os conjuntos H 1 e H 2 o processo de treinamento envolve ajustar o vetor de pesos w de modo que as duas classes e C 2 sejam separadas pela superfície de decisão do perceptron. Com isso, existe um vetor de pesos w tal que a seguinte afirmação é válida: w T x > 0 para todo vetor de entrada x w T x 0 para todo vetor de entrada x C 2 Dados os subconjuntos de vetores de treinamento H 1 e H 2, o problema de treinamento do perceptron elementar é encontrar o peso w para o qual as duas desigualdades acima são satisfeitas. 17 O algoritmo de treinamento do perceptron 1. Na primeira iteração, inicializar com vetor de pesos nulo: w(0) = 0 2. Na n-ésima iteração, apresentar o vetor de treinamento x(n) 3. Se o n-ésimo membro do vetor de treinamento, x(n) for classificado corretamente pelo vetor de pesos atual, w(n), Então (acerta), não é feita correção dos pesos: w(n) = w(n) se w T (n). x(n) > 0 e x(n) w(n) = w(n) se w T (n). x(n) 0 e x(n) C 2 Senão (erra), o vetor de pesos é atualizado pela regra: w(n) = w(n) (n). x(n) se w T (n). x(n) > 0 e x(n) C 2 w(n) = w(n) + (n). x(n) se w T (n). x(n) 0 e x(n) onde (n) > 0, é o parâmetro da taxa de aprendizagem que controla o ajuste aplicado ao vetor de pesos. Se for constante nós temos a regra de adaptação por incremento fixo. 4. Voltar para 2 enquanto houver atualização de pesos para algum vetor de treinamento 18

10 Rotulação numérica das classes O algoritmo para treinamento do perceptron pode ser modificado introduzindo-se uma resposta desejada d(n) numérica, definida por: d(n) = se x(n) 1 se x(n) C 2 O valor de saída do perceptron é calculado então usando a função sinal: sinal(v) = se v 0 1 se v < 0 Com isso, a resposta real do perceptron é calculada como : y(n) = sinal(w T (n). x(n)) Assim, a adaptação do vetor de pesos pode ser escrita na forma compacta de uma regra de aprendizagem por correção de erro: w(n) = w(n) + [d(n) y(n)] x(n) 19 Algoritmo para treinamento do perceptron por correção de erro 1. Inicialização. Faça w(0) = 0. Então realize a seguinte computação para os passos de tempo n = 1, 2, 2. Ativação. No passo de tempo n, ative o perceptron aplicando um vetor de entrada x(n) e a resposta desejada d(n). 3. Computação da resposta real. Calcule a saída corrente do perceptron: y(n) = sinal(w T (n). x(n)) 4. Adaptação do vetor de pesos. Atualize o vetor de pesos do perceptron: w(n) = w(n) + [d(n) y(n)] x(n) onde d(n) = se x(n) 1 se x(n) C 2 5. Continuação. Incremente o passo de tempo n e volte para o passo 2 enquanto houver atualização de pesos para algum vetor de treinamento. 20

11 %algoritmo de treinamento do perceptron para aprendizado de funçoes %booleanas clc; clear; x=[1-1 -1; 1-1 1; 1 1-1; 1 1 1]; d=[-1; 1; 1; 1]; w=[0 0 0]; epochs=2; % num de epocas pats=4; %num de padroes resultado do OU mu=0.5; for n=1:epochs for i=1:pats w = v=w*x(i,:)'; resultado do E y=sinal(v); w=w + mu*(d(i)-y)*x(i,:) w = end end function f = sinal( x ) % Implementaçao da funçao sinal f = sign(x); if f == 0 f =1; end end 21