Aprendizagem por treinamento de redes de aproximação

Transcrição

1 Aprendizagem por treinamento de redes de Marco H. Terra Departamento de Eng. Elétrica - EESC - USP SEL Inteligência Artificial 1

2 Introdução Neste capítulo, serão apresentados conceitos sobre redes de e interpolação. Estas redes podem ser vistas como um caso especial de duas camadas da noção geral de redes neurais. Estas redes podem ser treinadas através de soluções de equações lineares ou através do gradiente ascendente. Também possuem capacidade de generalização tanto quanto as redes neurais com mais camadas. O objetivo é entender como as redes de interpolação e funcionam e como apresentar à rede as informações necessárias, através das amostras, para que sejam desempenhadas as respectivas funções. SEL Inteligência Artificial 2

3 Uma rede interpola ou aproxima funções de acordo com a quantidade de neurônios que ela possui. Funções gaussianas centradas em amostras fornecem boas interpolações. Suponha que se tenha uma caixa preta com várias entradas, x1... x n e uma saída u. Suponha também que se quer predizer os valores futuros de u, dada uma sequência de amostras de combinações entrada-saída. Decide-se construir uma função dos valores de entrada, y(x1. x n ) com as seguintes propriedades: o valor de y é exatamente igual à saída da caixa preta se as entradas apresentadas é uma das amostras das combinações entrada-saída; e o valor y está próximo à saída da caixa preta para as outras entradas. SEL Inteligência Artificial 3

4 Uma maneira de interpolar funções é fazendo uma soma ponderada de funções, f i : s y(x 1,..., x n )= i=1 w i f i (x 1,..., x n ) Existem evidências de que cada fi deve alcançar o valor máximo ou mínimo dele quando os valores de entrada, x 1...x n, estiverem próximos aos valores de entrada considerados para a i-ésima amostra entrada-saída. Os valores de f i devem mudar de acordo com as amostras da entrada. Suponha que se considere x1...x n, os valores da entrada atual, como as coordenadas de um vetor x. Também, suponha que os valores de entrada associados com a i-ésima amostra como as coordenadas de outro vetor, c i SEL Inteligência Artificial 4

5 Assim, cada amostra de entrada c i é um ponto de referência, ou centro, estabelecido pela i-ésima amostra entrada-saída. Em virtude de que cada f i depende somente de um centro, o centro estabelecido pela i-ésima amostra, cada f i especializa a influência da i-ésima amostra nas predições futuras. A questão que se coloca é a seguinte: qual função se deve escolher para g i? f i (x i )=g i ( x c i ) A função Gaussiana é a mais utilizada por duas razões: possui propriedades matemáticas atrativas e é fácil de ser controlada através de um parâmetro σ 1 2σ g i ( x c i )=e x c i 2 SEL Inteligência Artificial 5

6 Figura 1. Funções Gaussianas de várias larguras determinadas por três valores de σ. SEL Inteligência Artificial 6

7 Com a função Gaussiana incorporada à função interpolação, tem-se s y(x)= i=1 w i e 1 2σ x c i 2 Esta função pode ser calculada por uma rede de duas camadas sendo que o nó na segunda camada calcula uma soma ponderada das saídas dos nós da primeira camada, e cada um dos nós da primeira camada calcula uma função Gaussiana centrada em uma amostra de entrada. Tais redes são denominadas redes de interpolação. Veja um exemplo na Figura 2. SEL Inteligência Artificial 7

8 Figura 2: Uma rede de interpolação. Cada nó na primeira camada responde intensamente a uma amostra na entrada. O nó da segunda camada simplesmente soma as saídas ponderadas dos nós da primeira camada. SEL Inteligência Artificial 8

9 Em resumo, uma rede de interpolação é uma representação que é uma rede neural na qual: Existem duas camadas de neurônios. Cada neurônio da primeira camada calcula a Gaussiana da distância entre o vetor de entrada corrente e uma amostra do vetor de entrada. Cada neurônio da segunda camada soma as entradas dele. Os pesos entre as duas camadas são ajustados de tal maneira que cada saída do neurônio da segunda camada seja exatamente a saída desejada para cada amostra da entrada. SEL Inteligência Artificial 9

10 Com um número suficiente de nós, as redes podem interpolar perfeitamente. A seguir, é apresentado um exemplo de como funcionam redes de interpolação: vamos supor que uma pessoa deseja saber como ela aproveita as férias dela em função do tempo de duração. A Tabela 1 mostra as quatro últimas férias desta pessoa, as férias com menor tempo de duração foram boas, as próximas férias, com um tempo maior de duração, foram melhores (amostra 2), as férias da amostra 3 foram terríveis e a última foi melhor que a anterior, considerando uma escala de 1 a 10. SEL Inteligência Artificial 10

11 Amostra Duração (Dias) Avaliação (1-10) Tabela 1 SEL Inteligência Artificial 11

12 Suponha que se queira projetar uma rede de interpolação para predizer as avaliações de outras férias com durações distintas. Em função de que o problema possui quatro amostras, mas somente uma variável de entrada, a duração das férias, a rede de interpolação possui quatro nós e uma entrada, como mostrada na Figura 3. Com uma largura pequena σ, cada amostra tem somente influência local, com uma largura grande σ, cada amostra tem uma influência global. Dados valores para σ, é fácil calcular valores para os pesos tal que a rede de interpolação forneça resultados corretos para todas as amostras. A razão é que o número de pesos é o mesmo que o número de amostras das combinações entrada-saída, e cada combinação entrada-saída fornece uma equação envolvendo os pesos desconhecidos: SEL Inteligência Artificial 12

13 Figura 3: Uma rede de interpolação para predizer as avaliações das férias dadas as durações das férias. SEL Inteligência Artificial 13

14 1 2σ y 1 =w 1 e (x 1 x 1 ) σ +w 2 e (x 1 x 2 ) 2 1 2σ +w 3 e (x 1 x 3 ) 2 +w 4 e 1 2σ y 2 =w 1 e (x 2 x 1 ) 2 1 2σ +w 2 e (x 2 x 2 ) σ +w 3 e (x 2 x 3 ) 2 +w 4 e 1 2σ (x 1 x 4 ) 2 1 2σ (x 2 x 4 ) 2 1 2σ y 3 =w 1 e (x 3 x 1 ) 2 1 2σ +w 2 e (x 3 x 2 ) σ +w 3 e (x 3 x 3 ) 2 +w 4 e 1 2σ y 4 =w 1 e (x 4 x 1 ) σ +w 2 e (x 4 x 2 ) σ +w 3 e (x 4 x 3 ) 2 +w 4 e 1 2σ (x 3 x 4 ) 2 1 2σ (x 4 x 4 ) 2 SEL Inteligência Artificial 14

15 O procedimento de treinamento pode ser resumido da seguinte maneira: Para criar uma rede de interpolação: Para cada amostra dada, crie um nó centrado na amostra de entrada. Então, crie uma equação da seguinte maneira: Calcule a distância entre a amostra da entrada e cada um dos centros dos nós. Calcule a função Gaussiana de cada distância. Multiplique cada função Gaussiana pelos correspondentes pesos dos nós. Equacione a saída da amostra com a soma das funções Gaussianas ponderadas das distâncias. Resolva as equações para encontrar os pesos. SEL Inteligência Artificial 15

16 Para três valores de σ, a tabela abaixo fornece os respectivos valores (Tabela 2) σ w 1 w 2 w 3 w SEL Inteligência Artificial 16

17 Dado um σ e um conjunto correspondente de pesos, pode-se calcular os valores para a função de interpolação e a rede correspondente não somente para as amostras das entradas consideradas, mas para qualquer entrada. As funções ilustradas na Figura 4 foram geradas a partir dos valores da Tabela 2. Note que as funções de interpolação passam pelos dias de duração das férias 4, 7, 9 e 12. SEL Inteligência Artificial 17

18 Figura 4. Funções de interpolação para uma avaliação das férias do tipo Gaussiana para três valores de σ. Valores grandes e pequenos de σ produzem funções de interpolação oscilações e variações pouco representativas. SEL Inteligência Artificial 18

19 Se a rede possui menos nós que amostras, nenhuma escolha de pesos pode assegurar que a rede forneça a saída correta para todas as amostras das entradas. Pode-se construir redes com menos nós que amostras, estas redes são denominadas redes de, e olham para os pesos como aproximações razoáveis. O método do gradiente ascendente é apropriado para se ajustar os pesos para aproximações razoáveis das amostras das entradas. Este método busca os valores máximos como uma medida do desempenho de uma rede de. Pode-se medir o desempenho somando-se os erros quadrados para todas as amostras das entradas. Supõe-se que o valor atual de y para uma amostra particular é ds. SEL Inteligência Artificial 19

20 sendo r na equação anterior uma taxa constante, deve ser ajustada para garantir uma convergência rápida para uma solução satisfatória e evitar sobressinal e instabilidade. Em resumo, para se criar uma rede de : Quando existem poucas amostras, crie uma rede de interpolação usando o procedimento da rede de interpolação. Escolha uma taxa constante, r. Até que o desempenho seja satisfatório; Para todas as amostras das entradas, Calcule as saídas resultantes. Calcule Δw i para cada peso. Some as mudanças dos pesos para todas as amostras das entradas e altere os pesos. SEL Inteligência Artificial 20

21 O objetivo é maximizar a função objetivo P, esta função alcança valor nulo quando não existe erro: P= ( y s d s ) 2 s Para maximizar a função P, deriva-se a função com relação a cada peso, w i, assim as mudanças de peso podem estar em proporção às respectivas derivadas. Através da regra da cadeia e um pouco de álgebra chega-se à seguinte fórmula para calcular as mudanças dos pesos Δ w i =r s 1 2 σ (d s y s )e x s c i 2 SEL Inteligência Artificial 21

22 Suponha, para o exemplo das férias, que não se pode ter mais que dois nós na rede, assim a predição é a alternativa possível através de uma rede de, ao invés de uma rede de interpolação. Suponha também, que são estabelecidos os valores iniciais para a rede com dois nós usando as amostras da Tabela 1 para as férias com duração 7 e 12 dias, omitindo as férias com duração de 4 e 9 dias. Utilizando o método do gradiente ascendente, ajusta-se os pesos, usando todas as quatro amostras. Os resultados, após os pesos terem sido ajustados 100 vezes com uma taxa constante r = 0.1, estão resumidos na Tabela 3 e na Figura 5. w1 e w 2 reduzem o erro para as férias de 9 dias, mas acrescentam erro nas férias de 7 e 12 dias veja Figura 5. SEL Inteligência Artificial 22

23 Figura 5. Quando existem menos nós que amostras, a função de não pode fornecer as amostras das saídas para todas as amostras das entradas. O gradiente ascendente pode produzir um conjunto de pesos que fornece uma razoável. SEL Inteligência Artificial 23

24 w 1 w 2 c 1 c 2 Valores iniciais Valores finais Tabela 3 SEL Inteligência Artificial 24

25 Há uma alternativa de se ajustar os centros e os pesos simultaneamente. Para isto deve-se também encontrar as derivadas parciais de P com respeito às coordenadas do centro. A fórmula para a j-ésima componente do i-ésimo centro é definida como segue: Δ c ij =r s w i (d s y s )e 1 2σ x s c i 2 1 σ (x sj c ij ) Os resultados, após serem ajustados os pesos e os centros 100 vezes com r = 0.1, são mostrados na Tabela 4. SEL Inteligência Artificial 25

26 w 1 w 2 c 1 c 2 Valores iniciais Valores finais Tabela 4 SEL Inteligência Artificial 26

27 Figura 6. Quando existem menos nós que amostras, a função de não pode fornecer as saídas exatas para todas as amostras das entradas. Ajustando ambos, pesos e centros, a é melhor que a conseguida com os ajustes individuais. SEL Inteligência Artificial 27

28 Suponha que a avaliação das férias dependa da temperatura média também. A temperatura será medida em Celsius e em Fahrenheit. A quantidade de amostras continua as mesmas apenas acrescidas da temperatura média, portanto a rede possui duas entradas (duração e temperatura) e uma saída (avaliação). A Figura 7 mostra a avaliação produzida por uma rede como uma função da duração das férias para uma temperatura média de 73 F. Veja nas Tabelas 5 e 6 as temperaturas consideradas. SEL Inteligência Artificial 28

29 Amostra Duração Temperatura Avaliação Tabela 5: Temperatura em graus Fahrenheit SEL Inteligência Artificial 29

30 Amostra Duração Temperatura Avaliação Tabela 5: Temperatura em graus Celsius SEL Inteligência Artificial 30

31 Figura 7. Predição da avaliação das férias versus a duração das férias para uma temperatura média de 73 F. Uma variação maior caracteriza a curva quando a temperatura não é considerada. A função derivada da temperatura em graus Celsius mostra maior influência a partir das quatro amostras. SEL Inteligência Artificial 31

32 Note que a função de em graus Celsius é maior que em Fahrenheit, portanto as unidades utilizadas alteram o treinamento também. A utilização de um fator de escala para o treinamento da rede é um procedimento útil para o treinamento. SEL Inteligência Artificial 32