Aprendizagem por treinamento de redes de aproximação Marco Henrique Terra

Transcrição

1 Aprendizagem por treinamento de redes de aproimação Marco Henrique Terra Introdução à Inteligência Artificial

2 Introdução Neste capítulo, serão apresentados conceitos sobre redes de aproimação e interpolação. Estas redes podem ser vistas como um caso especial de duas camadas da noção geral de redes neurais. Estas redes podem ser treinadas através s de soluções de equações lineares ou através s do gradiente ascendente. Também m possuem capacidade de generalização tanto quanto as redes neurais com mais camadas. O objetivo é entender como as redes de interpolação e aproimação funcionam e como apresentar à rede as informações necessárias, através s das amostras, para que sejam desempenhadas as respectivas funções.

3 Redes de interpolação e aproimação Uma rede interpola ou aproima funções de acordo com a quantidade de neurônios que ela possui. Funções gaussianas centradas em amostras fornecem boas interpolações. Suponha que se tenha uma caia preta com várias v entradas,... n e uma saída u. Suponha também m que se quer predizer os valores futuros de u, dada uma sequência de amostras de combinações entrada- saída. Decide-se construir uma função dos valores de entrada, y... n com as seguintes propriedades: o valor de y é eatamente igual à saída da caia preta se as entradas apresentadas é uma das amostras das combinações entrada-sa saída; e o valor y está próimo à saída da caia preta para as outras entradas.

4 Uma maneira de interpolar funções é fazendo uma soma ponderada de funções, f i : y... n = wi fi... s i= Eistem evidências de que cada f i deve alcançar ar o valor máimo ou mínimo m dele quando os valores de entrada,... n, estiverem próimos aos valores de entrada considerados para a i-ésima amostra entrada-sa saída. Os valores de f i devem mudar de acordo com as amostras da entrada. Suponha que se considere... n, os valores da entrada atual, como as coordenadas de um vetor.. Também, m, suponha que os valores de entrada associados com a i- ésima amostra como as coordenadas de outro vetor, c i n

5 f i = gi ci Assim, cada amostra de entrada c i é um ponto de referência, ou centro, estabelecido pela i-ésima i amostra entrada-sa saída. Em virtude de que cada f i depende somente de um centro, o centro estabelecido pela i-ésima i amostra, cada f i especializa a influência da i-ésima i amostra nas predições futuras. A questão que se coloca é a seguinte: qual função se deve escolher para g i? A função Gaussiana é a mais utilizada por duas razões: possui propriedades matemáticas ticas atrativas e é fácil de ser controlada através s de um parâmetro g i c i = e c i

6 Figura. Funções Gaussianas de várias larguras determinadas por três valores de.

7 Com a função Gaussiana interpolação ão,, tem-se incorporada à função y s = wi i= e c i Esta função pode ser calculada por uma rede de duas camadas sendo que o nó na segunda camada calcula uma soma ponderadada das saídas dos nós s da primeira camada, e cada um dos nós s da primeira camada calcula uma função Gaussiana centrada em uma amostra de entrada. Tais redes são denominadas redes de interpolação ão. Veja um eemplo na Figura.

8 Figura : Uma rede de interpolação. Cada nón na primeira camada responde intensamente a uma amostra na entrada. O nón da segunda camada simplesmente soma as saídas ponderadas dos nós n s da primeira camada.

9 Em resumo, uma rede de interpolação é uma representação que é uma rede neural na qual: Eistem duas camadas de neurônios. Cada neurônio da primeira camada calcula a Gaussiana da distância entre o vetor de entrada corrente e uma amostra do vetor de entrada. Cada neurônio da segunda camada soma as entradas dele. Os pesos entre as duas camadas são ajustados de tal maneira que cada saída do neurônio da segunda camada seja eatamente a saída desejada para cada amostra da entrada.

10 Com um número n suficiente de nós, n as redes podem interpolar perfeitamente. A seguir, é apresentado um eemplo de como funciona redes de interpolação: vamos supor que uma pessoa deseja saber como ela aproveita as férias f dela em função do tempo de duração. A Tabela mostra as quatro últimas férias f desta pessoa, as férias com menor tempo de duração foram boas, as próimas férias, f com um tempo maior de duração, foram melhores amostra, as férias f da amostra 3 foram terríveis e a última foi melhor que a anterior, considerando uma escala de a 0.

11 Amostra Duração Avaliação dias Tabela.

12 Suponha que se queira projetar uma rede de interpolação para predizer as avaliações de outras férias f com durações distintas. Em função de que o problema possui quatro amostras, mas somente uma variável vel de entrada, a duração das férias, f a rede de interpolação possui quatro nós n s e uma entrada, como mostrada na Figura 3. Com uma largura pequena,, cada amostra tem somente influência local, com uma largura grande,, cada amostra tem uma influência global. Dados valores para, é fácil calcular valores para os pesos tal que a rede de interpolação forneça a resultados corretos para todas as amostras. A razão é que o número n de pesos é o mesmo que o número n de amostras das combinações entrada-sa saída, e cada combinação entrada-sa saída fornece uma equação envolvendo os pesos desconhecidos:

13 Figura 3: Uma rede de interpolação para predizer as avaliações das férias f dadas as durações das férias. f

14 y we we we we = y we we we we = y we we we we = y we we we we =

15 O procedimento de treinamento pode ser resumido da seguinte maneira: Para criar uma rede de interpolação: Para cada amostra dada, crie um nón centrado na amostra de entrada. Então, crie uma equação da seguinte maneira: - Calcule a distância entre a amostra da entrada e cada um dos centros dos nós. n - Calcule a função Gaussiana de cada distância. - Multiplique cada função Gaussiana pelos correspondentes pesos dos nós. n - Equacione a saída da amostra com a soma das funções Gaussianas ponderadas das distâncias. Resolva as equações para encontrar os pesos.

16 Para três valores de,, a tabela abaio fornece os respectivos valores Tabela w w w 3 w

17 Dado um e um conjunto correspondente de pesos, pode- se calcular os valores para a função de interpolação e a rede correspondente não somente para as amostras das entradas consideradas, mas para qualquer entrada. As funções ilustradas na Figura 4 foram geradas a partir dos valores da Tabela. Note que as funções de interpolação passam pelos dias de duração das férias f 4, 7, 9 e.

18 Figura 4. Funções de interpolação para uma avaliação das férias do tipo Gaussiana para três valores de.. Valores grandes e pequenos de produzem funções de interpolação oscilações e variações pouco representativas.

19 Se a rede possui menos nós n s que amostras, nenhuma escolha de pesos pode assegurar que a rede forneça a a saída correta para todas as amostras das entradas. Pode-se construir redes com menos nós n s que amostras, estas redes são denominadas redes de aproimação, e olham para os pesos como aproimações razoáveis. O método m do gradiente ascendente é apropriado para se ajustar os pesos para aproimações razoáveis das amostras das entradas. Este método m busca os valores máimos m como uma medida do desempenho de uma rede de aproimação. Pode-se medir o desempenho somando-se se os erros quadrados para todas as amostras das entradas. Supõem-se que o valor atual de y para uma amostra particular é d s.

20 O objetivo é maimizar a função objetivo P, esta função alcança a valor nulo quando não eiste erro: P = s y s ds Para maimizar a função P, deriva-se a função com relação a cada peso, w i, assim as mudanças as de peso podem estar em proporção às s respectivas derivadas. Através s da regra da cadeia e um pouco de algebra chega-se à seguinte fórmula f para calcular as mudanças as dos pesos Δw i = r s d s - y s e - s c i

21 sendo r na equação anterior uma taa constante, deve ser ajustada para garantir uma convergência rápida r para uma solução satisfatória e evitar sobre-sinal sinal e instabilidade. Em resumo, para se criar uma rede de aproimação: Quando eistem poucas amostras, crie uma rede de interpolação usando o procedimento da rede de interpolação. Escolha uma taa constante, r. Até que o desempenho seja satisfatório; Para todas as amostras das entradas, Calcule as saídas resultantes. Calcule Δw i para cada peso. Some as mudanças as dos pesos para todas as amostras das entradas e altere os pesos.

22 Suponha, para o eemplo das férias, f que não se pode ter mais que dois nós n s na rede, assim a predição é a alternativa possível através s de uma rede de aproimação, ao invés s de uma rede de interpolação. Suponha também, m, que são estabelecidos os valores iniciais para a rede com dois nós n s usando as amostras da Tabela para as férias f com duração 7 e dias, omitindo as férias f com duração de 4 e 9 dias. Utilizando o método m do gradiente ascendente, ajusta-se se os pesos, usando todas as quatro amostras. Os resultados, após os pesos terem sido ajustados 00 vezes com uma taa constante r = 0., estão resumidos na Tabela 3 e na Figura 5. w e w reduzem o erro para as férias f de 9 dias, mas acrescentam erro nas férias f de 7 e dias veja Figura 5.

23 Figura 5. Quando eistem menos nós n s que amostras, a função de aproimação não pode fornecer as amostras das saídas para todas as amostras das entradas. O gradiente ascendente pode produzir um conjunto de pesos que fornece uma aproimação razoável.

24 w w c c Valores iniciais Valores finais Tabela 3.

25 Há uma alternativa de se ajustar os centros e os pesos simultaneamente. Para isto deve-se também m encontrar as derivadas parciais de P com respeito às s coordenadas do centro. A fórmula f para a j-ésima j componente do i-ésimo i centro é definida como segue: Δc ij = r s w d i s - y s e - s c i sj c ij Os resultados, após s serem ajustados os pesos e os centros 00 vezes com r = 0., são mostrados na Tabela 4.

26 w w c c Valores iniciais Valores finais Tabela 4.

27 Figura 6. Quando eistem menos nós n s que amostras, a função de aproimação não pode fornecer as saídas eatas para todas as amostras das entradas. Ajustando ambos, pesos e centros, a aproimação é melhor que a conseguida com os ajustes individuais.

28 Suponha que a avaliação das férias f dependa da temperatura média também. m. A temperatura será medida em Celsius e em Fahrenheit.. A quantidade de amostras continua as mesmas apenas acrescidas da temperatura média, m portanto a rede possui duas entradas duração e temperatura e uma saída avaliação. A Figura 7 mostra a avaliação produzida por uma rede como uma função da duração das férias f para uma temperatura média de 73 F. Veja nas Tabelas 5 e 6 as temperaturas consideradas.

29 Amostra Duração Temp. Avaliação Tabela 5. Temperatura em Fahrenheit.

30 Amostra Duração Temp. Avaliação Tabela 5. Temperatura em graus Celsius.

31 Figura 7. Predição da avaliação das férias f versus a duração das férias para uma temperatura média m de 73 F. Uma variação maior caracteriza a curva quando a temperatura não é considerada. A função derivada da temperatura em graus Celsius mostra maior influência a partir das quatro amostras.

32 Note que a função de aproimação em graus Celsius é maior que em Fahrenheit,, portanto as unidades utilizadas alteram o treinamento também. m. A utilização de um fator de escala para o treinamento da rede é um procedimento útil para o treinamento. FIM