Redes Neurais. A Rede RBF. Redes RBF: Função de Base Radial. Prof. Paulo Martins Engel. Regressão não paramétrica. Redes RBF: Radial-Basis Functions

Transcrição

1 Redes RBF: Função de Base Radial Redes Neurais A Rede RBF O LP é baseado em unidades que calculam uma função não-linear do produto escalar do vetor de entrada e um vetor de peso. A rede RBF pertence a uma classe de modelos de redes neurais na qual a ativação de uma unidade oculta é determinada pela distância entre o vetor de entrada e um vetor protótipo. As redes RBF unificam diversas teorias importantes envolvendo aproximação de funções, regularização, interpolação ruidosa, estimação de densidade, classificação ótima e funções de potencial. Como conseqüência, os procedimentos de treinamento destas redes podem ser muito mais rápidos que os métodos usados para treinar redes LP. As unidades ocultas formam representações internas interpretáveis o que leva a um treinamento em dois estágios: Primeiro, são determinados os parâmetros das funções de base (não-supervisionado). Segundo, são determinados os pesos da camada de saída (problema linear). Redes RBF: Radial-Basis Functions Regressão não paramétrica O proeto de uma rede neural é visto como um problema de auste de curva. Aprendizado é equivalente a encontrar uma superfície no espaço multidimensional do mapeamento que resulta no melhor auste aos dados de treinamento. Generalização corresponde a interpolar dados nesta superfície multidimensional. A camada de entrada é constituída de nós sensoriais. As unidades ocultas fornecem um conunto de funções que constituem uma base arbitrária para vetores de entrada, quando eles são proetados no espaço das unidades ocultas. Estas funções são denominadas Funções de Base. A transformação do espaço de entrada para o espaço das unidades ocultas é não-linear. A camada de saída fornece a resposta da rede para os padrões de ativação apresentados na entrada. A transformação do espaço das unidades ocultas para o espaço de saída é linear. O problema é resolvido transformando-o na tarefa de classificação em um espaço multidimensional. 3 Na regressão não paramétrica, não se assume conhecimento a priori sobre a forma da função que se quer estimar. A função é estimada usando uma equação contendo parâmetros livres mas numa forma que permite ao modelo representar uma classe muito ampla de funções. Tipicamente a regressão não paramétrica envolve um grande número de parâmetros sem significado físico em relação ao problema. As redes neurais, e particularmente as redes de função de base radial (RBF) são modelos não paramétricos e seus pesos não têm um significado particular em relação aos problemas aos quais elas estão sendo aplicadas. Neste caso, o obetivo principal não é estimar os valores dos parâmetros (pesos) e sim estimar a função subacente, ou no mínimo as suas saídas para certos valores deseados de entrada. A rede RBF implementa uma combinação linear de funções de base radiais, elas mesmo não lineares: N h(x) = Σ w φ (x) = 4

2 Topologia da Rede RBF A rede RBF típica tem uma camada de entrada para distribuir o sinal de entrada, uma camada oculta, composta de nós de funções radiais, e uma camada de saída com um nó linear. x x i x p φ (x) φ (x) φ N (x) w + w w N w Σ h(x) N h(x) = Σ w φ (x) = Funções Radiais As funções radiais são uma classe especial de funções. A sua característica principal é que sua resposta diminui (ou aumenta) monotonamente com a distância de um ponto central. O centro, a escala de distância e a forma da função radial são parâmetros do modelo. Uma função radial típica é a gaussiana, que no caso esférico tem a forma: exp[ (x c φ (x) = ) ] σ onde c corresponde ao centro da função e σ controla a suavidade da interpolação. Tipicamente, numa rede RBF, a forma das funções de base é escolhida a priori, de modo que ela tenha um comportamento adequado ao problema de regressão: a sua resposta deve decrescer (ou crescer) monotonamente com a distância em relação a um ponto central. O problema consiste então em localizar os centros e outros parâmetros das funções de base e austar os pesos em relação ao arquivo de treinamento. 5 6 Gaussiana multivariada A função radial gaussiana pode ser generalizada para permitir matrizes de covariâncias arbitrárias Σ. T φ ( x) = exp ( x µ ) ( x µ ) σ = σ σ σ gaussiana Algumas funções radiais de base ( ν / ) φ( ν ) = exp β multiquádrica inversa φ( ν ) = ( ν + β ) / thin-plate spline ( ν ) ν log( ν ) φ = multiquádrica φ( ν ) = ( ν + β ) / 7 8

3 Funcionamento da rede O Problema de Interpolação exata A rede RBF é proetada para realizar um mapeamento não linear do espaço de entrada para o espaço oculto, seguido de um mapeamento linear do espaço oculto para o espaço de saída. Considerando que a rede tenha p entradas, N unidades ocultas e uma saída, podemos pensar que a rede represente um mapeamento s de um espaço p para um espaço unidimensional: s: R p R O mapeamento s representa uma hiper-superfície (gráfico) Γ R p+ A rede opera em duas fases: treinamento e generalização: Fase de treinamento: procedimento de auste otimizado da superfície Γ, de mapeamento da entrada para a saída, baseado nos pontos de dados apresentados à rede na forma de exemplos de padrões entrada-saída. Fase de generalização: interpolação entre dados, sendo realizada ao longo da superfície gerada pelo processo de auste. 9 Os métodos de funções de base radiais têm origem em técnicas para realizar interpolação exata de um conunto de dados num espaço multidimensional. O problema da interpolação exata requer que cada vetor de entrada sea mapeado exatamente para o seu vetor de saída correspondente. Considere um mapeamento do espaço de entrada x de dimensão d para um espaço de saída t unidimensional. O conunto de dados consiste de N vetores de entrada x n, com os seus alvos t n. O obetivo é encontrar uma função h(x) tal que h(x n ) = t n, n =,..., N A abordagem RBF para interpolação exata introduz um conunto de N funções de base, uma para cada dado, da forma φ( x x n ), onde φ(.) é uma função não linear. A saída do mapeamento é uma combinação linear das funções de base: n ( x x ) h( x) = φ n w n Solução do problema de interpolação exata A condição de interpolação, h(x n ) = t n, pode ser então escrita na forma matricial: Φ w = t onde t (t n ), w (w n ) e a matriz quadrada Φ tem elementos Φ nn = φ ( x n x n ). φ φ φ N ( x x ) φ( x x ) L φ( x x ) N ( x x ) φ( x x ) L φ( x x ) w w t = t ( ) ( ) ( ) N N N N N x x φ x x L φ x x wn t Interpolação exata A interpolação passando exatamente por todos os pontos do arquivo de dados tende a gerar uma função de interpolação oscilatória para dados ruidosos. No ATLAB, a função newrbe(x,d,spread) gera uma rede RBF com um neurônio para cada vetor de entrada, com uma largura das funções de base determinada por spread. Desde que exista a matriz inversa Φ, pode-se resolver para w: w = Φ t Pode-se mostrar que para uma ampla classe de funções φ(.), a matriz Φ é não-singular, desde que os pontos de dados seam distintos. A função h(x) resultante é uma superfície contínua diferenciável passando pelos dados. RBF: 3 neurônios

4 RBF incremental No ATLAB, a função newrb(x,d,goal,spread) gera uma rede RBF de maneira incremental, acrescentando um neurônio por vez, até que o erro da rede satisfaça o EQ dado por goal. A Rede GRNN Generalized Regression Network A rede GRNN (do ATLAB), é uma alternativa à rede RBF exata, onde a camada oculta se conecta à de saída por meio de pesos de valor igual aos valores deseados: w = t x φ (x) i w x i φ (x) i w y w N x p φ N (x) i N RBF final: 4 neurônios 3 O valor de saída é dado pela média ponderada das ativações intermediárias. A rede responde com a média ponderada dos vetores alvo mais próximos ao vetor de entrada: i y = w i 4 Interpolação por GRNN A interpolação por GRNN tende a ser mais suave. Estratégias de Aprendizado. Seleção das funções radiais:. Assumir funções fixas gaussianas esféricas, centradas em pontos c escolhidos aleatoriamente do arquivo de treinamento. Sendo d a distância máxima entre os centros, cada gaussiana terá a forma: (x c ) φ (x) = exp ( ) d Com isso, o desvio padrão de todas as gaussianas é dado por: d σ =. Os centros podem ser escolhidos por clusterização dos vetores de treinamento. No ATLAB, a função newgrnn(x,d,spread) gera uma rede GRNN com um neurônio para cada vetor de entrada, com uma largura das funções de base determinada por spread. 5. Cálculo dos pesos:. Inversão da matriz de interpolação;. Aplicação do algoritmo LS como regra de correção do erro na saída da rede. 6

5 Comparação com o LP. A ativação de uma unidade oculta (UO) de um LP é constante sobre um hiperplano (dimensão d ) no espaço de entrada (dimensão d). A ativação de uma unidade oculta de uma rede RBF é constante sobre um hiper-elipsóide.. Um LP forma uma representação distribuída no espaço dos valores de ativação das UO; para um vetor de entrada muitas UO contribuem para a determinação do valor de saída. Uma rede RBF com funções de base localizadas forma uma representação local no espaço das unidades ocultas; para um vetor de entrada, apenas algumas UO têm ativação significativa. Isto faz com que sea mais fácil treinar uma rede RBF. Comparação com o LP 3. LP tem uma arquitetura mais complexa, podendo ter várias camadas ocultas (CO) e um padrão de conectividade complexo, onde nem todos os pesos estão presentes. Além disso, usa-se mais de uma função de ativação na mesma rede; Uma rede RBF tem arquitetura mais simples, apenas uma CO. 4. Todos os parâmetros de um LP são austados simultaneamente, como parte de uma estratégia única de treinamento supervisionado. Uma rede RBF é treinada em duas etapas de auste: parâmetros das funções de base a partir dos dados de entrada (não supervisionado), pesos encontrados por métodos lineares supervisionados. 7 8 Exemplo de rede RBF: O Problema do XOR ϕ (x) = exp( x t ), t = [, ] T ϕ (x) = exp( x t ), t = [, ] T Utilizando as duas FBR gaussianas abaixo, especifique uma rede RBF, para resolver o problema do XOR (unipolar). ϕ (x),353 ϕ (x) x x φ (x) φ (x) w w + Σ w y(x) x x d i ϕ (x) ϕ (x) ϕ (x) ϕ (x),3678 ϕ (x) = exp( x t ), t = [, ] T ϕ (x) = exp( x t ), t = [, ] T,3678,353 9,44

6 Solução do problema do XOR Transformação de entrada-saída calculada para as FBR escolhidas apeamento de entrada-saída da rede RBF x x φ (x, x ),353,3678,3678, φ (x, x ),,3678,3678,353 d (,) (,) (,) (,) x = x x φ (x) φ (x) w w + Σ w y(x) w φ (x) + w φ (x) + w = y(x),353 w +, w + w =,3678 w +,3678 w + w =,3678 w +,3678 w + w =, w +,353 w + w = F(x, x ) F(x, ) x = x w = w =,58; w =,844 (,) (,) (,) (,) Superfícies de regressão para o problema do XOR obtidas com a rede BP 3