UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica

Transcrição

1 REDES DE FUNÇÃO DE BASE RADIAL - RBF Prof. Dr. André A. P. Biscaro 1º Semestre de 2017

2 Funções de Base Global Funções de Base Global são usadas pelas redes BP. Estas funções são definidas como funções (sigmoidais) da distância do vetor de padrões a um hiperplano; A função a ser aproximada se torna uma combinação de sigmoidais, que sendo definidas em todo o espaço de medidas exigem muitas iterações até chegar a uma combinação adequada; As Funções de Base Local podem ser de dois tipos: Baseadas em estimativa das funções de densidade de probabilidade; Baseadas em aproximação de funções iterativas. Com Aprendizagem Supervisionada

3 Funções de Base Local Baseadas em estimativa das funções de densidade de probabilidade As funções deste tipo são empregadas nas Redes: Redes Neurais Probabilísticas (PNN) usadas em classificação; Redes Neurais de Regressão Geral (GRNN) usadas para estimativa de valores de variáveis contínuas. Com Aprendizagem Supervisionada

4 Rede Neural Probabilística Uma rede neural probabilística (PNN) fornece uma técnica geral para problemas de classificação; Um vetor de entrada, chamado de vetor de características, é usado para determinar uma categoria; As redes PNN usam os dados de treinamento para desenvolver funções de distribuição que, por sua vez, são usadas para estimar a chance de um vetor de características pertencer a uma dada categoria. Com Aprendizagem Supervisionada

5 Rede Neural Probabilística Pode-se combinar este procedimento com uma prioridade conhecida (frequência relativa) de cada categoria para determinar a categoria mais provável para a pertinência de um vetor de características; Caso as frequências relativas sejam desconhecidas as categorias são consideradas equiprováveis e a determinação de pertinência é feita apenas pela proximidade entre o vetor de características e a função de distribuição da categoria. Com Aprendizagem Supervisionada

6 Rede Neural Probabilística Estas Redes representam uma implementação neural de Classificadores de Bayes sendo as funções de densidade de probabilidade aproximadas usando Estimadores de Parzen; Os Classificadores de Bayes fornecem uma aproximação ótima para classificação de padrões em termos de minimização do risco esperado. Com Aprendizagem Supervisionada

7 Redes Neurais de Regressão Geral Regressão Geral significa que a superfície de regressão não tem de ser necessariamente linear; Uma Rede Neural de Regressão Geral (GRNN) é uma generalização de uma rede neural probabilística (PNN); As redes PNN são especialmente ajustadas aos problemas de classificação (classes discretas) enquanto as redes GRNN são para regressão (valores contínuos). Com Aprendizagem Supervisionada

8 Funções de Base Radial Funções de Base Radial (RBF) são funções que possuem um valor máximo próximo de um centro decaindo rapidamente em função da distância desse centro; A função a ser aproximada é uma combinação linear das funções de Base Radial; Como as funções se tornam negligíveis longe do centro sua interação é baixa e o treinamento rápido. Com Aprendizagem Supervisionada

9 Redes de Função de Base Radial Uma Rede de Função de Base Radial, ou Radial Basis Function (RBF) é qualquer rede que possua uma representação interna dos elementos de processamento ocultos (que são as unidades de padrões) com simetria radial; Nas Redes de Retro Propagação usam-se funções globais e nas RBF usam-se funções locais o que evita interferências cruzadas e reduz bastante o tempo de treinamento. Com Aprendizagem Supervisionada

10 Redes de Função de Base Radial Nas redes de Retro Propagação faz-se o produto escalar da entrada com o vetor de pesos enquanto nas Redes de Função de Base Radial calcula-se a distância entre a entrada e o vetor de pesos propagando apenas o estímulo correspondente ao elemento de processamento vencedor Com Aprendizagem Supervisionada

11 Redes de Função de Base Radial O PMC é baseado em unidades que calculam uma função não-linear do produto escalar do vetor de entrada e um vetor de peso. A rede RBF pertence a uma classe de modelos de redes neurais na qual a ativação de uma unidade oculta é determinada pela distância entre o vetor de entrada e um vetor protótipo. As redes RBF unificam diversas teorias importantes envolvendo aproximação de funções, regularização, interpolação ruidosa, estimação de densidade, classificação ótima e funções de potencial.

12 Redes de Função de Base Radial PMC RBF

13 Redes de Função de Base Radial Como consequência, os procedimentos de treinamento destas redes podem ser muito mais rápidos que os métodos usados para treinar redes PMC. As unidades ocultas formam representações internas interpretáveis o que leva a um treinamento em dois estágios: No primeiro, ocorre um treinamento não supervisionado para determinação dos agrupamentos das amostras de entrada, o que usualmente é feito pelo algoritmo de K-means; No segundo estágio se faz o ajustamento dos pesos dos nós da camada de saída; Com Aprendizagem Supervisionada

14 Redes de Função de Base Radial Como a camada intermediária fornece uma saída de vetores linearmente separáveis, os pesos da camada de saída podem ser calculados por modelos lineares como a Decomposição em Valores Singulares. O projeto de uma rede neural é visto como um problema de ajuste de curva. Aprendizado é equivalente a encontrar uma superfície no espaço multidimensional do mapeamento que resulta no melhor ajuste aos dados de treinamento. Generalização corresponde a interpolar dados nesta superfície multidimensional. A camada de entrada é constituída de nós sensoriais.

15 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Redes de Função de Base Radial As unidades ocultas fornecem um conjunto de funções que constituem uma base arbitrária para vetores de entrada, quando eles são projetados no espaço das unidades ocultas. Estas funções são denominadas Funções de Base. A transformação do espaço de entrada para o espaço das unidades ocultas é não-linear. A camada de saída fornece a resposta da rede para os padrões de ativação apresentados na entrada. A transformação do espaço das unidades ocultas para o espaço de saída é linear. O problema é resolvido transformando-o na tarefa de classificação em um espaço multidimensional.

16 Regressão não paramétrica

17 Topologia da Rede RBF

18 Funções Radiais

19 Funções Radiais Função de Ativação Gaussiana (unidimensional)

20 Funções Radiais Função de Ativação Gaussiana (bidimensional)

21 Gaussiana Multivariada

22 Algumas Funções Radiais de Base

23 Funcionamento da Rede

24 O Problema de Interpolação Exata

25 Solução do Problema de Interpolação Exata

26 Interpolação Exata

27 RBF Incremental

28 A Rede GRNN Generalized Regression Network

29 Interpolação por GRNN

30 Estratégias de Aprendizado

31 Comparação com MLP

32 Comparação com MLP

33 Exemplo de rede RBF: O Problema do XOR

34 Exemplo de rede RBF: O Problema do XOR

35 Solução do Problema do XOR

36 Mapeamento de Entrada-Saída da Rede RBF

37 Superfícies de regressão para o problema do XOR obtidas com a rede BP