Introdução à Teoria do Aprendizado

Transcrição

1 Introdução à Teoria do Aprendizado Carlos Hall Os processos no mundo real são intrinsecamente: dinâmicos (dependem do tempo) não lineares não gaussianos não estacionários com restrições com interações com outros processos

2 Propósito Geral da Ciência: Retirar a camada de aparência Revelar a essência dos processos ou fenômenos Explicar e entender a mecânica dos processos ou fenômenos Prever valores futuros Dois tipos de Modelagem: Modelagem Matemática Modelagem dos Dados 2

3 Modelagem Matemática Baseado no conhecimento previamente acumulado sobre o problema Utiliza um conjunto de equações fundamentais Leis físico-químicas, identidades matemáticas, etc Necessita conhecimento/ intuição/ experiência para conceber o modelo final, composto normalmente por um sistema de equações Saída do modelo é uma solução do sistema de equações para uma determinada condição. Modelagem dos Dados: Baseado nas observações do processo (dados de treinamento) Utiliza-se modelos adaptáveis genéricos (aproximadores universais) Necessita de um algoritmo de aprendizado (para ajustar o modelo) Saída do modelo é o processamento dos dados de entrada. 3

4 Modelos Adaptáveis: Um modelo é composto por um conjunto de parâmetros ajustáveis. Aproximam, em princípio, qualquer função linear / não linear. Assume-se que há dados suficientes (amostras) do processo a modelar. Utiliza-se um otimizador no ajuste dos parâmetros do modelo. Modelos Adaptáveis: Exemplos de aproximadores universais: Redes Neurais Sistemas fuzz / Neuro fuzz Funções de base radial (gaussianas) Splines (funções de base são polinômios) FFT (funções de base são senos e cossenos) Wavelets 4

5 Modelos Adaptáveis: Vetor de entrada x[i] = [x [i] x 2 [i] x 3 [i] x Nx [i] ] i = 0 N MODELO ADAPTÁVEL Parâmetros: θ R Nm Valor de saída [i] Modelos Adaptáveis: Vetor de entrada x[i] = [x [i] x 2 [i] x 3 [i] x Nx [i] ] i = 0 N Problema: encontrar o melhor conjunto θ R Nm MODELO ADAPTÁVEL Parâmetros: θ R Nm Valor de saída [i] 5

6 Modelos Adaptáveis: Processo ou Fenômeno D = { (x[], []); (x[2], [2]); ; (x[n ], [N ]) } Dados de Treinamento Modelos Adaptáveis: MODELO ADAPTÁVEL D x = { x[], x[2], x[n ] } = g (θ, x ) D = { ^[], [2], ^ [N ^ ] } g (.) tem uma forma funcional fixa, definida pelo tipo de aproximador universal utilizado (p.ex. RN) 6

7 Modelos Adaptáveis Função de Avaliação do Modelo: f (D θ) θ Modelos Adaptáveis Função de Avaliação do Modelo: Algum critério de busca para evitar a força bruta na escolha do melhor modelo Ou seja, um algoritmo de otimização Que equivale a um algoritmo de aprendizado 7

8 Algoritmos de Aprendizado Comunidade Científica Comunidade de Inteligência Computacional Comunidade de Estatística Comunidade de Processamento de Sinais Aprendizado do Modelo Estimação de Parâmetros Filtragem de Ruído Algoritmos de Aprendizado Comunidade Científica Comunidade de Inteligência Computacional Comunidade de Estatística Comunidade de Processamento de Sinais Aprendizado do Modelo Estimação de Parâmetros Filtragem de Ruído Processo de Otimização Aprendizado Batch Aprendizado On-Line 8

9 Aprendizado Batch Ajusta os parâmetros do modelo considerando todo o conjunto de treinamento simultaneamente Aprendizado On-line Ajusta sequencialmente os parâmetros do modelo após a apresentação de cada padrão de treinamento Aprendizado Batch x Aprendizado On-line Seja {D } = {, 2,..., } um conjunto de observações de um processo. A média das observações é: = i i= Suponha então que uma nova observação + passa a ser conhecida. 9

10 Aprendizado Batch + + = i + i= Aprendizado On-line = + + Aprendizado Batch + + = i + i= MESMO RESULTADO! Aprendizado On-line = + + 0

11 Aprendizado Batch + + = i + i= MESMO RESULTADO! Aprendizado On-line = + + Redução de tempo computacional Redução de memória ocupada Aprendizado Batch Eficiente para pequenos e médios conjuntos de treinamento Eficiente para dimensões razoáveis do vetor de estados Ineficiente para tratar processos dinâmicos (necessita retreinamento) Otimiza sobre uma superfície de erro fixa

12 Aprendizado On-line Eficiente para grandes conjuntos de treinamento Eficiente para dimensões elevadas do vetor de estados Trata de forma natural os processos dinâmicos Otimiza sobre uma superfície de erro estocástica 2