Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function
|
|
- Carla Furtado
- 4 Há anos
- Visualizações:
Transcrição
1 Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function Formas de Aprendizado Existe dois métodos básicos de aplicação do algoritmo Back Propagation: Aprendizado em Batch ( Batch Learning, por ciclo, etc) Aprendizado Incremental ( on-line, pattern-mode, por padrão, etc) 1
2 Aprendizado Batch x Incremental Aprendizado em Batch (por ciclo) Somente ajusta os pesos após a apresentação de TODOS os padrões Cada padrão é avaliado com a MESMA configuração de pesos obtém-se os termos derivativos δe p /δw e depois obtém-se a soma total do algoritmo: E E p = w w p cálculo correto do gradiente. Aprendizado Batch x Incremental Aprendizado em Batch (por ciclo) Melhor aproximação do verdadeiro gradiente descendente 2
3 Aprendizado Incremental Aprendizado Incremental (por padrão) Atualiza os pesos a cada apresentação de um novo padrão os pesos são atualizados usando o gradiente do erro de um único padrão não é mais uma aproximação simples do gradiente descendente mais atualizações ocorrem em um mesmo período de tempo tende a aprender melhor o último padrão apresentado sequência aleatória Aprendizado Incremental Verdadeiro gradiente x Gradiente de um padrão O gradiente de um único padrão pode ser visto como uma estimativa ruidosa do verdadeiro gradiente; Ele pode ter proj eções negativas sobre o verdadeiro gradiente; Na média, ele se move downhill ; Quando η << 1, os dois métodos se aproximam. 3
4 Aprendizado Incremental Aprendizado Incremental Na apresentação randômica dos padrões, a descida não é mais suave; Na média diminui o erro mas pode, eventualmente, aumentá-lo; No final do treinamento η deve ser pequeno para evitar oscilações. Batch X Incremental O modo Batch necessita de menos atualizações de pesos Tende a ser mais rápido Batch fornece uma medida mais precisa da mudança necessária dos pesos Batch necessita de mais memória Incremental tem menos chance de ficar preso em um mínimo local devido à apresentação aleatória dos padrões natureza estocástica stica de busca no espaço de pesos Tende a ser mais rápido se o conjunto de treinamento for grande e ruidoso. A eficiência dos dois métodos depende do problema em questão 4
5 Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um mínimo local. Tamanho da Rede Neural Define o número de camadas escondidas e o número de processadores em cada uma dessas camadas. Compromisso entre Convergência e Generalização. Também conhecido como bias and variance dilemma. 5
6 Convergência É a capacidade da Rede Neural de aprender todos os padrões do conjunto de treinamento. Se a rede neural for pequena, não será capaz de armazenar todos os padrões necessários. Isto é, a rede não deve ser rígida a ponto de não modelar fielmente os dados. Generalização Se a rede for muito grande (muitos parâmetros = pesos), não responderá corretamente aos padrões nunca vistos. Isto é, a rede não deve ser excessivamente flexível a ponto de modelar também o ruído 6
7 Generalização Se a rede for muito grande (muitos parâmetros = pesos), não responderá corretamente aos padrões nunca vistos. Isto é, a rede não deve ser excessivamente flexível a ponto de modelar também o ruído f(x) generalização Mapeamento Suave x 1 x 2 x 3 x novo x 4 x 5 x i pontos do conjunt o de treinament o x novo novo pont o para generalizaç ão x Generalização Se a rede for muito grande (muitos parâmetros = pesos), não responderá corretamente aos padrões nunca vistos. Isto é, a rede não deve ser excessivamente flexível a ponto de modelar também o ruído f(x) generalizações Rede com muitos parâmetros Boa interpolação x 1 x 2 x 3 x novo x 4 x 5 x i pontos do conjunt o de treinament o x novo novo ponto para generalização x 7
8 Generalização Influenciada por três fatores: tamanho e eficiência do conjunto de treinamento; arquitetura da rede (número de processadores); complexidade do problema. Não se tem controle Duas formas de atacar o problema: arquitetura fixa e deve-se achar o tamanho do conjunto de treinamento tamanho do conjunto de treinamento é fixo e deve-se achar a melhor arquitetura da Rede Neural Métricas: Generalização Usou Kolmogorov Theorem: qualquer função de n variáveis Hecht-Nielsen pode ser representada por 2n+1 funções de uma variável número de PEs na camada escondida N hidden 2N in + 1 número de entradas 8
9 Generalização Métricas: Upadhyaya & Eryurek número de pesos O número de parâmetros necessários para codificar P padrões binários é log 2 P W N in. log 2 P número de entradas número de padrões Generalização Métricas: Baum-Haussler número de padrões N w ε número de sinapses 0 < ε 1/8 Erro desejado no teste (erro trein = ε /2) (generalização x precisão) N hidden = w N in + N out 9
10 Generalização Métricas: número de padrões Erro desejado no teste Baum-Haussler N Nhidden N ε test N in + N output número de PEs na camada escondida número de entradas número de PEs na camada de saída GENERALIZAÇÃO Resumo sobre número de Processadores Escondidos Nunca escolha h > 2i; Pode-se armazenar p padrões de i elementos em i log 2 p processadores escondidos nunca utilize mais do que esse limite para uma boa generalização utilize um número consideravelmente menor Assegure-se que se tem pelo menos 1/ε vezes mais padrões do que w Número de pesos = 10 x número de padrões 10
11 GENERALIZAÇÃO Resumo sobre número de Processadores Escondidos Feature Extraction requer menos elementos na camada escondida do que na entrada Classificação h aumenta conforme o número de classes aumenta Existe um compromisso entre generalização (h menor) e precisão (h maior) Redes maiores maior tempo de treinamento GENERALIZAÇÃO Técnicas para Reduzir a complexidade da rede: Weight Decay Análise de Sensibilidade 11
12 Weight Decay Adiciona um termo denominado weight decay Usado para ajustar a complexidade da rede à dificuldade do problema; Se a estrutura da rede for muito complexa, pode-se remover alguns pesos sem aumentar o erro significativamente; o método fornece aos pesos uma tendência de se dirigir ao valor zero, reduzindo a sua magnitude um pouco a cada iteração. Weight Decay Adiciona um termo denominado weight decay E w( t) = η ( t) ρw( t) w onde 0 ρ<<1 Se δe/δw i =0 w i irá diminuir até zero; caso contrário, os dois termos irão se equilibrar em um certo ponto, evitando que w i 0 12
13 Weight Decay Adiciona um termo denominado weight decay E w( t) = η ( t) ρw( t) w onde 0 ρ<<1 Equivale a modificar a definição de E incluindo um termo de penalidade correspondente à magnitude dos pesos da rede. 1 E = 2 1 k 2 ( di yi) + i= 1 2 λ w 2 GENERALIZAÇÃO Análise de Sensibilidade da Saída: Retira-se uma variável de entrada ou elementos processadores; Treina-se novamente a rede; Verifica-se e variação do erro de saída. Se a retirada do elemento não causar grande variação a rede é pouco sensível a este elemento, podendo ser retirado sem perda da capacidade de modelar os dados. 13
14 Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um mínimo local. Problema de Paralisia Com o treinamento, os pesos podem alcançar valores muito grandes (w ij ) F(net j ) A soma ponderada de cada processador torna-se também muito grande (net j = Σ x i.w ij + θ j ) F (net ) ~ 0 j w ijij ~ 0 A Rede Neural não consegue aprender net j Regiões de derivada aproximadamente zero 14
15 Problema de Paralisia Como evitar paralisia da Rede? Deve-se escolher valores de pesos e bias uniformemente distribuídos dentro de um intervalo pequeno; Os neurônios devem, inicialmente, operar na sua região linear; O número de processadores na(s) camada(s) escondida(s) deve ser pequeno. Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um mínimo local. 15
16 Problema do Local De acordo com o método do gradiente Descendente, tem-se: w ji = η.s i.e j Taxa de aprendizado 0.05 η 0.75 A taxa de aprendizado não deve ser nem muito pequena treinamento lento, nem muito grande oscilações Problema do Local Erro (w) Partindo da posição inicial 1: η pequeno Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Posição Inicial 1 Erro mínimo Global Local w L1 Pesos 16
17 Problema do Local Erro (w) Partindo da posição inicial 1: η pequeno Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Posição Inicial 1 Posição 2 Erro mínimo Global Local w w L2 w L1 Pesos Problema do Local Erro (w) Partindo da posição inicial 1: η pequeno Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Posição j Erro mínimo Global w Lj Pesos 17
18 Problema do Local Erro (w) Partindo da posição inicial 1: η pequeno Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Qualquer pequena mudança faz o erro aumentar não consegue sair do vale Posição j Erro mínimo Global w Lj Pesos Problema do Local Com η pequeno, não é possível calcular um w que faça a a Rede Neural sair do Local. A Rede Neural não consegue aprender com a precisão especificada (Erro )! 18
19 Problema do Local Erro (w) Partindo da posição inicial 2: η grande Posição Inicial 2 Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo w G1 Global Pesos Problema do Local Erro (w) Partindo da posição inicial 2: η grande Pelo método do Gradiente Descendente Posição Inicial 2 Erro tende a diminuir com a atualização dos pesos Posição 2 Erro mínimo w w G1 w G2 Global Pesos 19
20 Problema do Local Erro (w) Partindo da posição inicial 2: η grande Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo w G2 Posição 2 w Posição 3 w G3 Global Pesos Problema do Local Erro (w) Partindo da posição inicial 2: η grande Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo w G3 Posição 3 w Posição 4 w G4 Pesos 20
21 Problema do Local Erro (w) Partindo da posição inicial 2: η grande Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo Posição 4 w Posição 5 w G4 w G5 As mudança não são suficientemente pequenas para levar a uma configuração de erro mínimo Global. Pesos Problema do Local Erro (w) Partindo da posição inicial 2: η adequado Posição Inicial 2 Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo w G1 Global Pesos 21
22 Problema do Local Erro (w) Partindo da posição inicial 2: η adequado Posição Inicial 2 Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Posição 2 Erro mínimo w w G1 w G2 Global Pesos Problema do Local Erro (w) Partindo da posição inicial 2: η adequado Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo w G2 Posição 2 w Posição 3 w G3 Global Pesos 22
23 Problema do Local Erro (w) Partindo da posição inicial 2: η adequado Pelo método do Gradiente Descendente Erro tende a diminuir com a atualização dos pesos Erro mínimo w G3 Posição 3 w Gk Posição k Pesos Problema do Local Conclusões: Quando η é pequeno e dependendo da inicialização dos pesos (feita de forma aleatória), a Rede Neural pode ficar presa em um Local. Solução: Utilizar taxa de aprendizado (η ) adaptativa. 23
24 Problema do Local Conclusões: Quando η é grande, a Rede Neural pode nunca conseguir chegar ao Global pois os valores de w são grandes. Oscilações. Solução: Utilização do termo de Momento (α ). Termo de Momento (α ) Uma forma de diminuir a possibilidade de oscilações com valores de η maiores é incluir o Termo de Momento na atualização dos pesos sinápticos w ji (t+1) = η.s i.e j + α. w ji (t) Termo proporcional ao valor anterior de atualização do peso 0 < α <
25 Termo de Momento (α ) w ji (t+1) = η.s i.e j + α. w ji (t) Termo de Momento (α ) w ji (t+1) = η.s i.e j + α. w ji (t) 25
26 Termo de Momento (α ) w ji (t+1) = η.s i.e j + α. w ji (t) Termo de Momento (α ) w ji (t+1) = η.s i.e j + α. w ji (t) 26
27 Termo de Momento (α ) w 2 Situação 1: Ponto Inicial - A Global Corte na Superfície de Erro w 1 Termo de Momento (α ) w 2 Ponto Inicial - A A w(t) Global w 1 27
28 Termo de Momento (α ) w 2 A A Ponto Inicial - A w(t) -η E(t+1) + α w(t) Global w 1 Termo de Momento (α ) w 2 A A Ponto Inicial - A w(t) -η E(t+1) + α w(t) Global A e A estão na mesma direção α acelera o aprendizado w 1 28
29 Termo de Momento (α ) w 2 Situação 2: Ponto Inicial - B Global w 1 Termo de Momento (α ) w 2 Ponto Inicial - B w(t) B Global w 1 29
30 Termo de Momento (α ) w 2 Ponto Inicial - B α w(t) B -η E(t+1) B Global w 1 Termo de Momento (α ) w 2 Ponto Inicial - B α w(t) B -η E(t+1) B Global B e B estão em direções opostas α evita oscilações w 1 30
31 Termo de Momento (α ) Aprendizado em Batch sem Termo de Momento Termo de Momento (α ) Aprendizado em Batch com Term o de Momento 31
32 Termo de Momento (α ) Aprendizado em Batch com Term o de Momento Sim ulações com a mesm a configuração inicial de pesos Conforme α aumenta converge mais rápido (para valores pequenos) Conforme α aumenta mais pode oscilar Exemplo - Paridade 4 bits Rede 4/4/1, com treinamento em batch e tanh; Entradas ±1, target ±0.9 e pesos iniciais distribuídos [-0.5, +0.5]; η fixa de a 10.0 (37 valores) e α de 0 a 0.99 (14 valores); 100 simulações para cada configuração; treinamento por no máximo 5000 iterações; convergência quando E MSE <0.001 ou se todos padrões erro < 0.2; paralisia se, entre epochs, E MSE < ou se gradiente < ; tempo de convergência Ti i Tavg = N convergiram Probabilidade de convergência N convergiram /100 32
33 Exemplo - Paridade 4 bits # epochs probabilidade de convergência Batch X Incremental Apresentação aleatória dos padrões Oscilações comuns. 33
34 Batch X Incremental Aprendizado Incremental 4-bits paridade, η=0.3 e α=0 mesm os pesos iniciais única rede que convergiu ICADEMO Formato de Entrada: 34
35 ICADEMO Formato de Saída: Vetor de 10 elementos binários dígito 1 dígito 2 dígito 0 Topologia: ICADEMO
36 Aplicação Prática Reconhecimento de Dígitos ICADEMO 36
Algoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Multi-Layer Perceptrons (Back Propagation Radial Basis Functions (RBFs Competitive Learning Hopfield Formas de Aprendizado
Leia maisAlgoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Back Propagation Formas de Aprendizado Existe dois métodos básicos de aplicação do algoritmo Back Propagation: Aprendizado
Leia maisMulti-Layer. Perceptrons. Algoritmos de Aprendizado. Perceptrons. Perceptrons
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Radial Basis Functions (RBFs) Competitive Learning Hopfield Multi-Layer Perceptrons
Leia maisRegra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function Multi-Layer Perceptrons
Leia maisMulti-Layer. Perceptrons. Algoritmos de Aprendizado. Perceptrons. Perceptrons
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Multi-Layer Perceptrons Redes de apenas uma camada só representam funções linearmente separáveis Redes
Leia maisAlgoritmos de Aprendizado. CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico. Regra de HEBB.
CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado
Leia maisPERCEPTRON. Características Básicas Modelo de Neurônio Estrutura da Rede Algoritmo de Aprendizado
PERCEPTRON Características Básicas Modelo de Neurônio Estrutura da Rede Algoritmo de Aprendizado CARACTERISTICAS BASICAS - Regra de propagação net - Função de ativação: Degrau = x w + - Topologia: uma
Leia maisVariações do BP. Variações do BP. Variações do BP. Taxa de Aprendizado Adaptativa. Taxa de Aprendizado Adaptativa
A principal crítica ao algoritmo Back Propagation é o longo tempo de treinamento proposta de variações simples para acelerar o processo de aprendizado Taxa de Aprendizado Adaptativa Inicia-se com um valor
Leia maisAlgoritmos de Aprendizado
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Radial Basis Functions (RBFs) Competitive Learning Hopfield Algoritmos de Aprendizado Regra de Hebb Perceptron
Leia maisConsiderações de Desempenho
Back Propagation Considerações de Desempenho Dicas para o BP O uso da função de ativação simétrica geralmente acelera o treinamento TANH +1 logistic linear 0 tanh -1-4 +4 1 Dicas para o BP Os pesos devem
Leia maisBack Propagation. Dicas para o BP
Back Propagation Considerações de Desempenho Dicas para o BP O uso da função de ativação simétrica geralmente acelera o treinamento TANH +1 logistic linear 0 tanh -1-4 +4 11 Dicas para o BP Os pesos devem
Leia maisRedes Neurais Artificiais. Sistemas de Informação/Ciências da Computação UNISUL Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 9)
Redes Neurais Artificiais Sistemas de Informação/Ciências da Computação UNISUL Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 9) Conceitos 2 Redes Neurais As Redes Neurais Artificias são modelos computacionais
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Marcelo K. Albertini 24 de Julho de 2014 2/34 Conteúdo Perceptron Gradiente descendente Redes multicamadas Retropropagação de erros 3/34 Modelos conexionistas Humanos Tempo de
Leia maisTeorema de Aprox. Universal. Teorema de Aprox. Universal. Teorema de Aprox. Universal. Teorema de Aprox. Universal. Teorema de Aprox.
SCE-5809 - REDES NEURAIS Redes Neurais Multi-Camadas Parte 3 Profa Roseli Ap Francelin Romero Qual é o número mínimo de camadas num PMC que fornece uma aproximação para qualquer mapeamento contínuo? Cybenko,
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS REDE ADALINE e REGRA DELTA Prof. Dr. André A. P. Biscaro 2º Semestre de 2017 Aspectos históricos O ADALINE foi idealizado por Widrow & Hoff em 1960. Sua principal aplicação estava
Leia mais3 Redes Neurais Artificiais
3 Redes Neurais Artificiais 3.1. Introdução A capacidade de implementar computacionalmente versões simplificadas de neurônios biológicos deu origem a uma subespecialidade da inteligência artificial, conhecida
Leia maisInteligência Artificial Redes Neurais
Inteligência Artificial Jarley P. Nóbrega, Dr. Faculdade Nova Roma Bacharelado em Ciência da Computação jpn@jarley.com Semestre 2018.2 Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre
Leia maisRedes Neurais e Sistemas Fuzzy
Redes Neurais e Sistemas Fuzzy O ADALINE e o algoritmo LMS O ADALINE No contexto de classificação, o ADALINE [B. Widrow 1960] pode ser visto como um perceptron com algoritmo de treinamento baseado em minimização
Leia mais4 Redes Neurais Artificiais
4 Redes Neurais Artificiais Inteligência computacional pode ser definida como um conjunto de modelos, algoritmos, técnicas, ferramentas e aplicações em sistemas computadorizados que emulem características
Leia maisRedes Neurais. Prof. Aurora Pozo. Obs: slides baseados em Prof. Marcílio Souto e Prof. Marley Vellasco
Redes Neurais Prof. Aurora Pozo Obs: slides baseados em Prof. Marcílio Souto e Prof. Marley Vellasco CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos
Leia maisResolução da Prova 1 SCC Redes Neurais 2o. Semestre de Prof. João Luís
Resolução da Prova 1 SCC-5809 - Redes Neurais 2o. Semestre de 2011 - Prof. João Luís RESOLUÇÃO (2) 1. A figura abaixo mostra uma rede neural com um único neurônio escondido. Mostre que essa rede resolve
Leia maisINF 1771 Inteligência Artificial
INF 1771 Inteligência Artificial Aula 22 Redes Neurais Edirlei Soares de Lima Formas de Aprendizado Aprendizado Supervisionado Árvores de decisão. K-Nearest Neighbor (KNN). Support
Leia maisPrimeiras Redes Neurais Artificiais: Perceptron e Adaline
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Primeiras Redes Neurais Artificiais: Perceptron e Adaline DCA0121 Inteligência Artificial Aplicada Heitor
Leia maisRedes Neurais MLP: Exemplos e Características
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais MLP: Exemplos e Características DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1
Leia maisModelagem da Rede Neural. Modelagem da Rede Neural. Back Propagation. Modelagem da Rede Neural. Modelagem da Rede Neural. Seleção de Variáveis:
Back Propagation Fatores importantes para a modelagem da Rede Neural: Seleção de variáveis; veis; Limpeza dos dados; Representação das variáveis veis de entrada e saída; Normalização; Buscando melhor Generalização
Leia maisGT-JeDi - Curso de Desenv. de Jogos IA para Jogos
GT-JeDi - Curso de Desenv. de Jogos IA para Jogos Gustavo Pessin 2006/2 - A07 Cronograma Conceitos Neurônio artificial Redes: Perceptron e Multi Layer Perceptron (MLP), Exemplos Separando cores Prevendo
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Perceptrons de Múltiplas Camadas I Prof. João Marcos Meirelles da Silva www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de Engenharia
Leia maisRedes Neurais Artificiais - Introdução. Visão Computacional
Redes Neurais Artificiais - Introdução Visão Computacional Inspiração 2 Inspiração 3 Inspiração Atividade seletivanas conexões Soma os impulsos e passa a diante 4 Inspiração As conexões entre os dendritos
Leia maisJAI 6 - Deep Learning Teoria e Prática
JAI 6 - Deep Learning Teoria e Prática Esteban Clua e Cristina Nader Vasconcelos Universidade Federal Fluminense Fundamentos Computação baseada em modelos crisnv@ic.uff.br 2 Computação baseada em aprendizado
Leia maisReconhecimento de Padrões/Objetos
Reconhecimento de Padrões/Objetos André Tavares da Silva andre.silva@udesc.br Capítulo 2 de Gonzales Classificação Linear Introdução Para utilizar uma função discriminante linear (Linear Discriminant Function)
Leia maisRedes Neurais Artificial
Redes Neurais Artificial Tópicos: Introdução ao estudo de RNA sua origem e inspiração biológica Características gerais das RN e descrição do neurônio artificial Aprendizado de RN e tipos de Aprendizado
Leia maisAprendizado de Máquinas. Multi-Layer Perceptron (MLP)
Universidade Federal do Paraná (UFPR) Departamento de Informática (DInf) Aprendizado de Máquinas Multi-Layer Perceptron (MLP) David Menotti, Ph.D. web.inf.ufpr.br/menotti Redes Neuronais Cérebro humano.
Leia mais5HGHV1HXUDLV$UWLILFLDLV
7 5GXUDL$UWLILFLDL A motivação pelo uso das Redes Neurais Artificiais RNA, comumente chamadas de redes neurais, é pelo reconhecimento de que o cérebro processa informações de uma forma diferente dos computadores
Leia maisSistemas Inteligentes - Redes Neurais -
Sistemas Inteligentes - Redes Neurais - Marley Maria B.R. Vellasco ICA: Núcleo de Pesquisa em Inteligência Computacional Aplicada PUC-Rio Introdução CONTEÚDO Motivação, Objetivo, Definição, Características
Leia mais3 REDES CLÁSSICAS PERCEPTRON E ADALINE
w b Professor José Gomes de Carvalho Jr. 3 REDES CLÁSSICAS PERCEPTRON E ADALINE 3.-Redes com funções de ativação de limiar Uma rede simples de uma camada, consiste em um ou mais neurônios de saída j conectados
Leia maisRede RBF (Radial Basis Function)
Rede RBF (Radial Basis Function) André Tavares da Silva andre.silva@udesc.br Roteiro Introdução à rede neural artificial RBF Teorema de Cover da separabilidade de padrões RBF x MLP RBF Função de ativação
Leia mais3 Redes Neurais Introdução
3 Redes Neurais 3.. Introdução As redes neurais artificiais, ou comumente conhecidas como Neural Networs, foram motivadas em princípio pela extraordinária capacidade do cérebro humano para executar tarefas
Leia maisREDES NEURAIS. Marley Maria B.R. Vellasco. ICA: Núcleo de Pesquisa em Inteligência Computacional Aplicada CONTEÚDO
REDES NEURAIS Marley Maria B.R. Vellasco ICA: Núcleo de Pesquisa em Inteligência Computacional Aplicada PUC-Rio Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos
Leia maisFundamentos de Inteligência Artificial [5COP099]
Fundamentos de Inteligência Artificial [5COP099] Dr. Sylvio Barbon Junior Departamento de Computação - UEL Disciplina Anual Assunto Aula 16 Redes Neurais Artificiais (MLP) 2 de 24 (MLP) Sumário Introdução
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Redes Neurais Artificiais Plano de Aula Introdução Motivação Biológica
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS PERCEPTRON MULTICAMADAS Prof. Dr. André A. P. Biscaro 1º Semestre de 2018 Arquitetura Redes Perceptron de Múltiplas Camadas (PMC), também conhecidas como redes MLP (Multiple Layer
Leia maisTÓPICOS EM INTELIGÊNCIA ARTIFICIAL Redes Neurais Artificiais
TÓPICOS EM INTELIGÊNCIA ARTIFICIAL Redes Neurais Artificiais ricardo.kerschbaumer@ifc.edu.br http://professor.luzerna.ifc.edu.br/ricardo-kerschbaumer/ Introdução O Cérebro humano Mais fascinante processador
Leia mais3 INTELIGÊNCIA COMPUTACIONAL (IC)
40 3 INTELIGÊNCIA COMPUTACIONAL (IC) Inteligência Computacional é a área da ciência da computação que estuda a teoria e aplicação de técnicas computacionais inspiradas na natureza. Deste modo, tem por
Leia maisINTELIGÊNCIA ARTIFICIAL
INTELIGÊNCIA ARTIFICIAL REDES NEURAIS Caracterização Intuitiva: Em termos intuitivos, Redes Neurais Artificiais (RNAs) são modelos matemáticos inspirados nos princípios de funcionamento dos neurônios biológicos
Leia maisProfa. Josiane M. Pinheiro outubro/2008
Baseada em: Stuart Russel e Peter Norving - Inteligência Artificial seção 20.5 Jorge M. Barreto Introdução às Redes Neurais Artificiais - http://www.inf.ufsc.br/~barreto/tutoriais/survey.pdf Cassia Yuri
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Multi-layer Perceptrons e Backpropagation Marcílio Souto DIMAp/UFRN Redes de várias camadas MLP - Multi-Layer Perceptron (Adaline?!) Backpropagation network Superar as limitações
Leia maisRegra de Oja. Para taxa de aprendizagem pequena, Oja aproximou. pesos para criar uma forma útil da aprendizagem
Regra de Oja A regra de Hebb necessita da normalização dos pesos para criar uma forma útil da aprendizagem i i i i i i n x n y n w n x n y n w n w 2 1 JDSS-LAC/INPE Para taxa de aprendizagem pequena, Oja
Leia maisMotivação, Objetivo, Definição, Características Básicas e Histórico. Neurônio Artificial, Modos de Interconexão
REDES NEURAIS Marley Maria B.R. Vellasco ICA: Núcleo de Pesquisa em Inteligência Computacional Aplicada PUC-Rio Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos
Leia mais2. Redes Neurais Artificiais
Computação Bioinspirada - 5955010-1 2. Redes Neurais Artificiais Prof. Renato Tinós Depto. de Computação e Matemática (FFCLRP/USP) 1 2.2. Perceptron 2.2.1. Introdução 2.2.2. Funcionamento do perceptron
Leia maisHP UFCG Analytics Abril-Maio Um curso sobre Reconhecimento de Padrões e Redes Neurais. Por Herman Martins Gomes.
HP UFCG Analytics Abril-Maio 2012 Um curso sobre Reconhecimento de Padrões e Redes Neurais Por Herman Martins Gomes hmg@dsc.ufcg.edu.br Programa Visão Geral (2H) Reconhecimento Estatístico de Padrões (3H)
Leia mais2. Redes Neurais Artificiais
Computação Bioinspirada - 5955010-1 2. Redes Neurais Artificiais Prof. Renato Tinós Depto. de Computação e Matemática (FFCLRP/USP) 1 2.3. Perceptron Multicamadas - MLP 2.3.1. Introdução ao MLP 2.3.2. Treinamento
Leia maisRedes Neurais e Sistemas Fuzzy
Redes Neurais e Sistemas Fuzzy Redes de uma única camada O Perceptron elementar Classificação de padrões por um perceptron A tarefa de classificação consiste em aprender a atribuir rótulos a dados que
Leia mais2. Redes Neurais Artificiais
Computação Bioinspirada - 5955010-1 2. Redes Neurais Artificiais Prof. Renato Tinós Depto. de Computação e Matemática (FFCLRP/USP) 1 2.3. Perceptron Multicamadas - MLP 2.3.1. Introdução ao MLP 2.3.2. Treinamento
Leia maisParadigmas de Aprendizagem
Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA UFES Departamento de Computação Paradigmas de Aprendizagem Redes Neurais Artificiais Site: http://jeiks.net E-mail: jacsonrcsilva@gmail.com
Leia maisserotonina (humor) dopamina (Parkinson) serotonina (humor) dopamina (Parkinson) Prozac inibe a recaptação da serotonina
Redes Neurais O modelo biológico O cérebro humano possui cerca 100 bilhões de neurônios O neurônio é composto por um corpo celular chamado soma, ramificações chamadas dendritos (que recebem as entradas)
Leia maisProcessamento de Imagens CPS755
Processamento de Imagens CPS755 aula 06 - sistemas não lineares Antonio Oliveira Ricardo Marroquim 1 / 38 laboratório de processamento de imagens tópicos RANSAC métodos iterativos (não-lineares) gradientes
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 03 Aprendizado Supervisionado / : Modelo MCP e Perceptron Max Pereira Neurônio Booleano de McCulloch- Pitts (Modelo MCP) Proposto em
Leia maisClassificação Linear. André Tavares da Silva.
Classificação Linear André Tavares da Silva andre.silva@udesc.br Roteiro Introduzir os o conceito de classificação linear. LDA (Linear Discriminant Analysis) Funções Discriminantes Lineares Perceptron
Leia maisIntrodução à Teoria do Aprendizado
Introdução à Teoria do Aprendizado Carlos Hall Os processos no mundo real são intrinsecamente: dinâmicos (dependem do tempo) não lineares não gaussianos não estacionários com restrições com interações
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Redes Neurais Biológicas 2. Neurônio Artificial 3. Rede Neural Artificial 4. Keras 1 Redes Neurais Biológicas
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS AULA 03 Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 INTRODUÇÃO Aprendizagem é um processo pelo qual os parâmetros livres de uma rede neural são adaptados através de um processo
Leia maisRedes Neurais: MLP. Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais: MLP DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1 Tópicos Redes diretas de múltiplas
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Perceptrons de Múltiplas Camadas II Prof. João Marcos Meirelles da Silva www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de
Leia maisAPRENDIZADO EM MODELOS CONEXIONISTAS
APRENDIZADO EM MODELOS CONEXIONISAS Aprendizado é o processo pelo qual os parâmetros (os pesos das coneões entre os neurônios) de uma rede neural são austados através de uma forma continuada de estímulo
Leia maisRedes Neurais Artificiais (RNA)
Redes Neurais Artificiais (RNA) Definições: 1. Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, conectados em rede, são capazes de aprender e de generalizar. 2. Técnica de aproximação
Leia maisp TPP = (6.1) e a rajada de perda de pacote é medida pela Comprimento Médio da Rajada (CMR ) que é dada por
6 Perdas de Pacotes O problema de perda de pacotes em rajadas nas redes IP e redes móveis é um dos fatores mais importantes a serem considerados na análise de sistemas de reconhecimento de voz distribuídos.
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Neurônio Natural Dendritos: recebe os estímulos transmitidos por outros neurônios Soma Sinapse Axônio Soma: coleta e combina informações vindas de outros neurônios Sinapse Dendrito
Leia maisMultiple Layer Perceptron
Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica Multiple Layer Perceptron David Menotti www.inf.ufpr.br/menotti/ci171-182 Hoje Multiple Layer Perceptron (MLP) Backpropagation
Leia maisUNIVERSIDADE FEDERAL DE LAVRAS DEPARTAMENTO DE CIÊNCIAS EXATAS (DEX) Estudo de Algoritmos de Aprendizado em Redes Neurais Artificiais
UNIVERSIDADE FEDERAL DE LAVRAS DEPARTAMENTO DE CIÊNCIAS EXATAS (DEX) Orientador: Prof. Fabiano Lemes Ribeiro Estudo de Algoritmos de Aprendizado em Redes Neurais Artificiais Nome: João Vitor Squillace
Leia maislnteligência Artificial Introdução a Redes Neurais Artificiais
lnteligência Artificial Introdução a Redes Neurais Artificiais Objetivos Descrever as características básicas das Redes Neurais Artificiais (RNAs). Descrever o funcionamento de uma RNA. Descrever algumas
Leia maisAprendizagem de Máquina. Redes Neurais Artificiais (RNAs)
Aprendizagem de Máquina Redes Neurais Artificiais (RNAs) Plano de Aula Introdução Motivação Biológica Perceptron Superfície de Decisão Descida do Gradiente Redes Multicamadas (Multilayer) Retropropagação
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS PERCEPTRONS Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Forma mais simples de configuração das RNAs Rosenblatt (1958) retina área de projeção área de associação respostas
Leia maisSCC Capítulo 4 Perceptron de Camada Única
Perceptron LMS SCC-5809 - Capítulo 4 Perceptron de Camada Única João Luís Garcia Rosa 1 1 SCC-ICMC-USP - joaoluis@icmc.usp.br 2011 João Luís G. Rosa c 2011 - SCC-5809: Redes Neurais 1/45 Sumário Perceptron
Leia maisRedes Neurais Artificial. Prática. Inteligência Artificial
Redes Neurais Artificial Prática Inteligência Artificial Professor: Rosalvo Ferreira de Oliveira Neto Estrutura 1. Introdução a MLP 2. Base de dados e Pré-Processamento 3. Prática MLP - Introdução Redes
Leia maisMini-projeto: Reconhecimento de Digitos com MLPs. Germano C. Vasconcelos Centro de Informática - UFPE
Mini-projeto: Reconhecimento de Digitos com MLPs Germano C. Vasconcelos Centro de Informática - UFPE 1 Link do Material http://neuralnetworksanddeeplearning.com/chap1.html 2 Objetivo: Treinar uma Rede
Leia maisO Algoritmo de Treinamento: Máquina de Aprendizado Extremo (Extreme Learning Machine - ELM)
O Algoritmo de Treinamento: Máquina de Aprendizado Extremo (Extreme Learning Machine - ELM) Thiago Henrique Cupertino SCE5809 - Redes Neurais 23 de Novembro de 2010 Conteúdo Introdução Desvantagens do
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Redes Neurais Artificiais Plano de Aula Introdução Motivação Biológica
Leia maisSCC Capítulo 5 Perceptron Multicamadas
Introdução Back-propagation (BP) MLPs Convolução SCC-5809 - Capítulo 5 Perceptron Multicamadas João Luís Garcia Rosa 1 1 SCC-ICMC-USP - joaoluis@icmc.usp.br 2011 João Luís G. Rosa c 2011 - SCC-5809: Redes
Leia maisRedes neurais artificiais
Redes neurais artificiais Conceitos em redes neuronais Redes neuronais artificiais (RNA): uma metáfora cerebral para processamento de informações Computação neuronal Muitos usos de RNA para Reconhecimento
Leia mais3 Modelos Comparativos: Teoria e Metodologia
3 Modelos Comparativos: Teoria e Metodologia Para avaliar o desempenho do modelo STAR-Tree, foram estimados os modelos Naive, ARMAX e Redes Neurais. O ajuste dos modelos ARMAX e das redes neurais foi feito
Leia maisRedes Neurais Artificial. Inteligência Artificial. Professor: Rosalvo Ferreira de Oliveira Neto
Redes Neurais Artificial Inteligência Artificial Professor: Rosalvo Ferreira de Oliveira Neto Estrutura 1. Definições 2. Histórico 3. Conceitos Básicos 4. Aprendizado em RNA 5. Exemplo de Aprendizado com
Leia maisRedes Competitivas e de Kohonen
Redes Competitivas e de Kohonen Redes Competitivas Até agora as redes estudadas possuíam muitas saídas ativas, no aprendizagem competitivo somente uma unidade de saída pode estar ativa a cada momento.
Leia maisTópicos Especiais: Inteligência Artificial REDES NEURAIS
Tópicos Especiais: Inteligência Artificial REDES NEURAIS Material baseado e adaptado do Cap. 20 do Livro Inteligência Artificial de Russell & Norvig Bibliografia Inteligência Artificial Russell & Norvig
Leia maisModelo de Hopfield. Modelo de Hopfield. Modelo de Hopfield. Modelo de Hopfield. Redes Neurais Auto-organizáveis Modelo de Hopfield
(1982) Redes Neurais Auto-organizáveis Profa. Roseli Ap. Francelin Romero O problema de Memória Associativa Armazene um conj. de p padrões x iλ de tal forma que quando uma nova entrada x i é apresentada,
Leia maisIntrodução à Redes Neurais. Prof. Matheus Giovanni Pires EXA 868 Inteligência Artificial Não-Simbólica B Universidade Estadual de Feira de Santana
Introdução à Redes Neurais Artificiais Prof. Matheus Giovanni Pires EXA 868 Inteligência Artificial Não-Simbólica B Universidade Estadual de Feira de Santana 2 Introdução Redes Neurais Artificiais (RNAs)
Leia maisAprendizagem por treinamento de redes de aproximação
Aprendizagem por treinamento de redes de Marco H. Terra Departamento de Eng. Elétrica - EESC - USP SEL 0362 - Inteligência Artificial 1 Introdução Neste capítulo, serão apresentados conceitos sobre redes
Leia maisIntrodução a Redes Neurais Artificiais com a biblioteca Encog em Java
Introdução a Redes Neurais Artificiais com a biblioteca Encog em Java Apresentação Graduada em Sistemas de Informação FAP/Parnaíba Mestranda do Programa de Pós-Graduação em Engenharia da Eletricidade -
Leia maisSCE REDES NEURAIS Redes Neurais Multi-Camadas Parte 2
SCE-5809 - REDES NEURAIS Redes Neurais Multi-Camadas Parte 2 Profa. Roseli Ap. Francelin Romero 1 Teorema de Aprox. Universal Qual é o número mínimo de camadas num PMC que fornece uma aproximação para
Leia maisInteligência Artificial. IA Conexionista: Perceptron de Múltiplas Camadas Mapas Auto-Organizáveis. Renan Rosado de Almeida
Inteligência Artificial IA Conexionista: Redes Neurais Artificiais Perceptron de Múltiplas Camadas Mapas Auto-Organizáveis Renan Rosado de Almeida rralmeida@inf.ufrgs.br Perceptron de Múltiplas Camadas
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES DE FUNÇÃO DE BASE RADIAL - RBF Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Funções de Base Global Funções de Base Global são usadas pelas redes BP. Estas funções são definidas como funções
Leia maisRedes Neurais. A Rede RBF. Redes RBF: Função de Base Radial. Prof. Paulo Martins Engel. Regressão não paramétrica. Redes RBF: Radial-Basis Functions
Redes RBF: Função de Base Radial Redes Neurais A Rede RBF O LP é baseado em unidades que calculam uma função não-linear do produto escalar do vetor de entrada e um vetor de peso. A rede RBF pertence a
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
PERCEPTRON MULTICAMADAS: TÉCNICAS DE VALIDAÇÃO Prof. Dr. André A. P. Biscaro 2º Semestre de 2016 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Aspectos de seleção topológica de redes PMC A especificação
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Mapas Auto-Organizáveis Prof. João Marcos Meirelles da Silva http://www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de Engenharia
Leia maisRECONHECIMENTO DE GÊNERO ATRAVÉS DA VOZ
RECONHECIMENTO DE GÊNERO ATRAVÉS DA VOZ Marcela Ribeiro Carvalho marcela@enecar.com.br IFG/Câmpus Goiânia Hipólito Barbosa Machado Filho hipolito.barbosa@ifg.edu.br IFG/Câmpus Goiânia Programa Institucional
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Modelos de classificação por Redes Neurais Artificiais Prof. Paulo Martins Engel Motivação Classificadores baseados em representação simbólica (AD, RD,...) estão limitados a particionar
Leia maisA evolução natural deu ao cérebro humano muitas características desejáveis que não estão presentes na máquina de von Neumann:
Faculdade de Engenharia de Computação Centro de Ciências Exatas, Ambientais e de Tecnologias PUC-Campinas João Luís Garcia Rosa 2004 2 A evolução natural deu ao cérebro humano muitas características desejáveis
Leia mais