Redes Neurais Artificiais
|
|
- Armando Teixeira Minho
- 5 Há anos
- Visualizações:
Transcrição
1 Redes Neurais Artificiais Marcelo K. Albertini 24 de Julho de 2014
2 2/34 Conteúdo Perceptron Gradiente descendente Redes multicamadas Retropropagação de erros
3 3/34 Modelos conexionistas Humanos Tempo de ativação neural 0.001s Número de neurônios Conexões por neurônio 10 4a5 Tempo de reconhecimento de cenas 0.1s Computação paralela massiva
4 Exemplo: carro autônomo 4/34
5 5/34 Propriedades de redes neurais Muitas unidades de ativação Muitas conexões ponderadas entre unidades Processo altamente paralelizado Ênfase no ajuste de pesos automático
6 6/34 Perceptron 1 w 0 x 1 w 1 x 2 w 2.. x n w n entradas pesos Função de ativação Saída: o(x 1,..., x n) { 1 se w0 + w o(x 1,..., x n ) = 1 x w n x n > 0 1 caso contrário. Na notação simplificada vetorial: { 1 se w x > 0 o( x) = 1 caso contrário.
7 Superfície de decisão de um perceptron ? + + Representa algumas funções úteis Quais pesos representam g(x 1, x 2 ) = AND(x 1, x 2 )? Mas algumas funções não são representáveis Todas as não linearmente separáveis Portanto, queremos redes de perceptrons para representar dados não linearmente separáveis 7/34
8 8/34 Treino do Perceptron w i w i + w i onde w i = η(t o)x i Onde: t = c( x) é valor-alvo o é a saída do perceptron η é uma constante pequena (exemplo 0.1) chamada de taxa de aprendizado
9 9/34 Regra de treino do Perceptron Possível provar convergência se Dados de treino são linearmente separáveis η é suficientemente pequeno
10 10/34 Gradiente descendente Considere o caso simplificado unidade linear, onde o = w 0 + w 1 x w n x n Objetivo é aprender w i que minimiza o erro quadrático E[ w] 1 (t d o d ) 2 2 d D onde D é conjunto de exemplos de treino, t d é o valor de treino para o exemplo d e o d o valor obtido pelo perceptron.
11 Figura gradiente descendente E[w] w w1 1 11/34
12 12/34 Cálculo do gradiente Gradiente E[ w] [,,..., ] w 0 w 1 w n Regra de treino w = η E[ w] Isto é w i = η
13 13/34 Gradiente descendente = 1 w 2 d (t d o d ) 2 i
14 13/34 Gradiente descendente = 1 w 2 d (t d o d ) 2 i = 1 2 d (t d o d ) 2
15 13/34 Gradiente descendente = 1 w 2 d (t d o d ) 2 i = 1 2 d (t d o d ) 2 = 1 2 d 2(t d o d ) (t d o d )
16 Gradiente descendente = 1 w 2 d (t d o d ) 2 i = 1 2 d (t d o d ) 2 = 1 2 d 2(t d o d ) (t d o d ) = d (t d o d ) (t d w x d ) = d w (t d o d )( x i,d ) i 13/34
17 14/34 Gradiente descendente Gradiente(exemplosDeTreino, eta) Inicializar w i com valor aleatório pequeno Fazer até convergir (ou treinar demais) 1. Inicializar cada w i para zero 2. Para cada x, t de exemplosdetreino fazer 2.1 Apresentar x ao neurônio e calcular a saída o 2.2 Para cada peso w i fazer w i w i + η(t o)x i 3. Para cada w i fazer w i w i + w i
18 15/34 Resumo Treino do perceptron é garantido se Exemplos são linearmente separáveis Taxa de aprendizado η suficientemente pequena é usada Treino do perceptron com gradiente descendente Convergência para hipótese de menor erro quadrático Mesmo quando dados de treino tem ruído Mesmo quando dados não são separáveis por H
19 16/34 Treino com gradiente: em lote vs. incremental Modo em lote Fazer até convergir 1. Computar o gradiente E D [ w] 2. w w η E D [ w] E D [ w] 1 (t d o d ) 2 2 d D
20 17/34 Gradiente descendente: modo incremental Modo incremental Fazer até convergir Para cada exemplo de treino d D 1. Computar o gradiente E d [ w] 2. w w η E d [ w] E d [ w] 1 2 (t d o d ) 2 Gradiente descendente incremental pode aproximar o modo em lote se η for pequeno o suficiente.
21 18/34 Redes multi-camadas de unidades sigmóides Neural net and traditional classifiers, WY Huang, RP Lippmann - Neural information processing systems, 1988
22 19/34 Unidade sigmóide 1 w 0 x 1 w 1 x 2 w 2.. x n w n entradas pesos σ(x) = 1 1+exp x Propriedade útil Função de ativação sigmóide Saída: o = σ(ganho) = ganho = n t=0 w ix i é a função de transferência sigmóide 1 1+exp ganho σ(x) x = σ(x)(1 σ(x))
23 20/34 Podemos derivar regras de gradiente descendente para Uma unidade sigmóide Rede multi-camadas de unidades sigmóides Retroprogação de erros
24 21/34 Gradiente de erro para uma unidade sigmóide ganho = n t=0 w ix i o d = σ(ganho d ) é a saída da função de transferência do neurônio respondendo ao d-ésimo exemplo no conjunto D t d é a resposta esperada para o d-ésimo exemplo E é o erro da rede t d não varia de acordo com w i, então t d = 0 = 1 w 2 d D (t d o d ) 2,usa regra da soma e obtém: i
25 21/34 Gradiente de erro para uma unidade sigmóide ganho = n t=0 w ix i o d = σ(ganho d ) é a saída da função de transferência do neurônio respondendo ao d-ésimo exemplo no conjunto D t d é a resposta esperada para o d-ésimo exemplo E é o erro da rede t d não varia de acordo com w i, então t d = 0 = 1 w 2 i = 1 2 d D (t d o d ) 2,usa regra da soma e obtém: d (t d o d ) 2,usa regra da cadeia e obtém:
26 21/34 Gradiente de erro para uma unidade sigmóide ganho = n t=0 w ix i o d = σ(ganho d ) é a saída da função de transferência do neurônio respondendo ao d-ésimo exemplo no conjunto D t d é a resposta esperada para o d-ésimo exemplo E é o erro da rede t d não varia de acordo com w i, então t d = 0 = 1 w 2 d D (t d o d ) 2,usa regra da soma e obtém: i = 1 2 = 1 2 d (t d o d ) 2,usa regra da cadeia e obtém: d 2(t d o d ) (t d o d ), aplica derivada de constante e obtém:
27 21/34 Gradiente de erro para uma unidade sigmóide ganho = n t=0 w ix i o d = σ(ganho d ) é a saída da função de transferência do neurônio respondendo ao d-ésimo exemplo no conjunto D t d é a resposta esperada para o d-ésimo exemplo E é o erro da rede t d não varia de acordo com w i, então t d = 0 = 1 w 2 d D (t d o d ) 2,usa regra da soma e obtém: i = 1 2 = 1 2 d (t d o d ) 2,usa regra da cadeia e obtém: d 2(t d o d ) (t d o d ), aplica derivada de constante e obtém: = ( ) d (t d o d ) o d w,usa regra da cadeia e obtém: i
28 Gradiente de erro para uma unidade sigmóide ganho = n t=0 w ix i o d = σ(ganho d ) é a saída da função de transferência do neurônio respondendo ao d-ésimo exemplo no conjunto D t d é a resposta esperada para o d-ésimo exemplo E é o erro da rede t d não varia de acordo com w i, então t d = 0 = 1 w 2 d D (t d o d ) 2,usa regra da soma e obtém: i = 1 2 = 1 2 d (t d o d ) 2,usa regra da cadeia e obtém: d 2(t d o d ) (t d o d ), aplica derivada de constante e obtém: = ( ) d (t d o d ) o d w,usa regra da cadeia e obtém: i = d o d ganho d (t d o d ) ganho d 21/34
29 22/34 Da equação que relaciona o erro E e os pesos da rede w i : Falta obter = d o d ganho d o d ganho d (t d o d ) ganho d e ganho d
30 22/34 Da equação que relaciona o erro E e os pesos da rede w i : Falta obter = d o d ganho d o d ganho d (t d o d ) ganho d e ganho d Lembrando que o d = σ(ganho d ) e σ(x) x o d ganho d = σ(ganho d) ganho d = o d (1 o d ) = σ(x)(1 σ(x)), temos:
31 22/34 Da equação que relaciona o erro E e os pesos da rede w i : Falta obter = d o d ganho d o d ganho d (t d o d ) ganho d e ganho d Lembrando que o d = σ(ganho d ) e σ(x) x o d ganho d = σ(ganho d) ganho d = o d (1 o d ) = σ(x)(1 σ(x)), temos: E lembrando que ganho d = w x d, temos do segundo termo: ganho d = w x d = x i,d
32 22/34 Da equação que relaciona o erro E e os pesos da rede w i : Falta obter = d o d ganho d o d ganho d (t d o d ) ganho d e ganho d Lembrando que o d = σ(ganho d ) e σ(x) x o d ganho d = σ(ganho d) ganho d = o d (1 o d ) = σ(x)(1 σ(x)), temos: E lembrando que ganho d = w x d, temos do segundo termo: ganho d = w x d = x i,d Então, a parte da culpa do erro E relativa ao peso w i é = (t d o d )o d (1 o d )x i,d d D
33 23/34 Definição: δ k = ganho k será a parte do erro passada às camadas internas δ k é obtido desde a última camada até a de entrada = k Saidas(j) ganho k ganho k
34 23/34 Definição: δ k = ganho k será a parte do erro passada às camadas internas δ k é obtido desde a última camada até a de entrada = k Saidas(j) ganho k ganho k = k Saidas(j) δ k ganho k
35 23/34 Definição: δ k = ganho k será a parte do erro passada às camadas internas δ k é obtido desde a última camada até a de entrada = k Saidas(j) ganho k ganho k = k Saidas(j) δ k ganho k = k Saidas(j) δ k ganho k o j o j
36 23/34 Definição: δ k = ganho k será a parte do erro passada às camadas internas δ k é obtido desde a última camada até a de entrada = k Saidas(j) ganho k ganho k = k Saidas(j) δ k ganho k = k Saidas(j) δ k ganho k o j o j = k Saidas(j) δ kw kj o j
37 23/34 Definição: δ k = ganho k será a parte do erro passada às camadas internas δ k é obtido desde a última camada até a de entrada = k Saidas(j) ganho k ganho k = k Saidas(j) δ k ganho k = k Saidas(j) δ k ganho k o j o j = k Saidas(j) δ kw kj o j = k Saidas(j) δ kw kj o j (1 o j )
38 Definição: δ k = ganho k será a parte do erro passada às camadas internas δ k é obtido desde a última camada até a de entrada = k Saidas(j) ganho k ganho k = k Saidas(j) δ k ganho k = k Saidas(j) δ k ganho k o j o j = k Saidas(j) δ kw kj o j = k Saidas(j) δ kw kj o j (1 o j ) δ j = = o j (1 o j ) δ k w kj k Saidas(j) 23/34
39 24/34 Algoritmo de retropagação Inicializar todos os pesos para valores aleatórios pequenos. Até convergência, faça para cada exemplo de treino 1. Apresente exemplo à rede e compute a saída da rede 2. Para cada unidade de saída k 3. Para cada unidade interna h δ k o k (1 o k )(t k o k ) δ h o h (1 o h ) 4. Atualizar cada peso da rede w ij onde w ij = ηδ j x ij k saidas w ij w ij + w ij δ k w hk
40 25/34 Mais em retroprogação Gradiente descendente sobre toda rede de vetores de pesos Generalizável para grafos direcionados (redes neurais recorrentes) Encontra mínimo local Funciona bem na prática ao rodar várias vezes Frequentemente inclui um momentum do peso α w i,j (n) = ηδ j x i,j + α w i,j (n 1) Minimiza erro nos exemplos de treino necessário cuidado para evitar overfitting Treino pode ser lento, mas usar a rede treinada é rápido
41 26/34 Capacidade de representação de redes neurais Funções booleanas Toda função booleana pode ser representada por uma rede com apenas uma camada interna Mas pode ser necessário um número exponencial de unidades internas em relação ao número de entradas Funções contínuas Toda função contínua compacta pode ser aproximada com erro arbitrariamente pequeno por rede com uma camada interna Qualquer função pode ser aproximada com acurácia arbitrária por uma rede com duas camadas internas
42 27/34 Evitando overfitting: opções Penalizar pesos grandes: E( w) 1 2 d D k saidas(t kd o kd ) 2 + γ i,j w 2 ji Treino em inclinações alvo e em valores: E( w) 1 2 d D k saidas (t kd o + kd) 2 + µ j entradas ( t kd x j d o kd x j d ) 2 Compartilhamento de pesos Critério de parada prematura
43 28/34 Precursor de deep learning Figura: Fonte: Neural net and traditional classifiers de Huang& Lippmann (1988).
44 29/34 Deep learning Redes com várias camadas intermediárias Objetivo: atingir níveis mais profundos de abstração Custo de treino relativamente alto Uso com grandes bases de dados Resultados empíricos e pouco teóricos Referência: Deep Learning Tutorial: deeplearning.net/tutorial/deeplearning.pdf 1. Para cada camada 1.1 Pré-treinar separadamente com algoritmo não supervisionado 1.2 Empilhar nas camadas previamente treinadas e refinar com retropropagação Uso de técnicas para melhoria do aprendizado.
45 30/34 Técnicas: inicialização Para usar tanh como função de ativação, inicializar pesos no seguinte intervalo: 6 6 [, ] fan in + fan out fan in + fan out Facilita propagação e correção de erros.
46 31/34 Técnicas: taxa de aprendizado Varredura em 10 1, 10 2,..., e concentrar no intervalo de menor erro de validação µ Descrescente 0 1+d t, com µ 0 inicial e d sendo uma constante de decréscimo
47 32/34 Técnicas: atualização de pesos em minibatch Intermediário entre estocástico e em lote. Estimativa grosseira do gradiente. Ajuda a reduzir custo computacional. Varia de acordo com o número de épocas usado.
48 33/34 Parada antes de overfitting Usar conjunto de validação. Verificar periodicamente o desempenho no conjunto de validação. Quando piorar, pára. Verificar pode envolver usar teste de hipótese ou uma simples comparação.
49 34/34 Redes neurais: sumário Perceptrons Gradiente descendente Redes multi-camadas Retroprogação de erros Deep learning
Redes Neurais Artificiais
Redes Neurais Artificiais Prof. Marcelo Keese Albertini Faculdade de Computação Universidade Federal de Uberlândia 5 de Junho de 2017 2/53 Conteúdo Perceptron Gradiente descendente Redes multicamadas Retropropagação
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Redes Neurais Artificiais Plano de Aula Introdução Motivação Biológica
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Redes Neurais Artificiais Plano de Aula Introdução Motivação Biológica
Leia maisRedes Neurais Artificiais - Introdução. Visão Computacional
Redes Neurais Artificiais - Introdução Visão Computacional Inspiração 2 Inspiração 3 Inspiração Atividade seletivanas conexões Soma os impulsos e passa a diante 4 Inspiração As conexões entre os dendritos
Leia maisAprendizagem de Máquina. Redes Neurais Artificiais (RNAs)
Aprendizagem de Máquina Redes Neurais Artificiais (RNAs) Plano de Aula Introdução Motivação Biológica Perceptron Superfície de Decisão Descida do Gradiente Redes Multicamadas (Multilayer) Retropropagação
Leia mais3 Redes Neurais Artificiais
3 Redes Neurais Artificiais 3.1. Introdução A capacidade de implementar computacionalmente versões simplificadas de neurônios biológicos deu origem a uma subespecialidade da inteligência artificial, conhecida
Leia maisAprendizado de Máquinas. Multi-Layer Perceptron (MLP)
Universidade Federal do Paraná (UFPR) Departamento de Informática (DInf) Aprendizado de Máquinas Multi-Layer Perceptron (MLP) David Menotti, Ph.D. web.inf.ufpr.br/menotti Redes Neuronais Cérebro humano.
Leia maisInteligência Artificial Redes Neurais
Inteligência Artificial Jarley P. Nóbrega, Dr. Faculdade Nova Roma Bacharelado em Ciência da Computação jpn@jarley.com Semestre 2018.2 Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre
Leia maisRedes Neurais. Prof. Aurora Pozo. Obs: slides baseados em Prof. Marcílio Souto e Prof. Marley Vellasco
Redes Neurais Prof. Aurora Pozo Obs: slides baseados em Prof. Marcílio Souto e Prof. Marley Vellasco CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos
Leia maisReconhecimento de Padrões/Objetos
Reconhecimento de Padrões/Objetos André Tavares da Silva andre.silva@udesc.br Capítulo 2 de Gonzales Classificação Linear Introdução Para utilizar uma função discriminante linear (Linear Discriminant Function)
Leia maisINF 1771 Inteligência Artificial
INF 1771 Inteligência Artificial Aula 22 Redes Neurais Edirlei Soares de Lima Formas de Aprendizado Aprendizado Supervisionado Árvores de decisão. K-Nearest Neighbor (KNN). Support
Leia maisTeorema de Aprox. Universal. Teorema de Aprox. Universal. Teorema de Aprox. Universal. Teorema de Aprox. Universal. Teorema de Aprox.
SCE-5809 - REDES NEURAIS Redes Neurais Multi-Camadas Parte 3 Profa Roseli Ap Francelin Romero Qual é o número mínimo de camadas num PMC que fornece uma aproximação para qualquer mapeamento contínuo? Cybenko,
Leia maisMulti-Layer. Perceptrons. Algoritmos de Aprendizado. Perceptrons. Perceptrons
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Radial Basis Functions (RBFs) Competitive Learning Hopfield Multi-Layer Perceptrons
Leia maisTópicos Especiais: Inteligência Artificial REDES NEURAIS
Tópicos Especiais: Inteligência Artificial REDES NEURAIS Material baseado e adaptado do Cap. 20 do Livro Inteligência Artificial de Russell & Norvig Bibliografia Inteligência Artificial Russell & Norvig
Leia maisFundamentos de Inteligência Artificial [5COP099]
Fundamentos de Inteligência Artificial [5COP099] Dr. Sylvio Barbon Junior Departamento de Computação - UEL Disciplina Anual Assunto Aula 16 Redes Neurais Artificiais (MLP) 2 de 24 (MLP) Sumário Introdução
Leia maisJAI 6 - Deep Learning Teoria e Prática
JAI 6 - Deep Learning Teoria e Prática Esteban Clua e Cristina Nader Vasconcelos Universidade Federal Fluminense Fundamentos Computação baseada em modelos crisnv@ic.uff.br 2 Computação baseada em aprendizado
Leia maisMulti-Layer. Perceptrons. Algoritmos de Aprendizado. Perceptrons. Perceptrons
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Multi-Layer Perceptrons Redes de apenas uma camada só representam funções linearmente separáveis Redes
Leia maisPERCEPTRON. Características Básicas Modelo de Neurônio Estrutura da Rede Algoritmo de Aprendizado
PERCEPTRON Características Básicas Modelo de Neurônio Estrutura da Rede Algoritmo de Aprendizado CARACTERISTICAS BASICAS - Regra de propagação net - Função de ativação: Degrau = x w + - Topologia: uma
Leia maisMultiple Layer Perceptron
Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica Multiple Layer Perceptron David Menotti www.inf.ufpr.br/menotti/ci171-182 Hoje Multiple Layer Perceptron (MLP) Backpropagation
Leia maisRegra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function Multi-Layer Perceptrons
Leia maisRedes Neurais MLP: Exemplos e Características
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais MLP: Exemplos e Características DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1
Leia maisAlgoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Back Propagation Formas de Aprendizado Existe dois métodos básicos de aplicação do algoritmo Back Propagation: Aprendizado
Leia maisRedes Neurais Artificial. Inteligência Artificial. Professor: Rosalvo Ferreira de Oliveira Neto
Redes Neurais Artificial Inteligência Artificial Professor: Rosalvo Ferreira de Oliveira Neto Estrutura 1. Definições 2. Histórico 3. Conceitos Básicos 4. Aprendizado em RNA 5. Exemplo de Aprendizado com
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 03 Aprendizado Supervisionado / : Modelo MCP e Perceptron Max Pereira Neurônio Booleano de McCulloch- Pitts (Modelo MCP) Proposto em
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Perceptrons de Múltiplas Camadas II Prof. João Marcos Meirelles da Silva www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de
Leia maisSCC Capítulo 5 Perceptron Multicamadas
Introdução Back-propagation (BP) MLPs Convolução SCC-5809 - Capítulo 5 Perceptron Multicamadas João Luís Garcia Rosa 1 1 SCC-ICMC-USP - joaoluis@icmc.usp.br 2011 João Luís G. Rosa c 2011 - SCC-5809: Redes
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Redes Neurais Biológicas 2. Neurônio Artificial 3. Rede Neural Artificial 4. Keras 1 Redes Neurais Biológicas
Leia mais2. Redes Neurais Artificiais
Computação Bioinspirada - 5955010-1 2. Redes Neurais Artificiais Prof. Renato Tinós Depto. de Computação e Matemática (FFCLRP/USP) 1 2.3. Perceptron Multicamadas - MLP 2.3.1. Introdução ao MLP 2.3.2. Treinamento
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Perceptrons de Múltiplas Camadas I Prof. João Marcos Meirelles da Silva www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de Engenharia
Leia maisRedes Neurais Artificial. Prática. Inteligência Artificial
Redes Neurais Artificial Prática Inteligência Artificial Professor: Rosalvo Ferreira de Oliveira Neto Estrutura 1. Introdução a MLP 2. Base de dados e Pré-Processamento 3. Prática MLP - Introdução Redes
Leia maisAlgoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Multi-Layer Perceptrons (Back Propagation Radial Basis Functions (RBFs Competitive Learning Hopfield Formas de Aprendizado
Leia maisRedes Neurais: MLP. Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais: MLP DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1 Tópicos Redes diretas de múltiplas
Leia maisAlgoritmos de Aprendizado. CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico. Regra de HEBB.
CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado
Leia maisRedes Neurais e Sistemas Fuzzy
Redes Neurais e Sistemas Fuzzy O ADALINE e o algoritmo LMS O ADALINE No contexto de classificação, o ADALINE [B. Widrow 1960] pode ser visto como um perceptron com algoritmo de treinamento baseado em minimização
Leia maisMini-projeto: Reconhecimento de Digitos com MLPs. Germano C. Vasconcelos Centro de Informática - UFPE
Mini-projeto: Reconhecimento de Digitos com MLPs Germano C. Vasconcelos Centro de Informática - UFPE 1 Link do Material http://neuralnetworksanddeeplearning.com/chap1.html 2 Objetivo: Treinar uma Rede
Leia maisTÓPICOS EM INTELIGÊNCIA ARTIFICIAL Redes Neurais Artificiais
TÓPICOS EM INTELIGÊNCIA ARTIFICIAL Redes Neurais Artificiais ricardo.kerschbaumer@ifc.edu.br http://professor.luzerna.ifc.edu.br/ricardo-kerschbaumer/ Introdução O Cérebro humano Mais fascinante processador
Leia maisRegra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Multi-Layer Perceptrons (Back Propagation) Hopfield Competitive Learning Radial Basis Function Formas de Aprendizado Existe
Leia maisRedes Neurais Artificial
Redes Neurais Artificial Tópicos: Introdução ao estudo de RNA sua origem e inspiração biológica Características gerais das RN e descrição do neurônio artificial Aprendizado de RN e tipos de Aprendizado
Leia mais4 Redes Neurais Artificiais
4 Redes Neurais Artificiais Inteligência computacional pode ser definida como um conjunto de modelos, algoritmos, técnicas, ferramentas e aplicações em sistemas computadorizados que emulem características
Leia maisy rede RNA Conjunto de treino em arquiteturas supervisionadas (ex. clássico: MLP com Error Back Propagation) Sistema Físico, Econômico, Biológico...
Retornando `as nossas motivaçoes ininciais no calculo de adaptaçoes de pesos... X Conjunto de treino em arquiteturas supervisionadas (ex. clássico: MLP com Error Back Propagation) Sistema Físico, Econômico,
Leia maisRegra de Oja. Para taxa de aprendizagem pequena, Oja aproximou. pesos para criar uma forma útil da aprendizagem
Regra de Oja A regra de Hebb necessita da normalização dos pesos para criar uma forma útil da aprendizagem i i i i i i n x n y n w n x n y n w n w 2 1 JDSS-LAC/INPE Para taxa de aprendizagem pequena, Oja
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS REDE ADALINE e REGRA DELTA Prof. Dr. André A. P. Biscaro 2º Semestre de 2017 Aspectos históricos O ADALINE foi idealizado por Widrow & Hoff em 1960. Sua principal aplicação estava
Leia maisNeural Networks. Neurônios: Elementos aritméticos simples. Redes Neuronais: conj de neurônios interligados.
Neural Networks Neural Networks Do ponto de vista computacional: métodos para representar funções usando redes de elementos aritméticos simples, e aprender tais representações através de exemplos. Do ponto
Leia maisProfa. Josiane M. Pinheiro outubro/2008
Baseada em: Stuart Russel e Peter Norving - Inteligência Artificial seção 20.5 Jorge M. Barreto Introdução às Redes Neurais Artificiais - http://www.inf.ufsc.br/~barreto/tutoriais/survey.pdf Cassia Yuri
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS PERCEPTRON MULTICAMADAS Prof. Dr. André A. P. Biscaro 1º Semestre de 2018 Arquitetura Redes Perceptron de Múltiplas Camadas (PMC), também conhecidas como redes MLP (Multiple Layer
Leia maisRedes Neurais Artificiais (RNA)
Redes Neurais Artificiais (RNA) Definições: 1. Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, conectados em rede, são capazes de aprender e de generalizar. 2. Técnica de aproximação
Leia maisClassificação de Padrões. Abordagem prática com Redes Neurais Artificiais
Classificação de Padrões Abordagem prática com Redes Neurais Artificiais Agenda Parte I - Introdução ao aprendizado de máquina Parte II - Teoria RNA Parte III - Prática RNA Parte IV - Lições aprendidas
Leia maisInteligência Artificial. IA Conexionista: Perceptron de Múltiplas Camadas Mapas Auto-Organizáveis. Renan Rosado de Almeida
Inteligência Artificial IA Conexionista: Redes Neurais Artificiais Perceptron de Múltiplas Camadas Mapas Auto-Organizáveis Renan Rosado de Almeida rralmeida@inf.ufrgs.br Perceptron de Múltiplas Camadas
Leia maisRedes Neurais Artificiais. Sistemas de Informação/Ciências da Computação UNISUL Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 9)
Redes Neurais Artificiais Sistemas de Informação/Ciências da Computação UNISUL Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 9) Conceitos 2 Redes Neurais As Redes Neurais Artificias são modelos computacionais
Leia maisRede RBF (Radial Basis Function)
Rede RBF (Radial Basis Function) André Tavares da Silva andre.silva@udesc.br Roteiro Introdução à rede neural artificial RBF Teorema de Cover da separabilidade de padrões RBF x MLP RBF Função de ativação
Leia maislnteligência Artificial Introdução a Redes Neurais Artificiais
lnteligência Artificial Introdução a Redes Neurais Artificiais Objetivos Descrever as características básicas das Redes Neurais Artificiais (RNAs). Descrever o funcionamento de uma RNA. Descrever algumas
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Modelos de classificação por Redes Neurais Artificiais Prof. Paulo Martins Engel Motivação Classificadores baseados em representação simbólica (AD, RD,...) estão limitados a particionar
Leia maisMáquinas de Vetores de Suporte
Máquinas de Vetores de Suporte Marcelo K. Albertini 14 de Setembro de 2015 2/22 Máquinas de Vetores de Suporte Support Vector Machines (SVM) O que é? Perceptron revisitado Kernels (núcleos) Otimização
Leia maisThiago Christiano Silva
Thiago Christiano Silva Conteúdo Conceitos Relevantes Problemas de Otimização Conceitos de Estabilidade e Convergência Teoremas de Lyapunov Rede Neural de Hopfield Aplicações do modelo de Hopfield Clusterização
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS PERCEPTRONS Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Forma mais simples de configuração das RNAs Rosenblatt (1958) retina área de projeção área de associação respostas
Leia maisSCE REDES NEURAIS Redes Neurais Multi-Camadas Parte 2
SCE-5809 - REDES NEURAIS Redes Neurais Multi-Camadas Parte 2 Profa. Roseli Ap. Francelin Romero 1 Teorema de Aprox. Universal Qual é o número mínimo de camadas num PMC que fornece uma aproximação para
Leia mais2. Redes Neurais Artificiais
Computação Bioinspirada - 5955010-1 2. Redes Neurais Artificiais Prof. Renato Tinós Depto. de Computação e Matemática (FFCLRP/USP) 1 2.2. Perceptron 2.2.1. Introdução 2.2.2. Funcionamento do perceptron
Leia mais3 INTELIGÊNCIA COMPUTACIONAL (IC)
40 3 INTELIGÊNCIA COMPUTACIONAL (IC) Inteligência Computacional é a área da ciência da computação que estuda a teoria e aplicação de técnicas computacionais inspiradas na natureza. Deste modo, tem por
Leia maisGT-JeDi - Curso de Desenv. de Jogos IA para Jogos
GT-JeDi - Curso de Desenv. de Jogos IA para Jogos Gustavo Pessin 2006/2 - A07 Cronograma Conceitos Neurônio artificial Redes: Perceptron e Multi Layer Perceptron (MLP), Exemplos Separando cores Prevendo
Leia maisClassificação Linear. André Tavares da Silva.
Classificação Linear André Tavares da Silva andre.silva@udesc.br Roteiro Introduzir os o conceito de classificação linear. LDA (Linear Discriminant Analysis) Funções Discriminantes Lineares Perceptron
Leia maisMineração de Dados em Biologia Molecular
Mineração Dados em Biologia Molecular Principais tópicos André C. P. L. F. Carvalho Monitor: Valéria Carvalho Res Neurais Artificiais Introdução Arquitetura Aprendizado Principais molos Perceptron MLP
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Perceptrons de Camada Única Prof. João Marcos Meirelles da Silva www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de Engenharia
Leia maisConsiderações de Desempenho
Back Propagation Considerações de Desempenho Dicas para o BP O uso da função de ativação simétrica geralmente acelera o treinamento TANH +1 logistic linear 0 tanh -1-4 +4 1 Dicas para o BP Os pesos devem
Leia maisRedes Neurais Artificiais Sistemas Inteligentes Especialização em Automação Industrial SISTEMAS INTELIGENTES PROFESSOR FLÁVIO MURILO
Redes Neurais Artificiais Sistemas Inteligentes Especialização em Automação Industrial 1 Redes Neurais - Definição O que é Rede Neural ou Rede Neuronal Artificial (RNA)? É um modelo computacional que objetiva
Leia maisHP UFCG Analytics Abril-Maio Um curso sobre Reconhecimento de Padrões e Redes Neurais. Por Herman Martins Gomes.
HP UFCG Analytics Abril-Maio 2012 Um curso sobre Reconhecimento de Padrões e Redes Neurais Por Herman Martins Gomes hmg@dsc.ufcg.edu.br Programa Visão Geral (2H) Reconhecimento Estatístico de Padrões (3H)
Leia maisAutor: Edroaldo Lummertz da Rocha Home page: edroaldo.wordpress.com
Autor: Edroaldo Lummertz da Rocha Home page: edroaldowordpresscom E-mail: edroaldo@gmailcom Esse tutorial visa demonstrar de forma prática o processo de ajuste dos pesos sinápticos de uma rede neural artificial
Leia maisBack Propagation. Dicas para o BP
Back Propagation Considerações de Desempenho Dicas para o BP O uso da função de ativação simétrica geralmente acelera o treinamento TANH +1 logistic linear 0 tanh -1-4 +4 11 Dicas para o BP Os pesos devem
Leia maisRedes Neurais e Sistemas Fuzzy
Redes Neurais e Sistemas Fuzzy Redes de uma única camada O Perceptron elementar Classificação de padrões por um perceptron A tarefa de classificação consiste em aprender a atribuir rótulos a dados que
Leia mais5HGHV1HXUDLV$UWLILFLDLV
7 5GXUDL$UWLILFLDL A motivação pelo uso das Redes Neurais Artificiais RNA, comumente chamadas de redes neurais, é pelo reconhecimento de que o cérebro processa informações de uma forma diferente dos computadores
Leia maisserotonina (humor) dopamina (Parkinson) serotonina (humor) dopamina (Parkinson) Prozac inibe a recaptação da serotonina
Redes Neurais O modelo biológico O cérebro humano possui cerca 100 bilhões de neurônios O neurônio é composto por um corpo celular chamado soma, ramificações chamadas dendritos (que recebem as entradas)
Leia mais3 REDES CLÁSSICAS PERCEPTRON E ADALINE
w b Professor José Gomes de Carvalho Jr. 3 REDES CLÁSSICAS PERCEPTRON E ADALINE 3.-Redes com funções de ativação de limiar Uma rede simples de uma camada, consiste em um ou mais neurônios de saída j conectados
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Multi-layer Perceptrons e Backpropagation Marcílio Souto DIMAp/UFRN Redes de várias camadas MLP - Multi-Layer Perceptron (Adaline?!) Backpropagation network Superar as limitações
Leia maisREDES NEURAIS ARTIFICIAIS
REDES NEURAIS ARTIFICIAIS REDES NEURAIS ARTIFICIAIS O QUE É UMA REDE NEURAL NEURÔNIOS BIOLÓGICOS CÉREBRO HUMANO E CAPACIDADE DE GENERALIZAÇÃO. Modelo McCulloch e Pitts FUNÇÕES DE ATIVAÇÃO APRENDIZADO APRENDIZADO
Leia maisRedes neurais artificiais
Redes neurais artificiais Conceitos em redes neuronais Redes neuronais artificiais (RNA): uma metáfora cerebral para processamento de informações Computação neuronal Muitos usos de RNA para Reconhecimento
Leia maisPor que Redes Neurais?
Redes Neurais Profa. Jaqueline Brigladori Pugliesi Por que Redes Neurais? Utilizar máquinas efetivamente para resolver problemas simples (humanos) Exemplo: distinguir padrões visuais previsão do valor
Leia maisResolução da Prova 1 SCC Redes Neurais 2o. Semestre de Prof. João Luís
Resolução da Prova 1 SCC-5809 - Redes Neurais 2o. Semestre de 2011 - Prof. João Luís RESOLUÇÃO (2) 1. A figura abaixo mostra uma rede neural com um único neurônio escondido. Mostre que essa rede resolve
Leia maisTeoria do aprendizado
Teoria do aprendizado Marcelo K. Albertini 7 de Agosto de 2014 2/37 Teoria do aprendizado Teoremas não existe almoço grátis Viés e variância Aprendizado PAC Dimensão VC Máquinas de vetores suporte 3/37
Leia maisMáquinas de Vetores de Suporte
Máquinas de Vetores de Suporte Prof. Marcelo Keese Albertini Faculdade de Computação Universidade Federal de Uberlândia 19 de Junho de 2017 2/27 Máquinas de Vetores de Suporte Support Vector Machines (SVM)
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
PERCEPTRON MULTICAMADAS: TÉCNICAS DE VALIDAÇÃO Prof. Dr. André A. P. Biscaro 2º Semestre de 2016 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Aspectos de seleção topológica de redes PMC A especificação
Leia maisRECONHECIMENTO DE GÊNERO ATRAVÉS DA VOZ
RECONHECIMENTO DE GÊNERO ATRAVÉS DA VOZ Marcela Ribeiro Carvalho marcela@enecar.com.br IFG/Câmpus Goiânia Hipólito Barbosa Machado Filho hipolito.barbosa@ifg.edu.br IFG/Câmpus Goiânia Programa Institucional
Leia maisPerceptron Multi-camadas Treinada por Retropropagação. Aluizio Fausto Ribeiro Araújo Universidade Federal de Pernambuco Centro de Informática
Perceptron Multi-camadas Treinada por Retropropagação Aluizio Fausto Ribeiro Araúo Universidade Federal de Pernambuco Centro de Informática Conteúdo Histórico Introdução Perceptron de Camadas Múltiplas
Leia maisProtótipo de Software para Reconhecimento de Impressões Digitais
Protótipo de Software para Reconhecimento de Impressões Digitais Aluno: Alex Sandro da Silva Orientador: Paulo de Tarso Mendes Luna Semestre - 99/1 Roteiro da Apresentação INTRODUÇÃO CONCEITOS BÁSICOS
Leia maisPerceptron de Múltiplas Camadas e Backpropagation
Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA UFES Departamento de Computação Perceptron de Múltiplas Camadas e Backpropagation Redes Neurais Artificiais Site: http://jeiks.net
Leia maisVariações do BP. Variações do BP. Variações do BP. Taxa de Aprendizado Adaptativa. Taxa de Aprendizado Adaptativa
A principal crítica ao algoritmo Back Propagation é o longo tempo de treinamento proposta de variações simples para acelerar o processo de aprendizado Taxa de Aprendizado Adaptativa Inicia-se com um valor
Leia maisPrimeiras Redes Neurais Artificiais: Perceptron e Adaline
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Primeiras Redes Neurais Artificiais: Perceptron e Adaline DCA0121 Inteligência Artificial Aplicada Heitor
Leia mais2. Redes Neurais Artificiais
Computação Bioinspirada - 5955010-1 2. Redes Neurais Artificiais Prof. Renato Tinós Depto. de Computação e Matemática (FFCLRP/USP) 1 2.3. Perceptron Multicamadas - MLP 2.3.1. Introdução ao MLP 2.3.2. Treinamento
Leia mais3 Redes Neurais Introdução
3 Redes Neurais 3.. Introdução As redes neurais artificiais, ou comumente conhecidas como Neural Networs, foram motivadas em princípio pela extraordinária capacidade do cérebro humano para executar tarefas
Leia maisINTELIGÊNCIA ARTIFICIAL
INTELIGÊNCIA ARTIFICIAL REDES NEURAIS Caracterização Intuitiva: Em termos intuitivos, Redes Neurais Artificiais (RNAs) são modelos matemáticos inspirados nos princípios de funcionamento dos neurônios biológicos
Leia maisRedes Neurais Artificiais
Redes Neurais Artificiais Prof. Dr. Hugo Valadares Siqueira Semana de Eletrônica e Automação 2014 Redes Neurais Artificiais Uma rede neural artificial é um circuito composto por uma grande quantidade de
Leia maisUNIVERSIDADE FEDERAL DE LAVRAS DEPARTAMENTO DE CIÊNCIAS EXATAS (DEX) Estudo de Algoritmos de Aprendizado em Redes Neurais Artificiais
UNIVERSIDADE FEDERAL DE LAVRAS DEPARTAMENTO DE CIÊNCIAS EXATAS (DEX) Orientador: Prof. Fabiano Lemes Ribeiro Estudo de Algoritmos de Aprendizado em Redes Neurais Artificiais Nome: João Vitor Squillace
Leia maisGUIA DE AULAS PRÁTICAS DE REDES NEURAIS ARTIFICIAIS
Universidade Federal de Lavras Departamento de Ciência da Computação GUIA DE AULAS PRÁTICAS DE REDES NEURAIS ARTIFICIAIS v. 1.2 Prof. Wilian Soares Lacerda Lavras, agosto de 2018 Ficha catalográfica elaborada
Leia maisRedes Perceptron e Multilayer Perceptron aplicadas a base de dados IRIS
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Redes Perceptron e Multilayer Perceptron aplicadas a base de dados IRIS Aluno: Fabricio Aparecido Breve Prof.: Dr. André Ponce
Leia maisRedes Neurais. Artificiais. Fabricio Breve Parte 2. 19/04/2018 Fabricio Breve. Bias. Sinais de entrada. Pesos sinápticos.
Redes Neurais Parte 2 Artificiais x 1 w k1 Bias b k +1 +1 x 1 x 2 x 3 x m +1 y 1 y 2 y o Sinais de entrada x 2 x m Fabricio Breve fabricio@rc.unesp.br w k2 w km Pesos sinápticos Σ Junção aditiva v k f(.
Leia maisIntrodução à Redes Neurais. Prof. Matheus Giovanni Pires EXA 868 Inteligência Artificial Não-Simbólica B Universidade Estadual de Feira de Santana
Introdução à Redes Neurais Artificiais Prof. Matheus Giovanni Pires EXA 868 Inteligência Artificial Não-Simbólica B Universidade Estadual de Feira de Santana 2 Introdução Redes Neurais Artificiais (RNAs)
Leia maisRede Perceptron. Capítulo 3
Rede Perceptron Capítulo 3 Rede Perceptron É a forma mais simples de configuração de uma RNA (idealizada por Rosenblatt, 1958) Constituída de apenas uma camada, tendo-se ainda somente um neurônio nesta
Leia mais3 Inteligência Computacional
3 Inteligência Computacional Inteligência Computacional (IC) é um ramo da ciência da computação que desenvolve, através de técnicas inspiradas na natureza, algoritmos capazes de imitar algumas habilidades
Leia mais