Máquinas Desorganizadas: Echo State Networks Extreme Learning Machines

Transcrição

1 Máquinas Desorganizadas: Echo State Networks Extreme Learning Machines Congresso Brasileiro de Inteligência Computacional - CBIC 2015 Prof. Dr. Hugo Valadares Siqueira 1

2 Índice 1- Introdução 2- O neurônio artificial 3- Redes não recorrentes x recorrentes 4- Treinamento de redes e aprendizagem 5- Máquinas desorganizadas 6- Extreme Learning Machines (ELM) 7- Echo State Networks 8- Alguns estudos de casos 9- Referências 2

3 1- INTRODUÇÃO 3

4 Inspiração Biológica A inspiração: o funcionamento do sistema nervoso dos organismos superiores; Característica marcante: a capacidade de aprendizagem; A aprendizagem se dá pelo histórico experimental ao qual a rede é exposta. Ex: tocar um objeto quente, virar na rua certa, resolver uma integral, ser craque no video-game, etc. 4

5 Rede Neural Biológica Conjunto de neurônios altamente interconectados, os quais: i) Apresentam sinapses moduláveis; ii) Propagam pulsos elétricos entre si; Emergência de comportamento complexo a partir de unidades biológicas relativamente simples. 5

6 Rede Neural Biológica Fontes: www2.uol.com.br vejasp.abril.com.br/ 6

7 Redes Neurais Biológicas O sistema nervoso dos organismos superiores e a forma de interação dos neurônios que o compõem ainda não foram plenamente compreendidos; Tal fato é explicado pela complexidade que envolve a emergência de padrões decorrentes da interconexão massiva de estruturas relativamente simples (os neurônios); É responsável por captar as informações acerca do ambiente por meio de sensores, torná-las inteligíveis, compará-las com experiências armazenadas na memória e reagir de forma apropriada a estes estímulos; Consequência direta: capacidade de realizar tarefas como reconhecimento de padrões, realizar controle motor e a percepção sensorial; Isto não exime o sistema nervoso de cometer erros de generalização, imprecisões, etc. 7

8 O Cérebro O que é o cérebro? Emaranhado de células interconectadas os neurônios que comunicam-se através das sinapses; O que faz o cérebro? o cérebro não roda programas ; o cérebro controla o comportamento visando garantir a sobrevivência; Funcionalidade do cérebro: adaptabilidade por intermédio de aprendizado comportamento sensível ao contexto tolerância a erro capacidade de operar com conhecimento parcial grande capacidade de memória capacidade de processamento paralelo e em tempo real 8

9 Funcionalidade do cérebro: O Cérebro O cérebro é capaz de perceber regularidades no meio e gerar abstrações que capturam a estrutura destas regularidades, possibilitando a predição de observações futuras e o planejamento de ações visando o atendimento de múltiplos objetivos. 9

10 Redes Neurais Artificiais Uma rede neural artificial é um circuito composto por uma grande quantidade de unidades simples de processamento inspiradas no sistema neural. (Nigrin, 1993) Uma RNA é um sistema massivamente paralelo e distribuído, composto por unidades de processamento simples que possuem uma capacidade natural de armazenar e utilizar conhecimento. (Haykin, 1999) 10

11 Redes Neurais Artificiais Sistemas de processamento da informação paralelos e distribuídos; Compostas por neurônios artificiais; Estes são unidades funcionais de processamento simples e com elevado grau de interconexão; Geram comportamentos complexos que não pode ser previstos observando-se cada neurônio individualmente. 11

12 Estrutura Básica do Sistema Nervoso (Visão da Engenharia): 12

13 Áreas de aplicação Engenharia estatística teoria de informação álgebra linear sistemas dinâmicos lineares e não-lineares teoria da computação aproximação de funções processamento de sinais controle de processos otimização de sistemas Etc. 13

14 RNAs - Fatos Históricos Marcantes MCCULLOCH & PITTS (1943) WIENER (1948): cibernética ROSEMBLATT (1958): perceptrons MINSKY & PAPPERT (1969): a disputa entre as portas lógicas e os neurônios artificiais para determinar a unidade básica de processamento. Idade das Trevas : entre 1969 e 1984 WERBOS (1974): backpropagation HOPFIELD (1982) KOHONEN (1982) Renascimento: RUMELHART & MCCLELLAND (1986) 14

15 2- O NEURÔNIO ARTIFICIAL 15

16 O Neurônio Biológico O neurônio, em termos biológicos, tem a função de: i) Receber; ii) iii) Processar; E transmitir informações por meio de pulsos elétricos. Essas informações são enviadas de um neurônio para outro através dos chamados neurotransmissores, que estão presentes nas conexões entre eles, conhecidas como sinapses; Característica marcante: aprendizado, ou a capacidade de adaptar-se a estímulos desconhecidos ou à realização de tarefas inéditas; Este conceito é essencial do ponto de vista da modificação do comportamento do cérebro na solução de problemas; Acredita-se que o aprendizado esteja ligado ao fato de que a efetividade das transmissões de informação das sinapses podem ser moduladas. 16

17 O Neurônio Biológico Esquema Neurônio biológico Fonte: infoescola.com.br - Célula especializada em transmitir PULSOS ELÉTRICOS; - Na aprendizagem, a eficiência da propagação do sinal de um neurônio para outro pode ser MODULADA!!! 17

18 O Neurônio Biológico Neurônio Biológico 18

19 O Neurônio Biológico Um neurônio pode ser visto como um dispositivo capaz de receber estímulos (de entrada) de diversos outros neurônios e propagar sua única saída, função dos estímulos recebidos e do estado interno, a vários outros neurônios. Esquema de uma sinapse biológica Fonte: A plasticidade sináptica, ou seja, a capacidade das sinapses sofrerem modificações, é o elemento chave para o aprendizado; Os neurônios podem receber e enviar sinais de/para vários outros neurônios. 19

20 O Neurônio Artificial Modelo matemático inspirado no comportamento do neurônio biológico; Possui pesos sinápticos ajustáveis que emulam o processo de aprendizagem; Função de receber, processar e transmitir dados de entrada para solução de problemas; Funções de ativação podem inserir não-linearidades durante o processamento das entradas. 20

21 O Neurônio Artificial Matematicamente, a saída do neurônio k pode ser descrita por: y k f ( u k ) f m j1 w kj x j b k Vetor de entradas: u u, u2,..., Pesos sinápticos ajustáveis: w kj Saída do neurônio: y k Funções de Ativações: f (.) Polarização (bias): b k T t [ 1 u t K 1] OBS: Existem vários tipos de função de ativação como a função linear, a função degrau, as funções sigmoidais, tangente hiperbólica e as funções de base radial. 21

22 3- REDES RECORRENTES X NÃO-RECORRENTES 22

23 Projeto de RNAs ETAPAS DO PROJETO: 1. Definição de um conjunto de neurônios artificiais; 2. Definição de um padrão de conectividade entre os neurônios, ou seja, de uma arquitetura para a rede; 3. A definição de um método de determinação dos parâmetros livres da rede, denominado de algoritmo de aprendizagem ou de treinamento. 23

24 Arquiteturas de Redes Existem basicamente três camadas em uma rede neural artificial: 1. Uma camada de entrada, 2. uma ou mais camada intermediária, 3. uma camada de saída. Entretanto, nem todas as RNAs possuem todas elas. Classificação das arquiteturas de RNAs: - redes feedforward (não-recorrentes) de uma única camada; - redes feedforward (não-recorrentes) de múltiplas camadas; - redes recorrentes. 24

25 Redes Recorrentes x Não-Recorrentes i) redes não-recorrentes: o sentido do fluxo de informação é sempre adiante, da entrada para a saída, até que se determine a resposta da rede; Aplicações: mapeamento não-linear estático a) Previsão de séries temporais; b) Agrupamento (clusterização) de dados; c) Aproximação de funções, etc. ii) redes recorrentes: há conexões de realimentação, que transmitem informações de camadas posteriores para anteriores ou entre neurônios da mesma camada, criando uma espécie de memória interna Aplicações: problemas com dependência temporal entre as amostras a) Mapeamento não-linear (como as não-recorrentes); b) Problemas de controle; c) Problemas dinâmicos e temporais, etc. 25

26 Rede Neural Não-Recorrente Fonte: Boccato (2013) 26

27 Rede Neural Recorrente Fonte: Boccato (2013) 27

28 4- TREINAMENTO DE REDES E APRENDIZAGEM 28

29 Treinamento de RNAs Objetivo: fazer com que uma rede neural apresente na saída respostas adequadas a determinado problema; É a base do aprendizado em redes neurais artificiais; Muito comum a utilização de critérios baseados no erro de saída, quando adotado o paradigma supervisionado; Neste caso, as metodologias mais usuais são baseadas em minimizar a função custo formada pelo erro entre a saída da rede e a resposta desejada; A forma de minimização da função custo é ajuste sistemático dos pesos da rede por meio de algum algoritmo de treinamento ; Pouca relação com a inspiração biológica inicial. 29

30 Paradigmas de Aprendizagem Existem basicamente três paradigmas de aprendizado: 1- Aprendizado supervisionado: é baseado em um conjunto de exemplos de estímulo/resposta (ou entrada-saída); 2- Aprendizado por reforço: o comportamento da rede é avaliado apenas com base em alguma critério numérico, fornecido em instantes espaçados de tempo; 3- Aprendizado não-supervisionado: é baseado apenas nos estímulos recebidos pela rede neural. Basicamente, a rede deve aprender a categorizar os estímulos. 30

31 Aprendizagem Supervisionada Sinal desejado (professor): Saída da rede: y(n) Sinal de erro: e(n) - Cálculo do erro instantâneo: e( n) d( n) y( n) d(n) O critério mais utilizado para avaliar a qualidade da saída é a análise de erro quadrático médio (MSE); Função custo a ser minimizada em função dos pesos da rede: J ( w) 1 E m m j1 e 2 j ( n) 31

32 Técnicas de Otimização Aplicadas ao Treinamento de RNAs Usualmente são aplicadas no treinamento de RNAs; São métodos de otimização local da função J(w); Se usadas informações do gradiente da função custo, podem ser de 1ª. Ou 2ª. ordens; Não há garantia de otimização global, ou seja, mesmo com um treinamento exaustivo pode não ser alcançado o melhor conjunto de pesos. Fonte: Von Zuben e Attux,

33 Mínimos e máximos de uma função Fonte: matematicandonet.xpg.uol.com.br/page/maxmin/mm02.htm 33

34 Separação das amostras Treinamento: ajustar os valores dos pesos sinápticos; Validação: garantir a melhor generalização; Teste: validar o resultado de saída obtido por meio de métricas de erro. 34

35 Separação das amostras: Exemplo 35

36 Separação das amostras: Exemplo 36

37 Perceptron de Múltiplas Camadas (MLP) Arquitetura de RNAs mais empregada para mapeamento não-linear estático; Não-recorrente; Em geral, os neurônios possuem função de ativação tipo tangente hiperbólica; Uso de validação cruzada. 37

38 Perceptron de Múltiplas Camadas (MLP) Uma rede MLP típica possui como características principais: 1. Os neurônios das camadas intermediárias possuem uma função de ativação não-linear do tipo sigmoidal; 2. A rede possui uma ou mais camadas intermediárias; 3. A rede possui um alto grau de conectividade; 4. Ferramenta prática geral para fazer um mapeamento não-linear de entrada-saída; 5. Aproximadores universais; 6. Capacidade de generalização. 38

39 Perceptron de Múltiplas Camadas (MLP) Fonte: Siqueira (2013) 39

40 Treinamento da MLP Ajuste do valor dos pesos w por meio de processo iterativo; Método mais empregado: gradiente ótimo; Cálculo da derivada da função custo via algoritmo backpropagation; Este método quando aplicado ao treinamento de redes neurais consiste basicamente de dois passos: 1- Propagação positiva do sinal funcional: durante este processo todos os pesos da rede são mantidos fixos; 2- Retropropagação do erro: durante este processo, os pesos da rede são ajustados tendo por base uma medida de erro, em geral o MSE. OBS: não há garantias de que o melhor conjunto de pesos será encontrado, tendo em vista a possibilidade de otimização local 40

41 Validação Cruzada Técnica utilizada para buscar o nível ótimo de generalização de uma rede MLP; O erro de treinamento sempre diminui com a evolução das épocas (iterações); Entretanto, não há como afirmar a priori o número de iterações ótimo; Caso a rede seja muito ou pouco treinada, ela não deve responder adequadamente a dados de testes desconhecidos subtreinamento / sobretreinamento; Validação Cruzada: apresentação de dados fora do conjunto de treinamento a cada época, após a atualização dos pesos; A cada vez que um erro de validação menor é encontrado, os pesos daquela época devem ser salvos. Ao final, no ponto de mínimo erro de validação, assume-se que está o conjunto ótimo de pesos da rede. 41

42 Validação Cruzada Exemplo de comportamento do erro de treinamento e validação 42

43 Casos reais Validação Cruzada 43

44 Treinamento de uma RNN Uma rede neural recorrente (RNN) clássica é um sistema dinâmico não-linear complexo criado pela existência dos laços de realimentação; As vantagens que este tipo de rede apresenta são, de certa forma, limitadas pela dificuldade no ajuste dos seus parâmetros livres, via processo iterativo de otimização; A aplicação de métodos de otimização no treinamento, por exemplo, podem levar a: i) configurações instáveis; ii) Potenciais problemas de convergência; iii) possibilidade de convergência local; iv) dificuldade significativa em se manipular a função custo formada para treinamento supervisionado. 44

45 5- MÁQUINAS DESORGANIZADAS 45

46 Máquinas Desorganizadas Arquiteturas de redes neurais artificiais nas quais não há ajuste nos pesos da camada intermediária; Processo de treinamento simples e computacionalmente eficaz; Ajuste apenas da camada de saída por meio de solução analítica: cálculo dos coeficientes de um combinador linear; Convergência rápida; Máquinas de Aprendizado extremo - ELM (não-recorrente); Redes de Estado de Eco - ESN (recursiva); Desempenho computacional superior à MLP em aplicações com previsão de séries temporais e equalização de canais de comunicação. 46

47 Máquinas Desorganizadas Nomenclatura recentemente cunhada por Boccato et al. (2012); Remete aos trabalhos pioneiros de Alan Turin em 1968; A desorganização faz menção ao fato da camada intermediária não ser ajustada e mesmo assim ser possível atingir bons resultados de saída; Não há risco de instabilidade. 47

48 6- EXTREME LEARNING MACHINES ELM Máquinas de aprendizado extremo 48

49 Máquinas de Aprendizado Extremo (ELM) Propostas por Huang et al. em 2004; Arquitetura feedforward semelhante a uma MLP; Parâmetros fixos na camada intermediária pesos não são ajustados; A camada de saída é um combinador linear; Processo de treinamento supervisionado, o qual apresenta solução determinística; Capacidade de aproximação universal: - erro pode ser sempre reduzido com a inserção de um novo neurônio na camada escondida; 49

50 ELM x MLP ELM: i) Não manipula função custo; ii) Não necessita cálculo de derivadas da função custo; iii) Sem risco de otimização local no processo iterativo; iv) Não há necessidade de definir passo de otimização; v) Garante menor norma dos pesos da camada de saída 50

51 Máquinas de Aprendizado Extremo (ELM) Saída da camada intermediária: x h t f h h ( W u b) t Saída da rede: y t W out x h t T Vetor de entradas: ut [ u1, u2,..., u t K 1] Matriz de pesos da camada intermediária: Matriz de pesos da camada de saída: W Funções de Ativações dos neurônios da h camada intermediária: f ( f (.), f (.),.. (.)) (.) 1 2.,fN W out h NN LN 51

52 Treinamento das ELMs É resumido a encontrar o melhor conjunto de pesos da camada de saída; Uso de um combinador linear; Proposta: pseudo-inversa de Moore-Penrose X h T s N k W out T X X -1 X T d h é a matriz de saídas da camada intermediária Garantia da norma mínima dos pesos para solução de mínimos quadrados (de acordo com Bartlett, 1998); Ou seja, num processo de treinamento de redes, quanto menor a norma dos pesos, melhor a generalização. h h 52

53 Regularização das ELMs Objetivo: maximização da capacidade de generalização; É necessário definir um conjunto de validação; Inserção do coeficiente de regularização C: W out 1 C X T h X h -1 X T h d Huang et al.: substituições sucessivas do valor de C = 2 λ, sendo λ { 25, 24,...,25,26} 53

54 Regularização das ELMs Kaluif & Von Zuben (2013): inserção de uma etapa de busca local; Refinamento da solução proposta por Huang et al.; Hipótese: para qualquer intervalo de busca pequeno associado a possíveis valores de C, a curva formada pelos valores desta variável e pelos erros de validação correspondentes é quase-convexa; Cálculo do coeficiente C pelo método de busca unidimensional da seção áurea; 54

55 7- ECHO STATE NETWORKS - ESN Redes Neurais com Estados de Eco 55

56 Redes Neurais com Estados de Eco (ESN) Propostas por H. Jaeger em 2001; Arquitetura de RNA recorrente formação de memória; Viabiliza as RNNs com uma solução de compromisso; Reservatório de dinâmicas (camada intermediária) com parâmetros fixos e neurônios totalmente interconectados; Uso de um combinador linear como camada de saída; Solução analítica para os pesos da camada de saída (como no caso das ELMs); Convergência rápida eficiência computacional; Também são aproximadores universais 56

57 Redes Neurais com Estado de Eco (ESN) Estados da rede: x t [ x 1 t, x 2 t,..., x N t ] T Atualização dos estados da rede: x in t1 f ( W ut 1 Wx t ) Saída: y W x out t1 t1 T Vetor de entradas: ut [ u1, u2,..., u t K 1] Matriz de pesos da camada de entrada: Matriz de pesos do reservatório dinâmico: Matriz de pesos da camada de saída: Funções de Ativações dos neurônios do reservatório: f (.) ( f1 (.), f 2 (.),...,f N (.)) in W W out LN W NK NN Treinamento (camada de saída): out W ( X T ) -1 X X T d 57

58 Propriedade de Estados de Eco Estados da rede são assintoticamente independentes da condição de entrada, quer dizer, o estado da rede passa a ser governado pelo histórico recente; Ou seja, se a rede é inicializada a partir de dois estados iniciais distintos x(0) e x (0), e a mesma sequência de sinais de entrada é recebida, então as sequências de estados resultantes x(n) e x (n) convergem para valores próximos; Quando esta propriedade é satisfeita, o efeito dos estados iniciais desaparece e a dinâmica do reservatório depende exclusivamente do histórico de entrada, de modo que a rede possui estados de eco; A propriedade garante a existência de memória. 58

59 Propriedade de Estados de Eco Condição para RNNs que tenha neurônios com funções de ativação tipo tangente hiperbólica no reservatório e não apresente realimentações da saída da rede para o reservatório: i) o módulo do máximo valor singular da matriz deve estar dentro do círculo real unitário, ii) Se o raio espectral ou maior autovalor de W, em módulo, for maior que 1, não há estados de eco. 59

60 Propostas de Reservatórios de Dinâmicas 1- Jaeger (2001) matriz esparsa favorece o desacoplamento de grupos de neurônios, induzindo dinâmicas individuais e pouco relacionadas 0,4 probabilidade 0,025 Je W 0,4 probabilidade 0 probabilidade 2- Ozturk et al. (2007) maximização da entropia pela escolha do raio espectral r, já que na ausência de informações a priori sobre a saída desejada é razoável espalhar os autovalores de maneira uniforme. 0,025 0,95 Oz W N r OBS: proposta com entropia média dos estados maior que a de Jaeger. 60

61 Camadas de saída não-lineares O combinador linear só considerar informações de segunda ordem; Isto limita sua capacidade de processamento; Alternativa: substituir esta estrutura por outra não-linear; Necessário garantir que não se comprometa a simplicidade no processo de treinamento 61

62 Camada de saída de Boccato et al. Utilização do filtro de Volterra como camada de saída (1ª. e 3ª. ordens); Surgem estatísticas de ordem superior; Maior capacidade de processamento; Uso da análise de componentes principais (PCA) para remoção da redundância no sinal que sai do reservatório; Proposta aplicável a qualquer modelo de reservatório. 62

63 Filtro de Volterra Combinador linear de termos polinomiais; Coeficientes linearmente dependentes; Risco de explosão de dimensionalidade: Por isso, aplica-se o PCA como método de compressão; Uso da pseudo-inversa de Moore-Penrose que minimiza o MSE para cálculo do coeficientes h (manutenção da simplicidade):... ) ( ) ( ) ( ),, ( ) ( ) ( ), ( ) ( ) ( ) ( n x n x n x r q p h n x n x q p h n x p h h n y r q p N p N q N r N p N q q p p N p i d X X v X h v v T T -1 ) ( 63

64 ESN+VOLTERRA+PCA 64

65 Rede Híbrida: ESN+ELM Proposta de Bucher et al. (2010): Uso de uma ELM como camada de saída de uma ESN; Manutenção da simplicidade no processo de treinamento similar ao treinamento de uma ELM; Outras não-linearidades inseridas no sinal que chega do reservatório. 65

66 Rede Híbrida ESN+ELM 66

67 8- ALGUNS ESTUDOS DE CASOS 67

68 Previsão de séries de vazões Importância das vazões no Brasil, com 77% do seu parque gerador composto por usinas hidrelétricas; Necessidade de um planejamento energético confiável, visando a boa utilização dos recursos renováveis; Diminuir a necessidade do uso de usinas com geração baseada em recursos não-renováveis; O problema é estocástico e de difícil tratamento; Investigar o uso de técnicas de previsão pouco utilizadas para séries de vazões; 68

69 Dificuldades na previsão O caráter potencialmente multimodal da função de erro quadrático médio (MSE); A existência de dificuldades para obtenção das derivadas de uma função custo baseada em uma medida de MSE; A possibilidade de que, num processo iterativo de escolha de parâmetros, alcance-se uma configuração instável, o que inviabilizaria a convergência do método; 69

70 Melhores Resultados por usina FURNAS - PAR =1, MLP=2, ELM=1, JAE-ESN=4, OZT-ESN= 2, JAE-PV-ESN=2 EMBORCAÇÃO - MLP=1, ELM=1, JAE-ESN= 6, OZT-ESN=2, JAE-PV- ESN=2 SOBRADINHO - MLP=1, ELM=4, JAE-ESN=3, OZT-ESN= 1, JAE-PV-ESN=3 70

71 Melhores Resultados: Redes feedforward 71

72 Alguns resultados relevantes Estudos recentes constataram desempenhos superiores das máquinas desorganizadas (UM) em comparação com metodologias frequentemente utilizadas na literatura, em problemas como: Previsão de séries de preços de commodities; Previsão de mapa logístico; Equalização de canais de comunicação; Separação de misturas convolutivas; Reconhecimento de pessoas com base em dados de biometria; Controle de plantas industriais; Controle automotivo; Controle autônomo; Etc. 72

73 9- Referências P.L. Bartlett, The sample complexity of pattern classification with neural networks: the size of the weights is more important than the size of the network. IEEE Transactions on Information Theory, vol. 44, no. 2, pp ,1998. L. Boccato, A. Lopes, R. Attux, F. J. Von Zuben, An Extended Echo State Network Using Volterra Filtering and Principal Component Analysis, Neural Networks 32 (2012) L. Boccato, E. S. Soares, M. M. L. P. Fernandes, D. C. Soriano, R. Attux, Unorganized Machines: from Turing s Ideas to Modern Connectionist Approaches, Int. J. of Natural Computing Research 2(4) (2011) L. Boccato, Novas Propostas e Aplicações de Redes Neurais com Estados de Eco, Tese de Doutorado UNICAMP Brasil, (2013). J. B. Butcher, D. Verstraeten, B. Schrauwen, C. R., Day and P. W. Haycock, Reservoir computing and extreme learning machines for nonlinear time-series data analysis, Neural Networks 38 (2013) S. Haykin, Neural Networks: A Comprehensive Foundation, 2nd edition, Prentice Hall, (1999). G. Huang, G.-B. Huang, S. Song, K. You. Trends in Extreme Learning Machines: a Review. Neural Networks, 61 (2015) G.-B. Huang, L. Chen, C.-K. Siew, Universal approximation using incremental constructive feedforward networks with random hidden nodes, IEEE Trans. on Neural Networks, 17(4) (2006) Huang, G.-B., Zhou, H., Ding, X., Zhang, R. Extreme Learning Machines for Regression and Multiclass Classification. IEEE Transactions on Systems, Man, and Cybernetics Part B: Cybernetics,vol. 42, no. 2, pp ,

74 Referências H. Jaeger, The Echo State Approach to Analyzing and Training Recurrent Neural Networks, Technical Report, Bremen: German National Research Center for Information Technology, GMD Report 148, A. C. P. Kulaif, F. J. Von Zuben, Improved Regularization in Extreme Learning Machines, In: 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress on Computational Intelligence (CBIC), M. C. Ozturk, D. Xu, J. C. Principe, Analysis and Design of Echo State Networks, Neural Computation, 19 (2007) A. M. Schafer, H. G. Zimmermann, Recurrent Neural Networks are Universal Approximators, International Journal of Neural Systems., 17(4) (2007) H. Siqueira, L. Boccato, R. Attux, C. Lyra, Unorganized machines for seasonal streamflow series forecasting, International Journal of Neural Systems, 24 (2014) H. V. Siqueira, L. Boccato, R. Attux, C. Lyra, Echo State Networks in Seasonal Streamflow Series Prediction, Learning and Nonlinear Models 10(3) (2012) H. V. Siqueira, Máquinas Desorganizadas para Previsão de Séries de Vazões, Tese de Doutorado UNICAMP Brasil, (2013). F. Von Zuben, R. Attux, Curso de Redes Neurais Artificiais, Faculdade de Engenharia Elétrica e de Computação, UNICAMP (2007).

75 Contato pessoal.utfpr.edu.br/hugosiqueira