Inteligência Artificial. Redes Neurais Artificiais

Transcrição

1 Curso de Especialização em Sistemas Inteligentes Aplicados à Automação Inteligência Artificial Redes Neurais Artificiais Aulas Práticas no Matlab João Marques Salomão Rodrigo Varejão Andreão

2 Matlab Objetivos: Apresentar os comandos e funções básicas do MatLab para dar suporte ao curso; Implementar os algoritmos do Perceptron Simples. O Matlab - Surgiu nos anos 70 como um Laboratório de Matrizes para auxiliar os cursos de Teoria Matricial, Álgebra Linear e Análise Numérica. Ele é tanto um ambiente de desenvolvimento e simulação quanto uma linguagem de programação. O MatLab é um sistema interativo, onde os comandos podem ser executados na janela de comandos ou por programas. Estes programas são conhecidos como m-arquivos (extensão.m).

3 Aula Prática 1 Perceptron Simples

4 Matlab Uso do Matlab: Linha de Comando Operações mais comuns: Criar variável Criar vetor Criar matriz Acessar conteúdo de vetor e matriz Representar vetor graficamente Carregar planilha de dados Script *.m Uso de função

5 Matlab Uso do Toolbox Neural Network por Linha de Comando: >>load secao36.txt >>%Definir Entrada e saida: >>in = secao36(:,1:3); % dados de entrada da rede >>in = in'; >>target = secao36(:,4) % dados de saída da rede >>target = target'; >>% >>net = newp(in,target,'hardlims','learnp'); %cria rede perceptron com apenas um neurônio >>% configura modo de inicialização dos pesos da rede >>net.layers{1}.initfcn = 'initwb' >>net.inputweights{1,1}.initfcn = 'rands' >>net.biases{1}.initfcn = 'rands'

6 Matlab Uso do Toolbox Neural Network por Linha de Comando: >>% Gera a saída da rede para uma entrada in >>y = sim(net,in); >>net.iw{1} >>net.b{1} >>% Inicializa os pesos da rede >>net = init(net) >>net.iw{1} >>net.b{1} >>% Treina os pesos da rede considerando o par (in,target) >>net.trainparam.epochs = 1000; >>net = train(net,in,target); >>y = sim(net,in) >>net.iw{1} >>net.b{1}

7 Matlab Uso do Toolbox Neural Network via GUI: a) Definir Entrada e saida (linha de comando): >>load secao36.txt >>in = secao36(:,1:3); >>in = in'; >>target = secao36(:,4) >>target = target'; >>% b) Abrir Toolbox (linha de comando) >>nntool

8 Matlab c)carregando os Dados (GUI Import: in -> Input target -> Target

9 Matlab Uso do Toolbox Neural Network via GUI: d) Criando a Rede: Botão New... Configuração: Aba Network Nome = Perceptron Type = Perceptron Input = In Output = Target Transfer Function = Hardlims Learning Funciton = Learnp Botão View = Diagrama de Blocos da rede criada Botão Create = rede criada e salva no workspace

10 Algoritmos do Perceptron Simples Modelo do Perceptron Simples: n i i y g( u) i 1 u w x A saída do Perceptron Simples para duas entradas: y 2 1, se w x 0 w x w x 0 i i i 1 2 se wixi w1 x1 w2 x2 i 1 1, 0 0

11 Algoritmo de Treinamento

12 Algoritmo de Treinamento

13 Algoritmo de operação

14 Tarefas A) Treinar o perceptron simples considerando 1000 épocas usando o conjunto de treinamento secao36.txt. Executar o treinamento da rede usando o exemplo apresentado nos slides anteriores (5-6); B) Repetir o treinamento 5 vezes iniciando os pesos com valores aleatórios. Salve cada rede treinada (net1, net2, net3,...,net5); C) Registre o gráfico da convergência do treinamento e os seguintes resultados em uma Tabela: número do treinamento, valores dos pesos iniciais, valores dos pesos após o treinamento, número de iterações, taxa de certo; D) Justifique por que a rede utiliza um número de épocas diferente em cada treinamento? E) Faça o teste de cada uma das cinco redes treinada usando a seguinte tabela:

15 Tarefas Amostra X1 X2 X3 Y(T1) Y(T2) Y(T3) Y(T4) Y(T5) 1-0,3665 0,0620 5, ,7842 1,1267 5, ,3012 0,5611 5, ,7757 1,0648 8, ,1570 0,8028 6, ,7014 1,0316 3, ,3748 0,1536 6, ,6920 0,9404 4, ,3970 0,7141 4, ,8842-0,2805 1,2548

16 Tarefas F) Responda a pergunta: é possível afirmar se as classes são linearmente separáveis? Justifique

17 Relatório Organize os resultados na forma de relatório contendo: 1. Objetivo: 2. Materiais e Métodos: teoria, ferramentas, etapas executadas 3. Experimentos e Resultados: descrição do experimento, tabelas de resultados e gráficos 4. Discussão: resposta às perguntas da Tarefa 5. Referências: quando houver consulta a material bibliográfico

18 Aula Prática 2 Rede Adaline

19 A Rede Adaline Rede com arquitetura feedforward e algoritmo de treinamento baseado na minimização do erro quadrático em conjunto com a regra delta; Bloco associador usado para ajustar os pesos. Modelo da Rede Adaline: n u w x w x i i i i i 1 i 0 y g( u) n erro d u

20 O Treinamento da Rede Adaline Função erro quadrático para p amostras de treinamento: 1 1 E( w) ( d u) ( d w x )) 2 2 Na forma vetorial/matricial, temos: O gradiente do erro: p p p ( k) 2 ( k) 2 i i k 1 k 1 k 1 p E( w) ( d ( W. X )) k 1 k 1 ( k) T ( k) 2 p Ew ( ) E( w) ( d ( W. X ))( X ) ( d u). X w p ( k ) T ( k ) ( k ) ( k ) ( k ) k 1 k 1 Ajuste ДW dos pesos no sentido oposto ao do gradiente (taxa de aprendizagem ) : W. E( w). ( d u). X p ( k) ( k) Equação dos pesos ajustados: p atual anterior ( k ) ( k ) W W. ( d u). X k 1

21 Algoritmo de Treinamento Adaline

22 O Algoritmo do EQM Deve ser utilizado como uma função no algoritmo de treinamento ou ser inserido no código do mesmo.

23 Algoritmo de operação/teste

24 Tarefas Considere um sistema de gerenciamento automático de duas válvulas, situado a 500 m de um processo industrial. Este sistema envia um sinal codificado consistuído de quatro grandezas (x1, x2, x3, x4). O sinal passa por um comutador que deve decidir se o sinal deve ser enviado para a válvula A ou B. No entanto, o sinal sofre interferência no percuso que alteram o valor correto das grandezas. Neste contexto, construa uma rede Adaline que seja capaz de identificar corretamente para qual válvula A (-1) ou B (+1) os dados devem ser enviados.

25 Tarefas A) Treinar a rede Adaline usando os dados do arquivo secao46.txt. Executar o treinamento da rede usando o scrip Rede_Adaline_Cap4.m, o qual implementa o algoritmo dos slides anteriores. Utilize número de épocas = 10000, taxa de aprendizado = , e precisão 1e-6; B) Repetir o treinamento 5 vezes iniciando os pesos com valores aleatórios. C) Registre o gráfico da convergência do treinamento e os seguintes resultados em uma Tabela: número do treinamento, valores dos pesos iniciais, valores dos pesos após o treinamento, número de iterações, taxa de certo; D) Justifique por que a rede utiliza um número de épocas diferente em cada treinamento? E) Embora o número de épocas seja diferente, por que os valores dos pesos permanecem aproximadamente iguais. F) Faça o teste de cada uma das cinco redes treinadas usando os dados do arquivo secao46_teste.txt e decida qual é a saída correta para cada valor de entrada.

26 Relatório Organize os resultados na forma de relatório contendo: 1. Objetivo: 2. Materiais e Métodos: teoria, ferramentas, etapas executadas 3. Experimentos e Resultados: descrição do experimento, tabelas de resultados e gráficos 4. Discussão: compare a rede Adaline com a rede Perceptron 5. Referências: quando houver consulta a material bibliográfico

27 Aula Prática 3 Perceptron Multicamadas Classificação de Padrões

28 Tarefas No processamento de bebidas, a aplicação de um determinado conservante (A, B ou C) depende de quatro variáveis: teor de água (x1), grau de acidez (x2), temperatura (x3) e tensão inerfacial (x4). A partir de 148 ensaios de laboratório, a equipe de engenheiros decidiu criar um classificador de padrões baseado em PMC para identificar o conservante. A topologia da rede PMC escolhida é apresentada abaixo: X1 a X Y1 Y2 Y3 Entrada Camada Escondida Saída

29 Tarefas A padronização da saída deve ser de acordo com a tabela a seguir: Conservante Y1 Y2 Y3 A B C 0 0 1

30 Tarefas A) Treinar a rede PMC (quatro entradas/camada escondida com quatro neurônios/três saídas) usando os dados do arquivo secao59.txt. Executar o treinamento da rede usando o algoritmo backpropagation ( training function =traingd; adaption learning function =learngd). Inicie os pesos com valores aleatórios. Use a função logística (sigmóide) para todos os neurônios, com número de épocas = 10000, taxa de aprendizado ( lr ) = 0.1, e precisão ( min_grad ) = 1e-6; B) Repetir o treinamento da rede PMC usando o algoritmo backpropagation com momentum ( training function =traingdm; adaption learning function =learngdm) e os mesmos pesos iniciais da rede da letra A. Use a função logística (sigmóide) para todos os neurônios, com número de épocas = 10000, taxa de aprendizado ( lr ) = 0.1, fator de momentum ( mc ) de 0.9 e precisão ( min_grad ) 1e-6; C) Repetir o treinamento da rede PMC usando o algoritmo Levenberg- Maquard ( training function =trainlm; adaption learning function =learngd) com os mesmos pesos iniciais da rede da letra A. Use a função logística (sigmóide) para todos os neurônios, com número de épocas = 10000, taxa de aprendizado ( lr ) = 0.1 e precisão ( min_grad ) 1e-6;

31 Tarefas D) Para cada uma das redes acima, registre o gráfico da convergência do treinamento (Erro Quadrático Médio x Época) e o tempo gasto para o treinamento; E) Faça o teste de cada uma das redes treinadas usando os dados do arquivo secao59_teste.txt e compare com o valor desejado. F) Analise os resultados obtidos.

32 Relatório Organize os resultados na forma de relatório contendo: 1. Objetivo: 2. Materiais e Métodos: teoria, ferramentas, etapas executadas 3. Experimentos e Resultados: descrição do experimento, tabelas de resultados e gráficos 4. Discussão: compare os métodos de treinamento do MLP 5. Referências: quando houver consulta a material bibliográfico

33 Aula Prática 4 Perceptron Multicamadas Aproximação de Funções

34 Tarefas Considere um problema onde uma da variável y depende de três outras grandezas (x1, x2, x3). No entanto, dada a complexidade do processo, não é possível montar um modelo matemático satisfatório. Para solucionar o problema, implemente um PMC como um aproximador universal de funções cuja toplogia é apresentada abaixo: 1 X1 a X3 2 1 Y1 10 Entrada Camada Escondida Saída

35 Tarefas A) Treinar a rede PMC (três entradas/camada escondida com dez neurônios/uma saída) usando os dados do arquivo secao58.txt. Executar o treinamento da rede usando o algoritmo backpropagation. ( training function =traingd; adaption learning function =learngd).. Inicie os pesos com valores aleatórios. Use a função logística (sigmóide) para todos os neurônios exceto o neurônio de saída, com número de épocas = 10000, taxa de aprendizado = 0.1, e precisão 1e-6; B) Repetir o treinamento da rede PMC usando o algoritmo backpropagation com momentum ( training function =traingdm; adaption learning function =learngdm) e os mesmos pesos iniciais da rede da letra A. Use a função logística (sigmóide) para todos os neurônios exceto o neurônio de saída, com número de épocas = 10000, taxa de aprendizado = 0.1, fator de momentum de 0.9 e precisão 1e-6; C) Repetir o treinamento da rede PMC usando o algoritmo Levenberg- Maquard ( training function =trainlm; adaption learning function =learngd) com os mesmos pesos iniciais da rede da letra A. Use a função logística (sigmóide) para todos os neurônios exceto o neurônio de saída, com número de épocas = 10000, taxa de aprendizado = 0.1 e precisão 1e-6;

36 Tarefas D) Para cada uma das redes acima, registre o gráfico da convergência do treinamento (Erro Quadrático Médio x Época) e o tempo gasto para o treinamento; E) Faça o teste de cada uma das redes treinadas usando os dados da tabela abaixo e compare com o valor desejado. Calcule o erro médio e o desvio padrão do erro.

37 Tarefas F) Analise os resultados obtidos. Tabela. Dados de Teste

38 Relatório Organize os resultados na forma de relatório contendo: 1. Objetivo: 2. Materiais e Métodos: teoria, ferramentas, etapas executadas 3. Experimentos e Resultados: descrição do experimento, tabelas de resultados e gráficos 4. Discussão: compare os métodos de treinamento do MLP 5. Referências: quando houver consulta a material bibliográfico

39 Aula Prática 5 Perceptron Multicamadas Predição

40 Tarefas O preço de uma determinada categoria teve seu histórico registrado em tabela (secao510.txt). Implemente um PMC como um preditor de série temporal empregando a topologia abaixo: X(t-1) X(t-2) Y = X(t) X(t-np) n Entrada Camada Escondida Saída

41 Tarefas A) Treinar a rede PMC (cinco entradas/camada escondida com dez neurônios/uma saída) usando os dados do arquivo secao510.txt. Executar o treinamento da rede usando o algoritmo backpropagation com momentum ( training function =traingdm; adaption learning function =learngdm). Inicie os pesos com valores aleatórios. Use a função logística (sigmóide) para todos os neurônios exceto o neurônio de saída, com número de épocas = 10000, taxa de aprendizado = 0.1, fator de momentum de 0.8 e precisão 0.5e-6; B) Treinar a rede PMC (dez entradas/camada escondida com quinze neurônios/uma saída) usando os dados do arquivo secao510.txt. Executar o treinamento da rede usando o algoritmo backpropagation com momentum ( training function =traingdm; adaption learning function =learngdm). Utilize os mesmos pesos iniciais da letra A. Use a função logística (sigmóide) para todos os neurônios exceto o neurônio de saída, com número de épocas = 10000, taxa de aprendizado = 0.1, fator de momentum de 0.8 e precisão 0.5e-6;

42 Tarefas C) Treinar a rede PMC (quinze entradas/camada escondida com vinte e cinco neurônios/uma saída) usando os dados do arquivo secao510.txt. Executar o treinamento da rede usando o algoritmo backpropagation com momentum ( training function =traingdm; adaption learning function =learngdm). Utilize os mesmos pesos iniciais da letra A. Use a função logística (sigmóide) para todos os neurônios exceto o neurônio de saída, com número de épocas = 10000, taxa de aprendizado = 0.1, fator de momentum de 0.8 e precisão 0.5e-6; D) Para cada uma das redes acima, registre o gráfico da convergência do treinamento (Erro Quadrático Médio x Época) e o tempo gasto para o treinamento;

43 Tarefas E) Faça o teste de cada uma das redes treinadas usando os dados da tabela abaixo e compare com o valor desejado. Cálcule o erro médio e o desvio padrão do erro. F) Analise os resultados obtidos. Tabela. Dados de Teste

44 FIM