Trabalho 2: Apredizagem em perceptrões multicamada. Discentes: Ricardo Seromenho a23842 Rui Dias a24254

Transcrição

1 Universidade do Algarve Faculdade de Ciências e Tecnologia Departamento de Engª Electrónica e Informática Inteligência Artificial (2005/2006 2º Semestre) Trabalho 2: Apredizagem em perceptrões multicamada Discentes: Ricardo Seromenho a23842 Rui Dias a

2 Índice Introdução... 3 Modelo do perceptrão... 4 Classe Perceptrão variáveis... 4 Classe Perceptrão métodos... 5 Modelo da camada... 6 Classe Camada variáveis... 6 Classe Camada métodos... 7 Modelo da Rede... 9 Classe Rede variáveis... 9 Classe Rede métodos Apresentação de resultados A melhor topologia Manual do utilizador Conclusão Referências Anexo Anexo

3 Introdução Com este trabalho pretende se implementar um perceptrão multicamada, com aprendizagem por retropopagação de erro e com um número de entradas, saídas, camadas e de neurónios a definir pelo utilizador. Neste trabalho específico, cada padrão, é um vector com 9 valores inteiros que corresponde ao caracter a ser classificado. A camada de entrada tem como entrada cada padrão (ver anexo 1), e a camada de saída tem 4 valores. Onde a activação de cada valor corresponde a um caracter codificado internamente (ver anexo 2). Outro dos objectivos do trabalho prático é com o treino da rede, construir um classificador. Classificador esse que não seja apenas capaz de reconhecer padrões utilizados, durante o treino da rede, mas que seja também capaz de generalizar, ou seja, reconhecer entradas com ruído. 3

4 Modelo do perceptrão O perceptrão recebe como entrada um vector de dimensão N, produzindo um valor de saída. Este valor é obtido através da função de custo (f(si)) sobre o somatório dos valores da entrada multiplicado por cada peso dessa entrada. Classe Perceptrão variáveis public double []weight; Array que corresponde aos pesos das entradas no neurónio. Este array terá tantos pesos, quantas as entradas da camada mais um. Este mais um peso, é o peso do thresholder que é guardado na última posição do array. public double []deltas; Array que vai guardar o delta de cada peso. Cada posição neste array corresponde ao delta do peso, na mesma posição do array dos pesos. public double eta = 0.001; Valor do eta a utilizar na actualização dos pesos 4

5 Classe Perceptrão métodos public void InitWeight(int n_entradas) Inicia os pesos dos neurónios aleatóriamente no intervalo de [ 0.5, 0.5], e inicia também o array dos deltas. Os deltas são iniciados a zero. O método recebe como entrada a dimensão do array dos pesos para este neurónio., ou seja, o número total de entradas da camada a que o neuório pertence, ao que depois se acrescente uma unidade para guardar o peso do thresholder. public Perceptrao CreateNewPerceptrao(int n_entradas) Cria um perceptrão novo. Recebe o número de entradas da camada a que o neurónio pertence, pois este método depois invoca o método initweight. Este método retorna o novo perceptrão criado. public void calculadeltas(double []in, double gradiente, int thresholder) Calcula e actualiza os deltas dos pesos do neurónio de acordo com a fórmula: w = entrada * erro gradiente Onde, a entrada é o valor da entrada que entra no caminho que tem o pesso correspondente, e o erro gradiente, é o erro gradiente do neurónio. public void limpadeltas() Depois de uma iteracção, é necessário limpar os valores dos deltas. Este método coloca os valores dos deltas do neurónio a zero. public void actualizapesos() Actualizar os pesos do neurónio, segundo: o valor do peso novo é igual ao valor do peso antigo somado com a multiplicação do valor do eta pelo delta delta desse peso. w_novo = w_antigo + (eta * Delta w) public int numeropesos() Conta e retorna o número de pesos que um neurónio tem. O programa foi desenvolvido em JAVA, devido a ser uma linguagem orientada a objectos, sendo por isso no nosso ver, mais simples de resolver o problema. 5

6 Modelo da camada A nossa rede neuronal é uma rede de feed forward, em que cada neurónio de uma camada está ligado a todos os neurónios da camada seguinte. O que nos levou a concluir que o número de entradas da camada de entrada é o número de entradas do padrão, e o número de entradas das camadas seguinte corresponde ao número de saídas da camada anterior. Classe Camada variáveis // Array que guarda os neurónios que constituem a camada private Perceptrao []neuronios; Array de perceptrões que vão contituir a camada. public double []erro_gradiente; Array que guarda o erro gradiente de cada neurónio. O indice de cada erro deste array é o mesmo indice do array dos perceptrões da camada. public double []in; Uma vez que, e como já foi dito acima, cada neurónio da camada está ligado a todos os neurónios da camaada seguinte, então todos os neurónios vão ter as mesmas entradas. Por isso podemos guardar as entradas em camada em vez de guardar em cada perceptrão. public double []out; Array que guarda as saídas da camada. Este array tem tantas posições como o número de neurónios que a camada tem. public int thresholder = 1; Valor do thresholder. Pode ser outro valor, mas optámos por 1. 6

7 Classe Camada métodos public void InitEntradas(int []entradas ) Inicia as entradas da camada de entrada. Recebe um array de inteiros, que corresponde ao array das entradas do padrão que entra na rede. public void InitEntradas(double[]out ) Inicia as entradas das camadas escondidas e da camada de saída. O parâmetro deste método é um array de doubles, que corresponde ao array das saídas da camada anterior à que está a ser inicializada o array. O que este método faz, é igualar cada posição da instância []in desta camada a cada posição da instância []out da camada anterior. public Camada NewCamada(int numero_neuronios,int n_entradas) Este método é como se fosse um construtor da classe camada. Faz o que um construtor faz, cria a camada com o numero de neurónios iagual ao parâmetro numero_neuronios, e inicializa o tamanho do array das entradas da camada. Este método devolve a camada criada. public void somatorio () Preenche o array das saídas da camada. Em cada posição do array coloca no indice correspondente ao índice do neurónio o valor da saída de um. Esse valor é a tangente hiperbólica do somatório da multiplicação dos pesos pelas entradas. public void calculaerrogradiente(double[] erros) Como a fórmula do erro gradiente é diferente da camada de saída e das restantes camadas. Existem dois métodos para calcular o erro gradiente. Este calcula os erros gradientes para a camada de saída. A fórmula para calcular o erro gradiente é: Erro gradiente(i) = ( 1 yi 2 ) * erro(i) Aonde i é a posição do neurónio ao qual está a ser calculado o erro gradiente. public void calculaerrogradiente(camada x){ Calcular os erros gradientes dos neurónios das camadas escondidas e camada de entrada. 7

8 Tem como parâmetro dde entrada a camada a seguir à qual se está a calcular os erros gradientes. Pois a fórmula é: Erro gradiente = ( 1 yi 2 ) * ( erro gradiente(k) * w(k) ) Ou seja, o erro gradiente de um neurónio que esteja numa camada escondida ou na camada de entrada é igual a 1 a saída desse neurónio ao quadrado, vezes o somatório do erro gradiente pelo peso das ligações que esse neurónio tem com os neurónios da camada seguinte. public void calculadeltas() Calcular os deltas da camada. Este método chama o método de calcular os deltas do perceptrão. Ou seja, para cada perceptrão, vão ser calculados os seus deltas. public void limpadeltas() Após cada iteracção é necessário reiniciar os deltas a zero. Este método reinicializa os deltas de uma camda a zero. Para isso, em cada perceptrão, chama o método de limpadeltas. public void actualizapesos() Actualiza os pesos da camada. Como os pesos estão na classe do perceptrão, para cada neurónio da camada é chamado o método de actualizapesos. public int numeropesos() Conta e retorna o número de pesos da camada. 8

9 Modelo da Rede O modelo da nossa rede é o do tipo da que é pedida no trabalho prático que é uma rede de perceptrões multimcamada. Classe Rede variáveis public Camada []camadas; Uma rede multicamada é constiuída por um conjunto de camadas. Assim sendo esta instância da classe rede é exactamente isso: o conjunto de camadas da rede. public int N = 0; Número de padrões do conjunto de treino. Inicado a zero, e posteriormente colocado no seu valor correcto. public int n_camadas = 0; Número de camadas da rede. public double []erros; Array dos erros de cada saída da rede. Cada valor deste array corresponde ao erro produzido na camada de saída pelo nurónio que está no mesmo índice na camada. public double erro_global = 500; Erro global da rede. Calculado pela fórmula que está no enunciado do trabalho prático. É iniciado num valor maior que para que se posso entrar no ciclo da retropopagação. public int [][] desejado Está explicada no anexo 2. 9

10 Classe Rede métodos public Rede(ReadTopologia reader,int n_entradas) throws IOException tem. Construtor da classe. Recebe a topologia da rede e o número de entradas que esta É neste construtor em que é chamado o método da criação de uma camada e consequentemente a criação dos perceptrões. public void propagacao(int []entrada) throws IOException{ Recebe um vector com as entradas a propagar pela rede. Depois, faz a propagação deas mesmas. public void initerro(){ De iteracção em iteracção é necessário reiniciar os valores do erros das saídas da rede a zero. É isso que este método faz. public void calculaerro(int padrao) Calcular e actualizar os erros nas saídas da rede. Cada padrão tem um valor desejado de saída e a fórmula do erro na saída é a subtracção entre o desejado e o que saiu na rede. Daí o parâmetro de entrada deste método ser o padrão que se propagou. Pois o valor do padrão corresponde ao índice da instância das saídas desejadas. public void calculaerroglobal() Calcular o erro global da rede de acordo com a fórmula do enunciado do trabalho prático. public void calculadeltas() Calcular os deltas da rede. Uma vez que os deltas são guardados nos perceptrões, e estes são guardados nas camadas, para cada camada da rede é chamado public void limpadeltas() Desce tal como o método de calcular os deltas até à classe dos perceptrões. Coloca os deltas a zero. Este método é chamdo a cada iteracção do algoritmo da retropopagação. 10

11 public void actualizapesos() Actualizar os deltas da rede. Utiliza a mesma ideia de descer até à classe dos perceptrões para, lá sim, actualizar os pesos. public void retropropagacao(int [][]entrada) throws IOException Este método contém quase todo o algoritmo da retropopagação que se encontra na página 261 da referência [6]. É esse algorimto a partir do ponto 2.1, pois os pontos 1 e 2 desse algoritmo estão no método main do programa. public int numeropesos() Este método calcula e retorna o número total de pesos da rede. 11

12 Apresentação de resultados As várias topologias testadas cada uma teve 7 reinicializações aleatórias dos pesos. Designação da Topologia Descrição da Topologia* Número de pesos Média de iteracções** A A A A A A *Ordem do número de neurónios por camada **Valores arredondados para inteiros A melhor topologia Designação da Topologia Descrição da Topologia* Número de pesos Média de iteracções** A Escolhemos esta topologia porque foi uma topologia que sempre que era inicializada reconhecia todos os caractéres que temos no conjunto de testes. Os pesos iniciais e finais deta topologia são muitos, como tal existe uma função para imprimir os pesos. Se se pretender imprimir os pesos. Basta chamar o método no inicio quando a rede é criada e no fim, depois da rede estar treinada. 12

13 O gráfico do erro global ao longo de um treino da rede. De uma análise feita a este gráfico podemos concluir que supostamente alguma coisa está mal, ou então está menos bem, pois o valor do erro global deveria de decrescer monotonamente. Quando isto acontece e de acordo com o professor ou revela ou eta elevado ou existe algum erro de implementação. Mas o que é certo é que depois de introduzido o conjunto de teste, a rede classifica o bem. 13

14 Manual do utilizador 1. O programa deve ser chamado com dois argumentos. O primeiro de conter a topologia da rede e o segundo deve conter o conjunto de treino da rede. Exemplo de um ficheiro da topologia da rede: O número de neurónios na camada de saída deve ser 4. Obrigatoriamente. Exemplo de um ficheiro de conjunto de treino: Ver anexo 2 2. Depois da rede estar treinada, é pedido ao utilizador o ficheiro que contém o caracter a ser classificado. Já se encontram na directoria dos ficheiros da aplicação os 8 ficheiros com os caracteres do conjunto de treino, mais três com ruído. Exemplo de um ficheiro: Ao que a rede responderia que é um o. 3. O ponto 2 é repetido até que seja inserida a string vazia. 4. O programa vai de maneira que os pontos 1,2 e 3 sejam corridos. Para verfificar outras coisas, como correr a mesma topologia várias vezes, e verificar o erro, ou numero médio de interacções. É necessário alterar o código. 5. O output do programa é a classificação correcta da entrada. 14

15 Conclusão Da análise da apresentação de resultados podemos concluir que as topologias de rede que têm muitos neurónios escondidos, ou seja, as topologias que têm mais neurónios na ou nas camadas escondidas são as topologias que têm um número médio de iteracções até chegar à condição de paragem mais pequeno. Verifica se também que com poucos neurónios (menos que as entradas) na camada de entrada a média de iteracções até chegar à condição de paragem é maior. O número de neurónios da camada de entrada deve ser igual ao número de entradas e o número de nuerónios da camada de saída deve ser igual à quantidade de saídas pretendidas. Já o número de neurónios da camada escondida de ve ser e o número de camadas escondidas, é um caso a estudar para cada problema. Não deve ser um número nem muito grande nem muito pequeno. 15

16 Referências [1] [2] [3] [4] Maria Isabel de Almeida Milho, Redes neuronais e reconhecimento de caracteres (2000), IPL ISEL, Lisboa [5] Michael Negnevitsky, Artificial Intelligence: A guide to Intelligent Systems, Addison Wesley, Pearson Education, 2002 [6] Ernesto Costa e Anabela Simões, Inteligência Artificial: Fundamentos e Aplicações, FCA, Fev

17 i i o o h h t t Anexo 1 17

18 Codificação das saídas desejadas. Anexo 2 Onde cada linha deste array corresponde ao caracter da que está na mesma linha no array dos caracteres (que foi lido do ficheiro de entradas). public int [][] desejado = { }; {1,0,0,0}, {1,0,0,0}, {0,1,0,0}, {0,1,0,0}, {0,0,1,0}, {0,0,1,0}, {0,0,0,1}, {0,0,0,1} Esta instância foi criada porque não foi criado um método que codificasse internamente as saídas desejadas. Logicamente que achamos que o trabalho ficava mais completo se o tivessemos feito, mas também o tempo apertou e também achámos que o objectivo principal do trabalho prático está conseguido. 18