3 INTELIGÊNCIA COMPUTACIONAL (IC)

Transcrição

1 40 3 INTELIGÊNCIA COMPUTACIONAL (IC) Inteligência Computacional é a área da ciência da computação que estuda a teoria e aplicação de técnicas computacionais inspiradas na natureza. Deste modo, tem por objetivo a geração e o desenvolvimento de sistemas artificiais que imitem aspectos do comportamento humano, tais como: percepção, raciocínio, aprendizagem e adaptação. Os métodos mais conhecidos de IC são: Redes Neurais Artificiais: Técnica baseada na funcionalidade dos neurônios biológicos e na estrutura paralela do cérebro, com a capacidade de adquirir, armazenar e utilizar conhecimento experimental; Computação Evolucionária: Técnica que utiliza os processos naturais de evolução para solucionar problemas de otimização; Lógica Fuzzy: Possibilita que os sistemas inteligentes de apoio à decisão lidem com informações imprecisas. Como esta dissertação baseia-se no uso de Redes Neurais Artificiais (RNA), a seguir tem-se uma breve descrição de suas principais características. 3.1 Redes Neurais Artificiais As redes neurais artificiais foram desenvolvidas, originalmente, na década de 40, pelo neurofisiologista Warren McCulloch, do MIT (Massachusetts Institute of Technology), e pelo matemático Walter Pitts, da Universidade de Illinois, os quais, dentro do espírito

2 41 cibernético, fizeram uma analogia entre células nervosas reais e o processo eletrônico em um trabalho publicado sobre "neurônios formais". O trabalho consistia em um modelo de resistores variáveis e amplificadores representando conexões sinápticas de um neurônio biológico. Desde então, mais enfaticamente a partir da década 80, diversos modelos de redes neurais artificiais têm surgido com o propósito de aplicar e aperfeiçoar esta tecnologia. Algumas destas propostas tendem a aperfeiçoar mecanismos internos da rede neural para aplicação na indústria e negócios, outras procuram aproximá-las ainda mais dos modelos biológicos originais O Modelo McCulloch e Pitts (MCP) O modelo de neurônio proposto por McCulloch e Pitts em 1943 é uma simplificação do que se sabia a respeito do neurônio biológico naquela época. Sua descrição matemática resultou em um modelo com n terminais de entrada x 1, x 2,...,x n (que representam os dendritos), e apenas um terminal de saída y (que representa o axônio), como ilustrado na Figura 9. X 1 w 1 X 2 w 2 X n w n Figura 9.Neurônio de McCulloch e Pitts.

3 42 Para emular o comportamento das sinapses, os terminais de entrada do neurônio têm pesos sinápticos associados w 1, w 2,...,w n, cujos valores podem ser positivos ou negativos, de modo que as sinapses correspondentes podem ser inibitórias ou excitatórias. O efeito de uma sinapse particular i no neurônio pós-sináptico é dado pelo produto: x i w i. Os pesos determinam em que grau o neurônio deve considerar sinais de entrada fornecidos àquela conexão (Haykin, 1998), onde um neurônio dispara quando a soma dos impulsos que ele recebe ultrapassa o seu limiar de excitação, chamado de threshold. No modelo MCP, a ativação do neurônio é obtida através da aplicação de uma "função de ativação", que ativa a saída ou não, dependendo do valor da soma ponderada das suas entradas. Na descrição original do modelo MCP, a função de ativação é dada pela função de limiar descrita a seguir: n i= 1 x i w i θ (4) onde n é o número de entradas do neurônio, w i é o peso associado à entrada x i, e θ é o limiar (threshold) do neurônio. McCulloch e Pitts simplificaram seu modelo assumindo que os neurônios em cada camada da rede disparam sincronamente, isto é, que todos os neurônios são avaliados ao mesmo tempo, e também que as entradas em um instante de tempo t produzem suas saídas no tempo t + 1. Em sistemas biológicos, sabe-se que não existe um mecanismo para sincronizar as ações de neurônios, nem há restrição para que as suas saídas sejam ativadas em tempos discretos como no modelo MCP. Sabe-se também que o valor da próxima saída dos neurônios biológicos depende enormemente das ativações dos neurônios anteriores, já

4 43 que até mesmo os neuro-transmissores liberados anteriormente levam algum tempo para se recombinarem, influenciando, assim, as ativações seguintes. Finalmente, pode-se apontar algumas limitações na descrição do modelo MCP original, como: Redes MCP com apenas uma camada conseguem implementar somente funções linearmente separáveis; O modelo foi proposto com pesos fixos, não ajustáveis. Não há a presença de um algoritmo de aprendizagem Funções de Ativação e Transferência A partir do modelo proposto por McCulloch e Pitts foram derivados vários outros modelos que permitem a produção de uma saída qualquer, não necessariamente zero ou um, e com diferentes funções de ativação. A Figura 10 ilustra graficamente quatro funções de ativação diferentes: a função linear, a função rampa, a função degrau e a função sigmoidal. y = αx y max y = x y min se, c. c. se x x y max y min y max se y = y min se x > 0 x e y = x / T y y y y x x x x Figura 10.Funções de Ativação (Linear, Rampa, Degrau, Sigmóide).

5 Arquitetura e Topologia Conforme Dyminski (Dyminski, 2000), uma rede neural é constituída por diversos neurônios. Para se formar uma rede neural, os neurônios são conectados entre si, sendo que a maneira como os mesmos são dispostos caracteriza a arquitetura da rede. O tipo de rede chamada de feed forward ou multi layer perceptron caracteriza-se por apresentar neurônios organizados em camadas, totalmente ou parcialmente conectados por sinapses (pesos). As entradas alimentam a rede e são processadas até alcançarem a camada de saída, sem realimentação. Por isso são caracterizadas como feedforward (propagação para frente). A estrutura básica de uma RNA geralmente apresenta-se da seguinte forma: Uma camada inicial de unidades sensíveis aos estímulos de entrada, que não é composta por neurônios propriamente ditos; Uma ou mais camadas intermediárias ou escondidas de neurônios interligados (formando a estrutura central de processamento da rede neural); Uma camada de neurônios de saída, conectada aos neurônios da última camada escondida, gerando a resposta final da RNA. A Figura 11 apresenta a estrutura básica de uma rede neural artificial totalmente conectada, com quatro entradas, duas saídas e uma camada escondida com três neurônios. As entradas da rede representam a informação existente. Elas alimentam a primeira camada de neurônios que, através do cálculo executado pela aplicação da função de ativação, gera respostas que alimentam a camada seguinte, e assim sucessivamente, até atingirem a camada de saída.

6 45 Camada Escondida Entradas Saídas Figura 11.Exemplo simbólico de uma rede neural artificial. O número de camadas e neurônios em uma dada estrutura é função do problema a ser resolvido. Os neurônios da camada de saída em um problema de classificação de dados representam as diferentes classes para as quais os padrões podem ser designados. Já no caso de aproximação de funções, a camada de saída representa os valores de resposta da RNA Aprendizagem As redes neurais artificiais possuem a capacidade de aprender através de exemplos e fazer interpolações e extrapolações do que aprenderam. Na aprendizagem coneccionista não se busca obter regras como na abordagem simbólica da Inteligência Artificial (IA), mas determinar a intensidade das conexões entre os neurônios a partir dos dados. Um conjunto de procedimentos bem definidos para adaptar os parâmetros de uma RNA, a fim de que a mesma possa aprender uma determinada função, é chamado de algoritmo de aprendizagem. Como era de se esperar, não há um único algoritmo de aprendizagem, mas um conjunto de

7 46 ferramentas representadas por diversos algoritmos, cada qual com suas vantagens e desvantagens. Estes algoritmos, basicamente, diferem pela maneira através da qual o ajuste dos pesos é feito. Assim, a utilização de uma RNA na solução de uma tarefa passa, inicialmente, por uma fase de aprendizagem, onde a rede extrai características relevantes de padrões de informações apresentados para a mesma, criando assim uma representação própria para o problema. A etapa de aprendizagem consiste em um processo iterativo de ajuste de parâmetros da rede, que são os pesos das conexões entre as unidades de processamento e guardam o conhecimento que a rede adquiriu do ambiente em que está operando Aprendizagem Supervisionada O método de aprendizagem mais comum, ilustrado na Figura 12, é chamado de Aprendizagem Supervisionada, porque a saída desejada que a rede deve fornecer é definida por um supervisor externo (conjunto de dados que são os objetivos da rede, representado pelo valor t na Figura 12). O objetivo é ajustar os parâmetros da rede, de forma a encontrar um mapeamento entre os pares de entrada e saída fornecidos. O supervisor indica, explicitamente, um comportamento para a rede, visando a direcionar o processo de treinamento. A rede tem sua saída calculada e comparada com a saída desejada, fornecendo informações ao supervisor sobre o erro da resposta atual. Para cada padrão de entrada submetido à rede compara-se a resposta desejada com a resposta calculada, e os pesos das conexões são ajustados para minimizar o erro. A minimização da diferença é geralmente incremental, já que pequenos ajustes são feitos nos pesos a cada etapa de treinamento, de tal forma que estes se ajustem para uma solução geral.

8 47 Padrão de entrada (x) Pesos Ajustáveis (W) Saída (s) e(t,s) Cálculo do Erro (e) Valor desejado (t) (Supervisor) Figura 12.Aprendizagem Supervisionada Treinamento Basicamente, divide-se o conjunto de dados em três subconjuntos, denominados de treinamento, validação e teste. O conjunto de treinamento é composto por exemplos que serão utilizados na fase de aprendizagem (treinamento) da rede neural. Já o conjunto de validação é composto por exemplos que serão utilizados na tarefa de se verificar a capacidade de generalização da rede. Finalmente, o conjunto de teste será utilizado para testar como a rede neural se comporta com dados nunca vistos antes. O treinamento consiste na apresentação dos exemplos do conjunto de treinamento ao sistema, onde a rede multiplicará os valores de entrada pelos pesos sinápticos, e posteriormente esses valores serão fornecidos às funções de ativação dos neurônios, camada a camada gerando então as saídas da rede. Estas saídas deverão ser comparadas com os valores reais das saídas (targets) correspondentes aos exemplos do conjunto de treinamento, e desta comparação será obtido um valor de erro de treinamento. Procura-se então ajustar os valores dos pesos sinápticos, através de um algoritmo numérico, visando à diminuição do erro de treinamento. Contudo, deve-se fazer um controle deste ajuste dos

9 48 pesos pois, além da rede estar sendo treinada, esta não deverá perder a capacidade de generalização. Deste modo, durante a fase de treinamento, deve-se apresentar à rede alternadamente os exemplos do conjunto de validação, obtendo-se assim o chamado erro de validação, por meio da comparação das saídas da rede com as respostas desejadas correspondentes aos exemplos de validação. Monitorando-se os dois valores de erro (de treinamento e de validação), por meio da validação cruzada (também conhecida como independente), deve-se procurar chegar a um ponto ótimo, equivalente à minimização conjunta de ambos os erros, no qual a rede estará bem treinada e com sua capacidade de generalização preservada. Deste modo, o objetivo da fase de treinamento é ajustar da melhor maneira possível os valores dos pesos sinápticos da rede, procurando fazer com que as saídas fornecidas pela rede estejam bastante próximas dos valores reais de saída correspondentes a cada um dos exemplos apresentados, sem que perca sua capacidade de generalização. Existem diversos algoritmos para se treinar as redes neurais (Haykin, 1998), sendo mais comumente utilizado atualmente, para redes de múltiplas camadas, o de Error Backpropagation (retropropagação do erro), bem como o de Levenberg-Marquardt (também abreviado por LM) (Haykin, 1998), descritos brevemente a seguir Algoritmo de Treinamento Backpropagation O treinamento consiste basicamente em apresentar os dados de entrada do conjunto de treinamento à rede, onde os mesmos são processados em cada camada, através da multiplicação pelos pesos sinápticos e posterior somatório e aplicação da função de ativação, gerando então as saídas relacionadas às entradas apresentadas. As saídas

10 49 fornecidas pela rede são comparadas com os valores reais (desejados) obtidos dos experimentos e, desta comparação, é calculado um erro. Com base no valor de erro, um ajuste para os pesos da última camada é calculado. O erro é então "retropropagado" na rede, corrigindo os pesos sinápticos das camadas escondidas por meio de um algoritmo de gradiente descendente, que usa a informação da primeira derivada do erro em relação aos pesos sinápticos (Haykin, 1998). Este processo iterativo deverá acontecer até que o erro seja aceitável, ou seja, até que a rede tenha aprendido a tarefa a ser realizada. Abaixo é apresentado um neurônio artificial para melhor compreensão das equações abaixo: x 1 w j1 Padrão de Entrada: vetor X x 2 w j 2 net j s j x i + 1 Bias = θ j Figura 13.Neurônio artificial. Considerando que cada neurônio (net) (Figura 13) seja representado pela seguinte equação, temos como função de propagação: net j xi. wij + θ (5) = j O erro de minimização do erro quadrático pelo método do gradiente descendente (aprendizagem) pode ser calculado por:

11 50 δe wij = η (6) δw ij onde, cada peso sináptico i do elemento processador j é atualizado proporcionalmente ao negativo da derivada parcial do erro deste processador com relação ao peso. O erro quadrático do processador j é definido como: E j = ( t j s j ) (7) onde t j, é o valor desejado na saída do processador j da camada de saída, e s j é o estado de ativação do processador j da camada de saída. A seguir será visto o algoritmo de treinamento Levenberg Marquardt que, como o backpropagation, tem a finalidade de realizar a aprendizagem das redes neurais artificiais Algoritmo de Treinamento Levenberg Marquardt (LM) Após a popularização do algoritmo de backpropagation para o treinamento de redes, diversas pesquisas foram realizadas e métodos foram desenvolvidos com a finalidade de tornar sua convergência mais rápida. Um dos desenvolvimentos realizados neste sentido foi a incorporação do algoritmo de Marquardt para mínimos quadrados não lineares no algoritmo de backpropagation. O método LM é um algoritmo do tipo quasi Newton, anterior às redes neurais, que utiliza a informação das segundas derivadas, ao contrário do gradiente descendente, que usa apenas a primeira. Por este motivo, o algoritmo LM tende a ser mais eficiente que o gradiente descendente. O algoritmo LM procura obter a mesma velocidade que o método de Newton, porém dispendendo menos esforço. Contudo, há a necessidade de se armazenar a

12 51 matriz Hessiana, que contém as segundas derivadas, o que resulta em um uso significativamente maior da memória do computador, podendo comprometer sua eficiência no treinamento das redes muito grandes. O funcionamento desse algoritmo de treinamento pode ser explicado da seguinte forma: Considerando uma rede com N x entradas, N h neurônios na camada escondida, uma saída e um conjunto de N y padrões de treinamento (i = 0... N y, j = 1... N x ), teremos: vetor de saída: y = {y[1], y[2],..., y[n y ]} T vetores de entrada: x j = {x j [1], x j [2],..., x j [N y ]]} vetor de pesos: θ = {w[1], w[2],..., w[n m ]} T vetor de erros: e = {e[1], e[2],..., e[n y ]} T ( e[] i y[] i yˆ [] i = ) onde N m =(N x +1).N h +(N H+1 ), é o número total de parâmetros ajustáveis da rede (pesos sinápticos e bias). Jacobiano: matriz J [N y x N m ] Quando o erro é calculado a partir de uma soma de quadrados (como é típico para redes neurais), a matriz Hessiana pode ser aproximada por: H = J T J (8) e o gradiente é dado por: g = J T e (9) Assim, utiliza-se o algoritmo de backpropagation tradicional para calcular o Jacobiano de e em relação a θ, pois o cálculo do Jacobiano é muito mais simples do que o cálculo da Hessiana.

13 52 Dessa forma, o algoritmo atualiza os pesos com base na seguinte equação, inspirada no método de Newton: T 1 T θ = θ [ J J µ I J e (10) k+ 1 k + ] onde, µ = 0 : Método de Newton usando a aproximação para a matriz Hessiana; µ grande : gradiente descendente com passo pequeno. Uma das principais características do método de Newton ( µ =0), é ser mais rápido e acurado próximo a um mínimo de erro. Assim o objetivo é convergir para esse método o mais rápido possível. Dessa forma, µ é decrementado após cada passo bem sucedido (ou seja, quando o erro é reduzido), e é incrementado somente quando o último passo tender a aumentar o erro. Assim, o erro é sempre reduzido a cada iteração Métricas de Desempenho das Redes Existem muitas métricas que permitem avaliar o desempenho das redes neurais artificiais. Nesse trabalho utilizou-se a métrica de erro MAPE (Mean Absolute Percent Error Erro Médio Percentual Absoluto), e tabelas de contingência. O MAPE é definido por: MAPE = N y k = 1 ) y[ i] y[ i] y[ i] N y x100% (11) onde N y é o número de padrões, y[i] são os valores desejados e y ) [i] são os valores resultantes.

14 53 As tabelas de contingência são utilizadas para informar o percentual de resultados corretos e falsos, no caso de problemas de classificação de padrões. Sua principal característica é a possibilidade de informar onde ocorreram os erros, permitindo assim uma análise mais acurada do desempenho das redes neurais artificiais. A Tabela 2 apresenta um exemplo típico de uma tabela de contingência. Saídas Targets % 5% 0 10% 90% Tabela 2.Explicação do funcionamento das tabelas de contingência. onde, Saídas (Obtido) representa o resultado da rede neural, já os targets (Desejado), são os valores objetivos. De acordo com a tabela acima, 95% dos resultados de valor 1 possuem saídas corretas e 5% tem saídas apresentando falsos 0. Também permite observar que 90% dos resultados de valor 0 possuem saídas corretas e 10% das saídas apresentam falsos 1. No próximo capítulo serão abordados os dados experimentais utilizados nessa dissertação, juntamente como os procedimentos adotados para ajuste e preparação dos dados para posterior uso.