FACULDADE DO LITORAL SUL PAULISTA - FALS JEAN MAMEDE DE OLIVEIRA

Transcrição

1 FACULDADE DO LITORAL SUL PAULISTA - FALS JEAN MAMEDE DE OLIVEIRA INTELIGÊNCIA ARTIFICIAL REDES NEURAIS ARTIFÍCIAIS PRAIA GRANDE 2010

2 JEAN MAMEDE DE OLIVEIRA INTELIGÊNCIA ARTIFICIAL REDES NEURAIS ARTIFÍCIAIS Trabalho de conclusão de Curso submetido à Faculdade do Litoral Sul Paulista FALS, como parte dos requisitos necessários para a obtenção do Grau de Bacharel em Sistemas de Informação. Sob a orientação do Prof. Eng. Alexandre Maniçoba de Oliveira PRAIA GRANDE 2010

3 JEAN MAMEDE DE OLIVEIRA INTELIGÊNCIA ARTIFICIAL REDES NEURAIS ARTIFÍCIAIS Trabalho de conclusão de Curso submetido à Faculdade do Litoral Sul Paulista FALS, como parte dos requisitos necessários para a obtenção do Grau de Bacharel em Sistemas de Informação. Sob a orientação do Prof. Eng. Alexandre Maniçoba de Oliveira AVALIAÇÃO: NOTA ( ) Praia Grande, de de.

4 DEDICATÓRIA A minha noiva Elka Higa, que esteve presente em todos os passos dessa obra, com toda sua paciência, dedicação e inteligência.

5 AGRADECIMENTOS Primeiramente a Deus por ter me dado forças em todos os momentos. A minha mãe que esteve sempre presente me apoiando, e sem ele nada disso teria acontecido. A Elka Higa pelo companheirismo e ajuda, sempre presente a meu lado. E aos professores Alexandre Maniçoba e Ulisses Tetti pela inestimável colaboração na elaboração deste trabalho.

6 RESUMO OLIVEIRA, Jean Mamede. ESTUDO SOBRE REDES NEURAIS ARTIFICIAIS; Prof. Orientador: Engº Alexandre Maniçoba de Oliveira; Praia Grande: FALS, 2010, 45 fl., Trabalho de Conclusão de Curso. O presente trabalho aborda as redes neurais artificiais, abrangendo desde seus primeiros estudos que aconteceram na década de 40 passando demonstrando a evolução de década a década até os dias atuais, passando pelas definições de cada modelo, relações com as redes neurais naturais, que foram o motivo de inspiração para o estudo das redes neurais artificiais, onde é explicada a relação entre os neurônios e a forma como estes se comunicam entre si gerando o aprendizado. Este trabalho aborda os diversos modelos de redes neurais, desde os primeiros modelos como o esquema de unidade de McCollock e Pitts até as atuais redes com MLP. Aborda também o algoritmo de treinamento de retro propagação. O trabalho demonstra que através da implantação de redes neurais artificiais é possível criar sistemas que podem ser treinados e utilizados em sistemas computacionais variados, fazendo que o sistemas após o treinamento resolva problemas sem a intervenção humana. PALAVRAS-CHAVES: Redes neurais artificiais, RNAs,Neurônio, Inteligência Artificial, Perceptron, MLP

7 ABSTRACT OLIVEIRA, Jean Mamede. STUDY OF ARTIFICIAL NEURAL NETWORKS; Advisor: Engineer Alexandre Maniçoba de Oliveira; Praia Grande: FALS, 2010, 45 pages, Undergraduation Monography in Information Systems. This paper presents a study on artificial neural networks. The study this paper discusses several models of artificial neural networks, ranging from models MCColloch & Pitts up with MLP networks. The algorithm is chosen approach was to Backpropagation. Studies showed that the artificial neural networks can solve problems if they are properly trained. KEYWORDS: Artificial neural networks, ANNs, Neuron, Artificial Intelligence, Perceptron, MLP

8 LISTA DE ILUSTRAÇÕES Figura 1: Neurônio natural (FERNEDA, 2006) Figura 2: Interação entre os neurônios (AMORIM, 2010) Figura 3: Neurônio Natural e Neurônio Artificial (JUNIOR, 2009) Figura 4: Esquema de unidade de McCollock e Pitts (MENDES, 1998 apud FERNANDES 2005) Figura 5: Camadas de uma rede neural artificial (RNA) (NEVES, 1998 apud FERNANDES 2005) Figura 6 : Estrutura de modelo de rede artificial de neurônios. (MENDES, 1998 apud FERNANDES 2005) Figura 7: Aprendizagem de uma rede neural. (MENDES, 1998 apud FERNANDES 2005).. 24 Figura 8: Regra delta (MENDES, 1998 apud FERNANDES 2005) Figura 9: Esquema de treinamento do PERCEPTRON (MENDES, 1998 apud FERNANDES 2005) Figura 10: Funções de ativação. (MENDES, 1998 apud FERNANDES 2005) Figura 11: Camadas que compõem a rede de Kohonen (NEVES, 1998 apud FERNANDES 2005) Figura 12: Dinâmica de uma rede de Kohonen. (NEVES, 1998 apud FERNANDES 2005).. 29 Figura 13: Exemplo de vizinhança de uma rede de Kohonen. (NEVES, 1998 apud FERNANDES, 2005) Figura 14: Topologia de redes neurais artificiais. (TATIBANA e KAETSU, 2010) Figura 15: Rede com ciclos (feedback) (MENDES, 1998 apud FERNANDES 2005) Figura 16: Rede RBF (COELHO e MARIANI, 2010) Figura 17: Rede de Elman. (SEGATTO e COURY, 2010) Figura 18: MLP de duas camadas ocultas. (LNCC, 2010) Figura 19: MLP de uma camada oculta (LNCC, 2010) Figura 20: Propagação. (LNCC, 2010)... 38

9 Figura 21: Retropropagação. (LNCC, 2010) Figura 22: Exemplo de superfície do erro. (MENDES, 1998 apud FERNANDES 2005) Figura 23: Superfície de erro e treinamento backpropagation. (MENDES, 1998 apud FERNANDES 2005)... 41

10 LISTA DE TABELAS Tabela 1: Comparação entre o Cérebro e o Computador. (TATIBANA e KAETSU, 2010)... 17

11 SUMÁRIO INTRODUÇÃO O QUE SÃO REDES NEURAIS NATURAIS OS NEURÔNIOS O QUE SÃO REDES NEURAIS ARTIFICIAIS RELAÇÃO ENTRE RERES NEURAIS NATURAIS E ARTIFICIAIS HISTÓRICO DAS REDES NEURAIS ARTIFICIAIS VISÃO GERAL DAS REDES NEURAIS ARTIFICIAIS TREINAMENTO SUPERVISIONADO TREINAMENTO AUTO-ORGANIZADO ARQUITETURA DINÂMICA VIZINHANÇA TOPOLOGIA DE REDES NEURAIS ARTIFICIAIS CICLO DAS REDES NEURAIS ARTIFICIAIS REDES NEURAIS DIRETAS (feedforward) REDES NEURAIS COM CICLOS (feedback) RNAs COM FUNÇÃO DE BASE RADIAL (RBF) REDES NEURAIS RECORRENTES O PERCEPTRON MULTICAMADAS (MLP) ALGORITMO DE BACKPROPAGATION TREINAMENTO DA REDE MLP CONSIDERAÇÕES FINAIS REFERÊNCIAS BIBLIOGRÁFICAS... 43

12 11 INTRODUÇÃO Diante da sutil simbiose entre a Ciência e o Homem, que a criou, a Inteligência Artificial utiliza-se dos recursos de processamento do computador, desbravando faculdades mentais de aprendizado e decisão até então desconhecidas das máquinas. Redes Neurais Artificiais (RNAs) também conhecida como conexionismo ou sistemas de processamento paralelo e distribuído. Esta forma de computação nào-algorítmica é caracterizada por sistemas que. em algum nível, relembram a estrutura do cérebro humano. Por não ser baseada em regras ou programas, a computação neural se constitui em unia alternativa à computação algorítmica convencional.(braga, 2000) Como uma disciplina de origem cientifica, a Inteligência artificial vale-se da computação para encontrar maneiras para gerar atividades automatizadas como atividades perceptivas, manipulativas e cognitivas. Possui também uma área de investigação e experimentação e uma área de atuação tecnológica. Juntas estão fornecendo subsídios para a atual revolução industrial: a automação. A importância do estudo e desenvolvimento da tecnologia da Inteligência Artificial tem abrangência Industrial, Cientifica e econômica. Tendo potencial para crescer muito mais, haja vista que a tecnologia tem assumido cada vez mais espaço e importância diante de toda a sociedade. Deve levar-se em conta também que os preços dos processadores tem barateamento exponencial ao mesmo passo de uma melhora de qualidade de processamento. Nessa vertente a Inteligência Artificial assume um importante papel.(braga, 2000) Este trabalho abordará as redes neurais artificiais que é uma metodologia de resolução de problemas através da inteligência artificial. Valendo-se do mesmo conceito dos neurônios biológicos, sendo assim um conceito de rede baseado na rede de neurônios biológicos. Com esse método é possível a criação de redes neurais artificiais capazes de resolução de problemas, utilizando alguns paradigmas do aprendizado (CAPUANO, 2009).

13 12 A capacidade de aprender através de exemplos e de generalizar a informação aprendida é, sem dúvida, o atrativo principal da solução de problemas através de RNAs. A generalização, que está associada à capacidade de a rede aprender através de um conjunto reduzido de exemplos e posteriormente dar respostas coerentes para dados nãoconhecidos, é uma demonstração de que a capacidade das RNAs vai muito além do que simplesmente mapear relações de entrada e saída. As RNAs são capazes de extrair informações não-apresentadas de forma explícita através dos exemplos. Não obstante, as RNAs são capazes de atuar como mapeadores universais de funções multivariáveis, com custo com putacional que cresce apenas linearmente com o número de variáveis. Outra característica importante é a capacidade de auto-organização e de processamento temporal, que, aliada àquelas citadas anteriormente, faz das RNAs uma ferramenta computacional extremamente poderosa e atrativa para a solução de problemas complexos..(braga, 2000) Este trabalho visa apresentar de forma clara e concisa as características das redes neurais artificiais, os modelos mais difundidos serão analisados e discutidos em nível de detalhes necessário para sua compreensão e utilização.

14 13 1. O QUE SÃO REDES NEURAIS NATURAIS O cérebro humano contém em torno de 10¹¹ neurônios, sua célula fundamental. Cada um destes neurônios processa e se comunica com milhares de outros continuamente e em paralelo. A estrutura individual dos nodos, a topologia de suas conexões e o comportamento conjunto destes nodos naturais formam a base para o estudo das RNAs.(BRAGA, 2000) As emoções, as funções motoras, sensoriais, o aprendizado, o armazenamento de informações, além de funções autônomas, entre muitas outras atividades, são funções do cérebro. Devido a toda essa funcionalidade ainda não se descobriu como ocorre, de fato todo o funcionamento do cérebro humano. Normalmente, o termo Rede Neural é utilizado para mencionar arranjos de neurônios biológicos. Estes arranjos neurais, são responsáveis por dotar os organismos de entradas sensoriais a respeito do estado ambiental a sua volta dando-lhe a capacidade de processar tais informações comparando-as a informações de experiências do passado e estimulando-o a agir de forma apropriada (MANIÇOBA, 2010) OS NEURÔNIOS Os neurônios são células localizadas no cérebro, elas são responsáveis por transmitir impulsos nervosos que determinam ações, sensações e muito mais do das reações que ocorrem no corpo humano. (BRAGA, 2000) Na Erro! Fonte de referência não encontrada. é apresentada a formação biológica de um neurônio.

15 14 Figura 1: Neurônio natural (FERNEDA, 2006) Corpo: processa e gera novos impulsos; Dentritos: recebe e repassa os impulsos nervosos de outras células ao corpo celular; Axônio: transmite os impulsos nervosos para outros neurônios. Sinapses: é o ponto de contato entre a terminação axônica e os dentritos, estas são capazes de controlar o fluxo de transmissão dos impulsos. Na figura 2 é demonstrada a interação entre os neurônios. Figura 2: Interação entre os neurônios (AMORIM, 2010)

16 15 2. O QUE SÃO REDES NEURAIS ARTIFICIAIS Redes Neurais Artificiais são sistemas computacionais, de implementação em hardware e software, que imitam as habilidades computacionais do sistema nervoso biológico, utilizando, para isso, um grande número de simples neurônios artificiais interconectados. (Loesch, 1996) As Redes Neuráis Artificiais (RNAs) são muito semelhantes com a estrutura de interconecções em camadas dos neurônios biológicos, daí o nome Redes Neurais Artificiais (RNAs). A computação neural é uma forma alternativa em relação à computação algorítmica convencional. As Redes Neurais Artificiais são formadas por sistemas distribuídos paralelamente de unidades simples (Nodos ou Nós) que cada uma delas efetua uma determinada função matemática, e dependendo do resultado esse nodo decide qual será a saída. Em grande maioria dos modelos as conexões são ligadas e associadas a pesos, que recebem conhecimento e puderam a entrada recebida pelo nodo da rede. Esse é o mesmo sistema nervoso biológico. (BARRETO, 2002) O procedimento usado para a solução de problemas através das Redes Neurais Artificiais é dada da seguinte maneira: primeiro o sistema passa pelo aprendizado, que é dado através da apresentação de um conjunto de exemplos à RNA, a partir daí a rede extrai automaticamente os elementos necessários para representar as informações previamente fornecidas. Estas características e informações serão utilizadas para o processamento das soluções para a situação problema. (BRAGA, 2000) A possibilidade de aprender com os exemplos previamente apresentados e generaliza esse aprendizado é o principal atrativo das Redes Neurais Artificiais. A generalização é o fato de rede aprender com um número reduzido de exemplos, e dar respostar úteis e coerentes para situação problemas não conhecidas. (BARRETO, 2002)

17 16 3. RELAÇÃO ENTRE RERES NEURAIS NATURAIS E ARTIFICIAIS O neurônio biológico pode ser visto como o dispositivo computacional elementar do sistema nervoso, composto de muitas entradas e uma saída. As entradas são formadas através das conexões sinápticas que conectam os dendritos aos axônios de outras células nervosas. Os sinais que chegam por estes axônios são pulsos elétricos conhecidos como impulsos nervosos ou potenciais de ação e constituem a informação que o neurônio processa para produzir como saída um impulso nervoso no seu axônio. (KOVACS, 1996) A ciência ainda está no inicio do entendimento de como o sistema nervoso biológico funciona, no momento os estudos baseiam-se em modelos, porem novas descobertas vem acontecendo com bastante freqüência. Uma dessas descobertas é a estrutura dos neurônios ou redes neurais. E são as redes neurais naturais que servem de inspiração e base para o estudo das redes neurais artificiais. A figura 3 demonstra um paralelo de um neurônio natural e um artificial. Figura 3: Neurônio Natural e Neurônio Artificial (JUNIOR, 2009) As redes neurais artificiais são fortemente inspiradas nas redes biológicas, e a meta é executar o mesmo comportamento das redes biológicas em relação ao aprendizado. Existem diversos pontos em comum entre as redes neurais e as redes naturais, fator importante para o melhor entendimento das redes neurais naturais e as redes neurais artificiais. Entre suas diversas similaridades é possível citar que ambas as redes são unidades de processamento paralelo e possuem a característica de comunicarse através de conexões sinápticas. Do ponto de vista biológico existe uma mínima similaridade entre os sistemas, no entanto a arquitetura das redes artificiais é muito

18 17 semelhante com a arquitetura das redes biológicas. Fator este que dá capacidade de um computador adquirir características pertencentes até então somente aos organismos vivos. Conforme é aprofundado o entendimento sobre o sistema nervoso biológico, melhores serão as chances de melhorias na neurocomputação. A tabela 1 indica um comparativo entre o cérebro humano e o computador. Tabela 1: Comparação entre o Cérebro e o Computador. (TATIBANA e KAETSU, 2010)

19 18 4. HISTÓRICO DAS REDES NEURAIS ARTIFICIAIS O inicio do estudo e criação dos primeiros modelos artificiais de um neurônio biológico se deu em meados da década de 40 por meio dos pioneiros nessa área que foram: Walter Pitts e Warren McCulloch. Walter Pitts um então recém graduado em matemática e McCulloch psiquiatra e neuroanatomista que dedicou mais de duas décadas de sua vida acadêmica no intuito de criar um modelo que representasse o sistema nervoso central humano. Os Pitts e McCulloch publicaram o resultado do estudo na obra publicado em 1943 sobre o titulo: A Logical Calculus of the Ideas Immament in Nervous Activity. Essa obra da vanguarda da inteligência artificial aborda idéias sofisticadas sobre nodos em redes lógicas (chamados de neurônios MCP devido a McCulloch e Pitts). Neste trabalho Pitts e McCulloch se concentram somente em criar um modelo artificial de um Neurônio. (BRAGA, 2000) O modelo baseia se no fato de que, em um dado instante de tempo, o neurônio está disparando ou está inativo. Dessa maneira, ter-se-ia um neurônio de dois estados (disparando ou inativo) através de um tratamento discreto e binário, utilizando o calculo proposicional. (HAYKIN, 1994 apud FERNANDES 2005) Deixando de lado as características de aprendizado dos neurônios artificiais. Essas características vieram a ser fruto de um estudo alguns anos depois, em 1949 elaborado por Donald Hebb. Neste trabalho Hebb apresentou como a flexibilidade da aprendizagem de redes neurais pode ser conseguida por meio da variante dos pesos de entrada dos nodos. Hebb formulou uma teoria sobre o aprendizado em nodos biológicos tomando como base as ligações sinápticas entre os nodos excitados. Essa teoria ficou conhecida como A regra de Hebb, A regra de Hebb é utilizada em vários algoritmos de aprendizagem. (FAT, 1995 apud FERNANDES 2005) Uma outra regra de aprendizagem bastante utilizada é a regra de aprendizagem do PERCEPTRON, considerada mais poderosa que a regra de Hebb. Essa regra foi bastante estudada na década de 1960 (FAUSETT, 1995 apud FERNANDES 2005)

20 19 Frank Rosenblatt demonstrou, com o seu novo modelo, o perceptron, que, se fossem acrescidas de sinapses ajustáveis, as RNAs com nodos MCP poderiam ser treinadas para classificar certos tipos de padrões. (BRAGA, 2000) Criando assim um novo modelo chamando-o de Perceptron, nesse modelo Frank demonstrou que ao adicionar sinapses ajustáveis às Redes Neurais Artificiais com nodos MCP, estas redes poderiam aprender a classificar certos tipos de padrões. Frank descreveu uma topologia nova de Redes Neurais Artificiais, com estruturas que serviriam como ligação entre os nodos. E alem desse significante modelo, Frank criou também um algoritmo que executa uma função de treinamento para a execução de certos tipos de funções. O modelo descrito por Frank para o Perceptron simples tem três camadas, na primeira camada onde são recebidos os estímulos do meio externo, provida de conexão fixa; no caso da segunda camada, é recebido o estimulo da primeira camada, a segunda camada possui a característica de ajustar o peso da transmissão (eficiência), em seguida envia a saída para a terceira camada, a saída da terceira camada é chamada de resposta. Com esse modelo singular até então. Frank buscava criar uma Rede Neural Artificial que fosse capaz de aprendizado interessante sem a necessidade previa de regras ou programação. Algo que é buscado até os dia atuais. (BARRETO, 2002) Uma década depois da divulgação do modelo de Frank Rosenblatt, Minsky e Papert divulgaram que o perceptron não seria capaz de executar algumas tarefas, haja vista que só são capazes de resolução de problemas linearmente separáveis. Por exemplo, o percepton não é capaz de detectar paridades, simetrias ou conectividade, pois não são problemas lineares. Esses são alguns dos problemas chamados de Hard Learning Problems (problemas difíceis de aprender). Esses problemas formam um grande leque de categorias que não podem ser ignoradas, o ponto de vista de Minsky e Papert era que as Redes Neurais Artificiais, inclusive as dotadas de perceptrons, seriam afetadas cedo ou tarde pelo problema do crescimento explosivo. Na década de 70, com a repercussão dos argumentos de Minsky e Papert, apontando as falhas do perceptron, o estudo conexionista ficou deixado de lado, com exceção de alguns pouco acadêmicos como Igor Aleksander realizando na Inglaterra estudos sobre conexões sem pesos, no Japão Kunihiko Fukushima estudava os cognitron, nos Estados Unidos da America Stevem Grossberg estudava

21 20 sistemas auto adaptativos. Mas essa década não apresentou nenhum estudo significativo como já acontecia nas décadas anteriores. Na década de 80, foi publicado um estudo elaborado por John Hopfield. Apontando as características associativas das Redes Neurais Artificiais. O grande feito de Hopfield foi. sem dúvida. mostrar a relação entre redes recorrentes auto-associativas e sistemas físicos. o que também abriu espaço para a utilização de teorias correntes da Física para estudar tais modelos. (BRAGA, 2000) John conseguiu com esse estudo incentivar a retomada das pesquisas na área, outro grande feito foi criar uma relação entre redes auto-associativas e também sistemas físicos. Abrindo espaço para o estudo de Física no campo da inteligência artificial. Não bastando, criou também um algoritmo de treinamento chamado de Back-Propagation. John mostrou também que Minsk e Papert estavam equivocados no que se referia ao fato de Redes Neurais Artificiais dotadas de perceptron de resolverem problemas difíceis. John mostrou que as Redes Neurais Artificiais com perceptron são capazes de resolverem problemas difíceis. Com essas novas evidencias, houve novamente grande interesse por parte dos acadêmicos no estudo das Redes Neurais Artificiais. Mas outros fatores influenciaram o crescente interesse pelo estudo das Redes Neurais Artificiais, entre eles o principal foi o avanço da tecnologia, principalmente da microeletrônica, que permitiu a elaboração de modelos de nodos interconectados, isso até então era impossível. (BARRETO, 2002)

22 21 5. VISÃO GERAL DAS REDES NEURAIS ARTIFICIAIS Varias unidades de processamento simples, é desta forma que são compostas as redes neurais artificiais, essas unidades interagem por meio de canais que estão associados a determinado peso. As unidades processam as informações internas através de conexões, essas conexões utilizam somente dados locais. Através das interações que ocorrem entre as unidades de processamento é que se constata o comportamento inteligente de uma rede neural artificial. (FERNANDES, 2005) A operação de uma unidade de processamento, proposta por McCullock e Pitts em 1943, pode ser resumida da seguinte maneira: Sinais são apresentados á entrada; Cada sinal é multiplicado por um número, um peso, que indica a sua influência na saída da unidade; É feita a soma ponderada dos sinas que produz um nível de atividade; Se este nível de atividade exceder um certo limite(threshold) a unidade produz uma determinada resposta de saída. (FILHO, 1996 apud FERNANDES 2005) A figura 4 demonstra de uma maneira resumida a operação da unidade de McCollock e Pitt. Figura 4: Esquema de unidade de McCollock e Pitts (MENDES, 1998 apud FERNANDES 2005) O aprendizado das redes neurais se faz através de modelos. Regras de treinamento são comuns a maioria dos modelos, em que de acordo com os padrões apresentados, os pesos das conexões são ajustados, para se adequarem.

23 22 Figura 5: Camadas de uma rede neural artificial (RNA) (NEVES, 1998 apud FERNANDES 2005) São três os tipos mais usuais de classificação das camadas são: camada de entrada, a intermediária ou escondidas e a de saída. Conforme a figura 5 Os processos ocorrem respectivamente da seguinte maneira: primeiro os padrões são apresentados a rede; segundo são extraídas as características e ocorre o processamento; e por ultimo são concluídos os processos e apresentados os resultados. (FERNANDES, 2005) Um neurônio soma todos os pesos das entradas e passa o resultado para uma função de ativação não-linear. Há três tipos de não-linearidade: limitadores elevados; elementos limiares lógicos e não lineares sigmóides.(lippmann, 1987 apud FERNANDES 2005) São passados para as funções de ativação não-linear (que podem ser três: limiares lógicos, limitadores elevados e não-linearidades sigmóides), os resultados das somas dos pesos das entradas. De acordo com a direção que o sinal flui, as redes neurais artificiais podem ser: feedforward, segue um único caminho da entrada intermediária saída; feedback, os sinais de entrada podem ir da saída para a entrada de outro neurônio. (FERNANDES, 2005) A distinção entre as redes neurais artificiais são feitas através da sua topologia, pelas regras de treinamento e pelos nós.

24 23 Os modelos normalmente apresentam um conjunto de neurônios de entrada, por onde são fornecidas as informações para a rede, um conjunto de neurônios de saída, que representam os sinais de saída da rede neural e um conjunto de neurônios intermediários. (FERNANDES 2005) Figura 6 : Estrutura de modelo de rede artificial de neurônios. (MENDES, 1998 apud FERNANDES 2005) As redes neurais artificiais têm como capacidade principal aprender com seu ambiente, e através desse aprendizado melhorar seu desempenho. A figura 6 demonstra um modelo de rede neural artificial, ao passo que a figura 7 demonstra aprendizagem. A habilidade de aprender ocorre através de um processo interativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma solução generalizada para uma classe de problemas(ackley, 1985 apud FERNANDES 2005)

25 24 Figura 7: Aprendizagem de uma rede neural. (MENDES, 1998 apud FERNANDES 2005) Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a solução de um problema de aprendizado. Existem muitos tipos de algoritmos de aprendizado específicos para determinados modelos de redes neurais que diferem entre si principalmente pelo modo como os pesos são modificados. (FERNANDES, 2005) É importante a relação que a rede neural tem com o ambiente, existem três paradigmas de aprendizado: o supervisionado, o agente externo indica a resposta desejada a rede; o não-supervisionado (auto-organização), não existe agente externo para indicar a resposta; e reforço, quando há uma avaliação de um critico externo. São dois os modos de correção dos pesos num ciclo, o modo padrão e o modo batch. 1) Modo padrão: a correção dos pesos acontece a cada apresentação à rede de um exemplo do conjunto de treinamento. Cada correção de pesos baseia-se somente no erro do exemplo apresentado naquela iteração. Assim, em cada ciclo ocorrem N correções. 2) Modo batch: apenas uma correção é feita por ciclo. Todos os exemplos do conjunto de treinamento são apresentados à rede, seu erro médio é calculado e a partir desse erro fazem-se as correlações dos pesos.( FERNANDES 2005)

26 25 6. TREINAMENTO SUPERVISIONADO O treinamento supervisionado do modelo de rede PERCEPTRON, consiste em ajustar os pesos e os thresholds de suas unidades para que a classificação seja obtida. Para a adaptação do threshold juntamente com os pesos, pode-se considerá-lo como sendo o peso associado a uma conexão, cuja entrada é sempre igual a -1 e adaptar o peso relativo a essa entrada(tafner, 1995 apud FERNANDES 2005) Ao passo que um padrão é apresentado inicialmente à rede é produzida uma saída. É realizada a medição da distancia entre a resposta atual e a resposta desejada, é realizado então o ajuste nos pesos das conexões visando reduzir o máximo possível essa distancia. Todo este procedimento é denominado Regra delta, figura 8. Figura 8: Regra delta (MENDES, 1998 apud FERNANDES 2005) Com isso consolida-se o treinamento do PERCEPTRON, figura 9.

27 26 Figura 9: Esquema de treinamento do PERCEPTRON (MENDES, 1998 apud FERNANDES 2005) Iniciar todas as conexões com pesos aleatórios; Repetir até que o erro E seja satisfatoriamente pequeno (E= e). para cada par de treinamento (X, d), fazer; Calcular a resposta obtida O; Se o erro não for satisfatoriamente pequeno E > e, então: Atualizar pesos: W novo := W anterior + E X Onde : O par de treinamento (X, d) corresponde ao padrão de entrada e a sua respectiva resposta desejada; O erro E é definido como: resposta desejada resposta obtida (d - O); A taxa de aprendizado neta é uma constante positiva, que corresponde à velocidade do aprendizado.(fernandes 2005) Uma função de ativação calcula as respostas geradas pelas unidades. Existem diversas funções de ativação, comumente aplicadas as funções: hard limiter; threshold logic e sigmóide, figura 10. Figura 10: Funções de ativação. (MENDES, 1998 apud FERNANDES 2005)

28 27 7. TREINAMENTO AUTO-ORGANIZADO O treinamento auto-organizado não possui um critico externo que avalia a aprendizagem. Um exemplo de redes com treinamento auto-organizado são os mapas de Kohonen. Teuvo Kohonen, pesquisador da universidade de Helsinki, foi o criador dos mapas de auto-organização, esses mapas utilizam o modelo de rede neural do tipo feedforward, de treinamento auto organizado. A rede de Kohonen é representada em um espaço bidimensional dividido em grupos de células, onde um desse grupos ou uma única célula pode responder à entrada na rede. (STARKE, 1995 apud FERNANDES, 2005) Essa rede pode ser aplicada em robótica, processamento de informações semânticas e reconhecimento de padrões ARQUITETURA A rede de Kohonen é dividida em duas camadas: a camada de entrada (Xi) e a camada competitiva de neurônios (Yj), conforme mostra a Figura 8. Cada neurônio da camada competitiva está conectado à camada de entrada por vetores de pesos sinápticos (Wij) que são ajustados por um processo de aprendizado não-supervisionado.(loesh, 1996) A figura 11 demonstra as camadas da rede de Kohonen Figura 11: Camadas que compõem a rede de Kohonen (NEVES, 1998 apud FERNANDES 2005)

29 28 Durante o procedimento de competição, o neurônio vencedor será aquele que possuir a menor distancia euclidiana comparada a este vetor. Esta distancia pode ser calculada com a seguinte equação: dj=ss(wij(t)-xi(t))² (1) Onde: xi(t): elemento do vetor de entrada no instante t wij(t): valor dos pesos do vetor de pesos no instante t Diante disso os pesos do neurônio vencedor e de seus vizinhos serão ajustados. É este processo que cria a auto-organização DINÂMICA Os neurônios da camada competitiva possuem pesos com valores inicializados aleatoriamente, com valores pequenos. figura-9 (a): A distribuição original se dá conforme a figura; figura-9 (b): depois disso é apresentado o padrão de entrada para o treinamento, ao passo que é executado o ajuste dos pesos dos neurônios conforme a figura; figura-9 (c): após o treinamento da rede um padrão de entrada pode ser apresentada à rede. Esta por sua vez irá identificar o neurônio que mais se assemelha ao padrão de entrada. Na figura a seta sombreada é a representação do padrão de entrada, ao passo que a seta pontilhada é a representação do padrão de armazenamento. O neurônio vencedor é aquele que tem a menor distância entre o padrão de entrada e o padrão de armazenamento. (STARKE, 1995)

30 29 Figura 12: Dinâmica de uma rede de Kohonen. (NEVES, 1998 apud FERNANDES 2005) 7.3. VIZINHANÇA A camada competitiva é representada em uma matriz bidimensional, onde a vizinhança de um neurônio pode estar representada de algumas formas.(tafner, 1995) Figura 13: Exemplo de vizinhança de uma rede de Kohonen. (NEVES, 1998 apud FERNANDES, 2005) A vizinhança do neurônio vencedor são chamadas de regiões, figura 13. As regiões são responsáveis por fazer o reconhecimento do padrão de entrada. O raio da vizinhança deve ser reduzido no decorrer do treinamento, evitando que

31 30 diferentes regiões entrem em conflito. A vizinhança tende a resumir-se em apenas o neurônio vencedor, fazendo com que somente o seus pesos sejam ajustados A taxa de aprendizagem vai decrescendo a cada interação. O parâmetro deve ser fixado antes do treinamento com o número total de interações do processo de aprendizagem.

32 31 8. TOPOLOGIA DE REDES NEURAIS ARTIFICIAIS Uma RNA deve possuir no mínimo duas camadas, figura 14, a de entrada e a de saída. Porem, com apenas duas camadas o desempenho da rede apresentase muito limitado, o que pode ser corrigido com a adição de uma nova camada intermediária. Desta forma os neurônios estarão ligados à camada vizinha. É necessária a presença de duas camadas escondidas para o calculo das funções. Observa-se que, para cada três neurônios da primeira camada escondidas é preciso um neurônio da segunda camada. (CYBENKO, 1989 apud FERNANDES, 2005) Figura 14: Topologia de redes neurais artificiais. (TATIBANA e KAETSU, 2010) Quanto maior o número de camadas de neurônios, melhor será o desempenho da rede neural. Aumentando assim a capacidade de aprendizado, pois existirá um numero maior de regiões de decisão.

33 32 9. CICLO DAS REDES NEURAIS ARTIFICIAIS 9.1. REDES NEURAIS DIRETAS (feedforward) São redes neurais que o grafo não possui ciclos ou retornos, e são representadas em camadas. Os neurônios que recebem sinais de excitação do meio externo estão na camada de entrada; os neurônios que estão na saída são chamados de camada de saida ( FERNANDES, 2005) 9.2. REDES NEURAIS COM CICLOS (feedback) São as redes neurais que possuem ciclos, em seu gráfico de conectividade. Podem também serem chamadas de rede com retroalimentação ou com feedback, conforme figura 15. Figura 15: Rede com ciclos (feedback) (MENDES, 1998 apud FERNANDES 2005)

34 RNAs COM FUNÇÃO DE BASE RADIAL (RBF) Uma RBF na sua forma mais básica possui três camadas, figura 16, os nodos da camada oculta calculam a saída formando uma combinação linear das funções de base radial nos nodos de saída. As funções de base radial na camada oculta produzem uma resposta localizada para o estimulo (padrão) de entrada. Por essa razão, essa categoria de rede algumas vezes é referenciada na literatura como redes de campos receptivos localizados.(todesco, 1995 apud FERNANDES 2005) Uma rede RBF geralmente requer mais neurônios em relação a outras redes, mas na maioria das vezes elas são mais rápidas. Figura 16: Rede RBF (COELHO e MARIANI, 2010)

35 REDES NEURAIS RECORRENTES A RNA de Elman, figura 17 tem em sua primeira camada o feedback, sendo composta por duas camadas, este tipo de recorrência serve para detectar e para gerar padrões variando no tempo. Figura 17: Rede de Elman. (SEGATTO e COURY, 2010) A rede de Elman possui neurônios tansig (hyperbolic tangent sigmóide transfer function) na camada escondida (recorrente) e neurônios purelin (linear transfer function) na camada de saída, essa combinação pode aproximar qualquer função, com um número finito de descontinuidades, com precisão arbitraria. O único requerimento é que deve haver um número de neuronios suficiente na camada escondida.(haykin, 1994 apud FERNANDES, 2005)

36 35 A rede deve armazenar um conjunto especifico de pontos de equilíbrio, devendo estabilizar em um ponto projetado quando um condição inicial for apresentada. O método projetado é baseado em um sistema de equações diferenciais ordinárias lineares de primeira ordem que são definidos em um hipercubo do espaço de estados. A solução existe na fronteira do hipercubo. Estes sistemas têm a estrutura básica do modelo de Hopfield, mas são mais fáceis de entender e projetar do que o modelo de Hopfield..(HAYKIN, 1994 apud FERNANDES, 2005)

37 O PERCEPTRON MULTICAMADAS (MLP) Ao utilizar redes neurais artificiais de uma só camada, é realizado o mapeamento dos padrões de treinamento apresentados à entrada, diretamente em um conjunto de padrões de saída da rede. Diante disso o mundo exterior provem a codificação suficiente para implementar esse mapeamento. O padrão de entrada está restrito a ser similar ao padrão de saída. O que torna o sistema incapaz de aprender mapeamentos importantes, pois não há uma camada intermediária. O perceptron não é capaz de solucionar problemas que não sejam linearmente separados. O desenvolvimento do algoritmo de treinamento backpropagation, por Rumelhart, Hinton e Williams em 1986, precedido por propostas semelhantes ocorridas nos anos 70 e 80, mostrou que é possível treinar eficientemente redes com camadas intermediarias, resultando no modelo de redes neurais artificiais mais utilizado atualmente, as redes perceptron multicamadas (MLP), treinadas com o algoritmo backpropagation.(fausett, 1995 apud FERNANDES, 2005) Figura 18: MLP de duas camadas ocultas. (LNCC, 2010) Nessas redes há uma função específica para cada camada. A camada intermediária envia os estímulos para a camada de saída, que por sua vez constrói o padrão que será a resposta. Os pesos das camadas intermediárias são uma codificação de características apresentadas nos padrões de entrada, o que permite

38 37 a criação de sua própria apresentação do problema. Caso existam as conexões corretas entre as unidades de entrada e um número suficiente de unidades intermediárias, é possível encontrar a representação que produzirá o mapeamento correto da entrada para a saída através das intermediarias. A figura 18 demonstra a rede MLP de duas camadas ocultas e a figura 19 representa a rede com uma camada oculta. Como provou Cybenco, apartir de intenções do teorema de Kolmogoroff, são necessárias, no máximo, duas camadas intermediarias, com um número suficiente de unidades por camada, para se produzir quaisquer mapeamentos. Também foi provado que apenas uma camada intermediaria é suficiente para aproximar qualquer função continua. (FILHO, 1996 apud FERNANDES, 2005) Figura 19: MLP de uma camada oculta (LNCC, 2010)

39 ALGORITMO DE BACKPROPAGATION A rede opera em uma sequência de dois passos durante o treinamento com o algoritmo backpropagation. Primeiro: a camada de entrada da rede recebe um padrão, a atividade resultante flui pela rede camada após camada, até a camada de saída produzir uma resposta. Conforme figura 20. Figura 20: Propagação. (LNCC, 2010) Segundo: é comparada a saída obtida com a saída desejada, se não estiver correta o erro é propagado da camada de saída até a camada de entrada, conforme o erro é retropropagado o peso das conexões são ajustados. Conforme figura 21.

40 39 Figura 21: Retropropagação. (LNCC, 2010) As redes que utilizam-se do algoritmo de backpropagation utilizam uma variação da regra delta. A regra delta padrão essencialmente implementa um gradiente descendente no quadrado da soma do erro para funções de ativação lineares (FERNANDES, 2005). No caso de redes sem camadas intermediarias, é possível a resolução de problemas, cuja superfície de erro possui a forma de um parabolóide com um único mínimo. Porem se a superfície do erro não for tão simples e suas derivadas forem mais difíceis de serem calculadas, é necessário a utilização de redes com camadas intermediárias. A figura 22 representa uma superfície de erro. Figura 22: Exemplo de superfície do erro. (MENDES, 1998 apud FERNANDES 2005)

41 40 A regra delta generalizada funciona quando são utilizadas na rede, unidades com uma função de ativação semilinear, que é uma função diferençável e não decrescente. (FERNANDES, 2005). A taxa de aprendizado é um valor binário [0,1], para este procedimento é necessário apenas que a mudança no peso seja proporcional a reta O verdadeiro gradiente decrescente requer que sejam tomados passos infinitesimais. Assim, quanto maior for essa constante maior será a mudança nos pesos, aumentando a velocidade do aprendizado, o que pode levar a uma oscilação do modelo na superfície de erro. O ideal seria utilizar a maior taxa de aprendizado possível que não levasse a uma oscilação, resultando em um aprendizado mais rápido. (FERNANDES, 2005) As redes MLP em treinamento com o algoritmo de backpropagation podem demandar de muitos passos no conjunto do treinamento levando a um tempo de treinamento bastante longo. Uma maneira de aumentar consideravelmente o aprendizado da rede é alterar a regra delta para a inclusão do termo momentun, uma constante que determina o efeito das mudanças passadas dos pesos na direção atual do movimento no espaço dos pesos (FAUSETT, 1995 apud FERNANDES, 2005). Com isso o momentun considera as mudanças anteriores dos pesos em direção do movimento atual. O momentun é bastante útil em gradientes de espaço erro que contenham longas gargantas como o apresentado na figura 23.

42 TREINAMENTO DA REDE MLP O treinamento de uma rede MLP nada mais é que a utilização do algoritmo de backpropagation, porem com a utilização da regra delta generalizada. Com isso o erro vai sendo progressivamente diminuído como pode ser observado na figura 23. Figura 23: Superfície de erro e treinamento backpropagation. (MENDES, 1998 apud FERNANDES 2005) Após o treinamento concluído e o erro estiver em um patamar satisfatório, a rede poderá ser utilizada como uma ferramenta de classificação de novos dados. Diante disso novas entradas são apresentadas à camada de entrada, são processadas nas camadas intermediarias e os resultados são apresentados na camada de saída, como no treinamento, mas sem retropropagação do erro. (FERNANDES 2005)

43 42 CONSIDERAÇÕES FINAIS Através da pesquisa realizada, é possível dizer que o estudo das redes neurais artificiais segue em paralelo com o estudo da computação, evoluindo como uma simbiose. O estudo e evolução das RNA s já trouxeram inúmeros benefícios ao homem. Hoje o estudo das RNA s já é um estudo interdisciplinar e como foi mostrado no trabalho, é muito provável que os seus diversos usos sejam estendidos e melhorados. É impossível imaginar o futuro sem pensar em inteligência artificial e RNA s, e provavelmente o futuro ainda reservar inúmeras surpresas na área da inteligência artificial

44 43 REFERÊNCIAS BIBLIOGRÁFICAS AMORIM, Janduí. Sistema nervoso. Disponível em: stemas_humanos_sistema_nervoso/sist_nervoso. Acesso em: 13 de novembro de BARRETO, Jorge M. Introdução à redes neurais artificiais. Santa Catarina, Disponível em: Acesso em 14 de novembro de BRAGA, Antônio de P. Redes Neurais Artificiais: teoria e aplicações. Ed.: LTC CAPUANO, Ethel Airton. O poder cognitivo das redes neurais artificiais modelo ART1 na recuperação da informação. Distrito Federal, Disponível em: Acesso em 14 de novembro de COELHO, Leandro dos Santos; MARIANI, Viviana Cocco. Sistem híbrido neuroevolutivo aplicado ao controle de um processo multivariável Disponível em: em: 13 de novembro de FERNADES, Anita Maria da Rocha. Inteligência artificial: Noções gerais. Ed.: VisualBooks FERNEDA, Edberto. Redes neurais e sua aplicação em sistemas de recuperação de informação Disponível em: Acesso em: 13 de novembro de JUNIOR, Hamilton Badin. Redes Neurais Artificiais Disponível em: Acesso em: 13 de novembro de KOVACS, K. L. Redes Neurais Artificiais - Fundamentos e Aplicações. Ed.: Acadêmica. São Paulo, 1996.

45 44 LNCC Laboratório Nacional da Computação Cientifica.Perceptron Multi Camadas. Disponível em: Acesso em: 13 de novembro de LOESCH, C.: SARI, S. T. Redes Neurais Artificiais: fundamentos e modelos. FURB MANIÇOBA, Alexandre de Oliveira. Redes Neurais Artificiais: Aula para Sistemas de Informação. FALS, 14 de Outubro de Notas de Aula. Datashow. SEGATTO, Ênio Carlos; COURY, Denis Vinicius. Redes neurais aplicadas a relés diferenciais para transformadores de potência. Disponível em: Acesso em: 13 de novembro de TATIBANA, Cassia Yuri; KAETSU, Deisi Yuki. Uma introdução às Redes Neurais. Disponível em: Acesso em: 13 de novembro de 2010.