Prof. Sérgio Luiz Tonsig 1

Transcrição

1 Simulando o Cérebro: Redes Neurais Prof. Sérgio Luiz Tonsig 1 2º semestre de Analista de Sistemas. Especialista em Sistemas de Informação pela UFSCar. Mestrando em Gerência de Sistemas de Informação pela PUCCamp.

2 Sumário 1. INTRODUÇÃO POR QUE REDES NEURAIS? UMA GALÁXIA BIOLÓGICA REDES NEURAIS ARTIFICIAIS SÍNTESE HISTÓRICA NEUROCOMPUTAÇÃO REDES NEURAIS ARTIFICIAIS E A INTELIGÊNCIA ARTIFICIAL A REDE NEURAL ARTIFICIAL CLASSIFICAÇÃO DE REDES NEURAIS TOPOLOGIAS DE REDES NEURAIS ARTIFICIAIS PROCESSOS DE APRENDIZADO DE UMA REDE NEURAL ARTIFICIAL DESENVOLVIMENTO DE APLICAÇÕES COLETA DE DADOS E SEPARAÇÃO EM CONJUNTOS CONFIGURAÇÃO DA REDE TREINAMENTO TESTE INTEGRAÇÃO APLICAÇÕES DE REDES NEURAIS ARTIFICIAIS EXEMPLO DE FUNCIONAMENTO DE UMA REDE NEURAL CARACTERÍSTICAS GERAIS TREINAMENTO DA REDE TESTES CONCLUSÃO...34 REFERÊNCIAS BIBLIOGRÁFICAS

3 1. Introdução Alguns anos após os primeiros artigos e ensaios que marcaram os primórdios da neurocomputação 2, Pierre de Latil, escreveu o livro O pensamento Artificial 3, onde encontra-se o seguinte trecho: Enquanto a inteligência humana, como diz Louis Couffignal, não pode exercer sua ação mais do que sobre um número restrito de conceitos conservados pela memória e com um número limitado de operações, a máquina pode dispor de um número muito maior de conceitos e de regras lógicas. A máquina pode, pois, construir raciocínios dos quais o espírito humano é incapaz.. Este entusiasmo e fascínio demonstrado, sempre tem acompanhado o homem na sua história, o qual tem desejado poder criar uma máquina que possa operar independentemente do controle humano. Uma máquina cuja independência seja desenvolvida de acordo com seu próprio aprendizado e que tenha a capacidade de iteragir com ambientes incertos (desconhecidos por ela), uma máquina que possa ser chamada de autônoma, inteligente ou cognitiva. Organismos humanos são uma fonte de inspiração para o desenvolvimento destas máquinas. Eles proporcionam um vasto campo de aprendizado, onde pode-se avaliar e gerar algoritmos dos processos existentes, especialmente aqueles chamados cognitivos. Enquanto hoje os computadores funcionam de modo seqüencial, proporcionando maior eficiência na resolução de tarefas nas quais devem ser seguido determinadas etapas, o cérebro humano funciona com processamento paralelo, e sendo extremamente conectado (massivamente paralelo) é mais eficiente na resolução de tarefas que exigem um conjunto muito grande de variáveis. Em função de duas características essenciais, paralelismo e eficiência, tem se desenvolvido nas últimas décadas várias pesquisas que tentam espelhar o processamento dos computadores ao cérebro. O desejo humano, de criar máquinas capazes de gerar pensamento inteligente, barrado pelo desempenho insatisfatório das técnicas de computação convencionais, levou cientistas e pesquisadores a buscar formas alternativas de computação. Entre estas formas estão as Redes Neurais Artificiais. A intenção do presente trabalho é propiciar uma introdução ao tema de redes neurais artificiais, descrevendo em detalhes como é o funcionamento das células nervosas, como foi possível extrair um modelo lógico-matemático que está permitindo os primeiros passos para espelhar o processamento cerebral aos computadores, e como, a partir daí, chegou-se ao que hoje é conhecido como Redes Neurais Artificiais. 2 Os modelos neurais, procuram espelhar o processamento dos computadores ao cérebro (paralelismo e eficiência). [VELLASCO, 2000] O primeiro artigo que se tem referência: A logical calculus of the ideas immanente in the nervous activity (1943) de McCulloch e Pitts [RUSSELL & NORVIG, 1995] 3 Escrito e publicado em 1952, teve tradução para o português, e no Brasil chegou à terceira edição em 1973, pela IBRASA (Instituição Brasileira de Difusão Cultural S.A.) 3

4 Este trabalho traz uma síntese histórica, mostrando os principais fatos que colaboraram para o estado atual da arte. Explora todas as características das redes neurais artificiais, apresentando sua topologia, seu modo de operar, seu treinamento e aprendizagem. Com relação as aplicações, mostra quais são os procedimentos para seu desenvolvimento, exemplifica os vários tipos de uso atualmente encontrados, detalhando seu objetivo e funcionalidade. 4

5 2. Por que Redes Neurais? 2.1. Uma Galáxia Biológica Não são apenas as estrelas no universo, com sua impressionante quantidade, que fascinam o homem. Ao observar seu universo biológico interno, ele vislumbra uma gigantesca "galáxia" com centenas de milhões de pequenas células nervosas que formam o cérebro e o sistema nervoso; estas células comunicam-se umas com as outras através de pulsos eletroquímicos para produzir diversas atividades que regem o comportamento humano. [Cardoso, 2000] Fig Cérebro Humano O cérebro humano é considerado o mais fascinante processador baseado em carbono existente, sendo composto por aproximadamente 10 bilhões de neurônios interconectados, cada um podendo estabelecer de 1000 a conexões com outros neurônios. [Vellasco, 2000] Neurônios são células especializadas (figura 02). Eles são feitos para receber certas conecções específicas, executar funções apropriadas e passar suas decisões a um evento particular e este, a outros neurônios, que estão relacionados com aquele evento. Estas especializações incluem: uma membrana celular, que é especializada para transportar sinais nervosos como pulsos eletroquímicos; o dendrito, (do grego dendron, ou árvore) que recebe e libera os sinais; o axônio (do grego axoon, ou eixo), o "cabo" condutor de sinais; e os pontos de contatos sinápticos, onde a informação pode ser passada de uma célula a outra. [Cardoso, 2000] 5

6 1. Corpo Celular (soma) 2. Membrana 3. Dendritos 4. Axônio 5. Terminal Nervoso Pré-Sinático Fig. 02 Esquema Estrutural de um Neurônio Os neurônios diferem de outras células em um aspecto importante: eles processam informação. Os neurônios estão conectados uns aos outros através de sinapses 4. Em média cada neurônio forma entre mil a dez mil sinapses, formando uma grande e complexa rede, chamada REDE NEURAL. As sinapses transmitem estímulos através de diferentes concentrações de Na+ (Sódio) e K+ (Potássio), e o resultado disto pode ser estendido por todo o corpo humano. Na região da sinapse dois neurônios entram em contato, e através dela os impulsos nervosos 5 são transmitidos entre eles. Os impulsos recebidos na dendrite por um neurônio A, em um determinado momento, são processados, e atingindo um dado limiar de ação, o neurônio A dispara, produzindo uma substância neurotransmissora que flui do corpo celular para o axônio, o qual, possui nas pontas da arborização axonial (terminal nervoso pré-sinático), as sinápses, que podem estar conectadas a um dendrito 4 Sinapses são junções formadas com outras células nervosas onde o terminal nervoso pré-sináptico de uma célula faz contato com a membrana pós-sinaptica de outra. São nestas junções que os neurônios são excitados, inibidos ou modulados. Existem dois tipos de sinapses, a elétrica e a química. Sinapses Elétricas ocorrem onde o terminal pré-sináptico está em continuidade com o pós-sináptico. Íons e pequenas moléculas passam por eles, conectando então canais de uma célula a próxima, de forma que alterações elétricas em uma célula são transmitidas quase instantaneamente à próxima. Os íons podem gerar fluxos em ambos as direções destas junções, embora eles tendam a ser unidirecionais. Sinápses Químicas O modo de transmissão não é elétrico, e sim carreado por neurotransmissores, substâncias neuroativas liberadas no lado pré-sináptico da junção. Existem dois tipos de junções químicas. O tipo I é uma sinapse excitatória, geralmente encontrada em dendritos; o tipo II é uma sinápse inibitória, geralmente encontrada em corpos celulares. Substâncias diferentes são liberadas nestes dois tipos de sinapses. Cada botão terminal é conectado a outros neurônios através de uma pequena fenda chamada sinápse. As caraterísticas físicas e neuroquímicas de cada sinapse determina a força e polaridade do sono sinal de input. Mudando a constituição de vários neurotransmissores químicos pode ocasionar um aumento ou diminuição da estimulação que a desporalização do neurônio causa no dendrito vizinho. Alterando os neurotransmissores também altera a estimulação, que pode ser inibitória ou excitatória. [Cardoso, 2000] 5 O impulso nervoso é a transmissão de um sinal codificado de um dado estímulo ao longo da membrana do neurônio, a partir do ponto em que ele foi estimulado. Qualquer informação é processada a partir de um impulso nervoso. Dois tipos de fenômenos estão envolvidos no processamento do impulso nervoso: elétrico e químico. Eventos elétricos propagam um sinal dentro do neurônio, e processos químicos transmitem o sinal de um neurônio a outro ou a uma célula muscular. Processos químicos sobre interações entre neurônios ocorrem no final do axônio, chamado sinapse. Tocando intimamente com o dendrito de outra célula (mas sem continuidade material entre ambas as células), o axônio libera substâncias químicas chamadas neurotransmissores, os quais se unem a receptores químicos na membrana do neurônio seguinte. [Cardoso, 2000] 6

7 de um outro neurônio B (figura 02A). O neurotransmissor pode diminuir ou aumentar a polaridade da membrana pós-sináptica, inibindo ou excitando a geração dos pulsos no neurônio B. Este processo depende de vários fatores, como a geometria da sinapse e o tipo de neurotransmissor. [RUSSELL & NORVIG, 1995] Fig. 02A Relação entre neurônios 2.2. Redes Neurais Artificiais Síntese Histórica As primeiras informações mencionadas sobre a neuro computação datam de 1943, em artigos do neurofisiologista Warren McCulloch, do MIT, e pelo matemático Walter Pitts da Universidade de Illinois, onde fizeram uma analogia entre células nervosas vivas e o processo eletrônico num trabalho publicado sobre "neurônios formais", simulando o comportamento do neurônio natural, onde o neurônio possuía apenas uma saída, que era uma função da soma (threshold) do valor de suas diversas entradas (figura 03). O trabalho consistia num modelo de resistores variáveis e amplificadores representando conexões sinápticas de um neurônio biológico (Mathematical Bio-Physics, vol. 5, 1943, A Logical Calculus of Ideas Immanent in Nervous Activity ). [Vellasco, 2000] Fig Neurônio artificial projetado por McCulloch e Pitts 7

8 Em 1948, baseado na noção de loops de feedback negativos, Wiener esquematizou um modelo para aprendizagem em redes neurais. Um ano depois, Donald Hebb escreveu um livro entitulado "The Organization of Behavior" (A organização do Comportamento) que perseguia a idéia de que o condicionamento psicológico clássico está presente em qualquer parte dos animais pelo fato de que esta é uma propriedade de neurônios individuais. Suas idéias não eram completamente novas, mas o psicólogo Donald Hebb (1949) foi o primeiro a propor uma lei de aprendizagem especifica para as sinápses dos neurônios. [RUSSELL & NORVIG, 1995] Ele demostrou que a capacidade da aprendizagem em redes neurais vem da alteração da eficiência sináptica, isto é, a conexão somente é reforçada se tanto as células pré-sinápticas quanto as pós-sinápticas estiverem excitadas. Este primeiro e corajoso passo serviu de inspiração para que muitos outros pesquisadores perseguissem a mesma idéia. Em 1951, Marvin Minsky constrói o primeiro neuro computador, denominado Snark. O Snark operava com sucesso a partir de um ponto de partida técnico, ajustando seus pesos automaticamente, entretanto, ele nunca executou qualquer função de processamento de informação interessante, mas serviu de inspiração para as idéias de estruturas que o sucederam. [RUSSELL & NORVIG, 1995] Em 1956 no "Darthmouth College" nasceram os dois paradigmas da Inteligência Artificial 6, a simbólica e o conexionista. A Inteligência Artificial Simbólica tenta simular o comportamento inteligente humano desconsiderando os mecanismos responsáveis por tal. Já a Inteligência Artificial Conexionista acredita que construindose um sistema que simule a estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros. [TATIBANA & KAETSU, 1999] Rosemblatt (1958) mostrou em seu livro Principles of Neurodynamics o modelo dos "Perceptrons" (figura 04). Nele, os neurônios eram organizados em camada de entrada e saída, onde os pesos das conexões eram adaptados a fim de se atingir a eficiência sináptica. O primeiro neuro computador a obter sucesso (Mark I Perceptron) surgiu em 1957 / 1958, criado por Frank Rosenblatt, Charles Wightman e outros. [RUSSELL & NORVIG, 1995] 6 A arte de criar máquinas que executam funções que requerem inteligência quando executadas por possoas (Kurzweil, 1990) O estudo de como criar computadores para pensamentos, os quais, no momento as pessoas são melhores (Rich and Knight, 1991) O estudo de faculdades mentais para o uso em modelos computacionais (Charniak and McDermott, 1985) Um campo de estudo que busca explicar e emular comportamento inteligente em termos de processos computacionais (Schalkoff, 1990) O ramo da ciência da computação que trata a automação do comportamento inteligente (Luger and Stubblefield, 1993) [RUSSELL & NORVIG, 1995] 8

9 Fig Rede de perceptrons proposta por Rosemblatt Devido a profundidade de seus estudos, suas contribuições técnicas e de sua maneira moderna de pensar, muitos o vêem como o fundador da neuro computação na forma em que a temos hoje. Seu interesse inicial para a criação do Perceptron era o reconhecimento de padrões. Após Rosenblatt, Bernard Widrow, em 1960, com a ajuda de alguns estudantes, desenvolve um novo tipo de elemento de processamento de redes neurais chamado de Adaline (Adaptative Linear Network) e Madline (Many ADALINE), equipado com uma poderosa lei de aprendizado (figura 05). Fig Redes ADALINE e MADALINE Nos anos seguintes, marcados por um entusiasmo exagerado de muitos pesquisadores, os quais em parte, tiraram a credibilidade dos estudos da área, porém, 9

10 dois bons livros foram editados neste período: Neurodynamics de Rosanblatt em 1962 e Learning Machines de Nilsson em O mais popular método para aprendizado em redes de multicamadas é chamado de back-propagation (retro-propagação). Ele foi inicialmente inventado em 1969 por Bryson, mas foi ignorado até o inicio dos anos 80. Fig Estrutura do método Backpropagation Muitos históricos desconsideram a existência de pesquisa nessa área nos anos 60 e 70 e apontam uma retomada das pesquisas com a publicação dos trabalhos do físico e biólogo Hopfield (1982) relatando a utilização de redes simétricas para otimização, através de um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação. As expressões da rede multicamada foram pesquisadas por Cybenko (1988; 1989), o qual mostrou que duas camadas escondidas são suficientes para representar muitas funções e uma simples camada é suficiente para representar qualquer função contínua. O problema de encontrar uma boa estrutura para uma rede multicamada foi o resolvido usando algoritmos genéricos, por Harp e Miller (1990). Um dos tópicos de maior interesse atualmente em pesquisas de redes neurais, é o emprego de hardware com processamento paralelo. 10

11 3. NeuroComputação Os modelos neurais, procuram aproximar o processamento dos computadores ao cérebro. As redes neurais possuem um grau de interconexão similar a estrutura dos cérebro. Em um computador convencional moderno a informação é transferida em tempos específicos, dentro de um relacionamento com um sinal para sincronização. [TAFNER, 1998] A tabela abaixo, traça um comparativo entre o cérebro humano e o computador: Parâmetro Cérebro Computador Material Orgânico Metal e Plástico Velocidade Milisegundos Nanosegundos Tipo de Processamento Paralelo Seqüencial Armazenamento Adaptativo Estático Controle de Processos Distribuído Centralizado Tabela 01 - Quadro comparativo entre cérebro e o computador O mesmo paralelo pode ser traçado comparando o computador com as redes neurais. Para tanto, a comparação não se dará com um computador específico encontrado no mercado, mas sim com o paradigma predominante nos computadores atuais. Computadores Executa Programas Executa Operações Lógicas Depende do Modelo ou do Programador Testa uma Hipótese por vez NeuroComputadores Aprende Executa operações não lógicas, transformações, comparações Descobre as relações dos dados ou exemplos Testa todas as possibilidades em paralelo Tabela 02 - Quadro comparativo entre computadores e neurocomputadores Há um grande desejo humano de construir máquinas que tenham independência de atuação, a qual, seja conseguida pelo aprendizado e capacidade de decisão da própria máquina, para poder interagir com ambientes insalubres ao homem ou onde possa substituí-lo em situações de perigo, portanto, espera-se obter uma máquina que atue em ambiente desconhecido por ela, e portanto, teria-se um autônomo inteligente e cognitivo. O sucesso de uma máquina autônoma dependeria única e exclusivamente de sua capacidade de lidar com uma variedade de eventos inesperados no ambiente em que opera. Estas máquinas teriam maior capacidade de aprender tarefas de alto nível cognitivo que não são facilmente manipuladas por máquinas atuais, e continuariam a se 11

12 adaptar e realizar tais tarefas gradativamente com maior eficiência, mesmo que em condições de ambiente imprevisíveis. Então, seriam muito úteis onde a iteração humana é perigosa, tediosa ou impossível; como em reatores nucleares, combate ao fogo, operações militares, exploração do espaço a distâncias em que uma nave espacial estaria fora do alcance do controle na terra porém enviando informações. A constituição e funcionamento de órgãos humanos são uma fonte de motivação para o desenvolvimento destas máquinas, e proporcionam diversas dicas para o desenvolvimento de algoritmos de aprendizado e adaptação. Assim, espera-se que algumas das características de organismos biológicos de aprendizado e adaptação estejam presentes nas mesmas. Enquanto computadores funcionam de modo seqüencial, proporcionando maior eficiência na resolução de tarefas nas quais devem ser seguidas etapas. O cérebro humano funciona de modo paralelo, e sendo extremamente conectado é mais eficiente na resolução de tarefas que exigem várias variáveis. O motivo pelo qual máquinas inspiradas na biologia são diferentes das máquinas atuais se encontra no fato de que as máquinas atuais baseiam seu processamento explicitamente em modelos matemáticos. Baseado nas características de seres biológicos, acredita-se que surgirá em um futuro próximo, uma geração completa de novos sistemas computacionais, muito mais eficientes e inteligentes que os sistemas atuais. 12

13 4. Redes Neurais Artificiais e a Inteligência Artificial As redes neurais artificiais consistem em um método de solucionar problemas de inteligência artificial, construindo um sistema que tenha circuitos que simulem o cérebro humano, inclusive seu comportamento, ou seja, aprendendo, errando e fazendo descobertas. Trata-se de técnicas computacionais que apresentam um modelo inspirado na estrutura neural de organismos inteligentes e que adquirem conhecimento através da experiência. [MENDES FILHO, 2000] Uma grande rede neural artificial pode ter centenas ou milhares de unidades de processamento, enquanto que o cérebro de um mamífero pode ter muitos bilhões de neurônios. Apesar da complexidade das redes neurais não permitir uma única definição, as linhas seguintes seguem como uma tentativa das inúmeras definições ou interpretações do que seja realmente uma rede neural. Um grafo direcionado é um objeto geométrico que consiste de um conjunto de pontos, chamados nós (ou unidades), ao longo de um conjunto de segmentos de linhas direcionadas entre eles (links). Uma rede neural é uma estrutura de processamento de informação distribuída paralelamente na forma de um grafo direcionado, com algumas restrições e definições próprias (figura 07). Fig. 07 Esquema da Rede Neural Os nós deste grafo são chamados elementos de processamento. Suas arestas são conexões, que funcionam como caminhos de condução instantânea de sinais em uma única direção, de forma que seus elementos de processamento podem receber qualquer número de conexões de entrada. Estas estruturas podem possuir memória local, e também possuir qualquer número de conexões de saída desde que os sinais nestas conexões sejam os mesmos. 13

14 Portanto, estes elementos tem na verdade uma única conexão de saída, que pode dividir-se em cópias para formar múltiplas conexões, sendo que todos carregam o mesmo sinal. Então, a única entrada permitida para a função de transferência (que cada elemento de processamento possui) são os valores armazenados na memória local do elemento de processamento e os valores atuais dos sinais de entrada nas conexões recebidas pelo elemento de processamento. Os únicos valores de saída permitidos a partir da função de transferência são valores armazenados na memória local do elemento de processamento, e o sinal de saída do mesmo. A função de transferência pode operar continuamente ou episodicamente. Sendo que no segundo caso, deve existir uma entrada chamada "activate" que causa o ativamento da função de transferência com o sinal de entrada corrente e com valores da memória local, e produzir um sinal de saída atualizado (ocasionalmente alterando valores da memória). E no primeiro caso, os elementos estão sempre ativados, e a entrada "activate" chega através de uma conexão de um elemento de processamento agendado que também é parte da rede. Sinais de entrada para uma rede neural a partir de fora da rede chegam através de conexões que se originam do mundo externo, saídas da rede para o mundo externo são conexões que deixam a rede. De forma geral, a operação de uma célula da rede se resume em: Sinais são apresentados à entrada; Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade; É feita a soma ponderada dos sinais que produz um nível de atividade; Se este nível excede um limite (threshold) a unidade produz uma saída; Assim como o sistema nervoso é composto por bilhões de células nervosas, a rede neural artificial também seria formada por unidades que nada mais são que pequenos módulos que simulam o funcionamento de um neurônio. Estes módulos devem funcionar de acordo com os elementos em que foram inspirados, recebendo e retransmitindo informações. O fisiologista Warrem MacCulloch interpretou o funcionamento do neurônio biológico como sendo um circuito de entradas binárias combinadas por uma soma ponderada (com pesos) produzindo uma entrada efetiva. No modelo geral de neurônio artificial (figura 08) as entradas W1Wp são combinadas usando uma função F, para produzir um estado de ativação do neurônio (correspondente à freqüência de descarga do neurônio biológico).as entradas chegam através dos dentritos e tem um peso atribuído pela sinapse. 14

15 Fig Modelo de McCulloch e Pitts A função básica de um neurônio é somar as entradas e retornar uma saída, caso esse valor seja maior que o valor de soma (threshold). O neurônio artificial é uma estrutura lógico-matemática (figura 09) que procura simular a forma, o comportamento e as funções de um neurônio biológico. Assim sendo, os dendritos foram substituídos por entradas, cujas ligações com o corpo celular artificial são realizadas através de elementos chamados de peso (simulando as sinapses). Os estímulos captados pelas entradas são processados pela função de soma, e o limiar de disparo do neurônio biológico foi substituído pela função de transferência. [DENIZ, 1998] Fig. 09 Representação Funcional do Neurônio Artificial 4.1. A Rede Neural Artificial A rede neural artificial é um sistema de neurônios ligados por conexões sinápticas e dividido em neurônios de entrada, que recebem estímulos do meio externo, neurônios internos ou hidden (ocultos) e neurônios de saída, que se comunicam com o exterior. 15

16 A forma de arranjar perceptrons em camadas é denominado Multilayer Perceptron. O multilayer perceptron foi concebido para resolver problemas mais complexos, os quais não poderiam ser resolvidos pelo modelo de neurônio básico. Um único perceptron ou uma combinação das saídas de alguns perceptrons poderia realizar uma operação XOR, porém, seria incapaz de aprendê-la. Para isto são necessárias mais conexões, os quais só existem em uma rede de perceptrons dispostos em camadas. [MENDES FILHO, 2000] Os neurônios internos são de suma importância na rede neural pois provou-se que sem estes torna-se impossível a resolução de problemas linearmente não separáveis. Em outras palavras pode-se dizer que uma rede é composta por várias unidades de processamento, cujo funcionamento é bastante simples. Essas unidades, geralmente são conectadas por canais de comunicação que estão associados a determinado peso. As unidades fazem operações apenas sobre seus dados locais, que são entradas recebidas pelas suas conexões. [RUSSELL & NORVIG, 1995] O comportamento inteligente de uma Rede Neural Artificial vem das interações entre as unidades de processamento da rede. A maioria dos modelos de redes neurais possui alguma regra de treinamento, onde os pesos de suas conexões são ajustados de acordo com os padrões apresentados; ou seja, elas aprendem através de exemplos. Arquiteturas neurais são tipicamente organizadas em camadas (figura 10), com unidades que podem estar conectadas às unidades da camada posterior. Por convenção a camada que inicialmente recebe os dados é chamada de input (entrada), a camada intermediária é chamada de hidden (oculta) e por último, a camada de saída. Cada camada pode ter de 1 a n neurônios artificiais com as características apresentadas na figura 09. [DHAR & STEIN, 1997] Fig Organização em camadas 16

17 A rede neural passa por um processo de treinamento a partir dos casos reais conhecidos, adquirindo, a partir daí, a sistemática necessária para executar adequadamente o processo desejado dos dados fornecidos. Sendo assim, a rede neural é capaz de extrair regras básicas a partir de dados reais, diferindo da computação programada, onde é necessário um conjunto de regras rígidas pré-fixadas e algoritmos. Usualmente as camadas são classificadas em três grupos: Camada de Entrada: onde os padrões são apresentados à rede; Camadas Intermediárias ou Ocultas: onde é feita a maior parte do processamento, através das conexões ponderadas; podem ser consideradas como extratoras de características; Camada de Saída: onde o resultado final é concluído e apresentado. Redes neurais são também classificadas de acordo com a arquitetura em que foram implementadas, topologia, características de seus nós, regras de treinamento, e tipos de modelos Classificação de Redes Neurais Um dos objetivos da pesquisa sobre redes neurais na computação é desenvolver morfologias neurais matemáticas, não necessariamente baseada na biologia, que podem realizar funções diversas. Na maior parte dos casos, modelos neurais são compostos de muitos elementos não lineares que operam em paralelo e que são classificados de acordo com padrões ligados à biologia. Quando um processo é criado visando utilizar aspectos de redes neurais, começam com o desenvolvimento de um neurônio artificial ou computacional, baseado no entendimento de estruturas biológicas neurais, seguidas do aprendizado de mecanismos voltados para um determinado conjunto de aplicações. Ou em outras palavras, seguindo as três etapas: desenvolvimento de modelos neurais motivado por neurônios biológicos; Modelos de estruturas e conexões sinápticas; aprendizado das regras (um método de ajuste de pesos ou forças de conexões internodais) Por causa de diferenças entre algumas ou às vezes todas as entidades envolvidas, diferentes estruturas de redes neurais tem sido desenvolvidas por pesquisadores. Do ponto de vista estrutural, a arquitetura de redes neurais pode ser classificada como estática, dinâmica ou fuzzy (nebulosa), e de única camada ou múltiplas camadas. Além disso, diferenças computacionais surgem também quando se trata da maneira com que são feitas as conexões existentes entres os neurônios. Estas conexões podem ser estritamente no sentido de ida, no sentido de ida e volta, lateralmente conectadas, topologicamente ordenadas ou híbridas.[vellasco, 2000] 17

18 A aplicação de redes neurais pode ser classificada em classes distintas: Reconhecimento de padrões e Classificação; Processamento de imagem e visão; Identificação de sistema e controle e Processamento de sinais. É importante verificar que uma determinada aplicação de um sistema baseado em rede neural não precisa necessariamente ser classificada em apenas uma das citadas acima Topologias de Redes Neurais Artificiais De acordo com Rummelhart, a rede neural deve possuir no mínimo duas camadas, a de entrada de dados e a da saída dos resultados. [RUSSELL & NORVIG, 1995] Como a rede apresenta desempenho muito limitado com somente duas camadas, a adição de uma camada intermediária faz-se necessária. Neste tipo de configuração, cada neurônio está ligado com todos os outros das camadas vizinhas, mas neurônios da mesma camada não se comunicam, além da comunicação ser unidirecional, apresentando assim um comportamento estático. Já a rede neural de Hopfield apresenta comportamento dinâmico e fluxo de dados multidirecional devido à integração total dos neurônios, desaparecendo assim a idéia da camadas bem distintas (figura 11). Com isso seu funcionamento é mais complexo, havendo certas complicações, seja na fase de aprendizado quanto na fase de testes. Seu uso é direcionado à problemas de minimização e otimização, como por exemplo de percurso de caminhões. [VELLASCO, 2000] Fig Modelos de Rummelhart e Hopfield Há pesquisadores como Hecht - Nielsen, que afirmam que com apenas uma camada oculta já é possível calcular uma função arbitrária qualquer a partir de dados fornecidos. De acordo com Hecht - Nielsen, a camada oculta deve ter por volta de 2i+1 neurônios, onde i é o número de variáveis de entrada. Outros, no caso de Cybenko, defendem o uso de duas camadas ocultas. [TATIBANA & KAETSU, 1999] No caso de Kudrichy, empiricamente observou-se que para cada 3 neurônios da primeira camada oculta era preciso um da segunda camada. 18

19 Já Lippmann afirma que a segunda camada oculta deve ter o dobro de neurônios da camada de saída. No caso de apenas uma camada oculta ela deverá ter s(i+1) neurônios, onde s é o número de neurônios de saída e i o número de neurônios na entrada. Em redes pequenas o número de neurônios da camada oculta pode ser a média geométrica entre o número de neurônios de entrada pelo número de neurônios de saída. [TATIBANA & KAETSU, 1999] Independente de cada abordagem, quanto mais camadas de neurônios, melhor é o desempenho da rede neural pois aumenta a capacidade de aprendizado, melhorando a precisão com que ela delimita regiões de decisão. Estas regiões de decisão são intervalos fixos onde a resposta pode estar. [VELLASCO, 2000] A camada de entrada possui um neurônio especial chamado de "bias" e serve para aumentar os graus de liberdade, permitindo uma melhor adaptação, por parte da rede neural, ao conhecimento à ela fornecido. 19

20 5. Processos de Aprendizado de uma Rede Neural Artificial A propriedade mais importante das redes neurais é a habilidade de aprender de seu ambiente e com isso melhorar seu desempenho. Isso é feito através de um processo iterativo de ajustes aplicado a seus pesos: o treinamento. [RUSSELL & NORVIG, 1995] O aprendizado ocorre quando a rede neural atinge uma solução generalizada para uma classe de problemas. Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a solução de um problema de aprendizado. Existem muitos tipos de algoritmos de aprendizado específicos para determinados modelos de redes neurais, estes algoritmos diferem entre si principalmente pelo modo como os pesos são modificados. Aprendizagem, para uma rede neural, envolve o ajuste destes pesos. [DHAR & STEIN, 1997] A rede neural se baseia nos dados para extrair um modelo geral. Portanto, a fase de aprendizado deve ser rigorosa e verdadeira, a fim de se evitar modelos espúrios. Todo o conhecimento de uma rede neural está armazenado nas sinapses, ou seja, nos pesos atribuídos às conexões entre os neurônios. De 50 a 90% do total de dados deve ser separado para o treinamento da rede neural, dados estes escolhidos aleatoriamente, a fim de que a rede "aprenda" as regras e não "decore" exemplos. O restante dos dados só é apresentado à rede neural na fase de testes a fim de que ela possa "deduzir" corretamente o inter-relacionamento entre os dados. [VELLASCO, 2000] Outro fator importante é a maneira pela qual uma rede neural se relaciona com o ambiente. Nesse contexto existem os seguintes paradigmas de aprendizado: a) Por independência de quem aprende As Redes Neurais Artificiais aprendem por memorização, contato, exemplos, por analogia, por exploração e também por descoberta. b) Por retroação do mundo Diz respeito a ausência ou presença de realimentação explícita do mundo exterior, ou seja, que em certos intervalos de tempo um agente assinala acertos e erros. b.1) Aprendizado Supervisionado: utiliza um agente externo que indica à rede um comportamento bom ou ruim de acordo com o padrão de entrada b.2) Aprendizado Não Supervisionado (auto-organização): não utiliza um agente externo indicando a resposta desejada para os padrões de entrada; utiliza-se entretanto, exemplos de coisas semelhantes para que a rede responda de maneira semelhante. 20

21 c) Por Finalidade do Aprendizado c.1) Auto-associador: é apresentada à rede uma coleção de exemplos para que ela memorize. Quando se apresenta um dos elementos da coleção de exemplos mas de modo errôneo, a rede deve mostrar o exemplo original, funcionando assim como um filtro. c.2) Hetero-associador: é uma variação do Auto-associador, mas que se memoriza um conjunto de pares. O sistema aprende a reproduzir o segundo elemento do par mesmo que o primeiro esteja pouco modificado, funcionando desta maneira como um reconhecedor de padrões. É necessário também que exista um Detector de Regularidades, que nada mais é que um reconhecedor de padrões em que o sistema deve se auto-organizar e criar padrões possíveis. Podemos denominar ainda ciclo como sendo uma apresentação de todos os N pares (entrada e saída) do conjunto de treinamento no processo de aprendizado. A correção dos pesos num ciclo pode ser executado de dois modos: Modo Padrão: A correção dos pesos acontece a cada apresentação à rede de um exemplo do conjunto de treinamento. Cada correção de pesos baseia-se somente no erro do exemplo apresentado naquela iteração. Assim, em cada ciclo ocorrem N correções. Modo Batch: Apenas uma correção é feita por ciclo. Todos os exemplos do conjunto de treinamento são apresentados à rede, seu erro médio é calculado e a partir deste erro fazem-se as correções dos pesos. 21

22 6. Desenvolvimento de Aplicações A nível da tecnologia da informação, todo desenvolvimento de artefato de software ou elementos inerentes, devem estar acompanhados de um conjunto de etapas bem definidas, já que o desenvolvimento e a implantação de projetos de sistemas sofrem a influência de inúmeros fatores técnicos, organizacionais e gerenciais que, combinados, conduzem a um complexo quadro de decisões envolvendo a gerência de tecnologia, recursos humanos, prazos e custos. [KUGLER & ARAGON FERNANDES, 1990] 6.1. Coleta de Dados e Separação em Conjuntos Os dois primeiros passos do processo de desenvolvimento de redes neurais artificiais são a coleta de dados relativos ao problema e a sua separação em um conjunto de treinamento e um conjunto de testes. Esta tarefa requer uma análise cuidadosa sobre o problema para minimizar ambigüidades e erros nos dados. Além disso, os dados coletados devem ser significativos e cobrir amplamente o domínio do problema; não devem cobrir apenas as operações normais ou rotineiras, mas também as exceções e as condições nos limites do domínio do problema. Normalmente, os dados coletados são separados em duas categorias: dados de treinamento, que serão utilizados para o treinamento da rede e dados de teste, que serão utilizados para verificar sua performance sob condições reais de utilização. Além dessa divisão, pode-se usar também uma subdivisão do conjunto de treinamento, criando um conjunto de validação, utilizado para verificar a eficiência da rede quanto a sua capacidade de generalização durante o treinamento, e podendo ser empregado como critério de parada do treinamento. [TATIBANA & KAETSU, 1999] Depois de determinados estes conjuntos, eles são geralmente colocados em ordem aleatória para prevenção de tendências associadas à ordem de apresentação dos dados. Além disso, pode ser necessário pré-processar estes dados, através de normalizações, escalonamentos e conversões de formato para torná-los mais apropriados à sua utilização na rede Configuração da Rede A configuração da rede pode ser dividida em três etapas: a) Seleção do paradigma neural apropriado à aplicação. b) Determinação da topologia da rede a ser utilizada - o número de camadas, o número de unidades em cada camada, etc. 22

23 c) Determinação de parâmetros do algoritmo de treinamento e funções de ativação. Este passo tem um grande impacto na performance do sistema resultante. Normalmente estas escolhas são feitas de forma empírica. A definição da configuração de redes neurais é ainda considerada uma arte, que requer grande experiência dos projetistas Treinamento Nesta fase, seguindo o algoritmo de treinamento escolhido, serão ajustados os pesos das conexões. É importante considerar, nesta fase, alguns aspectos tais como a inicialização da rede, o modo de treinamento e o tempo de treinamento. Uma boa escolha dos valores iniciais dos pesos da rede pode diminuir o tempo necessário para o treinamento. Normalmente, os valores iniciais dos pesos da rede são números aleatórios uniformemente distribuídos, em um intervalo definido. A escolha errada destes pesos pode levar a uma saturação prematura. Nguyen e Widrow encontraram uma função que pode ser utilizada para determinar valores iniciais melhores que valores puramente aleatórios. [TATIBANA & KAETSU, 1999] Quanto ao modo de treinamento, na prática é mais utilizado o modo padrão devido ao menor armazenamento de dados, além de ser menos suscetível ao problema de mínimos locais, devido à pesquisa de natureza estocástica que realiza. Por outro lado, no modo batch pode tornar o treinamento mais estável. A eficiência relativa dos dois modos de treinamento depende do problema que está sendo tratado. [VELLASCO, 2000] Quanto ao tempo de treinamento, vários fatores podem influenciar a sua duração, porém sempre será necessário utilizar algum critério de parada. O critério de parada do algoritmo backpropagation não é bem definido, e geralmente é utilizado um número máximo de ciclos. Mas, devem ser considerados a taxa de erro médio por ciclo, e a capacidade de generalização da rede. Pode ocorrer que em um determinado instante do treinamento a generalização comece a degenerar, causando o problema de overtraining, ou seja a rede se especializa no conjunto de dados do treinamento e perde a capacidade de generalização. [RUSSELL & NORVIG, 1995] O treinamento deve ser interrompido quando a rede apresentar uma boa capacidade de generalização e quando a taxa de erro for suficientemente pequena, ou seja menor que um erro admissível. Assim, deve-se encontrar um ponto ótimo de parada com erro mínimo e capacidade de generalização máxima Teste O quinto passo é o teste da rede. Durante esta fase o conjunto de teste é utilizado para determinar a performance da rede com dados que não foram previamente utilizados. A performance da rede, medida nesta fase, é uma boa indicação de sua performance real. 23

24 Devem ser considerados ainda outros testes como análise do comportamento da rede utilizando entradas especiais e análise dos pesos atuais da rede, pois se existirem valores muito pequenos, as conexões associadas podem ser consideradas insignificantes e assim serem eliminadas (prunning). De modo inverso, valores substantivamente maiores que os outros poderiam indicar que houve over-training da rede Integração Finalmente, com a rede treinada e avaliada, ela pode ser integrada em um sistema do ambiente operacional da aplicação. Para maior eficiência da solução, este sistema deverá conter facilidades de utilização como interface conveniente e facilidades de aquisição de dados através de planilhas eletrônicas, interfaces com unidades de processamento de sinais, ou arquivos padronizados. Uma boa documentação do sistema e o treinamento de usuários são necessários para o sucesso do mesmo. Além disso, o sistema deve periodicamente monitorar sua performance e fazer a manutenção da rede quando for necessário ou indicar aos projetistas a necessidade de retreinamento. Outras melhorias poderão ainda ser sugeridas quando os usuários forem se tornando mais familiares com o sistema, estas sugestões poderão ser muito úteis em novas versões ou em novos produtos. 24

25 7. Aplicações de Redes Neurais Artificiais Aplicações de redes neurais são inúmeras. É comum que a primeira informação que se tenha sobre a aplicação das redes neurais, seja através de leitura a respeito das técnicas no prognóstico de mercados financeiros. Grupos de investimento conhecidos utilizam redes neurais para analisar pelo menos uma parte do mercado financeiro e fazerem suas seleções. [LIN & BRUWER, 1996] O reconhecimento de caracteres, independente do meio, embora o ótico seja mais conhecido (OCR), é outro tipo de aplicação que já existe e está crescendo, e em breve estaremos em constante contato com esse tipo de aplicação. [YAGER, 1998] O reconhecimento de caracteres é a conversão da imagem de um texto (conjunto de pontos cujo elemento representado nesta imagem não está identificado), utilizando-se de técnicas de reconhecimento de padrões, e permitindo identificar os elementos tais como: letras, algarismos e demais símbolos contidos na imagem. Hoje os melhores OCR (Optical Character Recognizer) são baseados em redes neurais artificiais, onde estes recebem como entrada uma imagem digital e tem como saída os caracteres (ASCII) que são reconhecidos nesta imagem. Este tipo de software evoluiu muito nos últimos anos e hoje tem índices de acerto de mais de 90%. Mesmo quando se trata de textos escritos a mão livre, este percentual permanece alto, considerando que a maioria das redes ainda não consegue entender o contexto do texto que está sendo convertido, e portanto, não pode usar a estrutura das frases para lhe auxiliar no reconhecimento, artifício que os seres humanos utilizam inconscientemente todos os dias Outras aplicações bem sucedidas das técnicas de redes neurais artificiais são: controle de processos industriais, aplicações climáticas, identificação de fraude de cartão de crédito, e Marketing; onde tem sido verificado uma aderência muito grande quanto a aplicação de redes neurais. [LIN & BRUWER, 1996] Um banco americano chamado Mellon Bank instalou um sistema de detecção de fraudes de cartão de crédito implementado com técnicas de redes neurais e os prejuízos evitados pelo novo sistema conseguiram cobrir os gastos de instalação em seis meses. Vários outros bancos começam a utilizar sistemas baseados em redes neurais para controlar fraudes de cartão de crédito. Estes sistemas têm a capacidade de reconhecer uso fraudulento com base nos padrões criados no passado com uma precisão melhor que em outros sistemas. Outro exemplo da utilização de redes neurais para melhoria na tomada de decisões é no diagnóstico médico. Em seu aprendizado, são submetidos uma série de diagnósticos de pacientes, de várias características, com vários sintomas e os resultados de seus testes. Também serão fornecidos os diagnósticos médicos para cada doença. Então quando forem apresentados os dados de um novo paciente, com seus sintomas, a rede fornecerá um diagnóstico para os novos casos. Isto essencialmente criará um sistema com o conhecimento de vários médicos, e fornecerá um diagnóstico inicial em tempo real a um médico. [CARDOSO, 2000] 25

26 Ainda na medicina a utilização de redes neurais artificiais encontram vários nichos de aplicação, além dos já enfatizados. Como exemplo de outras aplicações podese citar as bases de dados usadas para o aprendizado, tais como: Breast Cancer Database (diagnóstico de câncer) e Lung Cancer, Tyroid disease, audiology data. Várias destas bases de dados podem ser encontradas no UCI Repository of Machine Learning Databases na INTERNET no endereço ftp://ics.uci.edu/pub/machine-learningdatabases: README ou Segue exemplos de outros tipos aplicações para redes neurais: Análise e Reconhecimento da Fala Outra aplicação das redes neurais artificiais é o reconhecimento da fala, nesta área já existem redes que conseguem responder perguntas sobre assuntos específicos, como por exemplo a reservas em um vôo. Através desta implementação o usuário pode fazer perguntas simples, como quais são os vôos disponíveis para um determinado local ou preços das passagens. Cabe observar que a razão de se limitar o assunto a um determinado tema é a menor complexidade. Este software está sendo desenvolvido no MIT no Media Lab e em breve poderá estar disponível para o uso comercial. Um dos modelos mais utilizados na atualidade no reconhecimento de voz é a combinação de técnicas como HMM (Hidden Markov Model - modelo probabilístico) juntamente com as redes neurais. Um exemplo é o projeto Europeu ESPRIT 7 que estuda este tipo de aplicações. Análise de Imagem O Inpe (Instituto Nacional de Pesquisas Espaciais) desenvolve redes neurais artificiais que permitem reconhecer e analisar as imagens geradas por satélite 8. Este processo por sua vez é de grande utilidade no trabalho de identificação dos tipos de solo, obtendo-se as informações com maior rapidez e maior precisão, também é de grande utilidade na determinação da melhor semente e técnica de cultivo em cada um deles. Além disso, permite um grande aumento na precisão das previsões do tempo, que envolvem uma massa muito grande de dados a serem analisados. Síntese de Voz Para este tópico, apresenta-se como exemplo o Nettalk 9, que é fruto do estudo da geração de fala por redes neurais artificiais, a partir da interpretação de um texto. O objetivo do trabalho era treinar uma rede neural artificial para produzir os fonemas corretos, dando como entrada uma cadeia de letras. 7 maiores informações podem ser obtidas na INTERNET no endereço: 8 Mais informações sobre utilização de redes neurais artificiais pelo Inpe podem ser obtidas na INTERNET no endereço met.inpe.br/pub-html/person/wei.html. 9 A referencia deste material encontra-se na INTERNET no endereço abaixo: 26

27 Neste projeto a palavra é digitada (através do teclado) e a rede neural artificial deve gerar os sons correspondentes a palavra digitada. O problema em produzir os fonemas corretos, é que existem palavras como por exemplo 'letra' e 'alfabeto' em que a grafia da letra 'e' é a mesma, mas a pronúncia do e difere completamente de uma palavra para a outra. Outro exemplo encontra-se nas palavras 'tra-balho' e 'ba-nco', só que neste caso levando em consideração a letra a. A pronúncia da letra pode ser diferente dependendo da palavra onde é empregada, muito embora a escrita seja igual. O que a rede faz é basear-se no contexto (nas letras que antecedem e sucedem a letra a qual deve ser gerado o fonema), tentando aprender como se faz a pronúncia de diferentes palavras (como converter uma entrada textual em uma saída fonética). Para o trabalho de implementação, foi criado um banco de palavras inglesas (uma lista destas palavras pode ser encontrada no endereço ftp://ftp.cs.cmu.edu/afs/cs/project/connect/bench/nettalk.data). A entrada da rede é uma série de sete letras consecutivas de uma das palavras treinadas onde esta seqüência é denominada de janela de entrada. A letra central na seqüência é a letra atual, sendo esta a letra para a qual a saída fonética deve ser gerada. As três letras restantes de cada lado da central, provem o contexto para ajudar a determinar a pronúncia. Neste estudo as palavras são deslocadas de um lado para outro dentro da janela de entrada para permitir que cada letra da palavra fique na posição central. Uma codificação unária foi usada, para cada uma das sete letras de entrada, a rede tem um grupo de 29 neurônios de entrada (um para cada uma das 26 letras do alfabeto inglês e três para caracteres de pontuação), portanto, são no total 29 x 7 = 203 neurônios de entrada. A saída da rede usa uma representação distribuída dos fonemas, existem 21 neurônios de saída representando várias articulações como a fala e peso da vogal. Cada fonema é representado por um vetor binário, e ainda há cinco neurônios que representam o stress e as sílabas. Foi usado o algoritmo de Back-propagation para alterar os pesos dos neurônios, o número de neurônios nos níveis intermediários variou de 0 a 120, cada nível estava totalmente conectado com o próximo, no caso de 0 níveis intermediários, o nível de entrada estava totalmente conectado com o de saída. Foram feitas várias simulações com diferentes números de neurônios nos níveis intermediários, os testes foram feitos com 0, 15, 30, 60 e 120 neurônios, e com um subgrupo de 1000 palavras mais utilizadas na língua inglesa. Com 0 neurônios nos níveis intermediários a melhor performance foi de 82% de correção. A taxa de aprendizado e performance final aumentou firmemente com o aumento do número de níveis intermediários, chegando a 98% com 120 neurônios. 27