Redes Neuronais. Redes neuronais artificiais. Redes neuronais artificiais. Redes neuronais artificiais

Transcrição

1 Redes neuronais artificiais Surgiram nos anos 40 com o objectivo de conhecer melhor o cérebro humano e emular o seu comportamento. Departamento de Matemática Universidade dos Açores Redes Neuronais Introdução e Conceitos Básicos Hélia Guerra helia@notes.uac.pt Esforço foi ultrapassado pelo progresso da computação digital e do modelo de Von Newmann. Nos anos 80 o interesse pelo estudo das redes neuronais foi renovado Surgiram novas técnicas de aprendizagem para modelos mais sofisticados que os iniciais Computadores digitais conseguem simular processos neuronais Tecnologia preparada para desenvolver hardware específico para as redes neuronais. 2 Redes neuronais artificiais Redes neuronais artificiais Actualmente, as redes neuronais não pretendem emular o funcionamento do cérebro mas têm maiores afinidades com ele do que os computadores do modelo de Von Newmann. O funcionamento é inspirado na forma como os organismos, em particular os seres humanos, resolvem os seus problemas de computação. São constituídas por unidades de processamento simples e interligadas. Têm capacidade de aprender a partir dos dados. Constituem interesse de investigação cientifica em diversas áreas Engenharia Ciências da Computação Matemática Aplicada Ciências da Natureza O principal interesse é a sua capacidade de aprendizagem das relações, muitas vezes não lineares, entre as variáveis de um sistema. A aprendizagem é feita directamente a partir dos dados, não pressupondo que estes obedecem a determinada distribuição estatística. Depois de aprenderem, são capazes de responder correctamente perante novas situações. 3 4

2 Redes neuronais biológicas O neurónio biológico O cérebro humano é capaz de realizar de forma eficiente tarefas extremamente complexas, tais como Reconhecimento de padrões Raciocínio indutivo Raciocínio dedutivo Cálculo aritmético O conhecimento é adquirido a partir do ambiente através de um processo de aprendizagem. O processamento de informação no cérebro é realizado por uma rede de cerca de milhões de unidades de processamento simples designadas por neurónios. Mede cerca de 5 a 00 milésimas de milímetro Componentes: Corpo central (contém o núcleo) Axónio (fibra nervosas associada à transmissão de sinais emitidos pelo neurónio, podendo medir poucos cm a um metro) Dendrites (detectam sinais recebidos) As sinapses são conexões do axónio a dendrites de outros neurónios. 5 6 O neurónio biológico O funcionamento do cérebro humano Recebe sinais de excitação de outros neurónios através das sinapses. Recebe estímulos de entrada através das dendrites. Cada neurónio recebe sinais de neurónios vizinhos e gera impulsos eléctricos que são transmitidos aos (milhares de) neurónios a que se encontra ligado. Realiza processo de integração dos sinais recebidos no corpo central. Em função dos sinais recebidos, activa ou inibe, um sinal que é difundido pelo axónio para as sinapses. Quando num instante, a soma dos fluxos nervosos transmitidos pelas dendrites exceder um determinado limiar, o neurónio responde com um fluxo nervoso que será transmitido pelo respectivos axónio Pode estar ligado a milhares de sinapses. O conhecimento é incorporado nas conexões entre os neurónios. Um nome alternativo para o processamento que imita o cérebro seria computação conexionista. O funcionamento do cérebro não é totalmente entendido, sendo objecto actual de investigação. 7 8

3 Características do cérebro humano Redes neuronais artificiais Adaptabilidade ao contexto Adaptabilidade por intermédio de aprendizagem Tolerância a falhas Grande capacidade de memória Capacidade de operar com conhecimento parcial Capacidade de processamento da informação em tempo real Uma rede neuronal artificial é um sistema de processamento de informação com características semelhantes ao das redes neuronais biológicas. Numa perspectiva Matemática, uma rede neuronal é um modelo de processamento de informação baseado nos seguintes pressupostos O processamento da informação é feito com elementos simples designados neurónios. Os sinais são transmitidos entre os neurónios através de ligações/conexões. Cada ligação/conexão tem associado um peso que multiplica o sinal transmitido Cada neurónio aplica uma transformação (função de activação) aos sinais que recebe (já multiplicados pelos respectivos pesos) para emitir um sinal. 9 0 O neurónio artificial O neurónio artificial Tem um conjunto de conexões etiquetadas por um peso. w i denota o peso do estímulo oriundo de x i que chega a y quando os sensores são activados. Se w i >0, então diz-se que o sensor x i estimula o neurónio. A conexão diz-se excitatória. Se w i <0, então diz-se que o sensor x i inibe o neurónio. A conexão diz-se inibitória. Y in =Σx i w i éo estímulo que Y recebe. A resposta de Y é f(y in ), onde f denota a função de activação. 2 3 w w 2 w 3 Pode ter uma conexão extra de uma fonte de actividade + designada por pendor. O pendor estabelece uma determinada tendência natural que não depende de estímulos exteriores. Y in =b+σx i w i 2 3 b w w 2 w 3 2

4 Redes neuronais artificiais Modelos simplificados do sistema nervoso central do ser humano. O conhecimento adquirido está codificado nos pesos das conexões entre as unidades de processamento simples. A remoção (resp.adição) de algumas unidades de processamento podera diminuir (resp. aumentar) a capacidade de resposta da rede. Redes neuronais artificiais Uma rede neuronal caracteriza-se por: Arquitectura (topologia dos neurónios) Algoritmo de aprendizagem (método para determinar os pesos) Função de activação 3 4 Redes neuronais artificiais O poder computacional das redes neuronais assenta em dois pilares fundamentais: Topologia que premeia o processamento paralelo Capacidade de aprendizagem e de generalização Podem ser vistas como caixas negras que transformam vectores de entrada em vectores de saída, via uma função desconhecida. Conseguem resolver problemas complexos de natureza não linear. Propriedades das redes neuronais artificiais sugeridas pelas redes neuronais biológicas Cada unidade de processamento recebe muitos sinais Numa unidade, os sinais transmitidos podem ser modificados por um peso da sinapse receptora Cada unidade de processamento soma os sinais recebidos pesados Cada neurónio transmite um único sinal, mediante determinadas circunstancias O sinal produzido por um neurónio pode ser enviado para outros neurónios O processamento da informação é local a cada neurónio A informação é guardada nos pesos das sinapses A força de uma sinapse pode ser alterada por experiência Neurotransmissores para as sinapses podem ser excitatórios ou inibitórios Tolerância a falhas 5 6

5 Aplicações das Redes Neuronais Aplicações das Redes Neuronais Reconhecimento de padrões Atribuição a um padrão de entrada (como forma de onda vocal, ou símbolo manuscrito) representado por um vector, de uma das categorias pré-especificadas. Exemplos reconhecimento de caracteres reconhecimento da voz e da escrita classificação e redução dos dados que expressam genes classificação de formas de onda de EEG classificação de células sanguíneas Classificação de plantas animais Agrupamento (Clustering) Exploração da similaridade entre padrões e agrupamento em categorias que não foram pré-especificadas Exemplos Data Mining Compressão de dados Análise exploratória de dados Aproximação de funções (não lineares) Encontrar estimação de função desconhecida gerada a partir de um conjunto de padrões de entrada/saída. Exemplos Problemas de modelação (Engenharia) Regressão/Previsão Dada uma sequencia de padrões obtida ao longo de determinado intervalo de tempo, prever padrão no futuro. Exemplos Análise de genes e previsão da localização de proteínas (Bioinformática) Previsão de stocks (Economia) Previsão de custos (Finanças) Aplicações de crédito ao consumo Vendas produção 7 8 Aplicações Áreas onde as Redes Neuronais são aplicadas Optimização Procura de soluções óptimas em espaço de procura demasiado elevado, onde a procura exaustiva de todas as alternativas se torna incomportável em termos computacionais (problemas NP). O uso de heurísticas/máquinas de aprendizagem permite reduzir o espaço de procura. Exemplos clássicos Problema do caixeiro viajante Problema do escalonamento de tarefas Banca Aplicações de crédito ao consumo Detecção de fraudes Previsão dos mercados bolsistas Segurança e Defesa territorial Seguimento de alvos Reconhecimento de rosto e de voz Processamento de sinais provenientes de radares e sonares Indústria Identificação e controlo de processos Previsão Diagnóstico Controlo de qualidade Processamento de sinal 9 20

6 Áreas onde as Redes Neuronais são aplicadas Áreas onde as Redes Neuronais são aplicadas Medicina Analisadores de ECG e EEG Projecto de próteses Diagnóstico de melanomas Robótica Controladores Sistemas de visão Bioinformática Problemas de análise de genes e previsão de localização de proteínas Controlo Envolve processo ou parte crítica de sistema que tem de ser mantida controlada. Pretende-se gerar uma entrada (sinais fornecidos pelo controlador) apropriada de forma que a saída acompanhe um padrão de referencia. Exemplos Controlo de veículos autónomos Robôs Processos de fabrico 2 22 Áreas onde as Redes Neuronais são aplicadas Caracterização das redes neuronais artificiais Biologia, Ecologia e Ambiente Crescimento de ecossistemas Identificação de doenças nas plantas e previsão de pragas Classificação de plantas, animais Diagnóstico de doenças em animais Estudo de propriedades e comportamento de sistemas naturais Estudo do impacto de químicos no ambiente Arquitectura Mono-nível Multi-nível Aprendizagem Supervisionada Não supervisionada Feedforward Recorrente Função de activação Indentidade Heaviside Sigmóide 23 24

7 Arquitectura Mono-nível Um nível de entrada (unidades sensoriais x,,x n ) Zero ou mais níveis intermédios (nível de neurónios z,,z p ) Um nível de saída (neurónios y,,y m ) Para além da entrada, têm apenas o nível de neurónios de saída Multi-nível Feedforward Entre os níveis de entrada e de saída existem níveis um ou mais intermédios. Os níveis intermédios aumentam a capacidade de aprendizagem mas também aumentam exponencialmente o tempo de aprendizagem. Conexões unidireccionais (sem ciclos de realimentação) 27 28

8 Recorrente Caracterização das redes neuronais artificiais Arquitectura Mono-nível Multi-nível Feedforward Recorrente Aprendizagem Supervisionada Não supervisionada Função de activação Identidade Heaviside Sigmóide Tem conexões cíclicas (ciclos de realimentação) Aprendizagem Aprendizagem Durante o processo de aprendizagem (ou treino), dado por um algoritmo, o peso das conexões é ajustado de forma a se atingir um determinado objectivo ou estado de conhecimento da rede. Passos da aprendizagem rede é estimulada pelo ambiente Os parâmetros livres (e.g., pesos das conexões) poderão ser alterados em resultado do estímulo. A rede responde de nova forma ao ambiente, em virtude das alterações sofridas na estrutura interna. Existem diferentes algoritmos de aprendizagem, distinguindo-se por Paradigma (modelo do ambiente) Regras de aprendizagem (usadas nos paradigmas) Supervisionada Bastante popular A rede aprende a partir de um conjunto de padrões fornecidos por um professor. Cada padrão é designado por exemplo ou caso de treino Um padrão é composto por um vector de entrada e por um vector de resposta (correcta) Não supervisionada A aprendizagem é feita pela descoberta de características nos dados de entrada, adaptando-se a agrupamentos de padrões dos exemplos de treino Não há indicações externas sobre a resposta (que na realidade é desconhecida) 3 32

9 Regras de aprendizagem Regra de Hebb Hebb Competitiva Estocástica Se dois neurónios estão conectados e activos, então o peso da conexão entre eles deve ser reforçado Baseada na memória Gradiente descendente Regra Competitiva Regra Estocástica No início, os neurónios da mesma camada têm pesos pequenos e iguais. Quando é fornecido um padrão à rede, o neurónio que responder melhor será premiado com o reforço dos pesos das suas ligações. Em alguns casos, os pesos dos vizinhos também podem ser reforçados. As saídas dos neurónios da mesma camada competem entre si para se tornarem activas. Um só neurónio é activado num determinado instante, segundo a estratégia winner take all. Regra é adequada para problemas de Classificação. Os pesos são ajustados de modo probabilístico

10 Regra baseadas na memória Regra do Gradiente descendente Memorizam (quase) todas as experiências passadas numa grande memória de pares (entrada, saída). Quando é apresentado um novo padrão, o algoritmo procura padrões na região vizinha do padrão apresentado. É usual o algoritmo ter duas componentes: Critério de vizinhança local Regra de aprendizagem a aplicar aos exemplos de treino da vizinhança local É medido o erro obtido entre o valor de resposta pretendido e o valor obtido pela rede. O valor do erro é o mecanismo de controlo da aprendizagem, onde os sucessivos ajustamentos dos pesos irão originar respostas melhores. O objectivo é minimizar uma função de custo ξ definida em termos do sinal de erro. Regra Delta ou regra de Widrow-Hoff baseia-se na resolução da equação w=α, onde w é a variação do peso, α éa taxa de aprendizagem e ξ éo gradiente de ξ. Regra muito usada, geralmente associada a redes multi-nível e ao algoritmo de rectropropagação do erro Caracterização das redes neuronais artificiais Função de activação Arquitectura Mono-nível Multi-nível Feedforward Recorrente Função identidade f ( x) = x 2 Função de Heaviside (com limiar θ=0.5 ) f ( x) = 0 se se x θ x < θ Aprendizagem Supervisionada Não supervisionada Por reforço Função de activação Identidade Heaviside Sigmóide

11 Função de activação Funções de activação Função sigmóide binária Função sigmóide bipolar f ( x) = + e σx 2 g( x) = 2 f ( x) = σx + e É usual utilizar a mesma função de activação no mesmo nível. Redes multi-nível com funções de activação lineares são equivalentes às redes mono-nível com funções de activação lineares Funções de activação não lineares são muito usadas (e.g., sigmóide) f '( x) = σ f ( x)[ f ( x)] g '( x) = σ [ g( x)][ + g( x)] Perspectiva histórica Perspectiva histórica Anos 40 O ínicio 943 McCulloch e Pitts primeiro modelo de neurónio artificial (946 Von Newmann modelo do primeiro computador digital) 949 Hebb mecanismo de aprendizagem de Hebb Anos 50 e 60 ª idade de sucesso 958 Rosemblat novo modelo de neurónio Perceptrão (com uma camada) 960 Widrow e Hoff apresentam a Adaline com algoritmo de aprendizagem baseado no método dos mínimos quadrados 969 Minsky e Pappert livro com limitações do Perceptrão Anos 70 período pouco agitado 972 Kohonen Anos80 Entusiasmo renovado 982 Hopfield rede de Hopfield (recorrente) Grossberg Art (Adaptative Ressonancy Theory) 986 Rumelhart e McClealland Perceptrão multicamada Rumelhart, Hinton e Williams rectropropagação do erro em redes recorrentes multi-nível Máquinas de Boltzman Anos 90 Vapnik e outros Máquinas de suporte vectorial para resolver problemas de regressão e de reconhecimento de padrões Anos

12 Futuro das redes neuronais O modelo de McCulloch e Pitts Aplicação generalizada Economia e Finanças Processamento de sinais Visão por computador Robótica Automatização de sistemas periciais Estatística Procuram-se redes mais eficientes e melhores algoritmos de aprendizagem Primeiro modelo de neurónio artificial Modelo simples que descreve o funcionamento de um neurónio como uma combinação linear de entradas produzidas por outros neurónios, seguida de uma decisão binária Conexões excitatórias (+) ou inibitórias (-) y in = nw pm X. X n X n+. X n+m w w -p -p Função de activação f ( yin) = 0 se se y y in in θ < θ 45 46