Inteligência Artificial

Transcrição

1 Inteligência rtificial I conexionista Conceitos básicos de Redes Nerais rtificiais Ciência da Coptação No âbito da Ciência da Coptação, as Redes Nerais são estdadas na grande área de Inteligência rtificial (I). Historicaente, a I clássica, segi o paradiga da coptação sibólica. s redes nerais dera orige à chaada I conexionista e se encontra tabé dentro da grande área chaada de Inteligência Coptacional (IC). bordagens Não-Sibólicas Técnicas de IC, coo as Redes Nerais rtificiais (RN), são a abordage botto-p. seântica do doínio não precisa ser introdzida explicitaente no sistea. O sistea pode indzir este conheciento, através de processo de aprendizage. Por otro lado, co as técnicas atais, é ito ineficiente aprender adeqadaente e abientes coplexos. O conheciento aprendido não se torna facilente interpretável pelo sário. plicações das Redes Nerais s habilidades qe as redes nerais apresenta perite o se eprego na grande diversidade de áreas de aplicação. s RN são aplicadas e várias áreas qe envolve reconheciento de padrões e o aprendizado de fnções nãolineares. Exeplos dessas áreas são o processaento de iagens, a visão robótica, o reconheciento de voz, controle de sisteas dinâicos, categorização de textos, ineração de dados, etc. 3 4

2 Conceitos básicos de Redes Nerais Conceitos s Redes Nerais rtificiais (RN) são sisteas físicos cellares qe pode adqirir, arazenar e tilizar conheciento extraído da experiência, por eio de algoritos de aprendizage. O conheciento está na fora de estados estáveis o apeaentos incorporados na rede de processadores siples, os nerônios artificiais, interligados por elos qe posse parâetros ajstáveis, os pesos sinápticos, qe controla a intensidade das conexões. coptação por RN é realizada por a densa alha de nós processadores e conexões. O eleento processador básico é o nerônio artificial. 5 Topologia da rede grafo direcionado rotlado, deterina a conectividade da rede. Nerônio fnção eleentar (nó). Calcla valor de saída, fnção dos valores de do nó e dos pesos sinápticos correspondentes. Conexão deterina cainho para o flxo de inforação entre dois nós (elo). Pesos sináptico deterina a força de conexão entre dois nós da rede (rótlo). Fncionalidade da rede coposição das fnções eleentares deterinada pela conectividade da rede. 6 Exeplo de a rede lticaadas ais conceitos sinal de nerônio x peso sináptico conexão x w o w o w o w o w o 3 3 w s w o 3 x 3 w s 4 caada de w o 4 w o 4 Flxo do processaento (propagação) 4 i i 3 i 4 i caada oclta sinal interediário w s w s w s 3 w s 4 w s w s caada de saída sinal de saída Fncionalidade [ ] T = F(x, ) topologia da rede deterina a fncionalidade genérica adeqada para a certa classe de aplicações. fncionalidade específica (apeaento) de a RN depende dos valores dos ses pesos sinápticos. Os valores dos pesos sinápticos são ajstados ao problea específico através de procedientos iterativos de treinaento (processo de aprendizage indtiva). Para o processo de aprendizage é necessário se dispor de conjnto de exeplos do apeaento desejado (aprendizage spervisionada). lternativaente, a RN pode ser treinada para extrair o odelo de conjnto de dados de fora atônoa (aprendizage nãospervisionada). 7 8

3 Coptação realizada por a RN O apeaento qe a rede neral ipleenta pode envolver valores binários de saída, o então valores contínos. No prieiro caso, noralente o conjnto de saídas binárias da rede é interpretado coo rótlo de classe e a RN desepenha o papel de classificador. No segndo caso, a rede ata coo regressor, fornecendo estiativas de valores do apeaento aprendido (os valores de saída correspondentes a valores apresentados na ). Noralente, os valores de para a rede deve pertencer a intervalo nérico adeqado previaente definido, o qe salente exige alg tipo de pré-processaento dos valores do doínio da aplicação. Coptação realizada Ua rede conectada apenas para frente (feedforward), se realientações, ipleenta apeaentos estáticos. Exeplos de apeaentos estáticos são áqinas cobinacionais (sisteas discretos), odelos de sisteas estáticos (contínos), alé dos classificadores e regressores. Ua rede co conexões realientadoras (feedback), o recorrente, cria dependências teporais entre os sinais. Ua rede recorrente ipleenta apeaentos dinâicos, coo áqinas seqüenciais, odelos de sisteas dinâicos e regressores dinâicos. 9 Exeplo de a rede recorrente z x z b w w w 3 b w w w 3 x w 3 w 3 b 3 3 fncionalidade básica de nerônio artificial é a de a porta lógica genérica da lógica de liiar (LTU, Logic Threshold Unit). No odelo de nerônio artificial o valor de saída depende do valor () da soa ponderada entre as s do nerônio e os ses pesos (sinápticos). No odelo binário, o valor de saída corresponde ao resltado da coparação de co liiar z. operação de coparação é odelada por a fnção de ativação, ϕ(). E geral, cada nerônio artificial te a extra tilizada para ajstar o se liiar. O valor defalt do liiar de nerônio é zero. x w w odelo de nerônio artificial z > z = = w j x j j = se > z se z

4 Ipleentação de fnções booleanas por perceptrons U nerônio artificial é a porta lógica niversal qe pode ipleentar as diversas fnções booleanas eleentares, qe fora a base da lógica booleana, apenas alterando o se conjnto de pesos e liiar > z > z + + x w w x() x() x(3) x(4) sperfície de decisão do perceptron x z > z OU = se > z se z fncionalidade do perceptron eqivale a a toada de decisão segndo a sperfície de decisão linear no espaço de. Isto se deve ao fato de qe a soa ponderada na do perceptron representa a reta, no espaço bidiensional, plano no espaço 3-D, e hiperplano e espaços de alta diensionalidade. (,) (, ) (,) (, ) w x + w z = x 3 4 odelo de nerônio artificial co bias O liiar da fnção de ativação pode ser sbstitído por peso extra, qe recebe o noe de bias, antendo a esa fncionalidade do odelo. vantage é qe neste odelo, só existe pesos para sere ajstados. x w w = w j x j j = = > z se > z se z Fnção de ativação > z > z z > + w > co w = z z v = j= x w w w v w j x v = ϕ(v) se v > se v Fnção de ativação v > co v = + w Entrada extra Fontes de sinais de x = x x k odelo estático de nerônio w w k O nerônio pode ser descrito ateaticaente pelas segintes eqações Potencial de ativação Sinal de saída do nerônio Pesos sinápticos w bias Cobinador linear (CL) Jnção aditiva Potencial de ativação v x Fnção de ativação ϕ( ) Saída v = Σ w k. x k x k = F(x,,..., ) = ϕ(v ) 5 6

5 Classificação de padrões por perceptron O psicólogo Frank Rosenblatt [958] propôs o perceptron coo odelo para realizar tarefas de classificação. classificação é a tarefa de previsão, qe consiste e apear (classificar) deterinado ite, representado por vetor de características (de ), para a entre várias classes pré-definidas. Inicialente, é necessário constrir o classificador qe ipleenta a fnção de apeaento dos vetores de para os rótlos néricos de saída. No caso de problea de classificação linear, o classificador pode ser ipleentado por perceptron eleentar. Neste caso, o apeaento desejado se dá por aprendizado a partir de conjnto de treinaento, co itens previaente classificados. Para probleas de classificação não linear o odelo de rede neral ais indicado é o perceptron de últiplas caadas (LP), qe ipleenta classificador niversal. Qando o valor de saída do perceptron é contíno, a sa fncionalidade é de aproxiador niversal de fnções. lgoritos de treinaento Ua das foras ais eficientes de se ajstar os pesos de a rede neral é através do algorito do ínio qadrado édio, o least ean sqare (LS). O algorito LS é processo iterativo no qal, a cada instante discreto de tepo n, dos vetores de treinaento, representado por x, é propagado através do nerônio gerando a saída correspondente. O erro qadrado instantâneo na saída é então calclado, correspondente à diferença entre o valor desejado d e a saída obtida, representado por e = ((d ) O vetor de pesos é então ajstado de odo a diinir e w(n + ) = w + η e.x O processo é repetido para todos os vetores de treinaento. apresentação do conjnto copleto de treinaento é denoinada de época. O processo de apresentação de vetores de treinaento e ajste de pesos é repetido por várias épocas até qe o erro édio qadrado se torne sficienteente peqeno o então qe ele não se odifiqe ais. 7 8 O étodo da decida ais íngree O algorito LS se baseia na iniização de a fnção de csto E(w), proporcional ao erro qadrático instantâneo O étodo da descida ais íngree é processo iterativo qe, a partir de ponto inicial sobre a sperfície de erro, procra o ínio global, odificando os pesos a cada iteração na direção do gradiente descendente, E(w). E(w) = e E(w) representa a sperfície de erro no espaço dos pesos. Os pesos são ajstados de odo qe o erro qadrático instantâneo e diina. Isto é feito ajstando-se os pesos na direção oposta ao vetor gradiente E(w). O gradiente E(w) é vetor coposto pelas derivadas parciais da fnção de erro (qadrático) e relação a cada peso. Para deterinado valor de w, E(w) aponta na direção de áxio cresciento do erro. E(w) E(w) in w * w * E() E E(w) E w E(w) E w jstando-se os pesos na direção de E(w) nós estareos nos deslocando na direção da descida ais íngree da sperfície de erro. Co base neste étodo, o ajste de pesos é feito pela expressão w(n + ) = w η E(w) onde η é o parâetro da taxa de aprendizage, qe deterina o passo da descida. w 9

6 O perceptron de últiplas caadas (LP) solção para probleas não-linearente separáveis está baseada na rede LP (ltilaer Perceptron), o perceptron de últiplas caadas, qe apresenta a organização topológica e pelo enos 3 caadas Caada de coposta de nerônios sensoriais; distribi o vetor de para todos os nerônios da caada oclta; Caada oclta coposta de nerônios coptacionais; realiza apeaento interediário do problea, gerando vetores linearente separáveis para a caada de saída; Caada de saída coposta de nerônios coptacionais; realiza rotlação das classes o o apeaento desejado. lternativaente, o apeaento interediário do problea pode ser realizado por scessivas caadas ocltas. Pode-se provar qe qalqer problea pode ser solcionado por LP de 3 caadas, co núero sficiente de nerônios na caada oclta. x Caada de Caada oclta topologia do Perceptron de últiplas Caadas LP x = i = x x i x N i N x x i x N w o j w o ji j w o jn w o j L w s k w s kj Caada de saída w s k k w s kl k d d k d i j valor de saída do nerônio genérico (j) da caada oclta gerado por x. k valor de saída do nerônio genérico (k) da caada de saída gerado por x. d k valor de saída desejado do nerônio k correspondente a x. w o ji e ws kj pesos genéricos da caada oclta e de saída, respectivaente. i i j i L O processaento de inforação na rede LP O processaento de inforação e LPs acontece e das fases a fase de propagação, onde o sinal de é propagado através de toda a rede, caada por caada. Esta fase é responsável pela atação da rede e, portanto, ocorre on-line. a fase de adaptação, onde ocorre os ajstes dos pesos da rede. Nesta fase, o flxo de inforação se dá da caada de saída e direção à caada de. s diferenças entre os valores de saída da rede e os valores desejados casa parcelas individais de erro para cada nerônio, qe são sadas para corrigir os pesos, segndo o algorito backpropagation. Esta fase é tilizada apenas drante o treinaento da rede, qe é realizado off-line, o seja, se qe a rede ate no abiente. O algorito ackpropagation Os LP são treinados pelo algorito de retropropagação de erros, qe é baseado na regra delta de aprendizado por correção de erro [Pal Werbos 74]. O algorito ackprop pode ser visto coo a generalização do algorito LS (Least ean Sqare) desenvolvido para único nerônio. Coo existe vários nerônios na caada de saída, deve-se definir a soa instantânea dos qadrados dos erros e cada nó de saída da rede, E, qando o n- ésio vetor de treinaento x é apresentado na da rede E= Σ e k k= Co o erro qadrado instantâneo na nidade k de saída definido por e k =(d k - k ) e k é o erro na nidade de saída k, qando o vetor x é propagado pela rede e k = d k - k d k é a saída desejada, correspondente a x, e k é a saída instantânea obtida no nerônio de saída k, pela propagação de x. 3 4

7 Reso do treinaento P Gradiente do erro e relação a peso de saída. Inicializar os pesos co valores arbitrários não nlos.. presentar padrão de x e propagá-lo até a saída da rede. 3. Calclar os erros instantâneos na saída da rede, e k. 4. Calclar os gradientes locais dos nerônios da caada de saída, δ s k. 5. jstar os pesos da caada de saída pela expressão w s kj (n + ) = ws kj + η δs k.i j 6. Calclar os gradientes locais dos nerônios da caada oclta, δ o j. 7. jstar os pesos da caada oclta pela expressão w o ji (n + ) = wo ji + ηδo j.x i 8. Repetir os passos de a 7 para todos os padrões de treinaento ( época). 9. Calclar o erro édio qadrado (EQ) para o arqivo de treinaento.. Se o EQ for aior qe o valor desejado, repetir o passo 8. x = x x i x N w o w o ji w o LN j L v o v o j v o L δ s k e k f s (vs k ) i L i = i v s i j w s w s k k w s kj w s kl v s k k δ s k v s k d d k d e k 5 6 jste de vetor de pesos na caada oclta Solções do problea do jogo de tênis por P δ o j f o (vo j ) ( ws k T δ s ) w o j (n + ) = wo j + ηδo j.x x = x x i x N w o w o wj o j w o ji w o jn w o LN j L v o v o j δ o v o L j i = i i j Σ i L w s j w s kj w s j v s δ s v s k k δ s k v s δ s k d e d k e k d e 7 8