Inteligência Artificial. Redes Neurais Artificiais. Aula I Introdução

Transcrição

1 Universidade Estadual do Oeste do Paraná Curso de Bacharelado em Ciência da Computação Inteligência Artificial Redes Neurais Artificiais Aula I Introdução

2 Sistemas de IA Contextualização (IA Simbólica e Conexionista) Conceitos iniciais Fundamentos Biológicos I Fundamentos Biológicos II - Pavlov Histórico Neurônio Booleano

3 Sistemas de IA Construção de Sistemas Inteligentes Artificiais Abordagem Simbólica (Newell e Simon) O sistema de símbolos físicos tem os meios necessários e suficientes para a ação inteligente em geral Abordagem Sub-simbólica Redes neurais - Depois do primeiro esforço de estudar a IA, em 1956 (Darthmouth College) foi publicado o livro Automata Studies (Shannon e McCarthy) que tratava as redes neurais como um paradigma.

4 Paradigma Simbólico

5 Sistemas Simbólicos Síntese entrada saída 1,2,3,4... A,B,c,d regras X,Y,Z,w,9,3

6 Paradigma Subsimbólico Definição Romântica de IA Conexionista: Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, conectados em rede, são capazes de aprender e de generalizar. Definição Matemática de IA Conexionista: Técnica de aproximação de funções por regressão não linear. O que esperar deste paradigma: Uma performance melhor do que a da IA Simbólica em problemas mal definidos, onde falta o conhecimento explícito de como realizar uma tarefa. Nestes casos, o conhecimento é dado através de exemplos.

7 RNAs Sinônimos Sistemas Neurais Artificiais Conexionismo Sistemas Subsimbólicos Sistemas Adaptativos Neurocomputadores Sistemas Maciçamente Paralelos Distribuídos Redes Neurais (Artificiais)

8 Síntese do Paradigma Subsimbólico

9 Contextualização (Deschamps) Existem problemas que os seres vivos (particularmente os seres humanos) parecem resolver usando seus cérebros e que não são fenômenos facilmente explicáveis e/ou compreendidos: Processamento de imagens; Reconhecimento de fala; Recuperação de informações de maneira associativa; Aprendizado de novos fatos e ideias; Seleção de informações.

10 Contextualização (Deschamps) Se o cérebro dos seres vivos parece adequado para resolução de problemas não algorítmicos, é de se esperar que se desenvolvessem modelos para solução de problemas, inspirados na maneira como o cérebro resolve tais problemas. Assim surgiram as RNAs; - ênfase no funcionamento do cérebro.

11 RNAs - Conceitos Redes Neurais Artificiais são sistemas celulares que podem adquirir, armazenar e utilizar conhecimento adquirido a partir da experiência (Engel). Na sua forma mais geral, uma rede neural é uma máquina projetada para modelar a maneira como o cérebro realiza uma tarefa particular ou função de interesse (Haykin).

12 RNAs - Conceitos Uma rede neural é um processador maciçamente paralelamente distribuído constituído de unidades de processamento simples, que têm a propensão natural para armazenar conhecimento experimental e torná-lo disponível para o uso (Haykin).

13 RNAs - Conceitos Redes neurais artificiais são sistemas paralelos distribuídos compostos por unidades de processamento simples (neurônios artificiais) que calculam determinadas funções matemáticas (normalmente não lineares) que são dispostas em uma ou mais camadas interligadas por um grande número de conexões, geralmente unidirecionais. Na maioria dos modelos essas conexões estão associadas a pesos que armazenam o conhecimento adquirido pelo modelo e servem para ponderar a entrada recebida por cada neurônio da rede (Braga, Carvalho e Ludermir, 2007)

14 RNAs - Conceitos Ela se assemelha ao cérebro em dois aspectos: 1. O conhecimento é adquirido pela rede a partir de seu ambiente através de um processo de aprendizagem; 2. Forças de conexão entre neurônios, conhecidas como pesos sinápticos, são utilizadas para armazenar o conhecimento adquirido.

15 RNAs - Conceitos As RNAs surgiram, então, a partir da possibilidade da realização de simulação de comportamentos inteligentes em computadores, baseados na estrutura e funcionamento do cérebro humano. Embora o nível de complexidade que se possa representar nas RNAs seja muito inferior aquele apresentado pelo cérebro humano, que lhe serviu de inspiração, sua capacidade (aprendizado / generalização) fez com que se tornasse uma tecnologia promissora.

16 RNAs - Conceitos O interesse por esta área deveu-se principalmente à sua capacidade de modelar relações, lineares ou não, entre entradas e padrões de saída, a partir de exemplos. Entretanto, atualmente as RNAs estão muito distantes das redes neurais naturais e frequentemente as semelhanças são mínimas ou inexistentes.

17 RNAs Fundamentos Biológicos (Deschamps) O cérebro humano: possui cerca de neurônios; 2% do peso de um adulto (1,5kg); consome 20% do oxigênio de um indivíduo; consome 25% da glicose de um indivíduo; O córtex é a maior porção do cérebro com neurônios pesadamente interconectados (cerca de 10 4 sinapses por neurônio).

18 RNAs Fundamentos Biológicos (Deschamps) A estrutura fundamental do sistema nervoso é o neurônio. Um neurônio possui um corpo celular, um axônio, e diversas ramificações (dendritos); - os dendritos são dispositivos de entrada que conduzem os sinais das extremidades para o corpo celular; - o axônio é o dispositivo de saída que transmite o sinal do corpo celular para suas extremidades;

19

20 RNAs Fundamentos Biológicos (Deschamps) As extremidades do axônio de um neurônio são conectadas com os dendritos de outros neurônios através das sinapses. A membrana citoplasmática de uma célula nervosa permite o transporte de eletrólitos, em essência Sódio (Na + ) externo, e Potássio (K + ) - interno, para dentro e fora da célula, alterando o potencial elétrico entre as partes interna e externa da célula.

21 RNAs Fundamentos Biológicos (Deschamps) A diferença de potencial provoca um trem de pulsos que codifica informação que se propaga através do axônio da célula nervosa para ser decodificada nos dendritos de outras células nervosas. As sinapses (ligações de uma extremidade de um axônio de uma célula nervosa com o dendrito de outra célula nervosa) possuem neuro-transmissores que permitem a propagação dos pulsos nervosos.

22 RNAs Fundamentos Biológicos (Deschamps) As sinapses podem ser excitatórias (favoráveis à passagem de informação) ou inibitórias (que dificultam a passagem da informação), de acordo com o tipo de neuro-transmissor presente. O neurônio, então, funciona pela propagação de pulsos elétricos através de seus dendritos (entradas) que são processados no corpo celular para novamente serem distribuídos (ou não) através de seu axônio.

23 Cérebro vs máquina O cérebro humano processa informações de forma diferente daquela dos computadores convencionais. Um sistema de processamento de informação humano é composto de neurônios que operam a velocidades de certa de um milhão de vezes mais baixas que as portas digitais. Apesar de baixa velocidade dos neurônios, os humanos são mais eficientes que computadores em tarefas computacionalmente complexas como a compreensão de uma fisionomia familiar, compreensão da fala, sons, etc.

24 Cérebro vs máquina Os níveis estruturais da organização cerebral não são encontrados em lugar algum em um computador digital, e não estamos próximos de recriá-los com redes neurais artificiais. Os neurônios artificiais utilizados para construir redes neurais são realmente primitivos em comparação com aqueles encontrados no cérebro.

25 Neurônio Artificial

26 RNAs - Generalização Uma rede neural extrai seu poder computacional através de: sua estrutura paralelamente distribuída; sua habilidade de aprender e de generalizar. A generalização se refere ao fato de a rede neural produzir saídas adequadas para entradas que não estavam presentes durante a aprendizagem. Posteriormente, ela fornece respostas coerentes para dados não conhecidos.

27 RNAs - Histórico As RNAs surgiram em 1943, quando McCulloch e Pitts propuseram um primeiro modelo matemático para uma rede neural (20 anos de pesquisa: representação de um evento no sistema nervoso - artigo 5 anos) Em 1949, Hebb publicou seu livro que inspirou o desenvolvimento de modelos computacionais de aprendizagem e sistemas adaptativos. (The Organization of Behavior : conectividade cerebral constantemente modificada - grupamentos neurais; primeira regra de aprendizagem) No final da década de 50, Rosenblatt criou uma rede de múltiplos neurônios e a chamou de Perceptron. (única camada : limites e possibilidades)

28 RNAs - Rosenblatt Universidade de Cornell (final década de 50)

29 RNAs - Histórico Em 1960 Widrow e Hoff propuseram o algoritmo least mean-square (LMS), e o usaram para formular o Adaline (rede neural histórica). Entretanto, as pesquisas na área foram contidas após a publicação do livro "Perceptron", de Minsky e Papert, em Neste livro foi mostrada a capacidade limitada de aprendizado destes modelos, que conseguiam resolver apenas problemas linearmente separáveis.

30 Problemas Linearmente Separáveis Perceptrons: o livro O perceptron só é capaz de separar classes através de funções lineares. Mas para que ele obtenha êxito é necessário que as classes sejam linearmente separáveis, o que é uma condição não garantida para a maioria dos problemas de classificação. Se os conjuntos não forem linearmente separáveis, a rede não converge, e fica oscilando.

31 Problemas Linearmente Separáveis Linearmente separável Não linearmente separável

32 Problemas Linearmente Separáveis O perceptron é capaz de funcionar como uma porta OU, já que ou é linearmente separável. x1 x2 x1 ou x

33 Problemas Linearmente Separáveis O ou exclusivo não é linearmente separável e o perceptron não é capaz de funcionar como esta porta lógica. x1 x2 x1 xou x

34 Problemas Linearmente Separáveis Em 1969, Papert e Minsky demonstraram as limitações do perceptron, ou seja, mostraram que o perceptron de uma camada trata apenas de problemas linearmente separáveis. Como não existia um algoritmo de treinamento para perceptrons de múltiplas camadas, o seu uso era muito limitado. Assim, as pesquisas sobre redes neurais ficaram estagnadas por mais de 10 anos.

35 RNAs - Histórico Somente nos anos 80 as pesquisas tomaram novo ânimo, quando começaram a surgir respostas a esta limitação, além da publicação de trabalhos importantes, a exemplo do de John Hopfield, em A partir de 1986, Rumellhart e McClelland popularizaram o algoritmo Backpropagation. Este algoritmo, juntamente com os avanços ocorridos na construção de computadores mais poderosos, estimulou ainda mais a retomada às pesquisas sobre as RNAs.

36 RNAs - Histórico (Conclusão) Progressos significativos têm sido feitos na área das RNAs, tanto no surgimento de novas redes, quanto na diversidade de aplicações, além de pesquisas em torno das RNAs em hardware. No entanto, alguns dos principais conceitos básicos que permitem a compreensão de sua estrutura e funcionamento geral, permanecem válidos desde as primeiras concepções.

37 RNAs - Histórico

38 RNAs - Pavlov Russo, dos 7 aos 10 anos sem estudar, obrigado a estudar medicina; especializou-se em glândulas digestivas

39 RNAs - Pavlov Graças à capacidade de atribuir símbolos à realidade circundante, o Homem cria respostas orgânicas compatíveis com aquilo que sua linguagem e sua mente aprenderam a decodificar como sinais de atração, repulsa, fome, humor etc. Foi Ivan Pavlov, prêmio Nobel de Medicina e Fisiologia em 1904, quem descobriu o chamado reflexo condicionado. A mesma atitude mental que "comprova" um estímulo sob determinadas condições acaba criando uma resposta orgânica de acordo com ele.

40 RNAs - Pavlov Com o ser humano o processo condicionante é ainda mais decisivo graças à linguagem e à cultura. Nós atribuímos significados a ideias e coisas não perceptíveis aos cinco sentidos físicos. Assim, uma melodia pode nos fazer sentir alegria e elevar a taxa de endorfina do organismo, se nosso sistema nervoso tiver sido condicionado para tanto. Nossas próprias orientações culturais chegam a alterar o comportamento do organismo.

41 RNAs - Pavlov - cão Sempre que se apresenta a um cão um pedaço de carne, a visão e o cheiro da carne provocam salivação no animal. Se tocarmos uma campainha, qual o efeito sobre o animal? Uma reação de orientação. Ele simplesmente olha, vira a cabeça para ver de onde vem aquele estímulo sonoro.

42 RNAs - Pavlov - cão Se a campainha for tocada e em seguida for mostrada a carne, dando-a ao cão, e se isso for feito várias vezes, depois de certo número de vezes o simples tocar da campainha provoca salivação no animal, preparando o seu aparelho digestivo para comer. A campainha torna-se um sinal da carne que virá depois. Todo o organismo do animal reage como se a carne já estivesse presente, com salivação, secreção digestiva, motricidade digestiva etc. Um estímulo sonoro, passa a ser capaz de provocar alterações digestivas.

43 RNAs - Pavlov Teoria dos reflexos condicionados

44 RNAs - Histórico

45 RNAs McCulloch e Pitts (1943) O artigo intitulado A logical calculus of the ideas immanent in Nervous activity publicado por Warren McCulloch em conjunto com o estatístico Walter Pitts, tornou-se a principal referência para a área das redes neurais artificiais. Este foi o primeiro artigo a considerar o cérebro como mecanismo computacional. Foi determinado o neurônio booleano.

46 RNAs - McCulloch (1943) Tratou o cérebro como mecanismo computacional Médico, filósofo, matemático e poeta (Kovács)

47 RNAs - Neurônio Booleano O modelo de neurônio booleano era extremamente simples; Porém, baseado neste modelo, McCulloch implementou várias funções onde eram atribuídas às entradas um ganho arbitrário, gerando uma soma ponderada (ou subtração, no caso de sinapses inibitórias), resultando em uma única saída: pulso se a soma exceder a um certo limiar; não pulso caso contrário.

48 RNAs - Neurônio Booleano Suposições de McCulloch e Pitts: 1) A atividade de um neurônio é um processo tudo ou nada (binário); 2) Um número mínimo de sinapses (>1) deve ser excitado em um período para ativar o neurônio; 3) O único atraso nos sistemas se dá nas sinapses; 4) A atividade de uma sinapse inibitória é absoluta; 5) A estrutura de interconexões não se modifica.

49 RNAs - Neurônio Booleano

50 RNAs - Neurônio Booleano ou

51 RNAs - Neurônio Booleano e

52 RNAs - Neurônio Booleano e sinapse inibitória é absoluta

53 Neurônio Booleano & Pavlov

54 Neurônio Booleano & Pavlov

55 Neurônio Booleano & Pavlov reforço

56 Razões para utilização das RNAs Paralelismo Capacidade de adaptação Memória distribuída Capacidade de generalização Facilidade de construção

57 Boas aplicações para as RNAs Regras de resolução do problema desconhecidas ou difíceis de formalizar Dispõe-se de um grande conjunto de exemplos e suas soluções Necessita-se de grande rapidez na resolução do problema (p.ex. tempo real) Não existem soluções tecnológicas atuais

58 Domínio de aplicações de RNAs Reconhecimento de formas Tratamento de sinal Visão, fala Previsão e modelagem Auxílio à decisão Robótica

59 Referências Fernando Deschamps UFSC; Paulo Marins Engel UFRGS; Haykin, Simon. Redes Neurais princípios e prática. 2.ed. Porto Alegre: Bookman, Braga, Carvalho e Ludermir. Redes Neurais Artificiais teoria e aplicações. Rio: LTC, Livro do Kovalsky; Lâminas do prof. Júlio Cesar Nievola, da PUC/PR; Lâminas de Leandro Augusto da Silva; Lâminas do Cin-UFPE;