Sistemas Inteligentes baseados em Redes Neurais Artificiais aplicados ao Processamento de Imagens

Transcrição

1 Sistemas Inteligentes baseados em Redes eurais rtificiais aplicados ao Processamento de Imagens Coordenador do Projeto: Prof. Dr. Fernando Osório olsista CPq : João Ricardo ittencourt UISC - Santa Cruz do Sul Junho de 2000 UISIOS - Centro de Ciências Exatas e Tecnológicas (C6/6) Curso de Informática - Mestrado em Computação plicada osorio@exatas.unisinos.br Web: Tópicos abordados 1. Introdução & Conceitos ásicos 1.1. Projeto HMLT 1.1. Inteligência: Humana e rtificial 1.2. prendizado de máquinas 2. Redes eurais rtificiais - Rs 2.1. Conceitos ásicos 2.2. Representação de Conhecimentos 2.3. Modelos de Rs 2.4. prendizado eural 2.5. Discussão: vantagens / desvantagens 3. Processamento de Imagens 3.1. Conceitos e plicações Tratamento de Imagens Reconhecimento de Padrões 3.2. Processamento de Imagens Convencional 3.3. Processamento de Imagens eural 3.4. Exemplos de plicações: OCR, Filtros, etc. 6. Conclusões e Perspectivas 2 1

2 Introdução: Contexto da Pesquisa Inteligência Humana Inteligência rtificial prendizado Humano prendizado de Máquinas Métodos de Raciocínio e quisição de Conhecimentos Múltiplos Sistemas Híbridos 3 Introdução Inteligência Humana Inteligência rtificial prendizado Humano prendizado de Máquinas Métodos de Raciocínio e quisição de Conhecimentos Múltiplos Sistemas Híbridos Sistemas Inteligentes Híbridos Projeto de Pesquisa HMLT - Hybrid Machine Learning Tools Ferramentas Híbridas de prendizado para o Máquinas Coordenador... Prof. Fernando Osório olsistas de Iniciação Científica... Carla Medeiros arros João Ricardo de ittencourt Menezes Rafael Guterres Jeffman Mestrando... Farlei Heinen Cooperação: Laboratoire LEIIZ - Grenoble, França e LRI/UFRGS 4 2

3 ITELIGÊCI: Humana e rtificial REPRODUZIR ITELIGÊCI HUM - O que é Inteligência? - O que é um ser Inteligente? 5 ITELIGÊCI: Humano e rtificial REPRODUZIR ITELIGÊCI HUM - O que é Inteligência? - O que é um ser Inteligente? * ssociação de idéias e conceitos * Concluir coisas * Capacidade de aprendizado * cúmulo de conhecimentos * Raciocínio: lógico, abstrato, dedução, analogia, indução, inferência, síntese, análise * Uso prático de experiências e conhecimentos passados * Tomada de decisões * Criar coisas novas (criatividade) * Saber o que eu sei (saber explicar) * Interação * Comunicação 6 3

4 Inteligência rtificial: Conceitos ásicos REPRODUZIR ITELIGÊCI HUM - Conceito de Inteligência: CPCIDDE DE RESOLVER PROLEMS CPCIDDE DE PREDER CPCIDDE DE SE DPTR / MELHORR - Realizar tividades Inteligentes - Sistemas Inteligentes: * Sistemas Especialistas * Sistemas de poio ao Diagnóstico e a Decisão * Reprodução de atividades típicas dos seres humanos: Fala, udição, Visão, Deslocamento, Manipulação de Objetos, etc. * Jogos: jogo da velha, xadrez, jogos de ação 7 Inteligência rtificial: Conceitos ásicos REPRODUZIR ITELIGÊCI HUM - Sistemas Inteligentes: CPCIDDE DE RESOLVER PROLEMS CPCIDDE DE PREDER CPCIDDE DE SE DPTR / MELHORR Grandes Desafios: - Linguagem / PL - Visão rtificial - Robótica utônoma «Sentidos Humanos «* Problema escolhido: Processamento de Imagens * Ferramentas Usadas: Redes eurais & Sistemas Híbridos 8 4

5 Inteligência rtificial: dquirindo e usando conhecimentos Sistemas Especialistas Módulo de Explicação Usuário ase de Conhecimentos Motor de Inferência Interface com o usuário Módulo de quisição de Conhecimentos Expert 9 Sistema Especialista: Exemplo ásico e Introdutório: Sistema de auxílio ao diagnóstico de pacientes Médico: 8 perguntas sobre os sintomas do paciente (resposta: S / ) Sintomas: 1 = Dor de Cabeça, 2 = Febre, 3 = Problemas digestivos,... ase de Conhecimentos do Médico Diagnóstico S S S S S S Gripe S S S S S Sem problemas S S S S Morte certa S S S S Morte certa Criar uma árvore binária de decisão baseada na tabela de conhecimentos Consultas ao sistema: S,,S,,S,,S, => Diagnóstico? S,,?,?,S,,S, => Diagnóstico? 10 5

6 S 1 S 2 S S 3 3 S S S S Diagnóstico S S S S S S Gripe S 7 S S S S S OK S S S S Morre??? S 8 Morre S S S S Morre 11 Inteligência rtificial: Sistemas Especialistas Sintomas Gerais Variável Tipo Valores 1 Sexo SEXE {feminino, masculino} - 2 Temperatura TEMP Temp_Low Temp_ormal Temp_High Sintomas Continuo eurológicos {... } 3 Estado CLME {calmo, agitado} - 4 Foto-motores PHOTO {presente, ausente} - (reação das pupilas) 5 Olhar REGRD {normal, anormal} - 6 Estado das Pupilas - PUPIL Pupil_myosis Pupil_intermed Pupil_mydriase {myosis, intermediário, mydriase} 7 Tonus muscular - TOUS {hipertonia, hipotonia} 8 Reflexos dos tendões - {vivos, diminuídos} ROT Sintomas cardiológicos 9 Pressão rterial - PS PS_Low PS_ormal PS_High 10 Freqüência Cardíaca - FC FC_Low FC_ormal FC_High 11 Medida ECG QRS QRS_ormal QRS_Prolongado Contínuo Contínuo Continuo {...} {...} {...} 12 Intervalo QT QT {normal, prolongado} - Urina 13 exiga - GLOE_VESICL {sim, não} - Diagnóstico Médico 12 6

7 Inteligência rtificial: Sistemas Especialistas Diagnóstico: Substância tóxica ingerida breviações Substância Tóxica Ocorrência 1 adt, a nti-depressores tri-cíclicos arbitúricos 86 3 ben, b enzodiazepina C Carbamato 68 5 P Fenotiazina M Morfina 13 7 E lcool 137 Combinações a (25), ab (12), abp (9), ab (104), abc (11), abm (5), abp (38), ap (5), (8), b (23), bcp (5), cp (13), ben (37), bc (24), bm (8), bp (31), c (5), p (5), Ea (12), Eab (36), Eabp (8), E (12), E (6), Eb (5), Ebp (5), Eb (32), Ebc (10), Ebp (11) Tabela - Os diferentes tipos de substâncias tóxicas da base de dados 13 Inteligência rtificial: prendizado de Máquinas * Sistemas Especialistas de 1a. Geração: - quisição manual de conhecimentos - Problemas: ase de Conhecimentos (regras e fatos) * Sistemas Especialistas de 2a. Geração: - quisição automática de conhecimentos - Integração de diferentes métodos da I.. Sistemas Híbridos 14 7

8 Inteligência rtificial: prendizado de Máquinas Inteligência rtificial Sistemas Inteligentes prendizado de Máquinas Representação de Conhecimentos Sistemas Especialistas KS, robótica, visão artificial,... CR, ILP, indução de árvores de decisão, redes neurais algoritmos genéticos,... Métodos Simbólicos Métodos baseados em: Redes eurais rtificiais Regras Fuzzy Regras ayesianas (probab.) 15 Inteligência rtificial: prendizado de Máquinas - O que é o aprendizado? * daptação do comportamento (melhoria) * Correção dos erros cometidos no passado * Otimização da performance do sistema (melhoria) * Interação com o meio, experimentação e descoberta * Representação do conhecimento adquirido Memória e compressão dos conhecimentos 16 8

9 prendizado de Máquinas / Machine Learning Conhecimentos Teóricos / Simbólicos XOR = ( Or ) nd ot ( nd ) ou XOR = ( nd ot ( ) ) Or ( ot ( ) nd ) Conhecimentos Empíricos / Dados XOR prendizado de Máquinas / Machine Learning Conhecimentos Teóricos / Simbólicos Se existem 2 casas na horizontal, vertical ou diagonal com uma marca do jogador oponente e a terceira casa está livre Então jogar nesta casa! Conhecimentos Empíricos / Dados X2 X O1 O3 X4 O5 18 9

10 Métodos de prendizado de Máquinas prendizado por analogia / por instâncias Sistemas baseados em casos CR - Case ased Reasoning prendizado por Indução Indução de Árvores de Decisão ID3, C4.5, C2 - Induction of Decision Trees ILP - Inductive Logic Programming (Prolog) prendizado por evolução/seleção lgoritmos Genéticos G e GP - Genetic lgorithms / Genetic Programming prendizado por reforço (reinforcement learning) prendizado ayesianno (probabilista) prendizado eural MLP ack-propagation - rtificial eural etworks 19 Redes eurais rtificiais: prendizado de Máquinas Redes eurais rtificiais: eurônio... Modelo Simulado Modelo SIMPLIFICDO Características ásicas: daptação prendizado utômato Representação de Conhecimentos: aseada em Conexões 20 10

11 Redes eurais rtificiais: Origem PSYCHO McCulloch & Pitts 1943 Saída Entradas Excitatórias Integrador de Estímulos Entradas Inibitórias 21 X 1 X 2 X... Entradas (Dendritos) Perceptron EURL... W 1 W 2 W Pesos Sinápticos (Efeito de inibição ou de excitação sobre a ativação dos sinais de entrada) et = Σ Wi.Xi + iais i tivação (Considera o conjunto total das entradas e dos seus pesos associados) Fct (et) Função de tivação (Regulagem da saída da rede) Saída (xônio: Conexões com as Sinapses de outras unidades) 22 11

12 X 1 X 2 X... Entradas (Dendritos) EURL... W 1 W 2 W et = Σ Wi.Xi + iais i Fct (et) Pesos Sinápticos (Efeito de inibição Rede ou eural de excitação com apenas 2 entradas: sobre a ativação dos sinais de entrada) X, Y - Entradas (Valores numéricos) W tivação 1, W 2 - Pesos Sinápticos (Considera o conjunto total das Saída = Σ Wi.Xi + iais entradas e dos seus pesos associados) Função de tivação (Regulagem da saída da rede) = W 1. X + W 2. Y + C Saída (xônio: Conexões com as Sinapses de outras unidades) 23 Rede eural com apenas 2 entradas: X, Y - Entradas (Valores numéricos) W 1, W 2 - Pesos Sinápticos Saída = Σ Wi.Xi + iais = W 1. X + W 2. Y + C X Y D Y (0,1) 0 1 (1,1) Representação Geométrica do Problema 0 0 (0,0) (1,0) X 24 12

13 Rede eural com apenas 2 entradas: X, Y - Entradas (Valores numéricos) W 1, W 2 - Pesos Sinápticos Saída = Σ Wi.Xi + iais = W 1. X + W 2. Y + C X Y D Y (0,1) 0 1 (1,1) Representação Geométrica do Problema Como classificar? Separar as classe 0 0 (0,0) (1,0) X 25 Redes eurais: Representação de Conhecimentos Reta, Plano ou Hiper-plano de separação das classes -1 Classe : X*W1+Y*W2 < 0 Entrada Y +1 Y 1 P(X 1,Y 1 ) -1 X 1 - Classe - Classe P(X 1,Y 1 ) = Classe Classe : X*W1+Y*W2 > 0 Entrada X +1 Entradas: X, Y Reta: X*W1+Y*W2=

14 MLP - Multi-Layer Perceptron prendizado: ack-propagation Saída Pesos Wij Unit j Camada Oculta Unit i Entradas Redes eurais: Modelos Conexionistas 27 Saída Saídas Camada Oculta Camadas Ocultas Entradas C (a) Rede de três camadas (b) Rede com atalhos (c) Rede com múltiplas camadas tv = Σ W 1 +W 2 +W 3 W 1 W2 X W 3 (d) Rede recorrente (e) Rede de ordem superior Redes eurais: Modelos Conexionistas 28 14

15 Redes eurais: Modelos Conexionistas Y Redes à base de Protótipos : Entradas - X,Y Saída - Classes (, ou C) Y 2 Y 1 Y 3 C C C C C C C C C CC C : Exemplos da classe : Exemplos da classe C: Exemplos da classe C X 1,Y 1 - Protótipo da classe X 2,Y 2 - Protótipo da classe X 3,Y 3 - Protótipo da classe Protótipos: * Centro de Gravidade * Raio de influência (x,y) Teste de similaridade: * Distância Euclidiana X 1 X 2 X 3 X 29 Redes eurais: Modelos Conexionistas Em relação as unidades da rede: * Redes baseadas em Perceptrons (MLP - Multi-Layer Perceptron) * Redes baseadas em Protótipos (RF - Radial asis Function) Em relação a estrutura da rede: * Redes de uma única camada * Redes de múltiplas camadas * Redes do tipo uni-direcional (Feed-Forward) * Redes do tipo recorrentes (Feed-ack) * Redes com estrutura estática (não altera sua estrutura) * Redes com estrutura dinâmica (altera a estrutura) * Redes com conexões de ordem superior 30 15

16 Redes eurais: prendizado Em relação ao aprendizado: * prendizado supervisionado * prendizado semi-supervisionado (reinforcement learning) * prendizado não supervisionado (self-organizing, clustering) * prendizado instantâneo * prendizado por pacotes * prendizado contínuo * prendizado ativo * prendizado: aproximação de funções * prendizado: classificação * Usar apenas uma base de exemplos de aprendizado * Usar uma base de aprendizado e uma base de teste de generalização 31 Redes eurais: prendizado eural PREDIZDO = daptação das conexões (pesos sinápticos) Medida do Erro de Saída Configuração Inicial dos Pesos da Rede Descida do Gradiente de uma Superfície de Erro Configuração Final (após adaptação) Mínimos Locais Mínimo Global Mudanças na Configuração dos Pesos Sinápticos 32 16

17 Redes eurais: prendizado eural REGR DELT: Perceptron [Rosenblatt] / daline [Widrow] Erro = SD - S Erro = Erro estimado na saída de um neurônio SD = Saída Desejada (valor desejado de saída do aprendizado supervisionado) S = Saída Rede (valor de saída que foi obtido pela ativação do neurônio) Peso_ovo(i) = Peso_ntigo(i) + β * Erro(i) * Entrada(i) Entrada(i) Peso_ovo(i) = Peso da entrada i de um neurônio, após a adaptação Peso_ntigo(i) = Peso da entrada i de um neurônio, antes da adaptação Entrada(i) = Valor da entrada i de um neurônio β = Fator de ajuste aplicado aos pesos (valor entre 0 e 1) 33 Redes eurais: prendizado eural Método da Descida do Gradiente - Multi-Layer Perceptron (MLP) ackpropagation Erro quadrático: 1 E = 2 i ( Di i) Derivação da regra de reajuste dos pesos (eurônios da camada de saída - saída linear) 2 juste dos Pesos: Wij = α Wij = i = δi Xj Wij i Wij = - (Di - i) = δi i i Wij = Xj Wij = α.δi.xj = α.(di - i).xj 34 17

18 Redes eurais: prendizado eural Método da Descida do Gradiente - Multi-Layer Perceptron (MLP) ackpropagation Erro quadrático: 1 E = 2 i ( Di i) 2 juste dos Pesos: Wij = α Wij = Si Derivação da regra de reajuste dos pesos = δi Xj (eurônios da camada de saída - usando a sigmoide) Wij Si Wij Si = i = - (Di - i).fa'(si) = δi i Si = - (Di - i) i i = Fa'(Si) Si Si Wij = Xj 1 Fa( x) = + Fa'(x) = Fa(x).(1 - Fa(x)) 1 e x Fa'(Si) = Fa(Si).(1 - Fa(Si)) = i.(1 - i) Fa(x) = tanh (x) Fa'(x) = (1 - Fa(x).Fa(x)) Fa'(Si) = (1 - Fa(Si).Fa(Si)) = (1 - i.i) Wij = α.δi.xj = α.(di - i).fa'(si).xj 35 Redes eurais: prendizado eural Método da Descida do Gradiente - Multi-Layer Perceptron (MLP) ackpropagation Erro quadrático: 1 E = 2 i ( Di i) 2 Derivação da regra de reajuste dos pesos = Si Wij Si Wij = δixj (Camada intermediária da rede = Hidden Layer) Si = i i Si = - Fa'(Si). δkwki = δi k i = Sk k Sk i = Whkh =... k Sk i h... = k Sk Wki = δkwki k i Si = Fa'(Si) Si Wij = Xj Wij = α.δi.xj = α.xj.fa'(si). δkwki k juste dos Pesos: Wij = α Wij 36 18

19 Erro na Saída da Rede PREDIZDO: GEERLIZÇÃO prendizado: Parada tardia Dados de Teste Dados de prendizado úmero de Épocas Erro na Saída da Rede Parada usando a Validação Cruzada (ponto ótimo de generalização) Dados de Teste Dados de prendizado úmero de Épocas 37 Redes eurais rtificiais: plicações Práticas Sistemas de auxílio ao Diagnóstico: Médico, Falhas de Sistemas, etc; Previsão de Séries Temporais: Cotações da olsa de Valores, Dados Econômicos, Consumo de Energia Elétrica, Metereologia, etc; Processamento de Linguagem atural - PL (Textos e Web); Data Mining & KDD (Knowledge Data Discovery); Robótica Inteligente; Sistemas de Controle e utomação; Reconhecimento e Síntese de Voz; Processamento de Sinais: Radar, Sensores, etc. UCI-ML - University of California Irvine - Machine Learning Repository

20 Redes eurais rtificiais: plicações Práticas PROJETO HMLT PLICÇÕES DS REDES EURIS EM * PROCESSMETO DE IMGES * ROÓTIC UTÔOM * DT MIIG 39 Conclusão e Perspectivas * Importância do prendizado nos Sistemas Inteligentes * prendizado eural: propriedades interessantes... Robustez, Paralelismo, Generalização, Entradas/Saídas Quantitativas * Processamento de Imagens: área de estudos de grande interesse para a I.. Visão rtificial - Desafio * Processamento de Imagens usando Sistemas Inteligentes: Redes eurais - Ferramenta bastante adequada para se tratar imagens * Redes eurais aplicadas ao processamento de imagens: Tratamento de Imagens / Reconhecimento e Classificação de Imagens * Resultados são bastante promissores * Tendência: Sistemas Híbridos Integrar => Pré-Processamento, Pós-Procesamento Cooperação - Multi-agente, Modular Tarefas complexas e de alto nível 40 20

21 Inteligência rtificial: Perspectivas Hybrid Machine Learning Tools Grupo de Inteligência 41 21