Sistemas Híbridos Inteligentes: prendizado e Integração Neuro-Simbólica >> HMLT - Hybrid Machine Learning Tools << Palestra: UCS - Universidade de Caxias do Sul Outubro 2001 presentação: Prof. Dr. Fernando Osório Grupo de Inteligência rtificial - PIPC Web: http://inf.unisinos.br/~osorio/gia.html Mestrado em Computação plicada - Unisinos UNISINOS - Centro de Ciências Exatas e Tecnológicas (C6/6) - Curso de Informática Programa Interdisciplinar de Pós-Graduação em Computação plicada - PIPC E-mail: osorio@exatas.unisinos.br Projetos de Pesquisa: Web: http://www.inf.unisinos.br/~osorio/ HMLT, FGNIS, COHR * Perfil do Programa: Área ásica: Ciência da Computação Área de Concentração: Modelagem e Simulação Modalidade: Mestrado cadêmico - Reconhecido pela CPES * Linhas de Pesquisa: Inteligência rtificial Pesquisa Operacional Redes de Computadores e Sistemas Distribuídos Processamento Gráfico e de Sinais Inscrições bertas Computação Científica 1
Inteligência rtificial Áreas de estudo e de aplicação: I.. Simbólica: CR, Expert Systems, Prolog prendizado de Máquinas - Machine Learning Sistemas daptativos: Redes Neurais, lgoritmos Genéticos, Indução de Árvores de Decisão, Redes ayesianas - Sistemas Híbridos Processamento de Linguagem Natural (PLN) Extração de Conhecimentos de ases Textuais I.. Distribuída e Multi-gentes Mineração de Dados (Data Mining) / KDD (Knowledge Data Discovery) Lógica Nebulosa (Fuzzy Logic) GI - PIPC Robótica Inteligente Controle de Processos daptativo Tópicos bordados: Sistemas Híbridos Inteligentes / Hybrid Machine Learning Tools 1. Conceitos básicos: Inteligência e prendizado Soluções Híbridas Representação de Conhecimentos: Métodos Simbólicos e Métodos Conexionistas - prendizado de Máquinas 2. Sistemas Híbridos Inteligentes 3. Sistemas Híbridos Neuro-Simbólicos SYNHESYS KNN INSS 4. Discussão sobre os Sistemas Híbridos Considerações Finais 5. Referências: ibliografia e Material Complementar 2
Inteligência: do Humano ao rtificial REPRODUZIR INTELIGÊNCI HUMN - O que é Inteligência? - O que é um ser Inteligente? Inteligência: do Natural ao rtificial REPRODUZIR INTELIGÊNCI HUMN - O que é Inteligência? - O que é um ser Inteligente? * ssociação de idéias e conceitos * Concluir coisas * Capacidade de aprendizado * cúmulo de conhecimentos * Raciocínio: lógico, abstrato, dedução, analogia, indução, inferência, síntese, análise * Uso prático de experiências e conhecimentos passados * Tomada de decisões * Criar coisas novas (criatividade) * Saber o que eu sei (saber explicar) * Interação * Comunicação 3
Inteligência rtificial: Conceitos ásicos REPRODUZIR INTELIGÊNCI HUMN - Conceito de Inteligência: CPCIDDE DE RESOLVER PROLEMS CPCIDDE DE PRENDER CPCIDDE DE SE DPTR / MELHORR - Realizar tividades Inteligentes - Sistemas Inteligentes: * Sistemas Especialistas * Sistemas de poio ao Diagnóstico e a Decisão * Reprodução de atividades típicas dos seres humanos: Fala, udição, Visão, Deslocamento, Manipulação de Objetos, etc. * Jogos: jogo da velha, xadrez, jogos de ação Sistemas Híbridos - Uma nova abordagem * Características / Propriedades: - Explorar a complementaridade dos módulos - Divisão de tarefas / Especialização - Modularidade = Múltiplas inteligências - Diversificação dos conhecimentos: Representação dos conhecimentos Novas fontes de conhecimentos Principal exemplo: SER HUMNO 4
Inteligência rtificial: Soluções Híbridas Inteligência Humana Inteligência rtificial prendizado Humano prendizado de Máquinas Métodos de Raciocínio e quisição de Conhecimentos Múltiplos Sistemas Híbridos * Sistemas Especialistas de 1a. Geração: - quisição manual de conhecimentos - Problemas: ase de Conhecimentos (regras e fatos) * Sistemas Especialistas de 2a. Geração: - quisição automática de conhecimentos - Integração de diferentes métodos da I.. Sistemas Híbridos Inteligência rtificial: Soluções Híbridas Inteligência Humana Inteligência rtificial prendizado Humano prendizado de Máquinas Métodos de Raciocínio e quisição de Conhecimentos Múltiplos Sistemas Híbridos Sistemas Inteligentes Híbridos Projeto de Pesquisa HMLT - Hybrid Machine Learning Tools Ferramentas Híbridas de prendizado para o Máquinas Coordenador... Prof. Fernando Osório olsistas de Iniciação Científica... Carla Medeiros arros (ex-bolsista) João Ricardo de ittencourt Menezes Rafael Guterres Jeffman Mestrando... Farlei Heinen (PIPC 2000/2001) Cooperação: Laboratoire LEINIZ - Grenoble, França PRIS / NUS - National University of Singapore 5
Inteligência rtificial: prendizado de Máquinas Inteligência rtificial Sistemas Inteligentes prendizado de Máquinas Representação de Conhecimentos Sistemas Especialistas KS, robótica, visão artificial,... CR, ILP, indução de árvores de decisão, redes neurais algoritmos genéticos,... Métodos Simbólicos Métodos baseados em: Redes Neurais rtificiais Regras Fuzzy Regras ayesianas (probab.) Inteligência rtificial: prendizado de Máquinas Inteligência rtificial Sistemas Inteligentes prendizado de Máquinas Representação de Conhecimentos Sistemas Especialistas KS, robótica, visão artificial,... CR, ILP, indução de árvores de decisão, redes neurais algoritmos genéticos,... Métodos Simbólicos Métodos baseados em: Redes Neurais rtificiais Regras Fuzzy Regras ayesianas (probab.) 6
Métodos Simbólicos: quisição de Conhecimentos ase de Conhecimentos (regras + fatos) Conversão para um formato de representação interno quisição Explicitação utomática Conhecimentos sobre uma área de aplicação: Conhecimentos do especialista Teorias sobre o domínio de aplicação Resultados de experiências praticas (casos conhecidos) Métodos Simbólicos: Representação de Conhecimentos * Sistemas baseados em conhecimentos: KS - Knowledge ase Systems, Expert Systems (Frames e Redes Semânticas) Rule asedsystems, Production Rule Systems * Sistemas baseados em regras de lógica difusa ou nebulosa Fuzzy Expert Systems * Sistemas baseados em probabilidades Redes ayesianas * Sistemas baseados em casos ou exemplos CR - Case ased Reasoning * Árvores de decisão IDT - Inductive Decision Trees * lgoritmos Genéticos G - Genetic lgorithms Sistemas Especialistas baseados em Conhecimento Simbólico Dado um problema: ssume-se usualmente => Conhecimento é Completo e Correto 7
Métodos Simbólicos: Representação de Conhecimentos Regras booleanas: Se temp_paciente_normal e não_tem_febre Então tomar_remédio = Não Entradas discretizadas: Se temp_paciente = anormal e (febre = média ou febre = alta) Então tomar_remédio = Sim Entradas quantitativas: Se temp_paciente > 37.0 Então tomar_remédio = Sim Contexto - Relação entre 2 entradas: Se temp_paciente > temp_médico Então tomar_remédio = Sim Intervalos: Se pertence_ao_intervalo (temp_paciente, 37.0, 39.0) Então tomar_remédio = Sim Saída numérica: Se grau_de_pertinência (temp_paciente, 37.0, 39.0 ) Então remédio = quantidade (temp_paciente) Saída com probabilidade/grau de certeza: Se temp_paciente > 37.0 Então tomar_remédio com grau_de_certeza(diagnóstico=tomar_remédio) nálise de evolução do comportamento: Se aumentou(temp_paciente) Então aumenta(medicação) Métodos Simbólicos: Representação de Conhecimentos Conhecimentos Teóricos XOR = ( Or ) nd Not ( nd ) ou XOR = ( nd Not ( ) ) Or ( Not ( ) nd ) Conhecimentos Empíricos XOR 0 0 0 0 1 1 1 0 1 1 1 0 8
Métodos Simbólicos: Representação de Conhecimentos Conhecimentos Teóricos / Simbólicos Se existem 2 casas na horizontal, vertical ou diagonal com uma marca do jogador oponente e a terceira casa está livre Então jogar nesta casa! Conhecimentos Empíricos / Dados X2 X O1 O3 X4 O5 Métodos de prendizado de Máquinas prendizado por analogia / por instâncias Sistemas baseados em casos CR - Case ased Reasoning prendizado por Indução Indução de Árvores de Decisão ID3, C4.5, CN2 - Induction of Decision Trees ILP - Inductive Logic Programming (Prolog) prendizado por evolução/seleção lgoritmos Genéticos G e GP - Genetic lgorithms / Genetic Programming prendizado por reforço (reinforcement learning) prendizado ayesianno (probabilista) prendizado Neural MLP ack-propagation - rtificial Neural Networks 9
SE DE DDOS SORE O PROLEM NÚMERO CÉU TEMPERTUR HUMIDDE VENTO CLSSE 1 ensolarado elevada alta não N 2 ensolarado elevada alta sim N 3 coberto elevada alta não P 4 chuvoso média alta não P 5 chuvoso baixa normal não P 6 chuvoso baixa normal sim N 7 coberto baixa normal sim P 8 ensolarado média alta não N 9 ensolarado baixa normal não P 10 chuvoso média normal não P 11 ensolarado média normal sim P 12 coberto média alta sim P 13 coberto elevada normal não P 14 chuvoso média alta sim N Tabela Conjunto de dados de aprendizado : Condições meteorológicas N = Negativo (tempo ruim) P = Positivo (tempo bom) SIMÓLICO P=2 N=3 Ensolarado HUMIDDE CÉU Coberto P=9 N=5 Chuvoso VENTO P=3 N=2 Normal lta Verdadeiro P Falso P=4 Questão (corte) Caso Positivo (P) Caso Negativo (N) P P=2 N N=3 N N=2 P P=3 Classe (folha) IF ( ( CÉU=Ensolarado and HUMIDDE=Normal ) or ( CÉU=Coberto ) or ( CÉU=Chuvoso and VENTO=Falso) ) Then Classe = P RVORE DE DECISÃO 10
Métodos Simbólicos: Árvores de Decisão 20 18 16 14 12 10 8 Y ção3 ção2 ção3 Entradas: X = [0..30] Y = [0..20] Saídas (ções): ção1, ção2, ção3 Árvore de Decisão: Sim Y<=10 Não 6 4 ção1 ção1 Sim X<=10 Não 2 ção3... 3 6 9 12 15 18 21 24 27 30 X prendizado de Máquinas: lgoritmos Genéticos Reprodução Seleção Natural (Fitness) Combinação (Crossover) Mutação População Original 11
prendizado de Máquinas: lgoritmos Genéticos XOR :- XOR :- XOR 0 0 0 0 1 1 1 0 1 1 1 0 XOR : = ( or ) nd Not ( nd ) Reprodução Combinação Mutação Ok? lgumas gerações depois... XOR :- XOR :- or XOR :- and XOR :- Not () XOR :- Not () XOR :- or XOR :- Not() XOR :- Not () Seleção: Melhor Fitness Métodos Simbólicos: Vantagens e Desvantagens + Conhecimento representado por regras (ou outra estrutura similar) que podem ser facilmente interpretadas e analisadas; + Permite a explicação do processo que levou a uma determinada resposta; + Fácil inserção de novos conhecimentos obtidos à partir do especialista ou através de métodos automáticos de aquisição de conhecimentos; - Necessidade de se trabalhar com conhecimentos completos e exatos sobre um determinado problema; - Dificuldade de explicitar todos os conhecimentos relativos ao problema através de regras simbólicas; - Dificuldade para tratar informações imprecisas ou aproximadas, e valores numéricos (dados quantitativos). 12
I.. - Métodos Conexionistas: Conceitos ásicos Redes Neurais rtificiais: Neurônio... Modelo Simulado Modelo SIMPLIFICDO Características ásicas: daptação prendizado utômato Representação de Conhecimentos: aseada em Conexões X 1 X 2 X N... Entradas (Dendritos) NEURL... W 1 W 2 W N Pesos Sinápticos (Efeito de inibição ou de excitação sobre a ativação dos sinais de entrada) N Net = Σ Wi.Xi + iais i tivação (Considera o conjunto total das entradas e dos seus pesos associados) Fct (Net) Função de tivação (Regulagem da saída da rede) Saída (xônio: Conexões com as Sinapses de outras unidades) 13
X 1 X 2 X N... Entradas (Dendritos) NEURL... W 1 W 2 W N N Net = Σ Wi.Xi + iais i Fct (Net) Pesos Sinápticos (Efeito de inibição Rede ou Neural de excitação com apenas 2 entradas: sobre a ativação dos sinais de entrada) X, Y - Entradas (Valores numéricos) W 1, W 2 - Pesos Sinápticos tivação (Considera o conjunto total das Saída = Σ Wi.Xi + iais entradas e dos seus pesos associados) Saída = Equação da Reta: W 1. X + W 2. Y + C Função de tivação. X +. Y + C = 0 (Regulagem da saída da rede) Saída (xônio: Conexões com as Sinapses de outras unidades) Métodos Conexionistas: Representação de Conhecimentos Reta, Plano ou Hiper-plano de separação das classes -1 Classe : X*W1+Y*W2 < 0 Entrada Y +1 Y 1 P(X 1,Y 1 ) -1 X 1 - Classe - Classe P(X 1,Y 1 ) = Classe Classe : X*W1+Y*W2 > 0 Entrada X +1 Entradas: X, Y Reta: X*W1+Y*W2=0 14
Métodos Conexionistas: Representação de Conhecimentos Y Redes à base de Protótipos : Entradas - X,Y Saída - Classes (, ou C) Y 2 Y 1 Y 3 C C C C C C C C C CC C : Exemplos da classe : Exemplos da classe C: Exemplos da classe C X 1,Y 1 - Protótipo da classe X 2,Y 2 - Protótipo da classe X 3,Y 3 - Protótipo da classe Protótipos: * Centro de Gravidade * Raio de influência (x,y) Teste de similaridade: * Distância Euclidiana X 1 X 2 X 3 X Saída Saídas Camada Oculta Camadas Ocultas C Entradas (a) Rede de três camadas (b) Rede com atalhos (c) Rede com múltiplas camadas tv = Σ W 1 +W 2 +W 3 W 3 W 1 W2 X Redes (d) Rede recorrente (e) Rede de ordem superior Neurais 15
Erro na Saída da Rede prendizado: Parada tardia Dados de Teste PRENDIZDO: GENERLIZÇÃO Dados de prendizado Erro na Saída da Rede Número de Épocas Parada usando a Validação Cruzada (ponto ótimo de generalização) Dados de Teste Dados de prendizado Número de Épocas Métodos Conexionistas: Vantagens e Desvantagens + quisição automática de conhecimentos empíricos à partir de uma base de exemplos de aprendizado referente a um problema; + Manipulação de dados quantitativos, aproximados e mesmo incorretos com uma degradação gradual das respostas; + Grande poder de representação de conhecimentos através da criação de relações ponderadas entre as entradas do sistema; - Dificuldade de configuração das redes em relação à sua estrutura inicial e também no que se refere aos parâmetros dos algoritmos de aprendizado; - Dificuldade de explicitar os conhecimentos adquiridos pela rede através de uma linguagem compreensível para um ser humano; - Dificuldade de convergência (bloqueios) e instabilidade, inerentes aos algoritmos de otimização empregados; - Lentidão do processo de aprendizado / adaptação. 16
Sistemas Híbridos Inteligentes * Conceitos ásicos: - Complementaridade - Divisão de tarefas / Especialização - Modularidade - Diversificação: Representação de Conhecimentos Fontes de quisição de Conhecimentos Exemplo: SER HUMNO Sistemas Híbridos Inteligentes * Combinar as diferentes técnicas: - Árvores de Decisão - lgoritmos Genéticos - Redes Neurais rtificiais - CS (Case ased Reasoning = Raciocínio baseado em Casos) - RS (Rule ased Systems = Sistemas baseados em Regras) - Regras Nebulosas (Fuzzy Rules) - Sistemas Probabilistas (ayesian)... * Exemplos: Neuro+IDT, Neuro+Fuzzy, Neuro+CR, Neuro+G, RS+CR, G+RS,... 17
Sistemas Híbridos Inteligentes: Integração * Módulos ásicos: - Métodos Simbólicos: CR, KS, IDT, G, Fuzzy,... - Métodos Conexionistas: Redes Neurais * Tipos de Integração: - Simbólico-Difuso - Simbólico-Genético - Neuro-Genético - Neuro-CR - Neuro-Simbólicos Neuro-Fuzzy Neuro- IDT Neuro-KS Sistemas Híbridos Inteligentes: Integração ase de Conhecimentos Conversão para um formato de representação interno quisição utomática Conhecimentos sobre uma área de aplicação: Conhecimentos do especialista Teorias sobre o domínio de aplicação Resultados de experiências praticas (casos conhecidos) 18
Sistemas Híbridos Neuro-Simbólicos S.H.N.S. Sistemas Híbridos Neuro-Simbólicos Conexionista Puro Puramente Conexionista = Módulo Conexionista «simbólico» Módulo Simbólico + Módulo Conexionista Puramente Simbólico = Módulo Simbólico «estendido» Simbólico Puro Sistemas Híbridos Método Unificado Método Híbrido Método Unificado Híbrido no sentido amplo Híbrido no sentido restrito Híbrido no sentido amplo 19
X Y X X Y mbiente / Usuário (a) Processamento em Cadeia mbiente / Usuário (b) Sub-Processamento X Y MC MS mbiente / Usuário SHNS (c) Meta-Processamento mbiente / Usuário (d) Co-Processamento MC: Módulo Conexionista - MS: Módulo Simbólico X,Y: MC ou MS - X diferente de Y quisição de Conhecimentos Conhecimentos Teóricos "Regras" quisição de Conhecimentos "Exemplos" Conhecimentos Empíricos 20
quisição de Conhecimentos Conhecimentos Teóricos "Regras" Módulo Simbólico MS quisição de Conhecimentos "Exemplos" Conhecimentos Empíricos Módulo MC Conexionista quisição de Conhecimentos Conhecimentos Teóricos "Regras" Módulo Simbólico MS quisição de Conhecimentos "Exemplos" Conhecimentos Empíricos Módulo MC Conexionista 21
quisição de Conhecimentos Sistema Híbrido Neuro-Simbólico Conhecimentos Teóricos "Regras" Módulo Simbólico MS quisição de Conhecimentos "Exemplos" Conhecimentos Empíricos Transferência de Conhecimentos Módulo MC Conexionista Sistemas Híbridos Neuro-Simbólicos 1. SYNHESYS -. Giacometti Symbolic and NEural Hybrid Expert SYstem Shell Rede incremental baseada em protótipos - RN2 Módulo simbólico de inferência com «Forward/ackward Chaining» 2. KNN - G. Towell Knowledge ased rtificial Neural Networks Rede do tipo MLP com uso do algoritmo ack-propagation Compilação de regras em uma RN, aprendizado e extração de regras 3. INSS - F. Osório Incremental Neuro-Symbolic System Rede incremental do tipo MLP com uso do algoritmo Cascade-Correlation Compilação de regras, aprendizado, extração e validação 22
Sistema SYNHESYS Situação Expert Módulo Simbólico Transferência de Conhecimentos Módulo Conexionista Decisão Gestionário de interações Decisão Expert Sistema SYNHESYS Y Entradas - X,Y Saída - Classe (, ou C) Y 2 Y 1 Y 3 C C C C C C C C C C C C : Exemplos da classe : Exemplos da classe C: Exemplos da classe C X 1,Y 1 - Protótipo da classe X 2,Y 2 - Protótipo da classe X 3,Y 3 - Protótipo da classe Protótipos: * Centro de Gravidade (x,y) * Raio de influência (rx,ry) Teste de similaridade: * Distância Euclidiana X X 1 X 2 X 3 Protótipos: Hiper-elipsoides / Hiper-Esferas 23
Sistema SYNHESYS 20 18 16 14 12 10 8 6 4 2 Y ção3 ção2 ção1 3 6 9 12 15 18 21 24 27 30 Protótipos: Hiper-retângulos ção3 Entradas: X = [0..30] Y = [0..20] Saídas (ções): ção1, ção2, ção3 Regras: R1: Se Y in [0..10] então Y_Fraco R2: Se Y in [10..20] então Y_Forte R3: Se X in [0..10] então X_Fraco R4: Se X in [10..20] então X_Médio R5: Se X in [20..30] então X_Forte R6: Se Y_Fraco então ção1 R7: Se Y_Forte e X_Fraco então ção3 R8: Se Y_Forte e X_Forte então ção3 R9: Se Y in [14..20] e X_Médio então ção2 X Ds : Decisão do Módulo Simbólico Dc : Decisão do Módulo Conexionista Dsc : Decisão Simboli-Conexionista pagar ou adicionar uma regra S I T U Ç Ã O Sem Resposta Módulo Conexionista Forward Chaining Módulo Simbólico ackward Chaining Dc Ds Dc=Ds Dc Ds Dsc Ds/Dc D E C I S Ã O E X P E R T Synhesys prendizado / daptação (Pode usar Ds) 24
Sistemas Híbridos Neuro-Symbólicos 1. SYNHESYS -. Giacometti Symbolic and NEural Hybrid Expert SYstem Shell Rede incremental baseada em protótipos - RN2 Módulo simbólico de inferência com «Forward/ackward Chaining» 2. KNN - G. Towell Knowledge ased rtificial Neural Networks Rede do tipo MLP com uso do algoritmo ack-propagation Compilação de regras em uma RN, aprendizado e extração de regras 3. INSS - F. Osório Incremental Neuro-Symbolic System Rede incremental do tipo MLP com uso do algoritmo Cascade-Correlation Compilação de regras, aprendizado, extração e validação Sistema KNN Conhecimentos simbólicos iniciais Rede Neural inicial Rede Neural após o aprendizado Conhecimentos simbólicos refinados Compilação de regras dentro de uma rede prendizado Conexionista Extração de regras à partir de uma rede 25
Sistema KNN ase de Conhecimentos Simbólicos Conclusões Finais Rede Neural rtificial Unidades de Saída Conclusões Intermediárias Camada Oculta Fatos de ase (Premissas) Unidades de Entrada KNN - Regras e Redes Conhecimentos Teóricos XOR = ( Or ) nd Not ( nd ) ou XOR = ( nd Not ( ) ) Or ( Not ( ) nd ) Conhecimentos Empíricos XOR 0 0 0 0 1 1 1 0 1 1 1 0 Sistema KNN Conhecimentos sobre um domínio de aplicação KNN - quisição de Conhecimentos 26
Sistema KNN Operador E - Conjunção: X :-,, Not(C), Not(D). W > 0 P = 2 X ias: (-P+0.5)*W Operador OU - Disjunção: X :-. X :-. X :- C. X :- D. W > 0 X ias: -0.5*W W W -W -W W W W W C D C D KNN - Compilação de Regras Sistema KNN RN : Multi-Layer Perceptron (MLP) - lgoritmo utilizado : ack-propagation Medida do Erro Configuração Inicial Minimização do Erro: Cálculo baseado no gradiente da curva de erro Mudanças na Configuração dos Pesos Sinápticos Configuração Final (após adaptação) Mínimos Locais Mínimo Global KNN - prendizado 27
lgoritmo SUSET Sistema KNN X ias: θ = -5.0 X :=,, C. X :=,, not(d). X :=, C, not(d). X :=, C, not(d). +3.0 +3.0 +3.0-3.0 C D IF ( and and C) or ( and and Not(D)) or ( and C and Not(D)) or ( and C and Not(D)) THEN X KNN - Extração de Regras Sistema KNN Pontos fracos do Sistema KNN lgoritmo de aprendizado pouco eficiente (ack-propagation) Redes Neurais estáticas ases de conhecimentos (regras e exemplos) com problemas significativos de incompletitude ou de incorreção Mudança do significado das unidades inseridas na rede neural Processo de extração de regras muito pesado (complexo) Extração de regras : implica na análise de todas as unidades da rede Utiliza unicamente regras simbólicas muito simples (compilação e extração) Regras de produção IF/THEN - Representação de conhecimentos pobre Dificuldade para trabalhar com atributos quantitativos (variáveis contínuas) 28
Sistemas Híbridos Neuro-Symbólicos 1. SYNHESYS -. Giacometti Symbolic and NEural Hybrid Expert SYstem Shell Rede incremental baseada em protótipos - RN2 Módulo simbólico de inferência com «Forward/ackward Chaining» 2. KNN - G. Towell Knowledge ased rtificial Neural Networks Rede do tipo MLP com uso do algoritmo ack-propagation Compilação de regras em uma RN, aprendizado e extração de regras 3. INSS - F. Osório Incremental Neuro-Symbolic System Rede incremental do tipo MLP com uso do algoritmo Cascade-Correlation Compilação de regras, aprendizado, extração e validação Sistema INSS Conhecimentos Teóricos Conhecimentos Empíricos quisição de Conhecimentos (Expert / Engenheiro de Conhecimentos) Regras Módulo de Validação Exemplos MS Módulo Simbólico Inserção de Regras Extração de Regras MC Módulo Conexionista [RN] Transfêrencia de Conhecimentos INSS - Incremental Neuro-Symbolic System 29
Sistema INSS Regras Simbólicas Clips MÓDULO SIMÓLICO Conversor Regras > Rede NeuComp Rede Inicial Sistema INSS Regras Simbólicas Clips MÓDULO SIMÓLICO MÓDULO CONEXIONIST NeuSim Conversor Regras > Rede NeuComp Rede Inicial Rede Refinada Exemplos 30
Sistema INSS Regras Simbólicas Clips MÓDULO SIMÓLICO MÓDULO CONEXIONIST NeuSim Conversor Regras > Rede NeuComp Rede Inicial Rede Refinada Regras Refinadas Conversor Rede > Regras Extract Exemplos Sistema INSS Regras Simbólicas Clips MÓDULO SIMÓLICO MÓDULO CONEXIONIST NeuSim Exemplos Conversor Regras > Rédes NeuComp Rede Inicial Rede Refinada Regras Refinadas Conversor Redes > Regras Extract M Ó D U L O D E V L I D Ç Ã O 31
Sistema INSS Regras Simbólicas Clips MÓDULO SIMÓLICO MÓDULO CONEXIONIST NeuSim Exemplos Conversor Regras > Rede NeuComp Rede Inicial Rede Refinada Regras Refinadas Conversor Rede > Regras Extract M Ó D U L O D E V L I D Ç Ã O INSS : Compilação de Regras $Features: :binary; :binary. $End_Feat. $Rules: _OR_ <- ; _OR_ <- ; _ND_ <-,; XOR <- _OR_, _ND_(false). $End_rules. $End. %% %% Exclusive Or - Lógica ooleana %% Xor = ( Or ) nd Not( nd ) %% _OR_ XOR Wij / ias _ND_ 32
INSS: Compilação de Regras Regras de ordem 0 + Valor de Saída Valor de Entrada (Trait) Valor de Entrada (Trait) Greater_Than (Variável, Valor) In_Range (Variável, Min, Max) Greater_Than (Variável, Variável) Equal (Variável, Valor) Less_Than (Variável, Valor) Equal (Variável, Variável) Less_Than (Variável, Variável) INSS : Rede Neural Incremental lgoritmo Cascade-Correlation (CasCor) 33
INSS e Rule_Out : Extração de Regras lgoritmo de extração de regras : SUSET [Towell] RULE_OUT: * Extrair os novos conhecimentos adquiridos * Extrair as regras mais importantes - Seleção das unidades (neurônios) para a extração - Seleção das conexões para a extração * Em estudo : regras de ordem 0 + (Fuzzy) X Vantagens: * Extração incremental de conhecimentos * Validação dos conhecimentos adquiridos INSS : Validação dos Conhecimentos Conhecimentos Teóricos R1 : If ( Or ) Then XOR=1 R2 : If Not ( nd ) Then XOR=1 R3 : If ( nd ) Then XOR=0 R4 : If Not () nd Not ( ) Then XOR=0 Conhecimentos Empíricos Ex. XOR E1 0 0 0 E2 0 1 1 E3 1 0 1 E4 1 1 1 Validação Incoerência entre R3 (Saída=0) e E4 (Saída=1) Não existem regras que satisfaçam E4 34
Sistema INSS Pontos fortes do Sistema INSS lgoritmo de aprendizado com um ótimo desempenho (Cascade-Correlation) Rede Neural do tipo incremental Permite o uso de conhecimentos (regras e exemplos) incompletos ou incoerentes Não modifica o significado das unidades inseridas na rede Processo incremental de extração de regras Extração de regras: análise parcial da rede (+ eficaz) Utiliza regras simbólicas de ordem 0 e 0 + (compilação) Trabalha com atributos quantitativos (variáveis contínuas) e qualitativos (variáveis discretas) prendizado de Máquinas Construtivo Sistema INSS : plicações Problemas rtificiais de Classificação (Monk s Problems - S. Thrun) juda ao Diagnóstico Médico - Comas Tóxicas (Projeto Esprit MIX) Robótica utônoma (Robô móvel Khepera) Problema da alança (alance Scale Problem - T. Shultz) 35
Sistema INSS : plicações Sintomas Gerais Variável Tipo Valores 1 Sexo SEXE Discreto {feminino, masculino} - 0/1 2 Temperatura TEMP Temp_Low Temp_Normal Temp_High Sintomas Continuo Discreto Discreto Discreto Neurológicos {... } 0/1 0/1 0/1 3 Estado CLME Discreto {calmo, agitado} - 0/1 4 Foto-motores PHOTO Discreto {presente, ausente} - 0/1 (reação das pupilas) 5 Olhar REGRD Discreto {normal, anormal} - 0/1 6 Estado das Pupilas - PUPIL Pupil_myosis Pupil_intermed Pupil_mydriase Discreto Discreto Discreto Discreto {myosis, intermediário, mydriase} 0/1 0/1 0/1 7 Tonus muscular - TONUS Discreto {hipertonia, hipotonia} 8 Reflexos dos tendões - Discreto {vivos, diminuídos} ROT Sintomas cardiológicos 9 Pressão rterial - PS PS_Low PS_Normal PS_High 10 Freqüência Cardíaca - FC FC_Low FC_Normal FC_High 11 Medida ECG QRS QRS_Normal QRS_Prolongado Contínuo Discreto Discreto Discreto Contínuo Discreto Discreto Discreto Continuo Discreto Discreto {...} 0/1 0/1 0/1 {...} 0/1 0/1 0/1 {...} 0/1 0/1 12 Intervalo QT QT Discreto {normal, prolongado} - 0/1 Urina 13 exiga - GLOE_VESICL Discreto {sim, não} - 0/1 Diagnóstico breviações Substância Tóxica Ocorrência 1 adt, a nti-depressores tri-cíclicos 265 2 arbitúricos 86 3 ben, b enzodiazepina 414 4 C Carbamato 68 5 P Fenotiazina 130 6 M Morfina 13 7 E lcool 137 Combinações a (25), ab (12), abp (9), ab (104), abc (11), abm (5), abp (38), ap (5), (8), b (23), bcp (5), cp (13), ben (37), bc (24), bm (8), bp (31), c (5), p (5), Ea (12), Eab (36), Eabp (8), E (12), E (6), Eb (5), Ebp (5), Eb (32), Ebc (10), Ebp (11) Tabela - Os diferentes tipos de substâncias tóxicas da base de dados Sintomas Sistema INSS : plicações 36
Sistema INSS : plicações PRIS - Program for Research into Intelligent Systems Intercâmbio científico... Considerações Finais Conhecimentos : regras / exemplos - incompletos / incoerentes lgoritmos de aprendizado eficientes Redes Neurais do tipo incremental / Redes Recorrentes Compilação e extração de regras de alto nível tributos quantitativos e qualitativos Validação dos conhecimentos adquiridos Evolução dos conhecimentos de forma continuada umento do poder de representação de conhecimentos Integração de múltiplos módulos: CR, Fuzzy, G,... Sistema Híbrido Neuro-Simbólicos Hybrid Machine Learning Tools 37
TEMS DE PESQUIS SORE SISTEMS HÍRIDOS * LIVROS: Obra clássica: ;^) OSORIO, F. S. INSS: Un Système Hybride Neuro-Symbolique pour l pprentissage utomatique Constructif. Thèse de Doctorat - INPG, IMG. Grenoble. 1998. Nikolopulos, Chris. Expert Systems - Introduction to 1st and 2nd Generation and Hybrid Knowledge ased Systems. Marcel Deker, 1997. Kandel, & Langholtz, G. Hybrid rchitectures for Intelligent Systems. CRC Press, oca Raton, Florida, 1992. Sun, Ron & lexandre, Frederic. Connectionist Symbolic Integration: From Unified to Hybrid pproaches. Lawrence-Erlbaum ssociates, 1997. Ian Cloete, Jacek Zurada. Knowledge ased NeuroComputing. MIT press, 2000. * PESQUISS: F. Osório,. my, D. Memmi,. Orsier, M. Malek,. Giacometti / Projeto Europeu MIX Laboratoire Leibniz - Equipe Réseaux - http://www-leibniz.imag.fr/reseux/ F. Osório - Projetos HMLT e COHR - http://www.inf.unisinos.br/~osorio/ Publicações: http://www.inf.unisinos.br/~osorio/papers-osorio/papers.html * INTERNET: Guideook / N.U.S. ENI 99 Lista de ibliografias Projeto HMLT Http://www.comp.nus.edu.sg/~pris/Guidebook/GuidebookIndex.html Http://www.inf.unisinos.br/~osorio/enia99/ Http://www.inf.unisinos.br/~osorio/hybrid-refs.html Http://www.inf.unisnos.br/~osorio/hmlt.html 38