GERAÇÃO AUTOMÁTICA DE REGRAS_A PARTIR DA ARQUITETURA NEURO-FUZZV PARA CLASSIFICAÇAO DE DADOS (NEFCLASS)

Transcrição

1 40. SBAI - Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, de Setembro de '1999 GERAÇÃO AUTOMÁTICA DE REGRAS_A PARTIR DA ARQUITETURA NEURO-FUZZV PARA CLASSIFICAÇAO DE DADOS (NEFCLASS) José Augusto Fabri, Vandor Roberto Vilardi Rissoli, Heloisa de Arruda Camargo [fabri, vandor, heloisa]@dc.ufscar.br Departamento de Computação da Universidade Federal de São Carlos Via Washington Luiz, Km Caixa Postal 676 CEP São Carlos - SP Resumo: Este artigo analisa o uso de uma arquitetura Neuro- Fuzzy para geração de Regras Fuzzy no contexto de Sistemas Baseados em Conhecimento (SBC). As regras são geradas de forma automática, à partir de um conjunto de dados sobre casos específicos, sem a participação direta de um especialista. O objetivo é investigar o comportamento de uma arquitetura híbrida aplicada a fase de Aquisição de Conhecimento (AC). Após uma apresentação resumida do estágio atual dos Sistemas Especialistas (SEs) e da definição do algoritmo de aprendizado da arquitetura Neuro-Puzzy para Classificação de Dados (NEFClass), é.introduzido o processo de geração de regras proposto. Palavras-Chave: Neuro-Fuzzy, NEFClass, Conjuntos Fuzzy, Redes Neurais, Aquisição de Conhecimento. Abstract: This paper analyses the use of a Neuro-Fuzzy architecture to creat Fuzzy Rules into a Knowledge Based System context, The rules are created automatically, starting from a data set about specifics cases, without requering a direct expert participation. Its main goal is to study the behavior of a hibrid architecture applyed to the Knowledge Acquisition fase. After a briefpresentation of the current ES application domains and of the NEFCLass learning algorithm, the proposed rule generation process is describcd. Keywords: Neuro-Fuzzy,. NEFClass, Fuzzy Sets, Neural Networks, Knowledge Acquisition. 1 INTRODUÇÃO A construção de SEs pode ser agilizada por meio da integração e desenvolvimento de métodos híbridos e eficientes na AC. Nos últimos anos, os trabalhos de pesquisas têm enfocado desde as técnicas manuais de si: até as automáticas, que constituem o Aprendizado de Máquina (AM) [5J, passando ' pelas chamadas técnicas semi-automáticas que se destinam a auxiliar o especialista na tarefa de Representação de Conheciinento (RC). A evolução das pesquisas em AM tem ocorrido, independentemente, sob diferentes paradigmas tais como: Simbólico [6], Neural ou Conexionista [9], Genético (10] e outros. Recentemente, notam-se tentativas de aproximações. dessas áreas, pelo desenvolvimento de técnicas híbridas de aprendizado, paradigmas. que exploram e combinam ' vantagens desses Existem diversas formas de se combinar os paradigmas Neural, Simbólico e Fuzzy. A combinação destes paradigmas resultam em modelos que proporcionam a utilização de um enorme universo de soluções para os mais variados problemas computacionais. A idéia básica deste artigo é utilizar a arquitetura NEFClass [8] para gerar uma base de Regras Fuzzy em um Sistema Especialista (SE). Esta base será gerada à partir da utilização de dados extraídos de um agente ativo (mundo real).. Com a utilização de uma base de dados, é perfeitamente possível gerar regras de produção (se...então) utilizando a arquitetura NEFClass. Estas regras possuem em sua estrutura valores Jinguísticos, interpretados por Conjuntos Fuzzy. O presente trabalho é fruto do projeto IPAC - Integração de Paradigmas Simbólico, Fuzzy e Neural na Aquisição de Conhecimento, foi iniciado em janeiro de 1997, apoiado pelo ProTem-CC - Programa Temático em Ciência da Computação, fase 3. O objetivo deste projeto é estudar e desenvolver métodos de Aquisição de Conhecimento nas abordagens Simbólica, Neural e Fuzzy, buscando fundamentalmente o balanceamento das vantagens pela fusão dos paradigmas [2,12]. Este artigo mostra na Seção 2, uma visão geral da utilização e AC para um SE. Na Seção 3 é apresentada a definição da arquitetura NEFClass e na Seção 4, a geração de Regras Fuzzy, a partir da arquitetura NEFClass. Na Seção 5 é apresentado um estudo de caso. E por fim, na Seção 6, concluímos o artigo. 2 SISTEMAS ESPECIALISTAS Os SEs constituem-se em sistemas computacionais que procuram desempenhar as atividades de um especialista humano por meio da utilização de conhecimento armazenado. Este conhecimento permite a especialização do indivíduo. Para um SE, a apresentação do conhecimento é um fator crucial na sua criação [11]. Atualmente, os SEs são utilizados em larga escala em vários domínios de aplicações. A Tabela I, a seguir, ilustra o percentual dos trabalhos submetidos, em relação aos domínios 419

2 de aplicação, coletados no III Congresso Mundial de SEs realizado na Korea em 1996 [13].. Para desempenhar o papel de um especialista é necessário que o sistema possua um grande conhecimento sobre o domínio em questão. Um dos grandes problemas.na área de SEs é justamente adquirir tal conhecimento. Segundo [3], o processo de AC corresponde a todos os mecanismos aplicados para se adquirir conhecimentos e aplicálos na modelagem de um domínio de conhecimento. Pode-se dizer também que, AC é o processo que visa obter toda informação. necessária à construção de uma Base de Conhecimento (BC) para um SE. Existem duas formas de AC: manual e automática.. Utilização de arquiteturas Neuro-Fuzzy para gerar a BC de um SE. Esta técnica utiliza o conceito de Redes Neurais e Conjuntos Fuzzy para a obtenção de conhecimento. 3 DEFINiÇÃO DA ARQUITETURA NEURO- FUZZV PARA CLASSIFICAÇÃO DE DADOS - NEFCLASS De acordo com [8], as arquiteturas Neuro-Fuzzy combinam os paradigmas Fuzzy e Neural em modelos cooperativos (Sistemas Fuzzy e Redes Neurais sendo considerados como entidades separadas, porém trabalhando em conjunto) ou, modelos híbridos (Sistemas Fuzzy e Redes Neurais sendo considerados como entidades conjuntas, formando uma nova arquitetura). Domínio de Aplicação % Utilização Negócios 41% Medicina 21% Extração de Energia 13% Telecomunicações' 5% Governo 5% Agricultura 4% Transporte 4% Leis 3% Tabela 1: Utilização de SE nos mais variados domínios o método para AC manual pode ser ilustrado por meio da definição em [3]: "AC explícito 011 manual é a apreensão do conhecimento de algum especialista humano por meio de sessões de AC (entrevistas por exemplo)." No método manual de AC,. o especialista humano ou o engenheiro do conhecimento é responsável por gerar regras para a BC de um SE.. Uma outra forma de AC que vem sendo atualmentepesquisada no universo da Inteligência Artificial (IA), é a AC automática. Esta forma de AC permite extrair conhecimento de dados sobre o problema, quando estes estão 'disponíveis, o que vem a ser. uma fonte de conhecimento alternativa, além do especialista humano. Dentre as técnicas de AC automáticas, destacam-se as que utilizam diversos conceitos ou paradigmas de forma híbrida para a AC. Entre tais técnicas encontram-se: Utilização de Algoritmos Genéticos para gerar a BC de um SE. Nesta técnica são utilizados os métodos de evolução, seleção, crossover, mutação e ranking para a obtenção de conhecimento [13]. SE Multimídia: SEs que possuem todos os conceitos da Multimídia na construção de suas interfaces (AC e usuário) [13]. p =Pesos: ValoresLinguCstic:os - ConjuntosFu7.zy Figura 1., Fuzzy Perceptron 0)c:> Unidadesde Proccsssmento ou Neur6nioFuzzy A arquitetura NEFClass se encaixa no paradigma híbrido e é utilizada para determinar a classe ou categoria de um dado padrão de entrada. A arquitetura NEFClass é baseada no Fuzzy Perceptron [8] (Figura 1) que, por sua vez, herda todas as características de uma Rede Neural do tipo Perceptron Multicamadas [9]. O Fuzzy Perceptron é considerado uma abstração para a definição de novas arquiteturas Neuro-Fuzzy, De acordo com a Figura 1, o Fuzzy Perceptron possui 3 camadas (entrada, regras e saída) e pesos ou, links, modelados com valores Lingufsticos e representados por Conjuntos Fuzzy. A entrada dos dados na rede ocorre por meio de valores linguísticos. A camada de saída possui uma função responsável pela "desfu zzyficaç ão" (transformação de um Conjunto Fuzzy em um número real [4,7]) dos dados. Esta função é aplicada aos Conjuntos Fuzzy resultantes dos neurônios desta camada. As Unidades de Processamento ou Neurônios Fuzzy, responsáveis pela propagação dos dados na rede, podem ser.visualizadas na Figura '2 r;; 0.) }' =min(max(xi 11' IJ. max(x] W]).h. max(xn wnjj y= max(mia(xi wij.min (.t] 11' ])..... min (xn wnjj Figura 2- Formas de propagação Nesta representação Xi e Wi são Conjuntos Fuzzy notados por A == {gl/ ei + g2 / e2 + g3/ e g. / e.}, onde e, representa o elemento do conjunto.e gi representa o grau de 420

3 40. SBAI-Slmpósio Brasileiro de Automação Inteligente, São Paulo, SP, de Setembro de 1999 pertinência do elemento do conjunto [4]. Os operadores de min e max trabalham sobre os graus de pertinência dos Conjuntos Fuzzy. Na Figura 2, verifica-se a presença de 2 formas de propagação, cuja escolha entre uma delas, fica a critério da adequação do problema a ser solucionado. A arquitetura NEFClass possui um método, ou algoritmo, de aprendizado que gera regras do tipo: Se x, é A j e Xl é A l e X3 é A 3 e...e Xn é A n então o padrão que possui os atributos xj, Xl, X3. Xn pertencem a classe i, tal que A j A n são Conjuntos Fuzzy. Estas regras são utilizadas para a classificação dos padrões de entrada [8]. Dada uma tarefa para aprendizado L = {(Pb tj),...,(pg, tg)} de g padrões, cada um consistindo num padrão de entrada P E. 9t N (9t números reais) e num padrão de classificação ti E {O,l}m. O método de aprendizado responsável pela criação de k unidades de regras para a classificação é dividido em 2 fases: Pré-processamento das. informações, e Algoritmo de aprendizado. Pré-processamento das informações: 1. Defina a quantidade de Conjuntos Fuzzy ou valores linguísticos que serão utilizados nas regras de classificação. Este valor é armazenado na variável Q. Por exemplo, caso Q seja igual a 3, os Conjuntos Fuzzy ou valores linguísticos a serem representados nas regras podem ser pequeno, médio e grande; 2. Defina o número máximo de regras a serem criadas (k maj ) ; 3. Dado Q, divida o domínio da função triangular (representada genericamente abaixo) para cada atributo Pi E P presente em L (vide Figura 3). x-a se XE [a,h) h-a c-x J.l(x) = -- se XE [h,c] c-h o caso contrário onde a,b e c são parâmetros da função. :DOC Valor Inicial do Atributo Valor Final do Atributo Figura 3- Divisão do domínio da função triangular Algoritmo de aprendizado 1. Para cada par(pl, ti) E L faça: Para cada Conjunto Fuzzy ou valor linguístico representado por Q faça:. Processe os atributos dos padrões de entrada p j E P em J.L ){x), onde j indicao valor linguístico da função a ser processada, na Figura 3, j ={I, 2, 3 } para os valores Iinguísticos pequeno, médio e grande respectivamente; Selecione o maior valor encontrado no processamento de J.L j(x); Caso não exista nenhuma conexão entre a camada de entrada e a camada de regras.com o valor linguístico encontrado no item anterior; e se o número de unidades de regras for menor que k max ; então crie uma nova unidade de regra conectando-a na unidade de entrada e na unidade de saída CI se ti = Repita o passo I até k < kma.t ou até ocorrer o esgotamento de padrões p a serem processados. Após o processamento do método de aprendizado, é feita a atualização dos parâmetros a, b e c da função triangular utilizando um método semelhante ao Algoritmo Backpropagation do modelo MLP. Primeiramente é calculado o erro: e=d-y onde e representa o erro, d é a saída desejada e y a saída obtida. Tal saída, é calculada por meio de um processo de "desfuzzyficaç ão" dos Conjuntos Fuzzy obtidos na camada de saída. Obtido o valor do erro são atualizados os parâmetros a, b e c da função triangular tal que: AC5 t =C5 t +71 e onde O; representa os parâmetros, t = {a, b, c} e TI representa a taxa de aprendizado previamente definida. 4 UTILIZANDO A ARQUITETURA NEFCLASS PARA OBTENÇÃO DE UMA BASE DE CONHECIMENTO Obter uma BC para um SE, utilizando a arquitetura NEFClass, requer a combinação entre os paradigmas Conexionista (Redes Neurais), Simbólico (SE) e Fuzzy (Teoria dos Conjuntos Fuzzy).. Uma das principais dificuldades na elaboração de um SE é a AC para representação de um domínio específico. Visando contribuir para a solução deste problema é proposta a utilização da arquitetura NEFClass, onde identifica-se tal conhecimento. A BC do SE proposto irá possuir regras se... então, conforme visto na Seção 3. Para obtenção destas regras foi utilizada a arquitetura NEFClass. Tal arquitetura 'gera uma BC contendo regras para classificação de dados. A principal idéia relacionada para a utilização da arquitetura NEFClass está intimamente ligada ao componente de interface de AC de um SE. Este componente, utiliza na maioria das vezes regras geradas por um especialista humano,. Com a utilização da arquitetura NEFClass, as regras foram geradas por um modelo cognitivo-fuzzy. 421

4 Os dados de entrada do SE são números reais. O componente responsável pela Interface com o Usuário é utilizado na "fuzzyficação" (aplicação de uma função de pertinência a um conjunto binário ou a um número real) destes dados. Após este processo, o controle do sistema vai para a Máquina de Inferência, que opera sobre a base de conhecimento. A BC fornecerá as saídas para os dados de entrada, que atingirão novamente o componente de Interface com o Usuário. A Figura 4, especifica. graficamente o SE utilizando a arquitetura NEFClass para a obtenção de sua BC. Fuzzyficaç! dos Dado. CPf=P+M*K P= /clpip A classificação dos padrões de arquiteturas de computadores em rápida ou lenta, é feita pelo seguintes critérios: Caso T seja menor que 166 MHz, a arquitetura é considerada lenta. Caso T seja maior ou igual a 166 MHz, a arquitetura é considerada rápida. Foi determinado neste estudo de caso a presença de 3 valores linguísticos para o processamentodo algoritmo de aprendizado, pequeno, médio e grande. A quantidade de regras a serem geradas pela arquitetura foi estipulada em 8. Aplicando o algoritmo de aprendizado definido na Seção 4, as regras geradas utilizando a arquitetura Neuro-Fuzzy para Classificação de Dados podem ser visualizadas na Tabela 3. Figura 4 - SE utilizando o NEFClass para obtenção da BC Na Figura 4 são verificados os 4 componentes de um SE, Máquina de Inferência, Base de Conhecimento, Interface de Aquisição, Interface do Usuário. A arquitetura :NEFClass presente no módulo de AC, é responsável pela geração de regras para alimentação da BC. 5 ESTUDO DE CASO Nesta seção será apresentado um estudo de caso utilizando a arquitetura Neuro-Fuzzy para Classificação de Dados para AC. O domínio utilizado será a classificação das arquiteturas de diversos computadores. A base de dados utilizada neste estudo é de domínio público. Os atributos desta base estão ilustrados na Tabela 2:. Atributo lc P M Descrição Quantidade de intruções Número de ciclos para decodificar e executar uma instrução Número de referências a memória RAM K Razão entre processador e memória (unidade representada em nanosegundos) R Tempo de ciclo para execução completa da instrução (unidade representada em nanosegundos) Pip Número de unidades de Pipeline Tabela 2- Identíflcação dos atnbutos Nesta base de dados, existe o atributo Cl, onde este é responsável pela classificação das máquinas em rápidas ou lentas.. O atributo Cl é baseado no tempo de clock (T). A obtenção de T é dada pelas seguintes equações [15]: T=/c * CP/ *R SElcém SElcém SElcég SElcém p=pequeno m=médio g=grande epém cmépeképerép emépeképerég emépeképerém emépeképerég Valor Linguístico pequeno: e Pip é m ENTÃO rápido e Pip é m ENTÃO rápido e Pip é p ENTÃO rápido e Pip é g ENTÃO rápido epipép ENTÃOlimto e Pip é g ENTÃO lento e Pip é g ENTÃO lento. e Pip é p ENTÃO lento Tabela 3: Regras geradas pela arquitetura NEFClaSs Gerada a BC, (Tabela 3), as funções de pertinência para os valores linguísticos pequeno, médio e grande são baseadas na função genérica definida na Seção 4. Tais funções são ilustradas abaixo: /l(x)= 1 se XE [a,b) c-x se XE [b,c] c-b o caso contrário Valor Linguístico médio: função definida na Seção 4 Valor Linguístico grande: /l(x) = 1 x-a se XE [a,b) b-a se XE [b,c] o caso contrário Os parâmetros a, b e c para cada função de pertinência em cada atributo estão representados na Tabela

5 40. SBAI - Simpósio Brasileiro de Automação Inteligente, São Paulo. SP, de Setembro de 1999 Com isso, o sistema está pronto para a interação com o usuário. Supõe-se, então, que a entrada de dados para o sistema seja: lc =15; P =7,5; M =1; K = 1; R =0.9; Pip =2 o modelo neste momento realiza o processo de fuzzyifcação por meio das funções de pertinências definidas anteriormente (vide Tabela 5). PequeM Médio Grande A b c a b c a. b c lc 10 44, , ,25 44,37 60 P ,51 43,35 1,67 22,51 43,35 25,83 38,22 60 M I 9,66 16,36 6,25 Il,5 16,75 11,5 16,75 22 K I 7,77 13,46 5,75 10,5 15,25 10,5 15,25 20 R ,29 0,55 0,01 0,45 0,9 0,25 0,53 0,9 Pip I 3,81 6 I I 3,81 6 Tabela 4: Parâmetros das funções de pertinência Dados de Entrada Tabela 5: Graus de pertinência por entradas Supondo que a Máquina de Inferência utilizada aplica o método de Mamdarni [14] no processamento das regras, sendo que o threshold (limite mínimo) para o disparo foi estipulado em 0,2: Seguindo o método referido, é obtido, para esse conjunto de regras os DOF (grau de disparo) para regras: DOF(R J ) = DOF(Rz) = DOF(R 3 ) = DOF(R 4 ) = O DOF(Rs) = 0,27 DOF(Rs) == 1 Grau de Pertinência Atributo Valor Pequeno Médio Grande Ic ,14 P ,27 O M 1 1 O O K 1 1 O O R 0,9 O O 1 Pip 2 1 0,45 0,45 Assim as regras Rs e Rs: epém emépeképerég epipép ENTÃOlento cpép emépeképcrég epipép ENTÃOl ento estão habilitadas, sendo que as duas levam à classificação da arquitetura representada pelo padrão de entrada na classe "lenta".. Aplicando as fórmulas para o cálculo de T defmida no início deste estudo de caso verifica-se que T = 101,25 MHZ. O que., O neste exemplo específico, confirma o resultado obtido com a base de regras. 6 CONCLUSÃO Os métodos automáticos de AC têm evoluído muito nos últimos anos. Este trabalho investigou a utilização de uma arquitetura Neuro- Fuzzy para Classificação de Dados, no processo de AC para construção de SEs. A arquitetura citada baseia-se no Fuzzy Perceptron, herdando assim as características encontradas no Perceptron de Multicamadas. O Fuzzy Perceptron é considerado como um modelo genérico para o desenvolvimento de novas arquiteturas Neuro-Fuzzy. A NEFClass é uma especialização do Fuzzy Perceptron. Verifica-se que o seu método de aprendizado é responsável pela geração das regras e adequação dos parâmetros das funções de pertinência utilizadas nos Conjuntos Fuzzy. Foi possível observar, por meio do estudo realizado, que a aplicação de tal arquitetura para construção de Regras Fuzzy é potencialmente viável em qualquer domínio do conhecimento. As abordagens aqui propostas compartilham das vantagens comuns de todas as abordagens de AC automáticas, como por exemplo, a utilização de dados disponíveis sobre o problema no processo de extração do conhecimento. Além disso, oferece. a possibilidade de criar, automaticamente, Regras Fuzzy com a utilização de um mecanismo de aprendizado poderoso e eficiente como o das Redes Neurais. Diversos problemas em aberto puderam ser identificados, como: a integração da abordagem proposta em um processo de AC mais abrangente, combinando o conhecimento das regras geradas automaticamente com. o conhecimento extraído manualmente de especialistas; a resolução de conflitos quando as regras habilitadas levam à classificação de um padrão em classes diferentes.. Nos trabalhos futuros, além dos t6picos citados acima, serão desenvolvidas aplicações dessa abordagem em outros domínios do conhecimento, mais especificamente no contexto de automação industrial. Agradecimentos José Augusto Fabri agradece a Fundação Educacional do Município de Assis (FEMA), Instituto Muncipal de Ensino Superior de Assis (IMESA) e a Faculade de Tecnologia de Ourinhos (FATEC) pelo apoio recebido. Heloisa Camargo agradece ao CNPq (proc /94-8) e a FINEP (Proc (0) pelo apoio recebido. Vandor Rissoli agradece a Universidade de Riberão Preto (unaerp) pelo apoio recebido. t [1] REFERÊNCIAS BIBLIOGRÁFICAS BERINll, H. R. Refinement of Aproximate Reasoning-Based - Controllers by Reinforcement Learning. Proc. of th Eight Int. Machine Learning Workshop, pp , 423

6 1991. [2] CAMARGO, Heloísa de Arruda e MONARD, Maria Carolina. Aquisição de Conhecimento Automática e Semi-automática: Integrando Paradigmas. ENIA97 - Encontro Nacional de Inteligência Artificial, [3] JUBILEU, A. P.; PUGLIESI, J, R; REZENDE, S. A.; SANCHES, R. Proposta de um Processo para Aquisição de Conhecimento Explícito. Relatórios Técnicos do Instituto de Ciência Matemáticas de São Carlos - Universidade de São Paulo - São Carlos [4] KLIR, J. G. and YUAN, B. Fuzzy Sets and Fuzzy Logic - Theory and Apphcatíons, Prentice- Hall,1995. [5] KEARNS, M. J.; VAZIRANI, V. V. An Introduction to Computacional Learning Theory. The MIT Press, [6] LAVRAC, N.; DZEROSKI, S. Inductive Logic Programming: Techniques and Applications. Ellis Horwood, London, [7] MASTERS, Timothy. PraticaI Neural Network Recipes in C++. Academic Press. London [8] NAUCK, Detlef and KRUSE, Rudolf. NEFCLASS - A Neuro-Fuzzy Approach for the Classification of Data. ACM Symposium on Applied Computing. ACM Press. Nashville, Feb 26-28, [9]. SIMON, Haykin. Neural Network: A Comprehensive Foundation. Prentice Hall. New Jersey, [10] SANCHEZ, Elie; SHIBATA, Takanori; ZADEH, Lotfi A. Genetic Algorithms and Fuzzy Logic.Systems e Soft Computing Perspectives..World Scientific,1997. [li] RUSSELL, Stuart; NORVING, Peter. Artificial Intelligence A Modero Approach. Prentice Hall,1995. [12] Workshop ProTeM CC Phase m Projects - International Evaluation (2.: 1999, may 5-7 : Rio de Janeiro, RJ) [13] LIEBOWITZ, Jay. The Handbook of Applied Expert Systems. CRC Press, [14] YAGER, Ronald R; FILEV, Dimitar P. Essentials of Fuzzy Modcling and Control. Wiley Interscience, [15] HWANG, Kai. Advanced Computer Architecture: ParaUelism, Scalability, Programmability. McGran Hill, :: : 424