Avaliação da Recuperação em Sistemas de RBC Estrutural e Textual: Uma Aplicação no Domínio de Help Desk

Transcrição

1 Avalação da Recuperação em Sstemas de RBC Estrutural e Textual: Uma Aplcação no Domíno de Help Desk Fábo Pessôa de Sá, Marta Costa Rosatell, Eduardo Raul Hruschka Programa de Mestrado em Informátca Unversdade Católca de Santos R. Dr. Carvalho de Mendonca, 144 Santos-SP Brasl fabo@ron.com.br,{rosatell,erh}@unsantos.br Abstract. Ths paper presents an evaluaton of the retreval task n two dfferent approaches of Case Based Reasonng (CBR): structural and textual. In order to perform the retreval task, a real world case base of Frequently Asked Questons (FAQ) n the help-desk doman s used. The cases were modeled wth the support of a doman expert. In structural CBR, the case base s structured as attrbute-value pars, and the nearest-neghbor method based on the smple matchng approach s used. In textual CBR, the case base s the FAQ content, and the cases are retreved usng a vector model of the terms under nterest. Emprcal results shed some lght on the cost versus benefts of structurng a case base aganst usng an exstng set of documents. Resumo. Este artgo apresenta uma avalação da etapa da recuperação de duas abordagens de Racocíno Baseado em Casos (RBC): estrutural e textual. Para realzar a etapa da recuperação fo utlzada uma base de casos reas do domíno de help-desk, formada por questões freqüentes (FAQ - Frequently Asked Questons). Os casos foram modelados com o auxílo de um especalsta no domíno. No RBC estrutural, a base de casos é estruturada na forma de pares atrbuto-valor, e o método do vznho-mas-próxmo baseado no coefcente de casamento smples é usado. No RBC textual, a base de casos é formada pelas própras FAQs (Frequently Asked Questons), e os casos são recuperados usando um modelo de vetor de termos de nteresse. Resultados expermentas demonstram a relação custo versus benefíco entre o esforço de estruturação de uma base de casos contra o uso de um conjunto de documentos exstente. 1. Introdução O Racocíno Baseado em Casos (RBC) consste em uma abordagem para desenvolver sstemas baseados em conhecmento capazes de recuperar e reutlzar soluções que funconaram em stuações smlares no passado (Kolodner 1993). A etapa da Recuperação é crucal no desenvolvmento de sstemas de RBC. Esta etapa se basea numa descrção parcal do problema, que é então usada para encontrar um caso que potencalmente contém a solução para o problema - segundo uma medda de smlardade entre os dados do problema a ser resolvdo e os casos da base. Abordagens dferentes de RBC têm formas dferentes de ldar com a etapa da recuperação. Este artgo apresenta uma avalação da etapa da recuperação em duas abordagens de RBC: estrutural e textual.

2 Para avalar a etapa da recuperação, utlza-se uma base de casos real no domíno de help-desk. Sstemas de help-desk são amplamente empregados em dversas organzações, oferecendo suporte em forma de nformações e/ou ações. Estas podem ser usadas pelos consumdores de determnados produtos de uma organzação (Dearden e Brdge 1993). Schulz (1999) acrescenta que a utlzação de aplcações de RBC para help-desk não oferece o conhecmento da experênca (os casos) apenas para os clentes das empresas. Ao capturar os problemas e soluções, o sstema de help-desk pode construr automatcamente uma memóra corporatva, de tal forma que o conhecmento gerado não fcara restrto somente a alguns funconáros da empresa. Esse conhecmento armazenado pode servr também para consultas futuras, as quas podem ser fetas, por exemplo, por novos funconáros da empresa. Essa vantagem é bastante aproprada às áreas que estão em constante mudança e que oferecem dnamsmo (e.g., área de tecnologa). Roth-Berghofer e Iglezaks (2000) dentfcam que a maora das ferramentas de suporte de help-desk não contrbu de manera completa na solução de problemas em todos os níves de problemas a serem soluconados, sugerndo que dferentes problemas podem requerer dferentes organzações da base de casos e/ou dferentes métodos de recuperação de casos (e.g. ver Watson 1997; Yang et al. 1997; Schulz 1999; Wangenhem e Wangenhem 2003; Empols Orenge 2006; AI-CBR 2006). Neste artgo, duas abordagens dstntas (estrutural e textual) são nvestgadas numa aplcação real de help-desk. As demas seções desse artgo estão organzadas da segunte forma: A Seção 2 apresenta o sstema de RBC estrutural, enquanto a Seção 3 descreve o sstema de RBC textual. Na Seção 4 é descrto o desenvolvmento das aplcações. A Seção 5 reporta os resultados da avalação expermental, executada numa base de casos reas, dos sstemas de RBC propostos neste artgo. Fnalmente, a Seção 6 apresenta as conclusões e algumas sugestões para trabalhos futuros. 2. Sstema de RBC Estrutural O RBC estrutural é caracterzado pela representação dos casos estruturados na forma de pares atrbutos-valor. Ou seja, a modelagem do caso, os atrbutos e seus valores são crados de modo a representar o problema e a solução do caso. Nesses sstemas a smlardade dos casos é computada com respeto à estrutura e ao conteúdo dos casos (Roth-Berghofer e Iglezaks 2000). Para exemplfcar a modelagem de um caso em um sstema de RBC estrutural são utlzados neste trabalho problemas e soluções relaconadas à nterface do Wndows 95. Esses problemas e soluções podem estar, por exemplo, documentados em uma FAQ. A déa de uma FAQ é armazenar opnões de um grupo relaconadas a uma questão comum e dexar as respostas dsponíves em algum meo de comuncação (Burke et al. 1997).

3 Tabela 1. FAQ sobre a nterface do Wndows 95 Como removo todos os Para remover os arquvos do Menu Documentos, faça o arquvos de mnha lsta segunte: Documentos? 1. Dê um clque no botão Incar, escolha Confgurações e depos Barra de Tarefas. 2. Dê um clque na gua Programas do Menu Incar e selecone o botão Lmpar na seção Menu Documentos. Utlzando-se o exemplo descrto acma, as nformações são modeladas de manera estruturada e resumda através de pares atrbuto-valor, conforme exposto na Tabela 2.2. A categora de modelagem da base de casos utlzada neste trabalho é a homogênea, em função do grupo de atrbutos escolhdos para modelagem dos casos poder representar toda a base de casos. Atrbutos Tabela 2. Atrbutos e valores de um caso O problema está relaconado ao menu Incar? O problema se refere a barra de tarefas? O problema ocorre na área de trabalho? O problema está relaconado com os ícones ou atalhos? Valores No presente trabalho, os atrbutos utlzados no RBC estrutural possuem valores bnáros pertencentes ao conjunto {0,1}. Estes são consderados atrbutos smétrcos, pos a não exstênca de um valor automatcamente mplca em seu oposto. Nesta perspectva, escolheu-se o bem conhecdo coefcente de casamento smples (Wangenhem e Wangenhem 2003) para avalar a smlardade entre os casos. Mas formalmente, assumamos que um caso c possa ser descrto por um conjunto de n atrbutos. Pode-se usar a notação vetoral para representar um determnado caso,.e., c = [c 1, c 2,..., c n ]. Assm, o coefcente de casamento smples (CCS) entre um caso q = [q 1, q 2,..., q n ] e um caso c=[c 1, c 2,..., c n ] é dado por: Sm Sm Não Não CCS n = = 1 n s (1) Onde: s 1 = 0 se se q = c q c (2) O método do vznho-mas-próxmo baseado no coefcente de casamento smples é muto utlzado em ferramentas comercas de dagnóstco como, por exemplo, o sstema CBR-Works (Schulz 1999). Este método apresenta smplcdade e boa

4 cobertura na recuperação dos casos além ser adequado à base de casos utlzada neste trabalho. 3. Sstema de RBC Textual Nos sstemas de RBC textuas, documentos relevantes são recuperados a partr de uma coleção de documentos como resposta a uma questão colocada por algum usuáro desse sstema (Lenz et al. 1998). Nesse contexto, um documento não é necessaramente um texto únco, mas pode consstr de város componentes, como por exemplo, uma coleção de perguntas freqüentes (FAQ). A base de casos no sstema de RBC textual usada neste trabalho é representada através de uma FAQ relaconada ao domíno de help-desk. O modelo de recuperação de casos textuas aqu adotado é baseado no modelo de vetor. Neste, cada documento é representado por um vetor, que é uma lsta de termos com seus respectvos pesos assocados, os quas descrevem o valor do termo para um documento. Um termo é defndo como uma palavra ou frase utlzada em um documento. O peso do termo pode ser quantfcado por meo da freqüênca bruta da ocorrênca do mesmo dentro de um documento (Baeza-Yates e Rbero-Neto 1999). Tal freqüênca é usualmente denomnada fator tf (freqüênca do termo). Além dsso, o peso do termo pode também ser quantfcado através da medda nversa da freqüênca do termo em relação a uma determnada coleção de documentos. Este fator costuma ser denomnado como freqüênca nversa de documentos - df. A motvação para utlzação do fator df é que termos que aparecem em mutos documentos não são muto útes para dstngur um documento relevante de um documento não relevante. No presente trabalho, o peso w de cada termo é calculado levando-se em conta tanto tf quanto df. Tal abordagem é amplamente utlzada na prátca (Baeza-Yates e Rbero-Neto 1999) e pode ser formalmente defnda por meo da equação (3). w = tf df (3) Na equação (3), a freqüênca normalzada, tf, de um termo em um documento é dada por: tf freq = (4) max freq Onde freq é a freqüênca de um determnado termo no documento e max freq é o número máxmo de vezes que um termo aparece no texto do documento, calculado sobre todos os termos possíves. O termo df por sua vez, leva em conta o número total de documentos da base de casos, N, e o número de documentos em que determnado termo aparece (n), sendo calculado pela equação (5). df N = log (5) n Representar documentos por meo de vetores dos pesos dos termos torna possível comparar dos documentos usando o método de smlardade baseado na medda do co-seno entre dos vetores em um espaço n dmensonal, onde n é o número

5 de termos utlzados na coleção ntera de vetores (Wlson e Bradshaw 1999). Mas especfcamente, o grau de smlardade de um documento, representado por um vetor d=[d 1, d 2,..., d n ], com a consulta (caso-problema), representada por um vetor q=[q 1, q 2,..., q n ] é avalado por meo de sm(d,q) [0,1] (Baeza-Yates e Rbero-Neto 1999) descrto na equação (6). sm( d, q ) = d q d q = n ( d q ) = 1 n n d 2 q 2 = 1 = 1 (6) 4. Desenvolvmento das Aplcações Duas aplcações de RBC - estrutural e textual - foram desenvolvdas com o objetvo de avalar a etapa de recuperação utlzando uma mesma base de casos. A base de casos contém 70 problemas e soluções sobre o domíno do sstema operaconal Mcrosoft Wndows. Em partcular, os casos abordam problemas com a nterface do Wndows. Essa base é puramente textual, segue o padrão de uma FAQ, e é utlzada pela empresa Tree Tools Informátca para testes com suas ferramentas de desenvolvmento RBC Estrutural Para desenvolver a aplcação de RBC estrutural fo utlzada a shell de desenvolvmento de aplcações CBR-Works Professonal versão 4.0. Esse sstema apresenta um módulo denomnado Concept Manager que serve como um edtor para modelar o domíno da aplcação. Neste módulo são determnados os atrbutos e seus tpos, sendo também possível especfcar as meddas de smlardade locas dos atrbutos (CBR-Works 2001). A consulta ao especalsta da empresa embasou a defnção dos atrbutos para representar a base de casos utlzada no trabalho. Os tpos de atrbutos são defndos como bnáros (Boolean) conforme descrto na Seção 2, e somente o atrbuto denomnado Solução não é marcado como prevsor - por não ser levado em conta durante o processo de recuperação dos casos. Os atrbutos escolhdos cobrem toda a base de casos, caracterzando uma base de casos homogênea. Neste trabalho, assume-se que todos os atrbutos são gualmente mportantes, de tal forma que pesos untáros são atrbuídos para todos os atrbutos. No módulo Concept Manager defne-se anda a medda de smlardade a ser utlzada ao recuperar os casos. Neste trabalho, a medda de smlardade utlzada é a denomnada padrão no CBR-Works. Dessa forma, o sstema de RBC estrutural modelado utlza a abordagem do coefcente de casamento smples em função dos tpos de valores dos atrbutos RBC Textual Para desenvolver a aplcação de RBC textual fo mplementado um algortmo em VB.Net que trabalha com um método de pesagem de termos em conjunto com a medda

6 de dstânca do co-seno, além de utlzar a técnca de pré-processamento de textos de elmnação de stopwords. A base de casos utlzada durante a mplementação da recuperação do RBC textual é a mesma base do RBC estrutural, ou seja, a FAQ Interface com o usuáro do Wndows 95. Por ser uma base de casos exstente e de conteúdo textual, a base de casos fo mportada dretamente para o sstema e convertda em um arquvo do tpo XML. Fo utlzada uma stoplst que também fo convertda em um arquvo do tpo XML para ser usada no sstema. O sstema apresenta dos módulos denomnados Cadastros e Busca. No módulo Cadastro é possível: 1) nclur ou exclur FAQ s; 2) nserr e edtar os casos das FAQ s (permtndo exclur casos duplcados, por exemplo); e 3) nserr e edtar a stoplst. No módulo Busca a recuperação do caso é feta conforme a consulta realzada. Após a consulta, esse módulo apresenta em uma ordem pré-determnada o número de dentfcação do caso, os casos mas smlares e o valor da medda de smlardade do caso em relação à consulta. Não houve partcpação do especalsta no domíno para a mplementação da recuperação no RBC textual, uma vez que a mesma base que já hava sdo categorzada para o RBC estrutural, além de não haver necessdade de estruturação dos casos por meo de atrbutos nesse tpo de sstema de RBC. 5. Avalação Expermental Walls e Thom (1996) colocam que a avalação de sstemas de RBC envolve duas meddas na qualdade da solução, denomnadas precsão (precson) e senstvdade (recall). A precsão é a razão entre número de casos relevantes encontrados e o número total de casos recuperados, enquanto a senstvdade é o quocente entre o número de casos relevantes encontrados e a quantdade de casos relevantes presentes na base de casos. Estas duas meddas são usadas neste trabalho, sendo ntutvo observar que, quanto maores tas meddas, melhor será o processo de recuperação. Incalmente, o especalsta no domíno examnou a base de casos, observando a parte do caso denomnado problema e ndcando o(s) caso(s) cujas soluções fosse(m) relevante(s) para a solução daquele problema - além da solução contda no caso examnado. Este procedmento fo realzado pelo especalsta em todos os casos da base. Por se tratar de um domíno bem delmtado, 55 dos 70 casos da base tnham ao menos um caso que apresentava uma solução relevante. Em seguda foram fetos testes com a recuperação dos casos nos dos sstemas (estrutural e textual, descrtos nas Seções 2 e 3 respectvamente). Para testar a etapa de recuperação (estrutural e textual), utlzou-se um método estatístco de valdação cruzada conhecdo como dexar um fora (Wtten e Frank 2005). Neste método, smula-se a extração de cada um dos casos da base e, para cada um destes, executa-se o procedmento de recuperação. Para cada recuperação realzada, calcula-se a precsão e a senstvdade. Ao fnal do processo, obtêm-se valores médos

7 para precsão e senstvdade. Estes são então reportados para comparar os métodos usados no presente trabalho. Os cálculos da precsão e da senstvdade levam em conta quas casos foram consderados relevantes pelos sstemas relatvamente aos casos que o especalsta ndcou como relevantes. A fm de tornar a avalação mas abrangente, foram consderados três cenáros dferentes. As dferenças entre os cenáros consderados levam em conta o número de casos que cada sstema consdera relevante, em função dos casos ndcados pelo especalsta. Mas precsamente, os cenáros utlzados na avalação podem ser descrtos como: a) o sstema consdera como relevantes os cnco melhores casos recuperados (de acordo com cada um dos sstemas avalados.e., estrutural e textual); b) o sstema consdera relevante o melhor caso (maor valor de smlardade) e eventualmente os empates dos valores de smlardade, consderando-se no máxmo cnco casos; c) o sstema consdera como casos relevantes casos na mesma quantdade que o especalsta ndcou como relevantes e eventualmente os empates nclundo-se no máxmo cnco casos. No cenáro (b) a recuperação no RBC textual consderou somente o melhor caso, pos essa recuperação não retornou em nenhum expermento meddas de smlardades dêntcas. Analogamente, no cenáro (c) a recuperação no RBC textual consderou relevante a mesma quantdade de casos consderados pelo especalsta. O número-lmte de casos consderados relevantes pelo sstema (cnco) leva em conta o da-a-da dos operadores de help-desk, que normalmente localzam a solução nos prmeros casos que o sstema recupera. Além dsso, tal lmar (cnco casos) fo a maor quantdade de casos que o especalsta ndcou como relevantes para os casos da base em questão. O resultado geral das meddas de qualdade usadas na avalação das abordagens de RBC estrutural e textual, utlzando os cenáros propostos é apresentado na Tabela 5, onde µ p e µ s representam respectvamente as médas de precsão e senstvdade, enquanto que σ p e σ s correspondem às suas respectvas meddas de desvo-padrão. Tabela 5. Resultados da avalação da recuperação Cenáros (a) (b) (c) RBC estrutural RBC textual µ p =0,21 σ p =0,19 µ p =0,17 σ p =0,16 µ s =0,64 σ s =0,44 µ s =0,55 σ s =0,46 µ p =0,43 σ p =0,40 µ p =0,27 σ p =0,45 µ s =0,54 σ s =0,44 µ s =0,16 σ s =0,31 µ p =0,34 σ p =0,33 µ p =0,21 σ p =0,36 µ s =0,56 σ s =0,44 µ s =0,21 σ s =0,36

8 A Tabela 5 mostra que resultados melhores foram obtdos pelo sstema de RBC estrutural. Acredta-se que sso se deve, em parte, à partcpação do especalsta durante a modelagem dos casos no RBC estrutural, que leva em conta o problema e a solução para transformar o conhecmento contdo no caso em uma estrutura formada pelos pares de atrbuto-valor. Em outras palavras, conquanto a abordagem estrutural seja mas dspendosa do que a abordagem textual, e também mas dependente de um especalsta no domíno, observa-se que a estruturação dos casos pode fornecer melhores índces de recuperação. A necessdade de estruturar os casos e preencher todos os seus atrbutos no RBC estrutural faz com que o RBC estrutural seja, num prmero momento, mas trabalhoso que o RBC textual, onde esse trabalho ncal é pratcamente nexstente. Esse trabalho ncal, entretanto, aparentemente favorece uma melhor recuperação. 6. Conclusão e Trabalhos Futuros Neste artgo, avalou-se a etapa da recuperação de abordagens de RBC estrutural e textual numa base de casos reas no domíno de help-desk. Resultados empírcos mostram que a abordagem estrutural tem melhores resultados. Entretanto, tal abordagem tende a ser menos passível de automatzação do que abordagem textual. Quanto à trabalhos futuros, é possível melhorar os resultados da avalação da recuperação do RBC estrutural aumentando o número de atrbutos relevantes para os casos. Isso pode levar o sstema a recuperar um número maor de casos relevantes relatvamente aos casos ndcados pelo especalsta. Dessa manera, é possível encontrar uma maor quantdade de casos correlaconados entre s. Por outro lado, essa possbldade aumenta o tempo de preenchmento dos atrbutos dos casos quando da consulta. Uma melhora a ser consderada na recuperação do RBC textual sera a utlzação de um dconáro de vocábulos e/ou um dconáro de snônmos pelo sstema de RBC. Além dsso, vale ressaltar que as consultas no sstema de RBC textual foram comparadas somente com as perguntas contdas na FAQ, desconsderando o campo relatvo à solução do caso, pos a pergunta é, em prncípo, a parte mas relevante para determnar a melhor resposta ao usuáro. Essa consderação fo levada em conta para a mplementação da recuperação no RBC textual, sendo prátca comum em outros trabalhos da área. Entretanto, Burke et al. (1997) colocam que é possível melhorar a avalação da recuperação no RBC textual por meo do uso adconal do campo de solução do caso. Essa abordagem sugere um trabalho futuro promssor. Agradecmentos Os autores agradecem o suporte fnancero da FAPESP e do CNPq para a realzação desse trabalho. Os autores também agradecem a colaboração da Tree Tools Informátca por dsponblzar uma base de casos real, da Ilog Tecnologa por dsponblzar a stoplst e da Empols por ceder a shell CBR Works.

9 Referêncas AI-CBR: Informaton Resources to Case-Based Reasonng Academcs and Commercal Developers. Dept. of Computer Scence at the Unversty of Auckland, New Zealand Baeza-Yates, R., Rbero Neto, B. (1999), Modern Informaton Retreval, ACM Press, New York. Burke, R., Hammond, K., Kulyukn, V., Lytnen, S., Tomuro, N. & Schoenber, G. (1997) Queston Answerng from Frequently Asked Queston Fles. AI Magazne, 18(2), CBR-Works (2001). CBR-Works 4 - Reference Manual, Empols Knowledge Management GmbH, Revson 2.3. Dearden, M. A. & Brdge, G. D. (1993) Choosng a Knowledge Based System to Support a Help Desk. The Knowledge Engneerng Revew 8(3), Empols Orenge. Technology Whte Papers. paper.pdf, Kolodner, J. L. (1993), Case-Based Reasonng, Morgan Kaufmann, San Mateo. Lenz, M., Hübner, A. & Kunze, M. (1998) Queston Answerng wth Textual CBR. In. Proc. of the Int. Conf. on Flexble Query Answerng Systems. Roth-Berghofer, T. & Iglezaks, I. (2000). Developng an ntegratng multlevel helpdesk support system. In. Proc. of the 8th German Workshop on Case Based Reasonng, pages Schulz, S. (1999). CBR-Works: A state-of-the-art shell for case-based applcaton buldng. In Proc. of the 7th German Workshop on Case-Based Reasonng. Walls, P. & Thom, J. A. (1996) Relevance Judgements for Assessng Recall. Informaton Processng & Management 32 (3), Watson, I. (1997), Applyng Case-Based Reasonng: Technques for Enterprse Systems, Morgan Kaufmann, San Mateo. Wlson, D. & Bradshaw, S. (1999). CBR textualty. In Proc. of the 4 th UK Case-Based Reasonng Workshop. Wtten, I. & Frank, E. (2005), Data Mnng: Practcal Machne Learnng Tools and Technques, Morgan Kaufmann, San Mateo. Yang, Q., Km, E. & Racne, K. (1997). CaseAdvsor: Supportng nteractve problem solvng and case base mantenance for help desk applcatons. In Proc. of the Int. Jont Conference on Artfcal Intellgence, Workshop on Practcal Applcatons of CBR.