2 Fundamentos Teóricos

Transcrição

1 Fundamentos Teórcos 2 Fundamentos Teórcos 2. Aprendzado de Máquna Aprendzado de Máquna é uma área de Intelgênca Artfcal cuo obetvo é o desenvolvmento de técncas computaconas sobre o aprendzado bem como a construção de sstemas capazes de adqurr conhecmento de forma automátca. Possu um grande número de aplcações como, por exemplo, máqunas de busca, dagnóstco médco, detecção automátca de fraude de cartão de crédto, análse de aplcações fnanceras, classfcação de seqüêncas de DNA e classfcação automátca de textos. Um programa aprende um conunto de tarefas T com uma medda de desempenho D a partr de uma experênca E, se seu desempenho de aprendzado D aumenta com a experênca E [Mtchell, 997], ou sea, se é capaz de tomar decsões baseado em experêncas acumuladas por meo da solução bem sucedda de problemas anterores. Por exemplo, uma aplcação que necesste reconhecer pessoas através de um sensor tem como tarefa T assocar magens captadas pelo sensor a pessoas, medda de desempenho D como sendo a percentagem de pessoas corretamente reconhecdas e experênca de trenamento E como sendo um conunto de pares ordenados compostos por uma magem e o nome de uma pessoa. Exste uma sére de problemas que são de dfícl solução que podem ser bem resolvdos com as técncas de aprendzado de máquna. Por exemplo: algumas tarefas só podem ser bem defndas através de exemplos, onde não é conhecda nenhuma relação à pror entre os dados de entrada e a saída deseada. Além dsso, tarefas que são suetas a mutas mudanças podem ser aprenddas pela máquna, uma vez que a máquna se adapta a tas mudanças. A capacdade de adaptação de sstemas de aprendzado de máquna também permte que tas sstemas seam portados para domínos completamente dferentes sem a necessdade de recrar o sstema para suportar o novo domíno. Assm, se uma máquna é capaz de

2 Fundamentos Teórcos 2 aprender a classfcar notícas de ornas em uma herarqua de categoras, a mesma máquna também é capaz de aprender a fltrar spams ou até mesmo resolver problemas de ambgüdade em palavras no processamento de lnguagem natural. Para desenvolver um sstema de aprendzado é necessáro tomar algumas decsões de proeto. Prmeramente, deve-se escolher que tpo de exemplos de trenamento será usado. Por exemplo, no problema de classfcação automátca de textos, o trenamento será um conunto de pares compostos de um documento e sua respectva classe. Após a escolha do tpo de dados a ser usado como exemplo de trenamento, o próxmo passo é defnr exatamente que tpo de conhecmento será aprenddo. O problema de aqusção de conhecmento pode, então, ser reduzdo ao problema de se aprender uma função obetvo f, que assoca valores de entrada (os específcos das tarefas a serem aprenddas) com valores de saída correspondentes, que auxlam nas decsões ou ações a serem tomadas. O sstema gera uma hpótese h que se aproxma da função obetvo f conforme realzado o trenamento. Em aprendzado de máquna exstem dversas formas de aprendzagem, como por exemplo, Smbólco, Estatístco, Baseado em Exemplos, Conexonsta e Evolutvo. Os sstemas de aprendzado smbólco constroem representações smbólcas de um conceto através da análse de exemplos e contra-exemplos, na forma de alguma expressão lógca, árvore de decsão, regras ou rede semântca. O aprendzado estatístco utlza modelos estatístcos para encontrar uma aproxmação da função obetvo. O problema a ser resolvdo é, dado um conunto de exemplos de dstrbução de probabldade não conhecda, descobrr a qual dstrbução um novo exemplo pertence. O aprendzado baseado em exemplos utlza a déa de que para determnar a saída da função obetvo, dado um valor de entrada não conhecdo, deve-se buscar outro valor de entrada smlar cua saída é conhecda e assumr que o novo exemplo terá o mesmo valor de saída. Para sso, é necessáro guardar os exemplos de trenamento em memóra, sendo, por sso, chamado de sstemas de aprendzado lazy, em oposção aos sstemas de aprendzado eager, que utlzam os exemplos para nduzr o modelo, descartando-os logo em seguda.

3 Fundamentos Teórcos 22 O aprendzado conexonsta utlza redes neuras, que são construções matemátcas não lneares altamente nterconectadas nspradas no fenômeno de aprendzado do cérebro humano. As conexões entre os neurônos artfcas possuem pesos que são obtdos através do trenamento, ou sea, o conhecmento adqurdo durante o trenamento de uma rede neural fca armazenado nos pesos das lgações entre os neurônos artfcas. Mutas são as aplcações prátcas das redes neuras, como por exemplo, reconhecmento de magens, reconhecmento de genes em uma seqüênca de DNA e prevsão do movmento da bolsa de valores, a partr de uma sére hstórca. O aprendzado evolutvo se basea na le da seleção natural de Darwn. O algortmo é ncado com uma população de estmadores para a função obetvo. Tas estmadores competem para realzar a reprodução e com sso produzr ndvíduos smlares. Indvíduos que possuem desempenho fraco tendem a ser descartados da população de estmadores, enquanto ndvíduos de desempenho alto tendem a prolferar. Dessa forma, conforme o algortmo é executado, o melhor estmador da função obetvo va sendo aprmorado. 2.2 O problema da classfcação Em geral, exstem dos tpos de racocíno. O racocíno dedutvo e o racocíno ndutvo. O racocíno dedutvo é uma forma de nferênca na qual a conclusão tem o mesmo grau de certeza que as premssas, em oposção ao racocíno ndutvo, onde a conclusão pode ter um grau de certeza nferor às premssas. Um exemplo de racocíno dedutvo: Todos os pássaros possuem asas. Um canáro é um pássaro. Logo, um canáro possu asas. Um exemplo de racocíno ndutvo: Todos os corvos observados são pretos. Logo, todos os corvos são pretos.

4 Fundamentos Teórcos 23 Através do racocíno ndutvo, é possível obter conclusões genércas sobre um conunto partcular de exemplos. Em aprendzado de máquna, o racocíno ndutvo é utlzado generalzar concetos, para aproxmar funções, para descobrr novas funções através de exemplos fornecdos. O aprendzado ndutvo deve ser aplcado com cudado, pos se o número de exemplos for nsufcente, ou se os exemplos não forem bem escolhdos, as hpóteses obtdas podem ser nconsstentes. Classfcação e regressão são dos tpos de aplcações de aprendzado ndutvo com a fnaldade de predzer valores de uma função obetvo f, dado um valor de entrada anda não conhecdo. A regressão consste em aproxmar uma função contínua a partr de um conunto de exemplos composto de pontos. Tal método pode ser aplcado na prevsão de preços de um produto, valores de ações no mercado de ações e prever a ocorrênca de um determnado evento (regressão logístca). Na tarefa de classfcação, o obetvo do algortmo de aprendzado é construr um classfcador que possa determnar corretamente a classe de novos exemplos anda não rotulados, dado um conunto de classes e um conunto de exemplos de trenamento. O aprendzado ndutvo pode ser subdvdo em aprendzado não supervsonado e aprendzado supervsonado. No aprendzado supervsonado, o conunto de trenamento consste de pares ordenados consttuídos de um obeto (tpcamente vetores) e o seu respectvo valor da função obetvo. A saída da função obetvo pode ser contínua, no caso da regressão, ou pode ser dscreta, no caso da classfcação, onde os valores de saídas são rótulos de categoras. No aprendzado não supervsonado, o conunto de trenamento consste apenas de exemplos sem nenhum valor de função assocado. Tpcamente, o problema se resume em partconar os exemplos de trenamento em agrupamentos, ou clusters. Anda assm, pode-se consderar o problema como um caso de aprendzagem de uma função obetvo, pos o valor da função é o nome do agrupamento ao qual um obeto de entrada pertence.

5 Fundamentos Teórcos 24 Aprendzado Indutvo Aprendzado Supervsonado Aprendzado Não Supervsonado Classfcação Regressão Clusterzação Fgura Herarqua do Aprendzado 2.3 Classfcação automátca de textos A classfcação de textos é a tarefa de assocar textos em lnguagem natural a rótulos pré-defndos. Esse problema vem sendo tratado desde os anos 60, porém só nos anos 90, a classfcação de textos começou a ser amplamente aplcada, graças ao desenvolvmento de máqunas mas potentes e da facldade de publcação de textos em forma eletrônca. A classfcação de textos é uma área que engloba concetos de extração de nformação e de aprendzado de máquna e possu mutas característcas em comum com outras tarefas como extração de conhecmento e mneração de textos. A classfcação de textos pode ser aplcada em uma grade varedade de contextos como, por exemplo: ndexação automátca de textos [Maron, 96], dentfcação de autores de textos [Mosteller & Wallace, 964], fltragem de e- mals [Graham, 2002], classfcação herárquca de págnas da nternet [McCallum et al., 998] e geração automátca de metadados [Gles et al., 2003]. Consdere um conunto de documentos D = {d, d 2,..., d D } e um conunto de categoras C = {c, c 2,..., c C }. O problema da classfcação automátca de textos consste em estmar uma função obetvo Φ : D C {0,}, que assoca um valor booleano a cada par ( d, c ) D C. Um valor assocado ao par ( d, c ) ndca que o documento d pertence à categora c, enquanto que um valor 0 ndca que o documento d não pertence à categora c.

6 Fundamentos Teórcos Classfcação unrótulo e multrótulo Na classfcação de textos podem exstr restrções relaconadas à quantdade de categoras do conunto C e a quantdade de categoras assocadas a cada documento d. Consderando a restrção de quantdade de categoras no conunto C, podese subdvdr o problema da classfcação em classfcação bnára, onde cada documento d D está assocado a uma categora c ou ao seu complemento c, e na classfcação multcategora, onde o conunto de categoras C possu mas de duas categoras. Consderando a restrção de quantdade de categoras assocadas a cada documento, a classfcação unrótulo corresponde ao caso em que um documento d D está assocado a exatamente uma categora. Nesse caso, as categoras são mutuamente exclusvas. d A classfcação multrótulo corresponde ao caso em que um documento D está assocado a zero ou mas categoras, onde tas categoras não são mutuamente exclusvas. Pode-se verfcar que a classfcação do tpo bnára é um caso partcular da classfcação unrótulo. 2.5 Conuntos de trenamento, valdação e teste A classfcação de textos baseada nas técncas de máquna de aprendzado necessta de um conunto de documentos (corpus) Ω = { d,..., d } D préclassfcados nas categoras do conunto C = { c,..., c C }. Para a construção de um classfcador dvde-se o conunto Ω em três subconuntos dsuntos: um conunto de trenamento Tr = { d,..., d Tr }, um conunto de valdação T = { d,..., d } e um Ω v T v conunto de teste T = { d,..., d }. Em alguns casos, o conunto de valdação T v é vazo. e T e O classfcador é construído através do conunto de trenamento T r, e os parâmetros são austados através de repetdos testes realzados no conunto de

7 Fundamentos Teórcos 26 valdação T v. Então, através do conunto de teste T e, são realzados testes para medr a efcênca do algortmo de classfcação. Os subconuntos são dsuntos para assegurar que os resultados expermentas obtdos, através do conunto de teste, seam de um conunto dferente do usado para realzar o aprendzado, tornando os resultados estatstcamente váldos. 2.6 Representação de documentos A forma mas smples de representar documentos é assocar ao documento d um vetor de pesos d = { w,..., w V } onde V é o conunto de termos que ocorrem em pelo menos um documento de T r e o peso w k que representa, grosso modo, quanto o termo t k contrbu para a semântca do documento d. Exstem dversas abordagens que dferem na defnção do que sgnfca o termo t k e como calcular os pesos w k. A representação mas abordada na lteratura de classfcação de textos é conhecda como bag of words. Nessa abordagem, cada termo corresponde a uma únca palavra no conunto de palavras do conunto de trenamento. Lews, [992], mostrou que representações de documentos mas sofstcadas, como frases, resultaram em um por desempenho em expermentos rodados na base de notícas da Reuters. Além dsso, [Scott & Matwn, 999] acrescentaram nformação semântca à tarefa de classfcação de textos e não obtveram resultados satsfatóros. Em contraste, outros trabalhos apresentaram melhor desempenho na utlzação de frases [Mladenć & Grobelnk, 998] e reconhecmento de nomes própros [Basl, 2000], comparados à representação tradconal bag of words. Desta forma, a efcáca de modelos mas complexos anda necessta de mas estudos. Com relação ao cálculo dos pesos w k, a abordagem mas conhecda e muto comum em sstemas de recuperação de nformação é a combnação de duas meddas, Term Frequence (tf) e Inverse Document Frequence (df) defnda como:

8 Fundamentos Teórcos 27 tfdf ( t, d ) = tf ( t, d ) df ( t, d ) k k k tf ( t, d ) = #( t, d ) k k Tr df ( tk, d ) = log # Tr ( t ) Onde #(t k, d ) é a freqüênca do termo t k no documento d, #Tr(t k ) é o número de documentos do conunto T r que possuem pelo menos uma ocorrênca do termo t k. O termo tf(t k, d ) ndca a mportânca do termo t k no documento d. Dessa forma, se um termo é muto freqüente no documento d, então ele deve ser mportante para representação do documento. Porém, um termo que sea freqüente em mutos documentos do conunto T r não é um termo representatvo para o documento d. Desta forma, calcula-se a medda df, que é nversamente proporconal à quantdade de documentos em que o termo t k ocorre. Com o propósto de gualar o tamanho dos vetores que representam os documentos, o valor da medda tfdf é normalzado: w k tfdf ( tk, d ) = (2) V 2 ( tfdf ( t, )) s s d = Outra abordagem muto usada em classfcadores probablístcos é representar um documento através de pesos bnáros, onde um valor 0 representa a ausênca e o valor representa a presença do termo no documento [Robertson & Sparck Jones, 976]. A abordagem utlzada nesse trabalho representa um documento através de um vetor de freqüêncas, onde cada componente corresponde à freqüênca do termo no documento. k () 2.7 Pré-processamento de documentos A preparação dos textos é a prmera fase do processo de cração ndutva de classfcadores de texto. Esta fase envolve a seleção de termos que melhor expressam o conteúdo de textos, ou sea, toda a nformação que não refletr nenhuma déa consderada mportante é desconsderada. Desta forma, a seleção de termos reduz a quantdade de termos e, por consegunte, a dmensão dos vetores que representam os documentos. Uma

9 Fundamentos Teórcos 28 redução da dmensão dos vetores mplca em uma menor quantdade de memóra utlzada e em menor processamento. Além dsso, reduz a possbldade de overfttng, fenômeno que ocorre quando o classfcador é austado de forma muto específca para o conunto de trenamento, mplcando em uma baxa perfomance na classfcação de documentos não conhecdos pelo classfcador [Sebastan, 999] Stopwords Stopwords são palavras consderadas não relevantes para a análse de textos. Na maora das vezes são palavras auxlares ou conectvas, não fornecendo nenhuma nformação dscrmnatva na expressão do conteúdo do texto. Palavras como pronomes, artgos, preposções e conunções podem ser consderaradas stopwords. Para cada língua exste um conunto de stopwords (também conhecdo como stoplst ). Uma vez defnda a lsta de stopwords, para cada documento, são retradas as ocorrêncas no texto de todas as stopwords Stemmng A tarefa de stemmng consste em agrupar palavras que possuem a mesma raz morfológca. Algumas técncas de stemmng serão apresentadas a segur, com o obetvo de elucdar as dferentes abordagens utlzadas pelos algortmos exstentes Método de Stemmer S O método mas smples de stemmng é o stemmer S [Harman, 99], no qual apenas alguns fnas de palavras são removdos. Por exemplo, os fnas de palavras da língua nglesa es, es e s (com exceções). Embora o stemmer S não descubra mutas fusões, alguns sstemas o usam, pos ele é conservador e raramente surpreende o usuáro.

10 Fundamentos Teórcos Método de Porter O método de stemmng de Porter [Porter, 980] consste na dentfcação das dferentes nflexões de uma mesma palavra e sua substtução por um radcal comum. O algortmo remove 60 sufxos dferentes em uma abordagem composta de cnco fases. Termos com um stem comum mutas vezes possuem sgnfcados smlares, por exemplo: ESTUDO ESTUDOS ESTUDAR ESTUDADO Método de Lovns O método de Lovns [Lovns, 968] é composto de um únco passo, é sensível ao contexto e usa um algortmo de combnação mas longa para extrar em torno de 250 sufxos dstntos. Tal método retra no máxmo um sufxo por palavra, removendo o sufxo mas longo. Comparado aos outros dos métodos apresentados, este método é o mas agressvo Freqüênca de Documentos (DF) Freqüênca de documentos (DF) é o número de documentos no qual um termo ocorre. A déa desse método é calcular a freqüênca DF de cada termo e remover o termo do vocabuláro do corpus, se a freqüênca for menor que um determnado lmar. A suposção básca é a de que termos raros são nãonformatvos para predzer a categora ou não nfluencam o desempenho global. Freqüênca de documentos é a técnca mas smples de redução de termos. Ela é faclmente escalável para conuntos de mutos documentos, com uma complexdade computaconal pratcamente lnear em relação à quantdade de documentos.

11 Fundamentos Teórcos Ganho de Informação (IG) Ganho de nformação é amplamente empregado como um crtéro de mportânca de termos no campo de aprendzado de máquna. Através dessa técnca, é medda a quantdade de nformação relatva à predção da categora, pela presença ou ausênca de um termo em um documento. Dado um conunto de categoras C = {c, c 2,..., c C }, o ganho de nformação de um termo t k é defndo como: k = = k k = = k k k k G( t ) P( c )log P( c ) + P( t ) P( c t )log P( c t ) (3) + P( t ) P( c t )log P( c t ) Dado um conunto de documentos de trenamento, para cada termo, é calculado o ganho de nformação e são removdos do corpus os termos que possuírem um ganho de nformação nferor a um lmar pré-determnado Informação Mútua (MI) Informação mútua é um crtéro normalmente usado em modelagem estatístca da lnguagem em assocações de palavras. Dado um termo t k e uma categora c, consdere A o número de vezes que t k e c co-ocorrem, B o número de vezes que t k ocorre sem c, C o número de vezes que c ocorre sem t k e N o número total de documentos de trenamento. A medda de nformação mútua é defnda como: P( tk c ) I ( tk, c ) = (4) P( t ) P( c ) Estma-se a medda de nformação mútua usando-se: log A N I( tk, c ) (5) ( A + C)( A + B) A medda I(t k, c ) tem o valor de zero caso t k e c forem ndependentes. Para medr a mportânca de um termo globalmente, combnam-se as pontuações de um termo específcas para cada categora em duas formas alternatvas: k

12 Fundamentos Teórcos 3 I ( t ) = P( c ) I( t, c ) (6) avg k k = max { } I ( t ) = max I ( t, c ) (7) k k = Desta forma, para cada termo, é calculada a nformação mútua e são removdos do corpus os termos que possuírem um valor nferor a um lmar prédetermnado Estatístca χ 2 (CHI) A estatístca χ 2 mede o grau de dependênca entre um termo t k e uma categora c. Consderando A o número de vezes que t k e c co-ocorrem, B o número de vezes que t k ocorre sem c, C o número de vezes que c ocorre sem t k e D o número de vezes que nem c nem t k ocorrem, e N o número total de documentos de trenamento, a medda é defnda por: 2 N ( AD CB) χ ( tk, c ) = (8) ( A + C) ( B + D) ( A + B) ( C + D) 2 Assm como a medda de nformação mútua, calcula-se o grau de mportânca global de um termo t k de duas formas: 2 2 tk P c χ tk c = χ ( ) = ( ) (, )(9) χ { χ } 2 2 max tk tk c = ( ) = max (, ) (0) 2.8 Classfcadores probablístcos Classfcadores probablístcos utlzam probabldades para aproxmar a função obetvo do problema da classfcação de textos. Desta forma, dado um conunto de categoras C = {c,..., c C } e um documento d = { w,..., w V } não conhecdo, o algortmo estma a probabldade do documento pertencer a cada uma das categoras do conunto C, representada

13 Fundamentos Teórcos 32 por P( c d ), e classfca o documento d na categora com maor probabldade estmada. Desta forma, a função que aproxma a função obetvo da tarefa de classfcação pode ser defnda como: * Φ ( d, ck ) = c ( d ) = ck () * Φ ( d, c ) = 0 c ( d ) c k k c * ( d ) = arg max c { P( c )} d = arg max c {log P( c )} d (2) = arg max {log( P( c ) P( d c ))} c Para calcular a probabldade P( c d ), o algortmo faz uso do teorema de Bayes: P( c ) P( d c ) P( c d ) = (3) P( d ) Onde P(c ) é a probabldade de um documento escolhdo aleatoramente pertencer à categora c, P( d ) é a probabldade de um documento ser representado pelo vetor d e P( d c ) é a probabldade de um documento ser representado pelo vetor d, dado que ele pertence à categora c Nave Bayes O classfcador nave Bayes assume que exste ndependênca entre os termos de um documento. Tal hpótese smplfcadora é muto crtcada por não representar a realdade, porém Domngos & Pazzan, [997] mostraram teorcamente que a suposção de ndependênca de palavras na maora dos casos não preudca a efcênca do classfcador. Bascamente, exstem dos tpos de modelos estatístcos para os classfcadores nave Bayes que serão apresentados nas duas seções a segur.

14 Fundamentos Teórcos Modelo bnáro O modelo bnáro representa um documento através de um vetor bnáro, onde um valor 0 na posção k sgnfca que o documento não possu nenhuma ocorrênca do termo t k e um valor sgnfca que o documento possu pelo menos uma ocorrênca do termo t k. Desta forma, calcula-se: V P( d c ) = P( w c ) (4) k k= w k k k wk k P( w c ) = P( t c ) ( P( t c )) (5) Tr + w kxφ( d x, c ) x= P( tk c ) = (6) V Tr 2 + w Φ ( d, c ) s= x= sx x Com o propósto de evtar que a probabldade P( d c ) sea 0 smplesmente porque uma palavra do documento d não ocorre em nenhum documento da categora c, o valor é somado ao numerador e o valor 2 é somado ao denomnador. Esta técnca é chamada de amortzação de Laplace, sendo muto utlzada na lteratura. Substtundo-se a equação (5) na equação (4) tem-se: V wk = k k k= wk P( tk c ) ( P( tk c ) P tk c P( d c ) P( t c ) ( P( t c )) = ( ) Desta forma, através da equação (2), pode-se dervar: wk (7) V P( tk c ) log P( c ) + wk log + k P ( tk c ) = = (8) wk log( P( tk c )) k= * c ( d ) arg max c V Para calcular P(c ): P( c ) = Tr k= Φ( d, c ) k (9) Tr

15 Fundamentos Teórcos Modelo multnomal Já o modelo multnomal representa um documento através de um vetor de freqüêncas, onde o peso w k representa a freqüênca do termo t k no documento d. O modelo se basea na dstrbução multnomal e calcula P( d c ) da segunte forma: P( tk c ) P( d c ) = P( d ) d! w! V k= k w k Tr + w kxφ( dx, c ) x= k c = V Tr V + w s x sx dx c = Φ = P( t ) (20) (2) (, ) Substtundo-se a formula (20) na fórmula (2), tem-se: 2.9 Meddas de desempenho ( ) arg max log ( ) log ( ) (22) V * c d = c P c + wk P tk c k= Nesta seção serão apresentadas as prncpas meddas de efcênca para classfcadores e nclusve as meddas de efcênca utlzadas nos expermentos realzados sobre os dos algortmos propostos Matrz de contngênca A matrz de contngênca de um classfcador oferece uma medda efetva do modelo de classfcação, uma vez que apresenta o número de classfcações corretas versus as classfcações predtas pelo algortmo para cada classe. Dado um conunto de teste T e e um conunto de categoras C = {c, c 2,..., c C }, os resultados são totalzados em duas dmensões: classfcação verdadera e classfcação predta, onde : M ( c, c ) = Φ ( d, c ) = (23) k { dk T e: Φ ( dk, c ) = }

16 Fundamentos Teórcos 35 Classe Predta c Predta c 2... Predta c C Verdadera c M(c, c ) M(c, c 2 )... M(c, c C ) Verdadera c 2 M(c 2, c ) M(c 2, c 2 )... M(c 2, c C )..... Verdadera c C M(c 2, c ) M(c 2, c ) M(c 2, c ) M(c C, c C ) Tabela Matrz de contngênca de um classfcador. O número de acertos para cada classe, se localza na dagonal prncpal da matrz. Os demas elementos representam erros na classfcação. A matrz de contngênca de um classfcador deal possu todos esses elementos guas à zero. Por smplcdade, consdere um problema de classfcação bnára de uma classe c. O problema deve classfcar documentos de teste em c ou c. Desta forma, tem-se a matrz de contngênca: Classe Verdadera c Verdadera c Predta c Verdaderos postvos TP Falsos postvos FP Predta c Falsos negatvos FN Verdaderos negatvos TN Tabela 2 Matrz de contngênca de um classfcador bnáro Precson e Recall A efcênca da tarefa de classfcação normalmente é calculada através de meddas clásscas de aqusção de nformação, chamadas de recall (р) e de precson (π). Dada uma categora c, recall e precson assocadas à categora c são defndas como: TP p = (24) TP + FN TP π = (25) TP + FP Além das duas meddas assocadas a cada categora, também são usadas meddas globas:

17 Fundamentos Teórcos 36 Mcro recall: Mcro precson: Macro recall: Macro precson: TP = µρ = ( ) (26) TP + FN = TP = µπ = ( ) (27) TP + FP M = ρ = (28) C = ρ M π = (29) C = π Essas duas meddas globas normalmente apresentam resultados um pouco dferentes, prncpalmente devdo à dstrbução de documentos de trenamento em relação às categoras. Caso a dstrbução de documentos sea dsforme, um classfcador com um bom desempenho deve dar mas ênfase para as meddas de macro recall e macro precson e menos ênfase para as meddas de mcro recall e mcro precson. Para um classfcador ter uma performance boa, não basta ter somente a medda de recall alta, ou a medda de precson alta, soladamente. Consdere o exemplo de um classfcador que classfca um documento em todas as classes. Tal classfcador possurá a medda recall muto alta, uma vez que a quantdade de falsos negatvos é nula, porém uma medda precson baxa. Desta forma, é necessára uma medda que combne as duas meddas. Mutas meddas de combnação de recall e precson, sendo que as mas utlzadas são: Eleven-pont average precson: os parâmetros do classfcador, (por exemplo, lmares), são austados com o propósto da medda р varar de 0.0, 0.,..., 0.9,.0. Além dsso, a medda π é calculada para as terações e é calculada a méda dos valores de π. Breakeven pont: são realzadas dversas terações, varando-se os parâmetros do classfcador e é gerado gráfco das meddas р e π. O

18 Fundamentos Teórcos 37 breakeven pont é o ponto onde as meddas р e π possuem o mesmo valor. A função F β, que é uma combnação das meddas р e π, e é defnda como: 2 ( β + ) πρ F β = 2 (30). Normalmente, um valor β = é usado, β π + ρ dando gual mportânca para as meddas р e π, e é chamada de F. A medda F fo utlzada nesse trabalho para medr o desempenho dos algortmos propostos. 2.0 Métodos de avalação de classfcadores Uma vez construído um classfcador de textos, deve-se mostrar sua efcênca através de metodologas de avalação de desempenho que permtam que seus resultados seam comparáves com outros classfcadores. Nesta seção serão apresentados os prncpas métodos de avalação de desempenho de classfcadores Resubsttução O método de resubsttução consste em construr e testar o classfcador no mesmo conunto de documentos, ou sea, o conunto de documentos de teste é exatamente gual ao conunto de documentos de trenamento. Tal método fornece uma estmatva altamente otmsta da efcáca do algortmo. Porém, este método não garante que o bom desempenho no conunto de trenamento se estenda para conuntos ndependentes de teste. Desta forma, dversos métodos de reamostragem foram propostos, os quas são descrtos a segur. Todos estão baseados no mesmo prncípo: não deve haver documentos em comum entre os conuntos de trenamento, valdação e de teste Holdout O método holdout dvde os documentos em uma porcentagem fxa de documentos p para trenamento e ( p) para teste, consderando normalmente p

19 Fundamentos Teórcos 38 > /2. Valores típcos são p = 2/3 e ( p) = /3, embora não exstam fundamentos teórcos sobre estes valores. Uma vez realzada a dvsão, é nduzdo um classfcador a partr do conunto de trenamento e são calculadas as meddas de efcênca sobre os documentos de teste. A desvantagem desse método é que ele possu apenas uma teração, dependendo muto da qualdade da partção escolhda Amostragem aleatóra Na amostragem aleatóra, são cradas K partções do conunto de todos os documentos. Cada partção é crada seleconando de forma aleatóra e sem reposção um número fxo de documentos pra trenamento. São realzados K expermentos e a medda de efcênca é a méda das meddas de efcênca obtdas em cada expermento. A amostragem aleatóra pode produzr melhores estmatvas de erro que o método holdout K-Fold Cross Valdaton Nesse método, os documentos são aleatoramente dvddos em K partções mutuamente exclusvas ( folds ) de tamanho aproxmadamente gual a n/k, onde n é o tamanho do conunto de documentos. Então, são realzados K expermentos, onde, em cada expermento, uma partção dferente é escolhda para o teste e as K partções restantes são escolhdas para o trenamento. A medda de efcênca é a méda das meddas de efcênca calculadas para cada uma das partções. A grande vantagem desse método comparado ao anteror, é que todos os documentos são usados tanto para trenamento quanto para teste Leave-One-Out O método leave-one-out é um caso especal de cross-valdaton. Possu uma complexdade computaconal elevada e, portanto, é mas usado em amostras pequenas. Para um conunto de n documentos, um exemplo é usado para teste e n

20 Fundamentos Teórcos 39 documentos são usados para trenamento. Este processo é repetdo n vezes, cada vez escolhendo um exemplo dferente para teste. A medda de efcênca deste método é a méda das meddas de efcênca dos n expermentos realzados Bootstrap No método bootstrap, o conunto de trenamento possu o mesmo tamanho do conunto de todos os documentos e é consttuído de documentos seleconados aleatoramente com reposção a partr de tal conunto. Desta forma, para um mesmo conunto de trenamento, alguns documentos podem não estar ncluídos, enquanto outros podem aparecer mas de uma vez. Os documentos que não aparecem no conunto de trenamento são usados como conunto de teste. Geralmente, o processo de bootstrap é repetdo númeras vezes, sendo que a medda de efcênca estmada é a méda das meddas de efcênca obtdas em cada expermento.