3 Algoritmos propostos

Transcrição

1 Algortmos propostos 3 Algortmos propostos Nesse trabalho foram desenvolvdos dos algortmos que permtem classfcar documentos em categoras de forma automátca, com trenamento feto por usuáros Tas algortmos podem ser ntegrados em um ambente completo de mneração de textos composto dos seguntes passos: 1 O usuáro nforma um conunto de categoras de nteresse e um conunto de fontes de notícas na web Por exemplo: categoras como soa, uros e volênca das fontes de notíca Reuters, o Globo 2 O programa retorna um conunto de notícas das respectvas fontes especfcadas pelo usuáro 3 O usuáro classfca as notícas nas categoras anterormente especfcadas, tendo a possbldade de classfcar uma notíca em mas de uma categora 4 O programa retorna um novo conunto de notícas classfcadas nas categoras, podendo uma notíca estar classfcada em mas de uma categora 5 O usuáro avala a classfcação executada pelo programa e pode corrgr os falsos postvos e falsos negatvos 6 Volta para o passo 4 A fase de trenamento e a fase de classfcação ocorrem em conunto com a realmentação do usuáro, dferente do método clássco de trenamento em que prmeramente o algortmo é trenado com os documentos para posteror classfcação dos novos documentos nas categoras especfcadas Nesse trabalho, são propostos dos algortmos para resolver o problema da classfcação automátca de textos Os algortmos propostos são baseados no

2 Algortmos propostos 41 método de classfcação automátca de textos nave Bayes utlzando o modelo multnomal e amortzação de Laplace, descrtos na seção Classfcador pseudo-multrótulo O prmero algortmo, chamado de pseudo-multrótulo, transforma o problema multrótulo em um problema unrótulo Nesse algortmo, o conunto de categoras é estenddo para suportar as combnações de categoras Portanto, uma combnação de categoras também é consderada uma categora Consdere um conunto de categoras C = {c 1, c 2,, c C } e um conunto de documentos D = {d 1, d 2,, d D } Cada documento d está assocado a uma combnação das categoras em C, que pode ser representado por um vetor bnáro l {0,1} C, onde a posção está assocada à categora c, um valor 1 na posção representa que o documento está assocado à categora c e um valor 0 representa que o documento não está assocado à categora c O conunto de rótulos do algortmo é defndo como um conunto L {0,1} C de vetores bnáros l, onde cada rótulo defne um conunto de documentos { d D ( Φ ( d, c ) = l [ ])} Por exemplo, o rótulo (0, 1, 1) representa o conunto de documentos assocados exatamente às categoras c 2 e c 3 Uma representação mas ntutva do rótulo (0, 1, 1) sera ( c1, c2, c Na fase de trenamento, dado um documento d assocado ao rótulo l, verfca-se se á fo realzado algum trenamento com o rótulo l Caso não tenha ocorrdo, é crada uma nova categora representada pelo rótulo l As palavras do documento d e suas freqüêncas são ncluídas na categora Já na fase de classfcação, dado um documento d não conhecdo, deve-se calcular a probabldade P( l d ) do documento pertencer a cada uma das combnações de categoras representadas pelos vetores bnáros em l {0,1} C escolher a combnação com maor probabldade Adaptando-se a fórmula (22) para contemplar combnações de categoras, representadas por vetores, calcula-se: V * l d = l P l + wk P tk l k = 1 ( ) arg max log ( ) log ( ) (31) e

3 Algortmos propostos 42 Como exemplo da fase de trenamento, consdere o conunto de trenamento composto pelos documentos {d 1, d 2, d 3, d 4 } pelo conunto de categoras smples {c 1, c 2, c 3 } e pelas assocações (d 1, {c 1, c 2 }), (d 2, {c 2 }), (d 3, {c 2 }) e (d 4, {c 1, c 2, c 3 }) Para o documento d 1, é verfcado se á fo realzado algum trenamento com a categora representada pelo rótulo (1, 1, 0) ou ( c1, c2, c Como não fo realzado nenhum trenamento, é crada uma categora representada pelo rótulo ( c, c, c ) Essa categora é composta por todos os documentos que estão assocados à exatamente c 1 e à c 2 Após a cração da categora, são retradas as stopwords de d 1, todas as palavras são transformadas em mnúsculas e são calculadas as freqüêncas de cada palavra no texto de d 1 Fnalmente, as palavras e suas respectvas freqüêncas são ncluídas na categora ( c1, c2, c No trenamento a partr do documento d 2, é crada uma categora representada pelo rótulo ( c1, c2, c Essa categora é composta por todos os documentos que estão assocados à exatamente c 2 Então, as palavras de d 2 e suas respectvas freqüêncas são ncluídas na categora ( c1, c2, c Já no trenamento a partr do documento d 3 não é crada nenhuma categora, pos a categora assocada ao documento d 3 á fo crada anterormente Na fase de classfcação, dado um documento d 5 não conhecdo pelo * sstema, o algortmo calcula l ( d ), onde l {( c1, c2, c,( c1, c2, c,( c1, c2, c} 5 O problema de tal técnca é que são necessáros exemplos de documentos para cada combnação de categoras, o que nem sempre é possível Além dsso, um documento exemplo de uma combnação de n categoras (por exemplo, um documento pertencente à combnação mlho, grão, agrcultura ) não sera também tratado como exemplo das 2 n -2 subcategoras (por exemplo, grão e agrcultura, mlho e agrcultura, mlho e grão, mlho, grão, agrcultura ) A complexdade teórca da fase de trenamento do algortmo é O( T r V ) Desconsderando a fase de contagem da freqüênca das palavras em cada documento, para cada documento do conunto T r, são ncluídas todas as suas palavras na combnação de categoras assocada, o que custa no por caso, O( V )

4 Algortmos propostos 43 Já a fase de classfcação tem a complexdade teórca de O ( T e V T r ) Para cada documento, é necessáro seleconar a combnação de categora com maor probabldade do conunto L de combnações de categoras cradas na fase de trenamento Para seleconar a combnação de categora com maor probabldade se gasta O( V T r ), uma vez que, no por caso, exstem T r combnações de categoras, ou sea, um documento de trenamento para cada combnação 32 Classfcador multrótulo Nesse algortmo, um rótulo é uma combnação de categoras em C e é representado por um vetor l, onde cada posção corresponde a uma categora e pode assumr os valores: 0, 1 e? Um valor 1 na posção do vetor l representa que o rótulo é composto de documentos assocados à categora c, um valor 0 representa a ausênca de assocações entre os documentos do rótulo e a categora c, e um valor? representa que o rótulo pode ser composto tanto por documentos assocados à c quanto a documentos não assocados à c Formalmente, o rótulo l defne um conunto de documentos { d D ( l [ ]?) l [ ] = Φ( d, c )} Como exemplo, consdere o rótulo (?, 1, 1) Tal rótulo defne o conunto de documentos que estão assocados pelo menos às categoras c 2 e c 3 Uma forma mas ntutva de representar o rótulo sera (c 2, c 3 ) Na fase de trenamento, dado um conunto D de documentos de treno, e um conunto de categoras C, o algortmo prmeramente cra dos conuntos de rótulos L {0,1} C e L {1,?} C Para sso, para cada documento, é verfcada a combnação de rótulos assocada Dado um documento d de treno e uma combnação de rótulos assocada representada pelo vetor l, é verfcado se á fo crada uma categora representada pelo vetor l Caso não tenha sdo crada, são cradas duas categoras l {0,1} C e l {1,?} C, onde l é a categora composta de documentos assocados exatamente à combnação de rótulos de d e l de documentos assocados pelo menos à combnação de rótulos de d é a categora composta

5 Algortmos propostos 44 Uma vez cradas todas as categoras, para cada documento d são calculadas as freqüêncas de cada palavra no texto de d Verfca-se, então, a combnação l assocada ao documento d e são ncluídas as palavras do documento e suas freqüêncas na combnação de categoras representada pelo rótulo l e em todas as subcombnações l k L onde ( l k[ ] = 1) ( l [ ] = 1), ou sea, a combnação de categoras l k está contda na combnação l Por exemplo, se o documento d está assocado ao rótulo ( c1, c2, c3, c, ele será ncluído nos rótulos ( c1, c2, c3, c, ( c1, c2, c, ( c1, c 2), ( c1, c, ( c2, c, ( c 1), ( c 2), ( c Na fase de classfcação, consdere os conuntos de rótulos crados pelo trenamento L = { l, l,, l } {0,1} C L, L = { l, l,, l } {1,?} C L e um documento d não conhecdo pelo classfcador Prmeramente, deve-se calcular a probabldade P( l d ) do documento pertencer a cada uma das combnações l L compostas apenas de uma categora e escolher a combnação com maor probabldade, representada por l Porém, não é necessáro calcular exatamente P( l d ), uma vez que P(d ) é constante Assm, através da equação (31), é escolhda a combnação l, que possu a maor probabldade Posterormente, escolhe-se a combnação com maor probabldade l (2), do conunto de combnações l L compostas por duas categoras, onde uma das categoras da combnação pertence à combnação l, escolhda anterormente (2) Então, se compara a probabldade P( l d ) com a probabldade P( l d ), onde l L é a combnação tal que k( l [ k] = 1) ( l [ k] = 1) e k( l [ k] =?) ( l [ k] = 0) Por exemplo, se C = {c 1, c 2, c 3 } e l = ( c1 ), então l = ( c, c, c ) Para ser realzada a comparação das probabldades, calcula-se (2) (2) arg max P( r d ), r { l, l } Se P( l d ) < P( l d ), então o documento r { } d é classfcado em l Caso contráro, o algortmo contnua aumentando a quantdade de categoras em cada combnação, até que a condção de parada

6 Algortmos propostos 45 P l d < P l d ( k ) ( k 1) ( ) ( ) sea satsfeta, ou a quantdade de categoras em cada combnação sea C Caso a quantdade de categoras em cada combnação sea C e a condção de parada não sea satsfeta o documento d é classfcado na combnação de categoras as categoras em C ( k ) l, que representa a combnação composta por todas Como exemplo, consdere um documento d 1, um conunto C de categoras {c 1, c 2, c 3 } e um conunto de rótulos L = {(c 1 ), (c 2 ), (c 1, c 2 ), (c 1, c 3 )} Incalmente, o algortmo nduz uma assocação entre o documento d 1 e uma das categoras em C, calculando a probabldade do documento d 1 pertencer a cada uma das categoras em C Caso a categora nduzda tenha sdo c 1, são analsadas todas as combnações de categoras presentes no conunto de rótulos L, onde uma das categoras é c 1, ou sea, (c 1, c 2 ) e (c 1, c 3 ) Então, é escolhdo o rótulo com maor probabldade Caso o rótulo com maor probabldade sea (c 1, c 2 ), a regra de decsão deverá nduzr se o documento pertence exatamente a c 1 ou se pertence pelo menos a c 1 e c 2 A regra de decsão pode ser vsualzada pela fgura 2 O algortmo nduz se o documento pertence à regão marcada na fgura com lnhas dagonas, da regão marcada com lnhas horzontas P( c, c d ) > P( c, c, c d )? c 3 c 1 c 2 Fgura 2 - Exemplo da regra de decsão do algortmo multlrótulo proposto A complexdade teórca da fase de trenamento do algortmo é O( T r V T e ) Para cada documento pertencente ao conunto de trenamento T r, no por caso, exstem T r combnações de categoras pertencentes ao conunto de combnações de categoras

7 Algortmos propostos 46 A complexdade teórca da fase de classfcação do algortmo é O( T r V T e ) No prmero passo, é seleconada a combnação de categoras composta de apenas 1 categora Uma vez escolhda a combnação de categoras composta de apenas 1 categora, selecona-se a combnação de categoras compostas de 2 categoras, onde uma das categoras pertence à combnação de categoras escolhda no prmero passo Assm, no por caso, compara-se todas as combnações de categoras exstentes na base de trenamento Como exemplo da fase de trenamento, consdere o conunto de trenamento composto pelo conunto de documentos D = {d 1, d 2, d 3, d 4, d 5 }, pelo conunto de categoras C = {c 1, c 2, c 3, c 4 } e pelas assocações (d 1, {c 1, c 2 }), (d 2, {c 2 }), (d 3, {c 1, c 2, c 3 }), (d 4, {c 1, c 3 }) e (d 5, {c 1 }) Prmeramente, são crados os conuntos de rótulos L e L Para sso, são verfcados para cada documento as respectvas categoras assocadas Assm, para o documento d 1, são crados os rótulos (c 1, c 2 ) e ( c1, c2, c3, c, para d 2, (c 2 ) e ( c1, c2, c3, c, para d 3, ( c1, c2, c e ( c1, c2, c3, c, para d 4, (c 1, c 3 ) e ( c1, c2, c3, c d 5, (c 1 ) e ( c1, c2, c3, c Desta forma os conuntos de rótulos são L = {(c 1 ), (c 2 ), (c 1, c 2 ), (c 1, c 3 ), (c 1, c 2, c 3 )} e L = {( c1, c2, c3, c,( c1, c2, c3, c,( c1, c2, c3, c,( c1, c2, c3, c,( c1, c2, c3, c} Depos de crados os conuntos de rótulos, para cada documento são analsadas suas palavras, são retradas as stopwords, calculadas suas freqüêncas no texto e nserdas nos rótulos ao qual o documento pertence Para o documento d 1, suas palavras e freqüêncas são ncluídas nos rótulos ( c1, c2, c3, c, (c 1, c 2 ), (c 1 ) e (c 2 ) Para o documento d 2, suas palavras e freqüêncas são ncluídas nos rótulos ( c1, c2, c3, c e (c 2 ) Para o documento d 3, suas palavras e freqüêncas são ncluídas nos rótulos ( c1, c2, c3, c, (c 1, c 2, c 3 ), (c 1, c 2 ), (c 1, c 3 ) e (c 2 ) Já no caso do documento d 4, suas palavras e freqüêncas são ncluídas nos rótulos ( c1, c2, c3, c, (c 1, c 3 ) e (c 1 ) Fnalmente para o documento d 5, suas palavras são ncluídas nos rótulos ( c1, c2, c3, c e (c 1 ) e

8 Algortmos propostos 47 Como exemplo de classfcação, consdere o documento d 6 não conhecdo pelo classfcador Prmeramente, o classfcador escolhe o rótulo com uma categora com maor probabldade Assm, o classfcador deve calcular arg max P( r d ), r {( c ),( c )} r { } 1 2 Supondo que o rótulo escolhdo tenha sdo (c 1 ), então o classfcador analsa todos os rótulos com duas categoras, onde uma das categoras é c 1, ou sea, os rótulos (c 1, c 2 ) e (c 1, c 3 ) Caso o rótulo com maor probabldade sea (c 1, c 3 ), então o classfcador compara P(c 1, c 3 d 6 ) com P( c1, c2, c3, c4 d 6) Se P(c 1, c 3 d 6 ) < P( c1, c2, c3, c4 d 6), o documento d 6 é classfcado no rótulo ( c1, c2, c3, c