UM AGENTE DE FILTRAGEM DE CORREIO ELECTRÓNICO INDESEJADO

Transcrição

1 UM AGENTE DE FILTRAGEM DE CORREIO ELECTRÓNICO INDESEJADO José Caos Edundo Montero Deartaento de Inforátca Deartaento de Engenhara Inforátca Escola Sueror de Tecnologa de Vseu Unversdade de Cobra - Pólo II 35 VISEU 33 COIMBRA Tel: , Fax: Tel.: , Fax: E-al: jcaos@d.estv.v.t E-al: edundo@de.uc.t Suáro Aresentação de u agente se-ntelgente ara fltrage de eal ndesejado elo seu conteúdo textual. O algorto central basea-se nos étodos de extracção de adrões e textos e na edda ter frequency. O agente aresenta u coortaento evolutvo e teros de arendzage. São aresentados u rotóto e alguns resultados obtdos. 1. INTRODUÇÃO A rolferação de ensagens de correo electrónco ndesejadas e não solctadas, couente desgnadas or sa, te vndo a auentar. Estas ensagens, utas vezes fraudulentas, são envadas or entdades desgnadas or saers co o ntuto de roover servços, rodutos ou eventos. Testes realzados revela os conteúdos destas ensagens [1]: 35% - oortundades de fazer dnhero fácl; 11% - entretenento ara adultos ou rodutos e servços ornográfcos; 1% - aretng drecto; 9% - guas nforatvos; 7% - servços na Internet, rooção de hardware e software e outros rodutos ara escrtóro; e 25% - outros rodutos e servços. Estas ensagens, quando e grande quantdade, rovoca ua sobrecarga de nforação que leva o utlzador a deserdçar ua grande arte do seu teo a fltrar e elnar as ensagens ndesejadas. Os ecansos as couns ara a elnação das ensagens ndesejadas consste e o utlzador estabelecer regras segundo as quas as ensagens deve ser consderadas sa. Estas regras nclue, tcaente, a verfcação de alguns dos headers das ensagens de correo electrónco (or exelo, o header subject, o header fro, etc). Mutos rograas ant-sa dsonblza ua lsta extensa de saers conhecdos que ode ser edataente referda elo utlzador. Contudo, os saers tê vndo alterar o header fro or fora a conter u reetente falso, tornando a sua dentfcação vrtualente ossível. Todos este ecansos consegue ua fltrage relatvaente efcaz das ensagens sa conhecdas. No entanto, acaba or requerer deasado eenho or arte do utlzador na sua confguração, o qual deve ndcar as característcas as eculares dessas ensagens. Esta tarefa de análse das ensagens e confguração da alcação antsa acaba or tornar a ensage sa dulaente desagradável: deos do ncóodo de a ter recebdo, o utlzador te que ldar co u se núero de enus de confguração da alcação ant-sa, odendo vr a deserdçar as teo na sua confguração do que roraente a elnar as novas ensagens sa anualente. O ercado encontra-se releto de rograas ant-sa que leenta estes ecansos. Uns são coletaente autoátcos (elna edataente qualquer ensage suseta de ser sa) e outros se-autoátcos (que requere que o utlzador exane as ensagens bloqueadas antes de sere elnadas) [1]. 2. ABORDAGEM AUTOMÁTICA A abordage aresentada neste docuento elna qualquer to de confguração ou cração de regras de fltrage or arte do utlzador. Basea-se no conceto da exstênca de ua entdade se-ntelgente e autónoa, denonada neste docuento or Agente Ant-Sa (AAS), caaz de analsar as ensagens de correo electrónco e extrar adrões que caracterze as ensagens sa. O objectvo do AAS é construr u odelo ou erfl das ensagens sa ara o utlzador e, baseado nesse erfl, elnar ou arcar as ensagens que analtcaente são consderadas sa, antes que estas chegue ao utlzador. Co esta abordage, o utlzador não necessta de confgurar o AAS ne de defnr as regras de reconhecento de ensagens sa. É o róro AAS que se auto-confgura. Incalente, o AAS não ossu u erfl das ensagens sa sufcenteente recso. As reras ensagens sa não são detectadas. O utlzador deverá ndcar ao agente (or exelo, va eal) que ensagens deve ser fltradas. Esta abordage te, desta fora, a vantage de não haver necessdade de conhecento a ror, ou de réconfguração. Todas as ensagens são analsadas elo AAS. Da análse resulta ua classfcação (ou nota) ara essa ensage. As ensagens boas e as ensagens não desejadas deverão ter ua classfcação sufcenteente dferente ara que seja ossível dscrnar uas e relação às outras. Por exelo, as ensagens essoas do utlzador oderão ter ua nota baxa (a tender ara os %) enquanto as ensagens sa ua nota as elevada, aca de u deternado lar. 3. ARQUITECTURA DO SISTEMA A arqutectura do sstea coloca o AAS na áquna (ou na LAN) onde se encontra o servdor POP3 1. Deste odo, o AAS ode vr a gerr as alboxes dos város utlzadores co conta de correo electrónco no servdor. Para tal, deverá anter não u, as város erfs de ensagens sa, u erfl or cada utlzador. Isto deve-se ao facto de cada utlzador ter gostos e referêncas dferentes. Mutas ensagens ndesejadas tê orge na fora coo o utlzador nterage co os servços de councação na rede: as alng lst que subscreve, os stes WWW que vsta, os agos co que troca eal, as news que frequenta. Cada utlzador tenderá a receber ensagens sa co conteúdos e rovenêncas dferentes. Mensagens dferentes gera erfs dferentes. A arqutectura do sstea segundo esta ersectva encontra-se reresentada esqueatcaente na fgura 1. 1 Post Offce Protocol [6]. 1

2 Clente eal áquna local Malbox 1 SMTP... Malbox N A roxdade da ensage ao erfl ode ser edda através do ângulo α. Quanto enor for α, aor é o grau de seelhança entre a ensage e o erfl. POP3 5. TRANSFORMAR MENSAGENS EM VECTORES Perfl1 AAS... PerflN servdor re oto Fg. 1: O AAS resdente no servdor O AAS daloga co o POP3 or fora a obter as ensagens exstentes na albox do utlzador. As ensagens não detectadas deverão ser envadas elo utlzador ara o AAS. Esta oeração oderá consstr e reencanhar or correo electrónco toda a ensage sa ara o endereço eal do AAS (que deverá ser crado elo adnstrador do sstea ara este efeto). O agente, ao receber essa ensage, dentfca o reetente (o utlzador cujo erfl deverá ser actualzado) e nca o rocesso de arendzage do conteúdo da ensage or fora a actualzar o resectvo erfl. Esta abordage aresenta, coo aor desvantage, o facto da nteracção entre o utlzador e o agente se tornar algo colexa, elo enos a nível cogntvo. O utlzador não vê o agente, ne ode nteragr co ele drectaente no seu coutador. Terá que councar co o agente que se encontra nua áquna reota va eal. A falta de vsbldade do agente oderá levar à construção de u falso odelo concetual acerca do AAS [5]. E contraartda, esta arqutectura aresenta váras vantagens técncas. O AAS analsa as ensagens antes de estas saíre da áquna servdora. Deste odo, só as ensagens boas são transtdas ao resectvo utlzador, dnundo ass os custos de lgação no caso do utlzador estar lgado ao servdor, or exelo, va ode. E alternatva, as ensagens oderão ser arcadas coo sa e vez de sere elnadas, ara osteror análse do utlzador. Alé dsso, esta arqutectura erte a realzação de fltrage de alboxes ara város utlzadores. As ensagens eal são coostas or duas artes: a artes dos cabeçalhos (headers) e a arte do texto da ensage roraente dto. Cada alavra do texto é extraída e testada. Se estver ncluída nua lsta de alavras rrelevantes (or exelo, artgos, advérbos, conjunções, etc), será desrezada. As alavras relevantes denona-se teros. Os teros não tê todos a esa ortânca no que toca à caracterzação do texto. Por sso, a cada tero é assocado u eso que terá u valor roorconal à sua ortânca na caracterzação do conteúdo do texto. Deste odo, u texto é reresentado or u vector de tulos, cada tulo contendo u tero e o resectvo eso: { < t1, 1 >, < t2, 2 >,..., < tn > } T =, N e que t1... tn são os teros relevantes do texto T da ensage e 1...N os resectvos esos. Qualquer header que forneça eleento dentfcatvos do conteúdo e orge da ensage ode ser utlzado ara caracterzar a ensage sob a fora de u vector. De cada header são extraídos os teros que elhor caracterza a ensage. A cada tero é atrbuído u eso ara reflectr a sua ortânca na caracterzação do docuento: { < t1, 1 >, < t2, 2 >,..., < tn > } H =, N Ua ensage consste nu conjunto de vectores: M = { V } e que V é o vector da ensage M ( ode assur os valores texto, subject, fro, etc). O índce ndca que o vector ertence à ensage, ao contráro de que ndca erfl. 4. REPRESENTAÇÃO DO CONHECIMENTO O objectvo do sstea é oder confrontar cada ensage recebda co o erfl das ensagens sa de u utlzador or fora decdr se a ensage é ou não sa. Para tal, é necessáro reresentar o conhecento extraído das ensagens e estabelecer u eo de coaração entre a ensagens e o erfl. Ua fora sles e efcaz de o consegur consste e transforar abos e vectores ara deos edr o grau de roxdade entre eles [2]. A fgura 2 reresenta ua ensage e o erfl nu esaço co duas densões. No entanto, ara u sstea real, as ensagens e o erfl serão aeados e vectores nu heresaço co N densões, e que N é o núero de alavras relevantes a consderar nos cálculos. α ensage erfl 6. REPRESENTAR O PERFIL A reresentação do erfl é slar à das ensagens. U erfl consste nu conjunto de vectores de teros. Cada vector reresenta u atrbuto relevante das ensagens, tas coo texto, subject, fro, etc. Cada tero nu vector te assocado u eso roorconal à ortânca do tero ara efetos de dentfcação: P = { V } e que V é o vector no erfl P ( ndca que o vector ertence ao erfl). Os vectores de u erfl não tê todos a esa ortânca na caracterzação de ua ensage (or exelo, ode-se consderar que o subject é as relevante do que o texto da ensage). Ass, a cada vector do erfl é atrbuído u eso adconal que ndca a ortânca desse vector no erfl. Fg. 2: Reresentação vectoral da ensage e do erfl. 2

3 7. CÁLCULO DOS PESOS Os esos assocados a cada tero deende da frequênca de ocorrênca do tero na ensage. Esta edda é dada ela conhecda equação ter frequency easure, que assue que a ortânca de u tero é drectaente roorconal à sua frequênca no docuento [3]: frequênca( t) eso ( t) = NúeroTeros( D) e que frequênca(t) é o núero de vezes que o tero tero ocorre no docuento e NúeroTeros(D) é o núero de teros que o docuento conté. 8. FILTRAGEM DE MENSAGENS A fltrage de ensagens é o ecanso que, baseado na reresentação das ensagens e do erfl, erte dentfcar as ensagens ndesejadas. Ua fora de o consegur é calcular a seelhança esada entre os vectores corresondentes na ensage e no erfl searadaente, e osterorente, calcular a soa dessas seelhanças: S(, ) = S( V, V ) eso e que eso é o eso do vector no erfl. O cálculo da seelhança entre dos vectores é faclente consegudo através do roduto escalar de vectores [2]: S ( V, V ) = eso, eso, e que eso, é o eso do tero no vector da ensage, e eso, é o eso do tero no vector do erfl. Para o roblea resente, todos os vectores deve ser noralzados antes de se roceder ao seu roduto escalar. Os vectores noralzados erte estabelecer ua coaração entre os dversos esos dentro de u docuento ou erfl elo facto de estare todos sob a esa escala. Alé dsso, quando os vectores são noralzados, o roduto escalar erte-nos conclur que: ρ ρ ρ ρ u v = u v cos α = cosα ρ ρ os v = u = 1, o que faclta o cálculo do ângulo α e consequenteente do grau de seelhança entre os docuentos. 9. SELECÇÃO DE MENSAGENS INDESEJADAS Do cálculo da seelhança S(ensage, erfl) resulta u valor que é utlzado ara deternar se ua ensage é ou não desejada: cos α. Ua ensage essoal deverá ser reresentada or u vector quase erendcular ao erfl,.e., α deverá tender ara os 9º. As ensagens sa deverão ter u α a tender ara os º. Quanto aor for o valor de S(ensage, erfl), enor será o α entre os resectvos vectores. Para decdr se ua ensage é sa, o agente utlza u threshold denonado do-t. O valor deste lar é defndo elo utlzador, reresentando a Confança que o AAS deverá ter na sua decsão. O utlzador é resonsável elo valor atrbuído à Confança, que deverá anter-se a u nível confortável ara o utlzador. Se, or exelo, o utlzador deonstrar ua grande areenssão or o AAS elnar as ensagens sa autoatcaente, deverá colocar a Confança no seu valor áxo [4]. O resultado de S(ensage, erfl) é coarado co o threshold do-t. Se o seu valor for sueror a ensage é consderada ndesejada. 1. APRENDIZAGEM O agente não necessta de conhecento a ror. De facto, artndo de u erfl vazo, o AAS é caaz de arender, rogressvaente, a reconhecer as ensagens ndesejadas. Para tal, o utlzador deve envar-lhe todas as ensagens que consdera sa. O AAS analsa estas ensagens utlzando o eso ecanso de transforação de ensagens e vectores (extracção de alavras relevantes e atrbução de esos aos teros) e constró ou actualza o resectvo erfl. A esta contrbução do utlzador dá-se o noe de feedbac. O feedbac ode ser ostvo (quando o utlzador retende que o AAS arenda o conteúdo de ua nova ensage ou quando retende arovar ua decsão correctaente toada elo AAS), ou negatvo (ara ndcar que ua ensage fo ncorrectaente classfcada). Todos os vectores do erfl são odfcados e consequênca do feedbac. O ajuste do erfl é dado ela segunte equação [2]: P := P + β f M e que P é o erfl, f é o feedbac do utlzador e M a ensage que va contrbur ara a actualzação do erfl. O factor β ndca a sensbldade do rocesso de arendzage e ode ser defndo elo utlzador. U β baxo corresonde a ua arendzage conservadora, sto é, que dá as ortânca ao conhecento adqurdo no assado. U β elevado lca ua arendzage as agressva e que se dá as ortânca às ensagens analsadas as recenteente. 11. IMPLEMENTAÇÃO Para testar os algortos aresentados neste docuento, fo leentado u rotóto e PERL. O sstea estabelece erodcaente ua lgação co o servdor POP3. Cada ensage recebda é transforada e vectores, utlzando-se ara tal o subject e o texto da ensage. Ao subject fo atrbudo u eso de 75% e ao texto u eso de 25%. Nesta transforação são retradas as alavras rrelevantes e calculados os esos das restantes alavras. A reresentação vectoral da ensage é coarada co o erfl. As ensagens cuja classfcação é sueror ao threshold do-t são arcadas coo sendo sa. A Fgura 5 aresenta u extracto do fchero que conté o erfl. A rera lnha ndca que o AAS já utlzou 31 ensagens no seu rocesso de arendzage. As duas lnhas seguntes ndca os esos atrbuídos a cada vector do erfl. As restantes lnhas dvde-se e 4 colunas. A rera coluna ndca se se trata de u tero ertencente ao subject ou ao texto, a segunda conté o tero roraente dto, a tercera o núero de ensagens das 31 arenddas e que ocorreu o tero e, or f, a quarta coluna o seu eso. 3

4 31 subject weght:.75 text weght:.25 subject day subject gaes subject net subject download text www text htt text tworld text cg text htl text world EXPERIÊNCIAS Fg. 3: Extracto do erfl. O rocedento de teste teve coo objectvo reroduzr ua stuação o as realsta ossível. Para tal, fora realzadas alguas subscrções a alng lsts a f de obter ensagens slares co algua frequênca. As ensagens recebdas enquadra-se e quatro categoras: Categora Taanho Língua Sa 1) PC WORLD S Wndows 95 Shareware Pc of the day 2) PC WORLD'S Gae Pcs of the Day > 6 alavras Inglês SIM > 6 alavras Inglês SIM 3) The GeoCtes World Reort > 6 alavras Inglês NÃO 4) Eals essoas < 25 alavras Português NÃO Fora consderadas ensagens ndesejadas as ensagens da PC WORLD, que tanto roove shareware ara Wndows (categora 1) coo jogos (categora 2), cuja a língua é o nglês. Para tornar o teste as realsta, fora utlzadas ensagens da GeoCtes (categora 3), tabé e nglês. Estas ensagens não fora consderadas ndesejadas. Por f, as ensagens essoas (categora 4), na sua aora escrtas e ortuguês, não fora consderadas ndesejadas. O sstea fo testado co 381 ensagens nas seguntes roorções: 291 ensagens essoas, 9 ensagens da GeoCtes e 81 ensagens da PC-WORLD. TWorld - htt:// The Internet's #1 Source for Couter Ts, News, and Goss Proudly resents: PC WORLD's Wndows 95 Shareware Pcs of the Day Made ossble today by ThrdAge.co "Money Matters" *9 Safe Places to Put Your Money* Got the stoc aret jtters? Where else can you ut your oney and ee eace of nd? Fnd out nne safe laces to stash your cash for 1998! Vst ThrdAge.co-- the Web for GrownUs! htt:// And now for today's shareware cs www htt tworld cg arts htl world c new net gaes news cworld shareware free d onlne bn thrd nc delvered Fg. 5: Ranng dos 2 teros as relevantes (erfl) O sstea fo trenado ostvaente co 29 ensagens ndesejadas de treno. Quando o sstea tentou avalar as ensagens da GeoCtes, o resultado da classfcação colocou-as aca do threshold defndo or duas vezes. Estas duas ensagens fora arenddas negatvaente elo AAS e a artr de então, as ensagens da GeoCtes assara a ter ua classfcação seelhante às ensagens essoas. Nenhua ensage essoal fo erradaente classfcada elo AAS ao longo do teste. A Fgura 6 aresenta a classfcação das 15 rera ensagens não-sa durante e aós o treno. A Fgura 7 aresenta as classfcações atrbuídas às 91 ensagens ndesejadas ensagens Fg. 6: Classfcação ara as 15 reras ensagens não-sa ensagens sa Fg. 7: Classfcação das 91 ensagens sa. Fg. 4: Excerto de ua ensage consderada sa. O threshold do-t fo colocado a 2%, o que corresonde a u ângulo α entre os vectores de 72º. Isto sgnfca que ensagens cuja classfcação se stuou abaxo de 2% (α [72º, 9º[) fora consderadas não sa e ensagens cuja classfcação se stuou aca de 2% (α [º, 72º[) fora consderadas ndesejadas. Do rocesso de arendzage resultou u erfl consttuído or 2226 teros, dos quas a Fgura 5 aresenta os 2 as relevantes ara o texto. 13. CONCLUSÕES E DIRECÇÕES FUTURAS Para o caso estudado o sstea deonstrou coortar-se coo revsto. O valor do threshold do-t a 2% ostrouse adequado. No entanto, é de rever que, e stuações reas, o utlzador tenha que afnar o threshold ao longo do teo. Os algortos de transforação de ensagens e vectores e cálculo de esos ostrara ser efcazes na reresentação das ensagens e na sua coaração co o erfl, evdencando ser ua abordage be sucedda ara resolver robleas deste to. O algorto de arendzage, aesar da sua extrea slcdade, areceu atngr os seus objectvos. Outros ecansos de extracção de adrões e textos oderão vr a deonstrar-se nteressantes, tas coo as eddas ter frequency/nverse docuent frequency e ter relevance 4

5 [3]. Do eso odo, técncas as elaboradas de arendzage autoátca conhecdas e Intelgênca Artfcal deverão ser exerentadas, e artcular o C5., o CN2, o IBPL1 [3] e redes neuronas. O sstea oderá ser reforçado co u segundo threshold denonado e Maes [4] or tell-e. Este threshold deverá stuar-se aca do threshold do-t e ertr ao AAS oferecer ua sugestão ou erguntar ao utlzador se ua ensage é ou não desejada, or fora a desabguar stuações enos claras. 14. REFERÊNCIAS [1] Cranor, Lorre F., LaMaccha, Bran A. Sa!. AT&T Labs-Research Techncal Reort TR , [2] Sheth, Beerud. A Learnng Aroach to Personalsed Inforaton Flterng. Master s Thess, Deartent of Electrcal Engneerng and Couter Scence, MIT, ft://ft.eda.t.edu/ub/agents/nterfaceagents/news-flter.s [3] Edwards, Peter; Bayer, Davd; Green, Clare; Payne, Terrry. Exerence wth Learnng Agents whch Manage Internet-Based Inforaton. AAAI Srng Syosu on Machne Learnng n Inforaton Access, Men Par, CA:AAAI, htt:// a/aers/edwards.s [4] Maes, Patte. Agents that Reduce Wor and Inforaton Overload. Councatons of the ACM 37(7): 3-4, [5] Noran, Donald. How Mght Peole Interact wth Agents. Software Agents, ed. J. Bradshaw, AAAI: 49-55, [6] RFC 1939 POP3 Post Offce Protocol - verson 3. 5