Resta de Sstemas de Informação da FSMA n. 13 (2014) pp. 21-29 http://www.fsma.edu.br/s/sstemas.html Aalação da Establdade e Robustez de Algortmos para Recomendação de Serços Web Semântcos Submetdos a Ataques de Injeção de Perfs Pedro Henrque Grandn e Juan Manuel Adán-Coello Resumo Sstemas de recomendação baseados em fltragem colaborata são abertos por natureza, o que os torna ulneráes a ataques de njeção de perfs que procuram nserr aalações tendencosas na base de dados do sstema, possbltando que atacantes possam manpular as suas recomendações. Neste artgo aala-se a establdade e a robustez de algortmos de fltragem colaborata aplcados à recomendação de serços Web semântcos quando submetdos a ataques de njeção de perfs dos tpos aleatóro e segmento. Foram aalados quatro algortmos: (1) o IMEAN, que faz presões usando a méda das aalações recebdas pelo tem alo, (2) o UMEAN, que faz presões usando a méda das aalações fetas pelo usuáro alo; (3) algortmo baseado no método dos k znhos mas próxmos (k-nn) e (4) algortmo baseado no método de agrupamento k-médas. Os expermentos realzados mostraram que o algortmo UMEAN não é afetado pelos ataques e que o IMEAN é o mas ulneráel de todos. Entretanto, o UMEAN e o IMEAN têm pouco potencal de aplcação prátca dedo à baxa precsão de suas presões. Entre os algortmos com tolerânca ntermedára aos ataques, mas com bom desempenho predto, o k-nn apresentou-se mas robusto e estáel que o k-médas. Palaras-chae Ataque de njeção de perfs, algortmos de fltragem colaborata, serços Web semântcos. N I. INTRODUÇÃO AS arquteturas SOA (Serce Orented Archtecture), serços fracamente acoplados permtem a cração de processos de negócos flexíes e dnâmcos e aplcações áges que podem enoler dersas organzações e plataformas computaconas [1]. Entre os problemas centras à cração desses processos, fruto da composção de noos serços a partr dos exstentes, está a descoberta de serços que atendam aos requstos e nteresses dos usuáros, sejam eles pessoas ou agentes de software. Pedro Henrque Grandn (e-mal: pedro.hg@puccamp.edu.br) e Juan Manuel Adán-Coello (juan@puc-campnas.edu.br) estão nculados à Faculdade de Engenhara de Computação da Pontfíca Unersdade Católca de Campnas (PUC-Campnas). A descoberta de um serço é feta por algortmos de casamento (matchng) que buscam em um repostóro de descrções quas dos serços anuncados atendem aos requstos do potencal usuáro. As arquteturas de descoberta de serços, em geral baseadas nos padrões WSDL [2] e UDDI [3], apresentam uma séra de lmtações que dfcultam a localzação de serços releantes para os usuáros. Tas lmtações deem-se, em grande parte, ao uso de descrções nformas da funconaldade e capacdades dos serços, fetas em língua natural, em geral sem a utlzação de um ocabuláro que seja comum ao requstante e ao proedor do serço. Os Serços Web Semântcos são uma abordagem recente que procura superar essas lmtações combnando a tecnologa de serços Web com elementos da denomnada Web Semântca [4] [5]. As pesqusas na área de serços Web têm focado nos algortmos de casamento de serços, semântcos ou não. Entretanto, trabalhos recentes edencam que a questão mas desafadora quando se quer fornecer ao usuáro o serço desejado é a seleção do serço a partr de uma lsta de canddatos e não o processo de casamento em s. As prncpas abordagens para a seleção de serços ncluem a fltragem baseada em conteúdo, a fltragem colaborata, sstemas de reputação, sstemas P2P, sstemas de referêncas [6]. Entre eles, os métodos de fltragem colaborata, foco deste artgo, estão entre os mas releantes. A fltragem colaborata basea-se na suposção de que usuáros com perfs, ou nteresses, comuns normalmente procuram tens smlares. A déa fundamental é tomar como base para recomendar tens a um usuáro as opções de usuáros semelhantes quando escolheram tens relaconados [7]. O problema da recomendação pode ser reduzdo a estmar aalações para tens que não foram acessados por um usuáro e recomendar-lhe aqueles com as maores aalações estmadas. Embora sstemas de recomendação possam ser stos como parte de um sstema de busca, eles podem também ser usados de forma autônoma a fm de sugerr tens aos usuáros à 21
medda que estes se tornem dsponíes, sem a necessdade de consulta explíctas e constantes. A fltragem colaborata é largamente usada em sstemas dsponíes na Web para recomendar dersos tpos de tens, nclundo lros, múscas e flmes. O desenolmento de noos algortmos que aumentem a precsão e efcáca de sstemas de recomendação ou produzam modelos que explquem as razões por trás de uma recomendação é tema de crescente nteresse acadêmco e comercal. Exemplo deste nteresse fo o Netflx prze promodo pela Netflx, empresa de dstrbução onlne de flmes, que em 2006 anuncou prêmo de um mlhão de dólares a quem desenolesse um algortmo de recomendação de flmes que fosse 10% mas precso que o algortmo Cnematch, usado na ocasão pela empresa. O prêmo fo recebdo em 2009 pela equpe BellKor's Pragmatc Chaos, crada ao longo do concurso pela fusão de dferentes grupos competdores que reunram esforços para crar o ensemble de algortmos encedor [8]. Os sstemas de recomendação baseados em fltragem colaborata são abertos por natureza, já que as se baseam nas aalações de uma comundade de usuáros, o que os torna ulneráes a ataques de njeção de perfs. Esse tpo de ataque consste em nserr perfs tendencosos na base de dados do sstema permtndo que atacantes possam manpular as recomendações. O objeto desses ataques pode ser tanto promoer tens (push) quando ofuscá-los (nuke), tendo como alo um usuáro ou um grupo de usuáros [9]. Nesse contexto, analsar a robustez e a establdade de algortmos de recomendação passa a ser uma questão releante. Ao analsar a robustez, mede-se o desempenho do sstema antes e depos do ataque, para erfcar como o ataque afetou o sstema como um todo. Na análse da establdade deseja-se erfcar o deso dos alores prestos pelo sstema para os tens atacados. Em trabalhos anterores foram propostos algortmos para a recomendação de serços Web com marcação semântca [10][11]. As aalações realzadas, sem consderar a possbldade de ataques, mostraram que os algortmos têm bom desempenho se aalados sob a perspecta da precsão das recomendações fetas, especalmente em stuações em que a matrz usuáro-tem, que armazena as aalações fetas pela comundade de usuáros, é esparsa. Dante dsso, o objeto da pesqusa relatada neste artgo é analsar a establdade e robustez desses algortmos quando sujetos a ataques de njeção de perfs. As demas seções do artgo estão organzadas da segunte manera: na seção II são apresentados os algortmos de fltragem colaborata de serços Web semântcos cuja establdade e robustez se deseja estudar; na seção III serão melhor caracterzados os ataques de njeção de perfs objeto deste trabalho; na seção IV apresentam-se e dscutem-se o método de trabalho empregado para erfcar a robustez e establdade dos algortmos consderados e os expermentos conduzdos com esse propósto; na seção V apresentam-se alguns trabalhos correlatos; e, na seção VI, encerra-se o artgo retomando as prncpas conclusões e fazendo algumas consderações fnas. II. FILTRAGEM COLABORATIVA DE SERVIÇOS WEB SEMÂNTICOS A. Serços Web Semântcos Os algortmos tratados neste artgo sam à recomendação de serços Web marcados semantcamente segundo a ontologa de anotação de serços OWL-S, defnda a partr da lnguagem de descrção de ontologas OWL, padrão do W3C, baseada em lógca de prmera ordem [12]. A ontologa OWL- S consste de três partes prncpas: o perfl do serço, usado para anuncar e descobrr serços; o modelo do processo, que fornece uma descrção detalhada do funconamento do serço; e um aterramento (groundng), que fornece detalhes de como nteroperar com um serço atraés de mensagens. A maora dos sstemas de casamento de serços descrtos em OWL-S, empregados para comparar e buscar serços Web semântcos utlza apenas o perfl do serço. Este perfl especfca a semântca a assnatura do serço, sto é das entradas requerdas pelo serço e das saídas produzdas. O perfl também permte descreer as precondções a serem satsfetas para que o serço possa ser executado e descreer os resultados esperados da execução do serço. Estas nformações são geralmente conhecdas pela sgla IOPE (nputs, outputs, precondtons, effects). Com sso, podem-se utlzar métodos de racocíno lógco para determnar o grau de smlardade entre dos serços. Os algortmos usados neste trabalho para erfcar o grau de smlardade entre dos serços utlzam apenas a assnatura dos serços, sto a descrção das entradas e das saídas. Isto certamente permte que ocorram falsos postos em alguns casamentos, mas sso não se mostrou um problema releante. Os parâmetros de entrada e saída são assocados a concetos de ontologas de domíno, tas como Pessoa, Médco, Veículo, Veículo-Motorzado, e não como tpos báscos (nt, char, real) ou meras seqüêncas de caracteres. Com sso não se pode garantr que se esteja comparando serços que fazem cosas dferentes com entradas que representam o mesmo conceto, mas reduzem bastante essa possbldade. Naturalmente que o que se deseja é ter algortmos de casamento que não se lmtem à comparação das entradas e saídas. Isso, no entanto, não é uma preocupação desta pesqusa, e não dee alterar substancalmente os resultados erfcados expermentalmente. A OWL-S, assm como a OWL, é baseada na lógca de descrção. Sabe-se que as lógcas formas têm capacdades lmtadas de expressão. A lógca de descrção, por exemplo, não permte representar com precsão objetos estruturados nterconectados arbtraramente. De modo a contornar parcalmente essa capacdade lmtada de representação do OWL-S, neste trabalho utlzou-se o mecansmo híbrdo de casamento se serços Web semântcos mplementado no sstema OWLS-MX [13]. Esse mecansmo permte comparar dos serços Web semântcos e estabelecer quatro graus de 22
smlardade semântca usando racocíno lógco, e um alor de smlardade sntátca usando métodos de recuperação de nformação. B. Fltragem Colaborata Algortmos de fltragem colaborata podem ser usados para preer o alor que um determnado usuáro (usuáro alo) atrbura a um tem (tem alo) anda não aalado por esse usuáro. A presão é feta utlzando o hstórco de aalações fetas pela comundade de usuáros para os tens consderados. Podem ser usados algortmos muto smples como IMEAN, que estma os alores de aalações desconhecdas como sendo a méda dos alores das aalações fetas por todos os usuáros para o tem alo, ou o UMEAN, que estma a aalação de um tem alo a partr da méda de todos os tens aalados pelo usuáro alo. Esses algortmos são de fácl mplementação e baxo custo de execução, mas pouco precsos, serndo, em geral, apenas com termo de comparação para a aalação de algortmos mas elaborados, como os outros dos algortmos aalados neste trabalho: o prmero baseado no algortmo dos k znhos mas próxmos (k-nn) e o segundo no método de agrupamento k-médas (k-means). C. Presão de Aalações Usando o K-nn O algortmo k-nn é um algortmo baseado em memóra, e, como tal, preê a nota que um usuáro dara a um tem usando dretamente as aalações dos k usuáros mas semelhantes a esse usuáro. Na mplementação consderada, a smlardade entre dos usuáros u e, s é computada usando o coefcente de correlação de Pearson (CCP), estenddo para consderar serços smlares, conforme a equação (1). s = s u s S S t S ( f s ( f s f ) 2 u f )( f u, t t S f ) ( f, t f ) Na equação (1), S u é o conjunto de serços aalados por u e S é o conjunto de serços acessados por ; 2 f u e (1) f são os alores médos das aalações fetas pelos usuáros u e, respectamente; entre os serços aalados por, t é o serço que apresenta maor smlardade semântca ou sntátca com s (serço acessado e aalado por u), respetado um grau de smlardade mínmo. Quando ambos usuáros aalaram um mesmo serço, s e t representam o mesmo serço. Cabe obserar que o CCP não dá pesos dferentes a usuáros semelhantes que aalaram um conjunto reduzdo de tens de forma semelhante ou que aalaram um conjunto muto grande. Igualmente, a equação (1) não dferenca entre usuáros cuja smlardade se dee a aalações dos mesmos tens e às aalações de tens smlares. Estas são questões não foram tratadas neste trabalho, mas que são nteressantes o bastante para merecer atenção em pesqusas futuras. A Tabela I apresenta um exemplo de matrz usuáro-tem, para tens genércos, não necessaramente serços, sem mostrar nformação que permta erfcar a semelhança semântca ou sntátca entre os tens. Na tabela, as aalações aram de 1 a 5. Uma posção aza ndca que o usuáro correspondente àquela lnha não aalou o tem correspondente à coluna. A matrz regstra os alores das aalações fetas por ses usuáros para ses tens quasquer (lros, flmes, serços Web etc.). A coluna à dreta da matrz mostra a smlardade entre o usuáro 1 e os demas usuáros, utlzando a correlação de Pearson. Se for consderado apenas o usuáro mas próxmo ao usuáro 1 (k=1), um algortmo baseado no método k-nn preera que usuáro 1 atrbura ao tem alo (tem 6) um alor próxmo ao atrbuído a esse tem pelo usuáro 6 (o mas smlar ao usuáro 1). TABELA I EXEMPLO DE UMA MATRIZ USUÁRIO-ITEM Itens Smlardade com o usuáro 1 1 2 3 4 5 6 Usuáros 1 5 2 3 3? 1,00 2 2 4 4 1-1,00 3 3 1 3 1 2 0,76 4 4 2 3 1 1 0,72 5 3 3 2 1 3 1 0,21 6 4 3 3 3 2 0,94 Conhecendo a smlardade entre usuáros, pode-se estmar a aalação que um usuáro fara de um determnado serço alo se usuáros smlares terem aalado esse serço ou serços semelhantes. Para sso, defne-se a znhança V do usuáro u com respeto ao serço s como sendo formada pelos k usuáros mas smlares a u que acessaram o serço s ou serços smlares a s. Construída a znhança, a presão da aalação que o usuáro u fara de um serço s, f s, é feta usado a méda ponderada de todas as aalações do serço s, ou de serços smlares, fetas pelos usuáros em V, conforme a equação (2) f s = f u s V + s V ( f, t f ) Na equação (2), assm como na equação (1), t é o serço acessado por mas smlar ao serço s (acessado por u), respetado um patamar de smlardade mínma. Se V for azo, f s é estmado como sendo gual a f u ( a méda de todas as aalações fetas pelo usuáro u). Aplcando a equação (2) aos dados da Tabela I, e consderando k=1, o alor presto para a aalação que o usuáro 1 fara do tem 6 sera: f 1,6 = 13/4 + (0,94 * (2-15/5) )/ 0,94 = 2,25 D. Presão de Aalações com o Algortmo K-médas A lteratura aponta que algortmos de fltragem colaborata baseados em memóra, como o k-nn, costumam apresentar (2) 23
precsão eleada, mas baxa escalabldade, por fazerem as presões dretamente a partr dos dados dsponíes. Entretanto, sto demanda um tempo de processamento eleado a cada presão para dentfcar a znhança do usuáro alo para cada tem (serço) alo consderado. Com alternata, nos algortmos baseados em modelo, as presões não são fetas dretamente a partr das aalações dos usuáros mas próxmos ao usuáro alo, mas sm de um modelo construído preamente a partr dos dados dsponíes. Analsa-se neste artgo um algortmo de fltragem colaborata baseado em modelo construído a partr do método de agrupamento k-médas. O algortmo agrupa perfs de usuáros semelhantes em grupos e faz as presões usando os perfs dos grupos, representados pelos seus centródes. Neste contexto, o perfl de um usuáro é defndo pelas aalações que o usuáro realzou dos tens dsponíes (uma lnha da matrz usuáro-tem). Por exemplo, na matrz usuáro-tem da Tabela I, o perfl do usuáro 1 pode ser representado pela n- upla (5,2,3,3, Ø, Ø), onde Ø ndca que o tem correspondente não fo aalado. O funconamento do algortmo é o segunte: ncalmente k pontos (perfs de usuáros defndos pelas n-uplas que contêm as aalações atrbuídos pelos usuáros aos tens) são escolhdos como centródes de k grupos, onde k é um parâmetro preamente defndo. A segur, um passo de atrbução e um passo de atualzação são repetdos até a conergênca do algortmo. No passo de atrbução, cada ponto (perfl) é assocado ao grupo com o centróde mas próxmo. No passo de atualzação, os centródes dos grupos são atualzados para a méda dos pontos assocados ao grupo. O algortmo conerge quando os centródes tornam-se estáes, ou seja, não mudam na fase de atualzação. Na mplementação sob estudo, a equação (1) é usada para calcular a dstânca entre um usuáro e o centróde do grupo. Defndos os grupos, a equação (2) é então usada para preer a aalação que um usuáro fara de um tem, usando uma znhança consttuída pelos centródes dos grupos mas próxmos ao usuáro alo, em lugar das aalações (n-uplas) dos usuáros mas próxmos. Como o número de centródes de grupos contdo na znhança consderada é, geralmente, muto menor que o número de usuáros que formam uma znhança no algortmo baseado no k-nn, o algortmo baseado no k-médas tem um tempo de computação senselmente nferor, conforme comproado em expermentos não relatados neste artgo. III. ATAQUE DE INJEÇÃO DE PERFIS Em um ataque de njeção de perfs, o atacante nsere perfs tendencosos na matrz usuáro-tem do sstema de recomendação. A Tabela II mostra a matrz usuáro-tem da Tabela I na qual fo nserdo um perfl falso, o usuáro 7. Feta essa nserção, o usuáro mas próxmo ao usuáro 1 passa a ser o atacante, com grau de smlardade entre eles gual a 0,98. Nestas condções, se for usado um algortmo do tpo k-nn, com k=1, o alor da aalação estmada a ser atrbuída ao tem 6 pelo usuáro 1 sera gual a 4,85. Isso pode ser erfcado se consderarmos que, usando a equação (2), temos: f s = f 1,6 f u = (5+2+3+3)/4 = 13/4 ; méda de todas as aalações fetas pelo usuáro u=1 s = 0,98 ; grau de smlardade entre os usuáros u=1 e =7, conforme a tabela. f,t = 5 ; =7 e t = 6, pos o usuáro 7 acessou o serço 6 f = (4+2+3+3+5)/5= 17/5 ; méda das aalações fetas pelo usuáro =7 Logo, f1,6 = 13/4 + (0,98 * (5-17/5) )/ 0,98 = 4,85 Embora não seja prátca corrente usar uma znhança tão reduzda, o exemplo acma sa a enfatzar o mpacto negato que um ataque bem suceddo pode ter. TABELA II EXEMPLO DE UMA MATRIZ USUÁRIO-ITEM COM UM PERFIL DE ATAQUE (USUÁRIO 7) Itens Smlardade com o usuáro 1 1 2 3 4 5 6 Usuáros 1 5 2 3 3? 1,00 2 2 4 4 1-1,00 3 3 1 3 1 2 0,76 4 4 2 3 1 1 0,72 5 3 3 2 1 3 1 0,21 6 4 3 3 3 2 0,94 7 4 2 3 3 5 0,98 A. Tpos de Ataque de Injeção de Perfs Ataques de njeção de perfs podem ser caracterzado por quatro conjuntos de tens: um conjunto untáro contendo o tem alo t ; um conjunto de tens seleconados com característcas determnadas pelo atacante, I S ; um conjunto de tens de preenchmento, I F, geralmente escolhdos de forma aleatóra, e um conjunto de tens não aalados, I Ø. Tpos de ataques de njeção de perfs são defndos pelos métodos usados para dentfcar os tens seleconados, a proporção de tens de preenchmento e pelo modo de determnar as aalações assocadas a cada um desses conjuntos de tens e ao tem alo. Neste artgo, serão realzados expermentos para procurar reproduzr dos dos mas representatos tpos de ataques de njeção de perfs: o ataque aleatóro (random attack) e o ataque a segmento (segment attack). No ataque aleatóro, I S é azo, os tens em I F são preenchdos aleatoramente segundo uma dstrbução normal em torno da aalação méda de todos os tens na base de dados, e t é preenchdo com o alor máxmo que pode ser atrbuído a uma aalação. O conhecmento requerdo para 24
montar um ataque aleatóro é muto reduzdo, já que a méda geral das aalações dos tens de um sstema de recomendação geralmente pode ser determnada emprcamente sem grande dfculdade por um obserador externo, e, em mutos casos, está dsponíel dretamente atraés do sstema. Entretanto, o custo de execução deste ataque pode ser eleando, pos é necessáro calcular aalações específcas (aleatóras) para cada tem dos perfs de ataque. No ataque a segmento (segment attack), os tens em I S defnem uma categora, ou segmento. Esses tens recebem aalações máxmas quando se deseja promoer um tem (push), ou mínmas quando se deseja obscurecê-lo (nuke). Se esses tens forem, por exemplo, serços de agens, os tens em I S corresponderam a serços dessa categora. Esse ataque é notaelmente efeto se o seu alo pertencer ao segmento consderado. Os alores em I F são preenchdos com a aalação mínma e t com a aalação máxma. A lteratura destaca que este é um ataque bastante efcaz que requer pouco conhecmento para ser engendrado [14]. IV. AVALIAÇÃO DA ESTABILIDADE E ROBUSTEZ DOS ALGORITMOS DE RECOMENDAÇÃO Conforme enuncado na seção ntrodutóra, o objeto da pesqusa relatada neste artgo é analsar a establdade e robustez de algortmos para a recomendação de serços Web com marcação semântca, quando sujetos a ataques de njeção de perfs. Para atngr esse objeto fo realzada uma pesqusa expermental que compreendeu os seguntes passos:. seleção de base de serços com marcação semântca;. cração de conjunto de dados para trenamento e teste dos algortmos, contendo perfs de usuáros caracterzados pelas aalações por eles fetas a uma seleção dos serços da base dentfcada na etapa anteror;.. seleção de usuáros e tens a serem ítmas do ataque; aplcação dos algortmos de recomendação, sem a presença de perfs de ataque, e medção do erro médo absoluto normalzado (NMAE) das presões fetas pelos algortmos;. njeção de perfs atacantes;.. noa aplcação dos algortmos de recomendação e determnação do NMAE e de outras métrcas que medem o sucesso dos ataques; análse dos resultados obtdos. Esses passos e seus resultados são apresentados e dscutdos com mas detalhes nesta seção. Incalmente, a subseção A, apresentará as métrcas utlzadas para medr o sucesso dos ataques. Em seguda, a subseção B, descreerá os expermentos conduzdos, e, a subseção C, apresentará e analsará os resultados obtdos nos expermentos. A. MÉTRICAS DE AVALIAÇÃO A efcáca de ataques de njeção de perfs sobre tens específcos pode ser aalada examnando o deso de presão nduzdo pelo ataque, a taxa de acerto do ataque e a nfluênca do ataque sobre o erro absoluto médo das presões realzadas. Dado um usuáro u e um tem, o deso de presão, u,, é calculado pela equação (3). Nessa equação, P (r u, ) é o alor presto para a aalação que o usuáro u fara do tem depos do ataque e P(r u, ) representa o alor presto antes do ataque. u, = P (r u, ) - P(r u, ) (3) Um deso de presão posto ndca que o ataque tee sucesso em fazer o tem melhor aalado. Todaa, um aumento eleado do deso de presão para um tem não garante que o tem será recomendado. É possíel que outros tens também sejam afetados pelo ataque ou que o tem fosse ncalmente aalado com um alor muto baxo, de modo que mesmo um deso eleado não o coloque na categora de recomendáel. Para aalar que tens atacados foram efetamente recomendados pode-se usar a taxa de acerto (Ht Rato- HR), que mede a efcáca do ataque sobre um tem. A taxa de acerto para o tem é calculada pela equação (4), onde H u, será gual a 1 se o tem aparecer na lsta dos N tens recomendados ao usuáro u (top-n recommendatons), em caso contráro seu alor será 0; U T é o conjunto de usuáros alo. H HR = U u U T T O efeto do ataque consderando todas as aalações prestas pode ser aalado pelo erro médo absoluto (Mean Absolute Error MAE) ou pelo erro médo absoluto normalzado (Normalzed Mean Absolute Error NMAE), métrcas geralmente usadas para aalar a precsão das presões fetas por algortmos de recomendação. O MAE é obtdo a partr da dferença entre os alores prestos e os alores reas das aalações, conforme mostrado na equação (5), onde r u, é a nota real atrbuída pelo usuáro u ao tem, r u, a nota presta pelo algortmo para esse tem e N o número de notas prestas pelo algortmo. MAE ru r, u =, N O MAE pode ser normalzado de modo a torná-lo ndependente da escala de aalações usada, dando orgem ao erro médo absoluto normalzado, ou NMAE (Normalzed Mean Absolute Error), calculado pela equação (6). NMAE = MAE r N (4) (5) (6) 25
presão consttuem a méda dos alores obtdos nessas repetções. B. CARACTERIZAÇÃO DOS EXPERIMENTOS Os expermentos realzados teram por objeto aalar o mpacto dos ataques de njeção de perfs dos tpos aleatóro e segmento sobre os algortmos de fltragem colaborata IMEAN, UMEAN, k-nn e k-médas apresentados na seção II. O desempenho desses algortmos sem a presença de ataques, em especal quando a matrz usuáro-tem é esparsa, é analsado em [11]. Uma das prncpas dfculdades para a aalação de algortmos para a recomendação de serços Web semântcos é necessdade de uma base públca de serços com marcação semântca. O mas próxmo que se tem dsso, e que se usou neste trabalho, é a coleção OWLS-TC 1, crada para aalar o desempenho de algortmos de casamento (matchmakng) de serços Web semântcos descrtos segundo a ontologa de anotação de serços OWL-S 1.1. Nos expermentos descrtos, fo utlzada a ersão 2.2 dessa base que reúne 1004 serços Web de áros domínos. Para realzar os expermentos foram crados 50 usuáros, 20 com o perfl de tursta e 30 com o perfl de estudante. Os tens a serem aalados totalzam 108 serços, nclundo serços relaconados aos assuntos carros, comda, lros, hotés, câmeras, publcações, surf e flmes. Cada usuáro aalou 18 serços que seram característcos do seu perfl. Um tursta, por exemplo, se nteressara mas em hotés que estudantes, e, portanto, há a possbldade de encontrar mas aalações de hotés no grupo dos turstas que no grupo dos estudantes. Na montagem dos ataques foram usados parâmetros semelhantes aos empregados em [14]. Desse modo, fo nserda na matrz usuáro-tem uma quantdade de perfs de ataque gual a 15% do total de usuáros, resultando na njeção de oto usuáros atacantes, todos com o objeto de promoer um tem (push), o objeto mas comum de ataques. Para alos, foram escolhdos aleatoramente cnco usuáros e quatro serços, que correspondem a aproxmadamente 5% do total de usuáros e 3% do total de tens. Nos perfs de ataque, os tens de preenchmento correspondem a 6% do total de serços (I F ). A escolha dos tens para preenchmento no ataque aleatóro é feta automatcamente, após especfcar a quantdade de perfs a serem crados. No ataque a segmento, fo defndo um segmento caracterzado por três tens (I S ). O segmento escolhdo para os ataques fo o de comda, pos se presume que tanto estudantes quanto turstas se nteressem por serços relaconados a esse assunto, de modo que essa escolha dee afetar a ambos os grupos de usuáros. C. RESULTADOS E DISCUSSÕES Os expermentos cujos resultados são apresentados nesta seção foram repetdos 10 ezes, de modo que os alores apresentados para o NMAE, taxa de acerto e deso de Influênca dos ataques no NMAE A Tabela III apresenta o NMAE para os algortmos estudados antes e depos dos ataques dos tpos aleatóro e segmento. Conforme pode ser obserado na Tabela III, o UMEAN não é afetado pelos ataques, o que faz sentdo, já que a adção de perfs não nterfere com esse algortmo, pos a aalação presta para um tem é a méda das aalações fetas pelo usuáro alo, não sendo consderadas as aalações dos usuáros atacantes. Para o algortmo IMEAN, esperaa-se que os ataques tessem grande mpacto no NMAE e na taxa de acerto, já que suas presões são baseadas nas notas de toda a comundade de usuáros. A Tabela III e a Fg. 1 mostram que essa expectata se concretzou. Na Tabela III pode-se obserar que para o IMEAN o ataque aleatóro aumentou o NMAE em 45,9% (de 0,33064 para 0,48232) e o ataque a segmento em 44,7% (de 0,33064 para 0,47835). TABELA III NMAE DOS ALGORITMOS AVALIADOS Ataque Sem ataque aleatóro Ataque a segmento UMEAN 0,33111 0,33111 0,33111 IMEAN 0,33064 0,48232 0,47835 k-nn 0,27781 0,28239 0,28415 k-médas 0,29305 0,30015 0,30193 No caso dos algortmos k-nn e k-médas, os ataques resultaram em aumentos perceptíes no NMAE, embora muto menos expressos do que erfcado para o IMEAN. O ataque aleatóro aumentou o NMAE em 1,6% para o k-nn (de 0,27781 para 0,28239) e 2,4% para o k-médas (de 0,29305 para 0,30015); enquanto o ataque a segmento leou a aumentos de 2,3% para o k-nn (de 0,27781 para 0,28415) e 3,0% para o k- médas (de 0,29305 para 0,30193). Taxa de Acerto e Deso de Presão A Fg. 1 apresenta a taxa de acerto dos ataques para o algortmo IMEAN. O exo das abscssas do gráfco ndca quantos tens serão recomendados para o usuáro, os top-n (os N tens com as maores aalações prestas), e o exo das ordenadas representa o taxa de acerto. Quanto mas próxma de um for a taxa de acerto, maor o percentual de tens atacados que terá sdo recomendado aos usuáros alo. Uma taxa de acerto gual a um sgnfca que todos os tens alo do ataque foram recomendados. 1 http://projects.semwebcentral.org/frs/?group_d=89 26
Fg. 1. Taxa de acerto ao usar o algortmo IMEAN Obsera-se na Fg. 1 que tanto o ataque aleatóro quanto o ataque a segmento apresentaram resultados semelhantes para o IMEAN. Isso acontece, pos esse algortmo usa as aalações de todos os usuáros para o tem alo, o que lea os dos tpos de ataques a efetos semelhantes. Para top-n de até 20 tens e superor a 70 os efetos dos ataques foram pouco perceptíes, porém para top-n entre 20 e 70 a taxa de acerto fo eleada, o que mplca em índces de sucesso eleados na nclusão dos tens atacados nas lstas de recomendação dos usuáros. Ambos ataques produzram em um deso de presão gual a 2,70966 (não apresentado nas fguras), bastante eleado se comparados com os alores obserados para os algortmos k- nn e k-médas, apresentados a segur. Para medr o deso de presão dos algortmos k-nn e k- médas, arou-se o alor de semelhança mínma entre os usuáros (k-nn) e entre um usuáro e o centróde de um grupo (k-médas) usada no momento de escolher os k znhos mas próxmos e, assm, aplcar a equação (2). Além dsso, dexouse fxo em dos o número de clusters utlzado durante a Fg. 3. Taxa de acerto do algortmo k-nn realzação dos testes com o k-médas (o alor de k fo escolhdo após uma sére prelmnar de expermentos de ajuste). A Fg. 2 apresenta os resultados obtdos. Pode-se obserar que os desos de presão para os algortmos k-nn e k-médas são senselmente menores que os erfcados para o UMEAN e IMEAN. Nota-se também que a partr de uma semelhança entre usuáros de 20% para o algortmo k-nn e de 70% para o k-médas, o deso de presão permanece com alor zero, o que sgnfca que, a partr desses alores, a semelhança exgda fo sufcente para que não fossem ncluídos os perfs de ataque no cálculo de presão das aalações dos tens. Na análse da taxa de acerto dos ataques quando se usa o k- nn e o k-médas foram usados alores de smlardade que resultaram em um deso de presão alto e que estessem próxmos ao alor em que o deso ca a zero. Os alores adotados foram de 5% para o algortmo k-nn e 50% para o algortmo k-médas. Nota-se na Fg. 3, que mostra a taxa de acerto para o k-nn, que os ataques aleatóro e a segmento teram algum sucesso Fg. 2. Deso de presão dos algortmos k-nn e k-médas em função da smlardade mínma entre usuáros Fg. 4. Taxa de acerto do algortmo k-médas 27
para os top 60 e 70, mas o ataque a segmento tee uma taxa de acerto eleada para os top 20 e 50. A Fg. 4 mostra que para o k-médas só se obsera uma taxa de acerto aprecáel nos top 50 e 60, noamente com destaque para o ataque a segmento. V. TRABALHOS RELACIONADOS O ataque aleatóro fo orgnalmente proposto por Lam and J. Redl [25]. O conhecmento requerdo para montar esse ataque é muto reduzdo, mas o custo de execução pode ser alto, já que é necessáro atrbur aalações a cada tem no perfl de ataque. Por outro lado, os autores mostraram, e nossos resultados conformaram, que o ataque não é muto efcaz. O ataque a segmento fo ntroduzdo por Mobasher et al. em [14]. Os autores mostraram, e os nossos expermentos confrmam, que é possíel executar ataques desse tpo bem suceddos contra sstemas de recomendação baseados em fltragem colaborata sem a necessdade de ter um conhecmento substancal sobre o sstema ou sobre os usuáros. Város trabalhos, nclundo [14][17][20][21], mostraram que ataques de njeção de perfs podem afetar sgnfcatamente a robustez de sstemas de recomendação. Isso tem leado áros autores à busca por algortmos de recomendação mas robustos e estáes utlzando dersos mecansmos, nclundo lmtadores da nfluênca dos atacantes [18], seqüêncas dnâmcas de aalações em lugar de conjuntos estátcos de perfs de aalações [22] e oferta de ncentos monetáros para que outros aaladores corrjam as dstorções do sstema, proocadas ou não por ataques [23]. Dersos autores propõem anda a utlzação de estratégas para a detecção de ataques, utlzando, entre outros, mecansmos de aprendzado não supersonado e semsupersonado [16][24] e modelos estatístcos [19]. Neste artgo o termo establdade está assocado a medr a dnâmca das presões do sstema quando sofre ataques externos. Ao medr a establdade, aala-se a mudança ocorrda nas presões do sstema para os tens atacados. Alguns autores, como Adomacus e Zhang [15], obseram um aspecto dferente da establdade, denomnada de consstênca nterna, que representa as conseqüêncas das nconsstêncas nternas dos algortmos do sstema de recomendação. Para esses autores, um algortmo de recomendação estáel oferece presões consstentes ao longo do tempo, assumndo que as noas aalações que se tornam dsponíes estão de acordo com as presões préas do sstema. VI. CONCLUSÃO Os expermentos realzados para aalar a establdade e robustez dos algortmos IMEAN, UMEAN, k-nn e k-médas para a recomendação de serços Web semântcos, quando submetdos a ataques de njeção de perfs, mostraram que o algortmo UMEAN não é afetado pelos ataques e que o IMEAN é o mas sensíel a esses ataques. Entretanto esses dos algortmos são usados apenas para fornecer lmtes nferores de desempenho para a análse dos demas algortmos, já que ambos apresentam baxa precsão, partcularmente quando a matrz usuáro-tem é esparsa, como mostrado em [10] e [11]. Para os demas algortmos, erfcou-se que o k-nn permte atngr um deso de presão próxmo a zero para taxas de semelhança entre usuáros consderaelmente reduzda (20%), enquanto que no k-médas sso só é possíel para alores mas eleados (70%). Por outro lado, nos expermentos apresentados para analsar a taxa de acerto, o k-médas apresenta melhores resultados em comparação com o k-nn, quando o k-nn usa um alor de semelhança entre usuáros muto nferor ao utlzado no k- médas. Com alores eleados de semelhança entre usuáros, o k-nn apresenta melhores resultados também neste questo. Apesar destes resultados, na escolha de qual algortmo dee ser empregado em uma aplcação concreta dee-se consderar também que, segundo a lteratura, o k-médas costuma ser mas escaláel que o k-nn. Com relação à efcáca dos ataques, os expermentos mostram que o ataque a segmento é mas efeto que o aleatóro. Os algortmos foram também aalados consderando a utlzação da smlardade semântca e sntátca entre serços Web quando do cálculo da semelhança entre usuáros utlzando a equação (1) e no momento de preer o alor de uma aalação com a equação (2). Os expermentos mostraram que sso não nfluencou de forma sgnfcata os resultados, o que é coerente com os resultados encontrados em [10], onde se erfcou que a utlzação da smlardade semântca entre serços afeta de forma releante a precsão dos algortmos apenas quando a matrz usuáro-tem é esparsa, o que não se erfca nos expermentos realzados, onde esta matrz era densa. Em trabalhos futuros deerão serão fetos expermentos para aalar o comportamento dos algortmos quando submetdos a ataques consderando conjuntos de dados de maores dmensões e matrzes usuáro-tem com dados esparsos. AGRADECIMENTOS Agradecemos aos resores anônmos e ao edtor da resta, Prof. Dr. Rcardo Lnden, pela cudadosa resão e alosas correções, recomendações e comentáros que muto contrbuíram para aumentar a clareza e precsão do artgo. REFERÊNCIAS [1] H. Chesbrough and J. Spohrer, A research manfesto for serces scence, Commun. ACM, ol. 49, no. 7, pp. 35 40, 2006. [2] E. Chrstensen, F. Curbera, G. Meredth, and S. Weerawarana, Web Serces Descrpton Language (WSDL) 1.1, 2001, At http://www. w3. org/tr/2001/note-wsdl-20010315, 2001. [3] L. Clement, A. Hately, C. on Regen, and T. Rogers, UDDI Verson 3.0. OASIS, 19-Oct-2004. [4] S. A. McIlrath, T. C. Son, and H. Zeng, Semantc web serces, Intellgent Systems, IEEE, ol. 16, no. 2, pp. 46 53, 2005. [5] T. Berners-Lee, J. Hendler, and O. Lassla, The semantc Web, Scentfc Amercan, ol. 284, no. 5, pp. 28 37, 2001. 28
[6] R. M. Sreenath and M. P. Sngh, Agent-based serce selecton, Web Semantcs: Scence, Serces and Agents on the World Wde Web, ol. 1, no. 3, pp. 261 279, 2004. [7] X. Su and T. M. Khoshgoftaar, A surey of collaborate flterng technques, Adances n Artfcal Intellgence, ol. 2009, pp. 1 19, 2009. [8] S. Lohr, The contest that shaped careers and nspred research papers, CHANCE, ol. 23, no. 1, pp. 25 29, 2010. [9] J. J. Sandg, B. Mobasher, and R. Burke, A surey of collaborate recommendaton and the robust-ness of model-based algorthms, IEEE Data Engneerng Bulletn, ol. 31, no. 2, pp. 3 13, 2008. [10] J. M. Adán-Coello, Y. Yumng and C. M. Tobar, A Memory-based Collaborate Flterng Algorthm for Recommendng Semantc Web Serces. Resta IEEE Amérca Latna,. 11, p. 795-801, 2013. [11] J. M. Adán-Coello, C. M. Tobar and Y. Yumng, Improng the Performance of Web Serce Recommenders Usng Semantc Smlarty. Submetdo. [12] D. Martn, M. Bursten, J. Hobbs, O. Lassla, D. McDermott, S. McIlrath, S. Narayanan, M. Paolucc, B. Parsa, T. Payne, and others, OWL-S: Semantc Markup for Web Serces, 2004. [13] M. Klusch, B. Fres, and K. Sycara, OWLS-MX: A hybrd Semantc Web serce matchmaker for OWL-S serces, Web Semantcs: Scence, Serces and Agents on the World Wde Web, ol. 7, no. 2, pp. 121 133, Apr. 2009. [14] B. Mobasher, R. Burke, R. Bhaumk, and C. Wllams, Toward trustworthy recommender systems: An analyss of attack models and algorthm robustness, ACM Transactons on Internet Technology (TOIT), ol. 7, no. 4, p. 23, 2007. [15] G. Adomacus and J. Zhang, Stablty of recommendaton algorthms, ACM Transactons on Informaton Systems (TOIS), ol. 30, no. 4, p. 23, 2012. [16] R. Bhaumk, B. Mobasher, and R. D. Burke, A clusterng approach to unsupersed attack detecton n collaborate recommender systems, n Proceedngs of the 7th IEEE nternatonal conference on data mnng, Las Vegas, NV, USA, 2011, pp. 181 187. [17] G. Shan and A. Gunawardana, Ealuatng recommendaton systems, Recommender Systems Handbook, pp. 257 297, 2011. [18] P. Resnck and R. Sam, The nfluence lmter: proably manpulatonresstant recommender systems, n Proceedngs of the 2007 ACM conference on Recommender systems, 2007, pp. 25 32. [19] N. Hurley, Z. Cheng, and M. Zhang, Statstcal attack detecton, n Proceedngs of the thrd ACM conference on Recommender systems, 2009, pp. 149 156. [20] S. Ray and A. Mahant, Strateges for effecte shllng attacks aganst recommender systems, n Pracy, Securty, and Trust n KDD, Sprnger, 2009, pp. 111 125. [21] B. Van Roy and X. Yan, Manpulaton robustness of collaborate flterng, Management Scence, ol. 56, no. 11, pp. 1911 1929, 2010. [22] B. Van Roy and X. Yan, Manpulaton-resstant collaborate flterng systems, n Proceedngs of the thrd ACM conference on Recommender systems, 2009, pp. 165 172. [23] R. Bhattacharjee and A. Goel, Algorthms and ncentes for robust rankng, n Proceedngs of the eghteenth annual ACM-SIAM symposum on Dscrete algorthms, 2007, pp. 425 433. [24] J. Cao, Z. W B. Mao, and Y. Zhang, Shllng attack detecton utlzng sem-supersed learnng method for collaborate recommender system, World Wde Web, ol. 16, no. 5 6, pp. 729 748, 2013. [25] S. K. Lam and J. Redl, Shllng recommender systems for fun and proft, n Proceedngs of the 13th nternatonal conference on World Wde Web, 2004, pp. 393 402. 29