ESTUDO DE ALGORITMOS DE FILTRAGEM DE INFORMAÇÃO BASEADOS EM CONTEÚDO

Transcrição

1 Unversdade Federal de Pernambuco Centro de Informátca Trabalho de Graduação em Intelgênca Artfcal ESTUDO DE ALGORITMOS DE FILTRAGEM DE INFORMAÇÃO BASEADOS EM CONTEÚDO Autor: Byron Lete Dantas Bezerra Orentador: Francsco de Asss Tenóro Carvalho Co- Orentador: Geber Lsboa Ramalho Recfe, 2002

2 RESUMO Sstemas de Recomendação têm o obetvo de fornecer recomendações baseadas em nformações regstradas sobre as preferêncas dos usuáros. Para sso, tas sstemas utlzam técncas de Fltragem de Informação para processar nformações e prover ao usuáro tens potencalmente mas relevantes. Uma das abordagens mas dfunddas em Fltragem de Informação é a Fltragem Baseada em Conteúdo. Geralmente essa abordagem basea-se na comparação entre a descrção do perfl do usuáro e as descrções dos tens a serem recomendados. Ou sea, o sstema selecona os tens que atngem as melhores posções em uma seqüênca defnda por um crtéro de ordenação convenente. O presente trabalho descreve uma abordagem onde cada usuáro é modelado por um meta - protótpo e a comparação entre um tem e o perfl é baseada em uma função de comparação composta por dos componentes: posção e conteúdo. ABSTRACT Recommender Systems ams to furnsh automatc recommendatons based on nformaton recorded about user preferences and uses Informaton Flterng technques to manage ths nformaton and provde the user wth optons whch wll present greater possblty to satsfy the user. Content based Flterng s one of the most useful approaches used for Informaton Flterng. Often n ths approach, the recommendaton s based on a comparson between the descrpton of a user profle and the descrptons of the tems. Therefore, the system selects those tems that score the best accordng to a partcular crteron. Ths work presents an approach where each user profle s modeled by a meta-prototype and the comparson between an tem and a profle s based on a sutable matchng functon whch possess two components: poston and content.

3 AGRADECIMENTOS Em prmero lugar agradeço a Deus por me lumnar sempre em todos os momentos dfíces da mnha vda. Agradeço sobretudo a mnha famíla - meus pas, mnha rmã e mnha nova - por sempre compreenderem os momentos ausentes em vsta das atvdades exgdas para o êxto do presente trabalho. Agradeço aos meus orentadores, ou melhor, amgos, Francsco Carvalho e Geber Ramalho. Graças a eles obtve a dreção correta para as pesqusas centífcas realzadas nesse trabalho. Por fm, agradeço ao CESAR e a todo seu corpo de colaboradores, por propcarem um ambente agradável e produtvo para o desenvolvmento de boa parte desse trabalho.

4 ÍNDICE 1 INTRODUÇÃO MOTIVAÇÃO O TRABALHO DE GRADUAÇÃO O ESTADO DA ARTE SISTEMAS DE RECOMENDAÇÃO K VIZINHOS MAIS PRÓXIMOS - KNN FILTRAGEM BASEADA EM META-PROTÓTIPO - FMP CONCEITOS Dados Smbólcos CONSTRUÇÃO DO META-PROTÓTIPO Pré-processamento Generalzação A COMPARAÇÃO ENTRE META-PROTÓTIPOS DEFINIÇÃO DO AMBIENTE EXPERIMENTAL BASE DE DADOS QUALIDADE DAS RECOMENDAÇÕES Métrca KNN NO DOMÍNIO DE FILMES RELEVÂNCIA DOS ATRIBUTOS Pesos dos Atrbutos A COMPARAÇÃO ENTRE ATRIBUTOS O Atrbuto Textual FMP NO DOMÍNIO DE FILMES REPRESENTAÇÃO Representação do Perfl do Usuáro COMPARAÇÃO APRIMORANDO A FMP Composção do Perfl do Usuáro As Avalações do Usuáro como Heurístca EXPERIMENTOS E RESULTADOS... 31

5 8.1 DESEMPENHO CONCLUSÕES TRABALHOS FUTUROS REFERÊNCIAS BIBLIOGRÁFICAS APÊNDICE GUIA DE ENTRETENIMENTO PERSONALIZADO GEP... 40

6 Introdução 1 INTRODUÇÃO A explosão de documentos eletrôncos nos dversos tpos de rede fez surgr o conceto de repostóros de nformação dgtal. Bascamente, esses repostóros consstem em agrupamentos lógcos de documentos eletrôncos com precára organzação estrutural da nformação. No contexto da Internet pode-se dzer que grandes portas são exemplos claros de repostóros de nformação dgtal. Da mesma forma, as redes nternas de corporações de médo e grande porte consttuem repostóros de nformação dgtal, vsto que nesses ambentes surge uma quantdade enorme de documentos eletrôncos. A fgura abaxo lustra o conceto de repostóros dgtas. Ilustração 1- O repostóro dgtal possu uma ampla e dversa quantdade de documentos. Ao mesmo tempo, exstem usuáros acessando os documentos do repostóro com necessdades de nformações dferentes e perfs dstntos. Um dos grandes problemas que surgem com a dssemnação dos repostóros de nformação dgtal é a dfculdade em se encontrar nformação relevante em tempo hábl, dada a grande dsponbldade de nformação mnmamente organzada. Isso é o que chamamos de sobrecarga de nformação. Dante do cenáro exposto ustfca-se a necessdade de ferramentas de auxílo à fltragem de nformações relevantes de forma efcaz e de fácl uso. Além dsso, pelo fato dos repostóros dgtas estarem dsponíves a uma grande dversdade de usuáros com necessdades de nformações dferentes e em momentos dstntos, mostra-se bastante convenente que tas - 1 -

7 Introdução ferramentas forneçam personalzação no nível de conteúdo tomando como base o perfl do usuáro. Sstemas de Informação que fltram nformações relevantes para um determnado usuáro baseado em seu perfl são conhecdos como Sstemas de Recomendação. Esses sstemas utlzam em geral duas abordagens de fltragem de nformação: Fltragem Baseada em Conteúdo (Content-Based Flterng) e Fltragem Colaboratva (Collaboratve Flterng) [1]. A prmera analsa a correlação do conteúdo dos tens com o perfl do usuáro a fm de sugerr os tens relevantes e descartar os tens nsgnfcantes. O segundo método basea-se na correlação entre os perfs de usuáros. A déa básca é seleconar os tens preferdos pelos usuáros cuas preferêncas mas se assemelham ao gosto do usuáro alvo. Comprova-se faclmente que essas duas abordagens são complementares [2]. Nesse sentdo, város estudos sugerem formas de combnar as técncas de fltragem baseada em conteúdo com as técncas de fltragem colaboratva, com o propósto de resolver suas lmtações ntrínsecas [3][4][5]. 1.1 MOTIVAÇÃO A motvação do presente trabalho surgu dos seguntes pressupostos:. a fltragem colaboratva não é sufcente para todos os cenáros de uso de um sstema de recomendação, devdo aos problemas nerentes a esse tpo de solução [2];. a fltragem baseada em conteúdo é necessára em sstemas de recomendação mas as abordagens atuas sofrem de problemas de desempenho que são de grande mportânca nesse tpo de sstema;. as característcas e foram observadas em um sstema de nformação comercal, o GEP (anexo 12.1). Dessa forma, a proposta ncal desse trabalho é a nvestgação dos algortmos de fltragem de nformação baseada em conteúdo passíves de serem mplementados em sstemas de recomendação comercas

8 Introdução 1.2 O TRABALHO DE GRADUAÇÃO O presente trabalho fo realzado no quadro do proeto Smart-es, fruto do acordo CAPES-COFECUB entre o LIP6 (Unversdade de Pars VI, França) e o CIn (Centro de Informátca da UFPE). Nessa monografa é apresentada uma nova abordagem de fltragem baseada em conteúdo, chamada de Fltragem Baseada em Meta-Protótpos (FMP), que melhora sgnfcatvamente o desempenho de sstemas de recomendação mantendo a qualdade da resposta equvalente à alcançada pelo método dos k Vznhos Mas Próxmos [6]. O método de FMP fo aplcado com sucesso pela prmera vez na classfcação de um tpo especal de magens SAR smuladas [10] e é orgnáro das pesqusas báscas realzadas na abordagem smbólca em classfcação e métodos afns [16]. O presente trabalho representa uma contrbução efetva por ser o prmero a aplcar o método FMP no domíno de flmes de uma forma bastante orgnal e, prncpalmente, por melhorar o desempenho de sstemas de recomendação sem comprometer a exatdão da resposta

9 O Estado da Arte 2 O ESTADO DA ARTE Esta seção apresenta uma vsão geral de sstemas de recomendação bem como da área de fltragem de nformação. 2.1 SISTEMAS DE RECOMENDAÇÃO A mplementação dos chamados sstemas de recomendação pressupõe a resolução de dos subproblemas:. a coleta do perfl do usuáro;. a exploração adequada desse perfl. O perfl do usuáro pode ser coletado algumas vezes mplctamente e outras apenas explctamente. Uma aqusção mplícta podera ser pensada em um cenáro de um síto de comérco eletrônco. Nesse caso a segunte polítca aplcar-se-a: cada vez que um usuáro compre algum produto o sstema regstrara essa nformação no perfl do usuáro de forma postva. Esse modelo mplícto de aqusção do perfl do usuáro é adotado pela Amazon Book Store [23]. Não obstante, algumas vezes é nvável a aqusção mplícta do perfl do usuáro. Consdere por exemplo um síto de recomendação de flmes. Assumndo que tal sstema não comercalza flmes, não sera possível aplcar o modelo de aqusção mplícta de forma adequada. Sendo assm, o sstema necessta uma avalação do usuáro com relação aos flmes apresentados, dando orgem a um perfl de usuáro consttuído dos flmes avalados e suas respectvas notas atrbuídas por esse usuáro. Esse modelo explícto de aqusção de perfl é utlzado no síto PTV [24]. O segundo problema menconado anterormente tem sdo bastante estudado nos últmos anos. Embora as soluções propostas seam dferentes elas podem ser classfcadas em duas categoras prncpas com relação ao tpo de fltragem adotada. Algumas dessas soluções baseam-se na análse da correlação entre o conteúdo dos tens com o perfl do usuáro para recomendar tens relevantes e descartar os tens não pertnentes. Essa técnca é chamada de Fltragem Baseada em Conteúdo. Uma outra - 4 -

10 O Estado da Arte abordagem, chamada de Fltragem Colaboratva, é baseada na correlação entre perfs de usuáros. Na próxma seção será dscutda uma abordagem de fltragem de nformação baseada em conteúdo largamente utlzada em sstemas de recomendação, o método dos k Vznhos Mas Próxmos

11 K Vznhos Mas Próxmos 3 K VIZINHOS MAIS PRÓXIMOS - KNN No algortmo dos k Vznhos mas Próxmos, orgnalmente proposto em [11], e outros algortmos de aprendzagem baseada em nstânca [12], os exemplos são nstâncas orgnas do conunto de trenamento (tens do perfl do usuáro). Durante a generalzação, esses algortmos usam uma função de dstânca para determnar quão próxmo um novo vetor de entrada y está a cada nstânca da memóra, e utlza as nstâncas mas próxmas para nferr a classe de saída de y. O algortmo KNN clássco é mostrado logo abaxo. Fase de Trenamento Para cada nstânca avalada pelo usuáro U (classe Z U ), adcone o exemplo de trenamento (,Z U ) no perfl do usuáro P. Fase de Classfcação Dado uma nova nstânca no conunto de exemplos a serem classfcados (conunto de perguntas Q): Sea 0,..., k as k nstâncas do perfl do usuáro que são mas smlares (próxmas) a, a classfcação dessa nstânca com relação a P é: ω U k ω s U = 0 = k = 0 s,, Equação 1 - Equação do KNN. s, é a função de smlardade defnda na Equação 2. µ Γ = 0 α, β = r s r = 0 ( ) α, β µ Equação 2 - Equação da função de smlardade. µ é o peso do atrbuto. Γ (α,β ) defne a smlardade entre os elementos α e β com relação ao atrbuto. A função Γ será dscutda mas profundamente na seção 6.2 vsto que ela é muto dependente do tpo de atrbuto consderado

12 K Vznhos Mas Próxmos Alguns problemas são dentfcados na abordagem KNN. O prmero é que s,, a função de smlardade (Equação 2), é computaconalmente complexa, ou sea, demanda muto processamento de CPU. Essa complexdade computaconal é anda mas relevante se consderarmos um cenáro de um sstema WEB onde exstem mlhões de usuáros e mlhares de flmes a serem classfcados. Além dsso, todas as nstâncas no perfl do usuáro devem ser comparadas com cada tem no conunto Q para confrmar a relevânca do mesmo para esse usuáro. Suponha que se quera determnar os melhores flmes a partr de um conunto de perguntas de tamanho S para um dado usuáro com um conunto de trenamento (perfl) de tamanho M. Nesse cenáro, o sstema deverá processar a função Γ, S*M*R vezes, onde R é o número de atrbutos de uma nstânca. Consderando um sstema WEB acessado por mlhões de usuáros ao mesmo tempo, esse número passa a ser N*S*M*R, onde N é o número de usuáros

13 Fltragem Baseada em Meta-Protótpo 4 FILTRAGEM BASEADA EM META- PROTÓTIPO - FMP 4.1 CONCEITOS Dados smbólcos são mas complexos que os dados usuas, tendo em vsta que os prmeros apresentam varação nterna e são estruturados. Dversas são as fontes dos dados smbólcos. Por exemplo, eles podem ser extraídos a partr de nterrogações de grandes bancos de dados relaconas ou podem ser expressos a partr do conhecmento formulado por especalstas.. A necessdade de novas ferramentas de análse de dados smbólcos vem crescendo e, nesse sentdo, é ntroduzda a Análse de Dados Smbólcos (Symbolc Data Analyss - SDA) [16], que estende a Análse de Dados em Análse de Conhecmento (Knowledge Analyss). SDA é um novo domíno no que se refere à Descoberta de Conhecmento (knowledge dscovery), que tem relação com: análse multvalorada, reconhecmento de padrões, banco de dados e ntelgênca artfcal. SDA provê ferramentas específcas para se trabalhar com dados complexos, agregados, relaconas e de alto nível, descrtos por varáves multvaloradas onde as entradas de tabela de dados são conuntos de categoras ou de números, ntervalos ou dstrbuções de probabldade assocadas a regras e taxonomas. Os métodos SDA generalzam os métodos clásscos de análse exploratóra de dados, como técncas fatoras, árvores de decsão, dscrmnação, regressão, métodos neuras, escalonamento multdmensonal, classfcação supervsonada, agrupamentos e retculados concetuas Dados Smbólcos Em Análse de Dados clássca, a entrada é uma tabela de dados onde as lnhas são as descrções dos ndvíduos, e as colunas são as varáves

14 Fltragem Baseada em Meta-Protótpo Uma célula dessa tabela contém ou um valor quanttatvo smples ou uma categora. Não obstante, algumas vezes no mundo real a nformação regstrada é muto complexa para ser descrta por dados usuas. Esse é o motvo pelo qual dferentes tpos de varáves smbólcas e dados smbólcos têm sdo ntroduzdos [16]. Por exemplo, uma varável de ntervalo corresponde a um ntervalo do seu domíno, dado um obeto. Ao mesmo tempo, uma varável categórca multvalorada é defnda por um subconunto do seu domíno. Por fm, uma varável modal, dado um obeto, é representada por uma medda não-negatva (uma freqüênca, ou uma dstrbução de probabldade, ou um sstema de pesos). Uma descrção smbólca de um tem é um vetor cuos descrtores (atrbutos) são varáves smbólcas. Esses descrtores smbólcos são coletados em uma Tabela de Dados Smbólcos, que são mas complexos do que os dados usuas, vsto que cada célula contém não somente um valor únco, mas um conunto de valores, ou um ntervalo, ou uma dstrbução, etc. Exemplo. Um segmento de uma magem (conunto de pxels) pode ter como descrção smbólca um vetor de dados smbólcos d s = ([70,80]>@ RQGH D FDUDFWHUtVWLFD QtYHO GH FLQ]D UHSUHVHQWDGD por valores em [70,80] e [90,120], é modelada por uma varável hstograma (ou modal) cuas freqüêncas relatvas dos dos ntervalos de valores são 0.7 e 0.3, respectvamente. Na abordagem FMP, o perfl do usuáro é um vetor cuos descrtores são varáves smbólcas modas (ou meta-protótpo). A comparação entre o perfl do usuáro e um tem a ser recomendado decorre de uma função de dssmlardade aproprada, que é composta por dos componentes: o componete de posção e o componente de conteúdo. 4.2 CONSTRUÇÃO DO META- PROTÓTIPO A construção do perfl do usuáro é baseada em um conunto de tens á avalados pelo usuáro de forma postva ou não. Com a fnaldade de - 9 -

15 Fltragem Baseada em Meta-Protótpo construr esse perfl, deve-se consderar dos passos no processo de aprendzagem: pré-processamento e generalzação Pré- processamento Cada nstânca de exemplo é descrta por um vetor de atrbutos. Essa descrção pode nclur város tpos de atrbutos:. valor quanttatvo smples (contínuo ou dscreto),. valor qualtatvo smples (nomnal ou ordnal),. qualtatvo multvalorado (ordenado ou não), v. textual. O obetvo dessa fase de pré-processamento é representar cada tem como uma descrção smbólca modal, ou sea, um vetor de vetores de pares (valor, peso). Os tens formam a entrada para a fase de aprendzagem. Os pares (valor, peso) são formados de acordo com o tpo dos descrtores:. se o descrtor é um valor qualtatvo smples, ou qualtatvo multvalorado, ou quanttatvo smples e dscreto, então cada valor é ponderado pelo nverso do cardnal do conunto de valores do domíno desse ndvíduo;. se o descrtor é um valor quanttatvo smples e contínuo, então ele é mapeado em um hstograma comum;. se o descrtor é textual então é possível utlzar alguns métodos largamente dfunddos em Recuperação de Informação como Centródes e TFIDF [17] Generalzação Esse passo tem como obetvo a representação do perfl do usuáro como um obeto smbólco modal (meta-protótpo). A descrção smbólca de cada perfl de usuáro é a generalzação da descrção smbólca modal dos seus segmentos. O meta-protótpo que representa o perfl do usuáro é também um vetor de vetores de pares (valor, peso). Os valores, que estão presentes na

16 Fltragem Baseada em Meta-Protótpo descrção de pelo menos um tem avalado pelo usuáro no passado, estão também presentes na descrção do perfl do usuáro (meta-protótpo). O peso correspondente é a méda dos pesos dos respectvos valores presentes nas descrções de cada tem soladamente. 4.3 A COMPARAÇÃO ENTRE META- PROTÓTIPOS A recomendação de um tem para um usuáro basea-se em uma função que compara a descrção smbólca do tem com a descrção smbólca de um usuáro. A função de comparação mede a dferença em conteúdo e em posção entre um tem e a descrção do usuáro. A dferença em posção é medda por um componente lvre de contexto, enquanto a dferença em conteúdo é medda por um componente dependente de contexto. Sea x = (x 1,,x p ) e u = (u 1,,up) as descrções smbólcas modas de um tem e do perfl do usuáro, respectvamente, onde x = ((x 1,w 1 ),, (x k(),w k() )) e u = ((u 1,W 1 ),, (u m(),w m() )), = 1,, p. A comparação entre o tem x e o usuáro u é defnda pela segunte função de comparação: φ( x, u) = φ p = 1 cf ( x, u ) + φ cd ( x, u ) Equação 3 - A função de comparação. defndo por: O componente lvre de contexto (φ cf ) da função de comparação é φ ( x, u ) = cf X U X ( X U U ) Equação 4 - O componente lvre de contexto (φ cf ) da função de comparação. X = {x 1,, x k() }, U = {u 1,, u k() } e X U é o operador de unção defndo por Ichno [19]. O componente dependente de contexto (φ cd ) da função de comparação é defndo por:

17 Fltragem Baseada em Meta-Protótpo = m k U X u m m U X x k k cd W w u x / / 2 1 ), ( φ Equação 5 - O componente dependente de contexto (φ cd ) da função de comparação.

18 Defnção do Ambente Expermental 5 DEFINIÇÃO DO AMBIENTE EXPERIMENTAL Durante as adaptações efetuadas nos algortmos de fltragem de nformação para o domíno de flmes foram executados dversos expermentos com obetvo de se dentfcar a melhor confguração para efeto de comparação entre esses algortmos. Nesse sentdo, é necessára a defnção do ambente expermental utlzado nesses expermentos. 5.1 BASE DE DADOS A base de dados EachMove [21] consste de usuáros com avalações para flmes. Os seguntes expermentos são baseados em um subconunto desse banco de dados que consste em usuáros e com escore de 1 a 5 (1:péssmo, 2:rum, 3:regular, 4:bom, 5:ótmo) para 638 flmes. A tabela de flmes orgnas fo combnada com uma segunda tabela contendo as descrções completas dos flmes no doma Português, pos o banco de dados orgnal do EachMove não contém qualquer descrção dos flmes e por essa razão não sera possível expermentar a fltragem baseada em conteúdo. Por fm, 100 usuáros com no mínmo 150 avalações foram escolhdos randomcamente para todos os expermentos efetuados nesse trabalho. 5.2 QUALIDADE DAS RECOMENDAÇÕES A avalação de Sstemas de Recomendação é anda uma questão aberta no estudo desses sstemas. Isso se deve prncpalmente a dos fatores. Prmero o desenvolvmento de Sstemas de Recomendação é uma novação recente e anda não há um consenso sobre uma métrca para avalar esse tpo de sstema. O outro motvo está assocado ao entendmento de qual é o obetvo de um Sstema de Recomendação, ou sea, que tpo de recomendação é usada e quando pode ser consderada uma boa recomendação. No presente trabalho defnmos que o obetvo prncpal de um sstema de recomendação é gerar uma lsta de tens ordenados segundo sua

19 Defnção do Ambente Expermental relevânca para o usuáro. Nesse caso o usuáro desea navegar pela lsta de tens para observar sua ordem de relevânca. Por exemplo, quando o usuáro busca o melhor tem dentre as escolhas, ele busca esse tpo de recomendação. Depos de defndo o obetvo do sstema a ser avalado é necessáro escolher-se uma métrca aproprada para medr a qualdade do sstema Métrca A métrca crada por Breese et al. [22] é usada para calcular a utldade para o usuáro de uma lsta ordenada por um sstema de fltragem. A utldade esperada de uma lsta é a probabldade do usuáro ver o tem recomendado vezes a sua utldade. Em um sstema de fltragem de nformação onde o resultado de uma fltragem é retornado em uma lsta de tens ordenados pela relevânca, é presumível que o usuáro rá nvestgar apenas os prmeros elementos da lsta na sua busca por tens relevantes. A métrca Breese tem como prncpal vantagem levar em consderação essa observação no seu cálculo. A métrca possu uma constante α chamada de half-lfe, que defne a posção do tem na ordem gerada pelo sstema em que o usuáro tem 50% de chance de observar. A utldade de cada tem será a dferença entre a avalação dada pelo usuáro e o valor médo d no ntervalo de avalação. A utldade de uma lsta ordenada para o usuáro a é então: max ( r d,0) R a, a = ( 1) ( α 1 ) 2 Equação 6 - A utldade de uma lsta ordenada para o usuáro a. Na Equação 6 é a posção do tem na lsta ordenada pelo sstema e r a, é a avalação feta pelo usuáro ao tem que ocupa a posção. Breese utlza um half-lfe α gual a 5 e acrescenta que a utlzação de um valor gual a 10 apresentou pouca dferença nos resultados. Para esse trabalho resolveu-se utlzar um half-lfe gual a 5. O valor fnal da métrca para o conunto de usuáros testados é calculado como segue:

20 Defnção do Ambente Expermental R = 100 a a R R a max Equação 7 - O valor fnal da métrca Breese para o conunto de usuáros testados. Note que R [0,100]. Na Equação 7 R max é a utldade máxma obtda quando todos os tens são ordenados de acordo com a avalação do usuáro. Essa últma equação garante que o resultado não dependerá da dstrbução nem do número das avalações dos usuáros escolhdos para um expermento. Resumndo, a métrca proposta por Breese mede a capacdade do sstema ordenar os tens de acordo com sua relevânca para o usuáro. Além dsso, ela dá mas ênfase à precsão dos prmeros tens na ordenação do sstema, os quas terão maor chance de serem aprecados pelo usuáro. Dessa forma, a métrca Breese é adeqüada para o obetvo do sstema de recomendação defndo para esse trabalho. Além da métrca apresentada aqu exstem outras métrcas que poderam ser utlzadas para medr a capacdade de um sstema de recomendação dependendo do obetvo defndo para esse sstema. Métrcas como precsão e cobertura, correlacões de valores como Pearson ou de ordens como a Spearsman e Kendall Tau, são outras opções de uma vasta seleção de métrcas á usadas para avalar sstemas de fltragem de nformação. Todas as métrcas possuem vantagens e sgnfcados dferentes. No entanto, Breese é a mas aproprada para o obetvo do sstema de recomendação prevamente defndo e portanto será adotada para efeto de comparação. Um estudo mas aprofundado das métrcas que servram como base para essa escolha encontra-se em [22]

21 KNN no Domíno de Flmes 6 KNN NO DOMÍNIO DE FILMES O domíno de flmes possu algumas partculardades que precsam ser modeladas nos sstemas de recomendação a fm de que os algortmos de fltragem de nformação atnam melhores resultados. Precsamos dentfcar, por exemplo, que tpo de nformação o usuáro leva em consderação normalmente para avalar um flme como bom. Alguém pode dzer que o dretor e o elenco são nformações mportantes para o usuáro. Mas não é tão smples assm, precsamos também dentfcar o quão relevante é um atrbuto em relação ao outro. A segur descrevemos alguns expermentos efetuados com obetvo de dentfcar a relevânca dos atrbutos no domíno de flmes. Nesses expermentos utlzamos o algortmo KNN descrto na seção RELEVÂNCIA DOS ATRIBUTOS Alguns possíves atrbutos do domíno de flmes são: nome, elenco, dretor, ano, país, gênero e snopse. Desses atrbutos o nome é o únco que é claramente rrelevante em fltragem de nformação baseada em conteúdo, pos são raros os casos que exstem flmes com nomes semelhantes como, por exemplo, Rambo I e Rambo II. Dessa forma, esse atrbuto acaba dmnundo a qualdade da recomendação em vez de aumentá-la. Por esse motvo esse atrbuto é gnorado nesse trabalho. Para medr a relevânca dos atrbutos no domíno de flmes efetuamos o segunte expermento: Para cada usuáro fo separado 20% do seu conunto de tens avalados para o conunto de perguntas (teste) e 80% para o conunto de trenamento (ou sea, o conunto que compõe efetvamente o perfl do usuáro). Executou-se o algortmo KNN varando-se o k em 5 e 11. O valor 5 fo escolhdo pos normalmente usa-se um número prmo pequeno [13]. O valor 11 fo escolhdo para observar a dferença

22 KNN no Domíno de Flmes nos resultados de precsão e de desempenho com um valor para k pequeno e com um valor um pouco maor, no caso 11. Utlzou-se a métrca Breese descrta na seção para medr a qualdade das recomendações. A prmera batera de expermentos (Gráfco 1) consste em consderar ou não um atrbuto. Dessa forma um expermento consdera todos os atrbutos enquanto um outro expermento exclu o atrbuto elenco, por exemplo. Os expermentos são defndos abaxo: A. Consdera todos os atrbutos B. Ignora elenco C. Ignora dretor D. Ignora gênero E. Ignora ano F. Ignora país G. Ignora snopse 50, , , , , , ,00000 A B C D E F G 36,00000 k=5 k=11 Gráfco 1 Compara a qualdade do sstema com o algortmo KNN através da métrca Breese varando os atrbutos do domíno de flmes. De acordo com o Gráfco 1 observamos que gnorando o atrbuto ano o KNN, para k gual a 11, mantém um resultado muto pouco nferor ao expermento padrão (expermento A). Para k gual a 5 esse resultado anda é um pouco menor, cerca de um ponto percentual. Logo, fxaremos os demas expermentos para utlzar todos os atrbutos exceto o nome

23 KNN no Domíno de Flmes Pesos dos Atrbutos Uma outra questão pertnente em se tratando dos atrbutos é o peso de cada um para se defnr uma ordem dos melhores flmes para um determnado usuáro. Nesse sentdo, utlzamos o procedmento descrto em [25] para se calcular a mportânca de um atrbuto baseado em sua entropa. A déa básca é calcular o nível de generalzação de um atrbuto (obeto smbólco) a partr da sua cobertura no espaço das descrções. Para sso é defndo um coefcente de afndade. Nesse trabalho utlzamos dos coefcentes de afndade, um baseado no LOG (Equação 8) e outro baseado na RAIZ (Equação 9). Equação 8 Coefcente de afndade w = m k= 1 p k log m p k baseado no LOG [27]. w é o peso do atrbuto, m é o número máxmo de categoras do atrbuto, p k é o peso da k- ésma categora do atrbuto. Equação 9 Coefcente de afndade w = 1 m m k= 1 p k baseado na RAIZ [25]. w é o peso do atrbuto, m é o número máxmo de categoras do atrbuto, p k é o peso da k- ésma categora do atrbuto. Dessa forma, os pesos obtdos a partr do coefcente de afndade baseado no LOG e na RAIZ são mostrados na tabela abaxo. Método País Gênero Dretor Elenco Ano* Snopse* LOG 0,339 0,830 0,845 0,921 0,007 0,800 RAIZ 0,416 0,848 0,533 0,824 0,007 0,800 Especalsta 0,300 1,000 0,500 0,800 0,300 1,000 Tabela 1 Possíves pesos para os atrbutos. *Como os atrbutos ano e snopse não se aplcam aos expermentos do LOG e da RAIZ seus pesos foram fxados para esses casos. Após o auste dos pesos repetmos o expermento A descrto na seção 6.1 varando os pesos dos atrbutos com:

24 KNN no Domíno de Flmes A. Pesos equvalentes; B. Os pesos obtdos pelo LOG; C. Os pesos obtdos pela RAIZ; D. Pesos defndos por um especalsta do domíno. 48, , , , , , ,50000 A B C D 45, , ,00000 k=5 k=11 Gráfco 2 - Compara a qualdade do sstema com o algortmo KNN através da métrca Breese varando os pesos dos atrbutos do domíno de flmes. O Gráfco 2 mostra o resultado desses expermentos comparando-os com o expermento A da seção 6.1. A conclusão é que é convenente manter os pesos dos atrbutos equvalentes. Um resumo com os atrbutos relevantes no domíno de flmes a partr dos expermentos efetuados é mostrado na Tabela 2. Atrbuto Tpo Exemplo Gênero Qualtatvo multvalorado Drama País Valor smples qualtatvo nomnal EUA Dretor Valor smples qualtatvo nomnal Steven Spelberg Elenco Qualtatvo multvalorado Tom Hanks, Davd Morse, Bonne Hunt, Mchael Clarke, James Cromwell Ano Valor smples qualtatvo nomnal 1999 Snopse Textual Tabela 2. Atrbutos do domíno de flmes. O governo dos EUA oferece um mlhão de dólares por alguma nformação sobre um pergoso terrorsta. John tentará encontrá-lo antes que o FBI o mate. 6.2 A COMPARAÇÃO ENTRE ATRIBUTOS A comparação entre os atrbutos de dos tens depende substancalmente do tpo desses atrbutos. A tabela abaxo descreve a função

25 KNN no Domíno de Flmes Γ (Equação 2) especfcando as regras de comparação para cada tpo de atrbuto. Atrbuto Tpo Regra Gênero, Elenco País, Dretor Ano Qualtatvo multvalorado Γ ( α, β ) Valor smples Γ ( ) qualtatvo nomnal α, β Valor smples qualtatvo nomnal Γ ρ ( α, β ) ( α, β ) range( α β ) range( α β ) 1 α = β 0 α β ρ ( α, β ) max, onde 0 2 δ ( α ) δ ( β ) δ(x) é a década do ano x., e Tabela 3. Função * para o domíno de flmes O Atrbuto Textual O atrbuto snopse requer uma atenção especal vsto que se trata de um texto repleto de palavras e, portanto, não se aplcam os métodos de comparação utlzados para os atrbutos anterores. Dessa forma é necessáro utlzarmos algumas técncas bem defndas de Recuperação de Informação [17], como Centródes e TFIDF. Bascamente, o conceto de um centróde aproxma-se muto do atrbuto qualtatvo multvalorado. Ou sea, um centróde é defndo como um vetor de pares (palavra, peso), onde a palavra ou pertence ao texto a partr do qual fo extraído o centróde, ou é o radcal de uma ou mas palavras do texto. A segunda opção é uma técnca aplcada para construção de centródes conhecda como Stemmng [18]. Nesse trabalho assumremos, para efeto de smplfcação, que as palavras do centróde pertencem ao texto a partr do qual fo extraído o mesmo. Um recurso bastante utlzado na construção do centróde é a Stoplst [17], que se trata de um conunto de palavras consderadas rrelevantes para efeto de cálculo da smlardade entre dos textos e, portanto, tas palavras não são adconadas ao centróde. Exemplos de palavras rrelevantes são artgos, preposções, adetvos e pronomes

26 KNN no Domíno de Flmes O peso de uma palavra em um centróde corresponde à freqüênca que essa palavra aparece no respectvo texto. No entanto, é convenente consderar-se o peso dessa palavra na base de documentos como um todo. O peso de uma palavra, de acordo com TFIDF, é defndo segundo a Equação 10. onde p D w f D w IDF(w) range( B) IDF( w) log 2 B ς w Equação 10 - O peso da palavra w no texto D. f corresponde a freqüênca de w em D. range(b) é a cardnaldade do banco de textos do sstema. ζ é o total de documentos em B que contém a palavra w. O termo IDF sgnfca Independent Document Frequency. A comparação entre dos centródes é dada pelo co-seno do ângulo formado entre os dos vetores que representam esses centródes. Ou sea, a smlardade entre dos centródes é defnda pelo produto nterno dvddo pelo produto entre a norma de ambos. Dessa forma, a função Γ para o atrbuto textual é defnda segundo a Equação 11. Γ ( α β ) k = 1, p α w p β w seϖ ( α, β ) 0 ϖ ( α, β ) 0 seϖ ( α, β ) = 0 Equação 11 A função Γ para o atrbuto textual. onde ϖ ( α, β ) k = 1 ( p α w ) 2 k = 1 ( p β w )

27 FMP no Domíno de Flmes 7 FMP NO DOMÍNIO DE FILMES Agora que foram ntroduzdas as característcas báscas do domíno de flmes é necessáro apresentarmos os aspectos desse domíno para a fltragem baseada em meta-protótpo. É mportante frsar que a confguração de atrbutos e pesos defnda na seção 6.1 contnuará sendo utlzada na abordagem FMP. 7.1 REPRESENTAÇÃO Como especfcado na seção 4.2, cada flme é representado por um vetor de vetores de pares (valor, peso). O meta-protótpo correspondente ao flme da Tabela 2 é mostrado na Tabela 4. Atrbuto Meta-Protótpo (x) Gênero (1.0 Drama) País (1.0 EUA) Dretor (1.0 Steven Spelberg) (0.2 Tom Hanks, 0.2 Davd Morse, 0.2 Bonne Hunt, 0.2 Mchael Elenco Clarke, 0.2 James Cromwell) Ano ( ) (IDF(eua) 0.07 eua, IDF(governo) 0.07 governo, IDF(oferece) 0.07 oferece, IDF(mlhão) 0.07 mlhão, IDF(dólares) 0.07 dólares, IDF(nformação) 0.07 nformação, Snopse IDF(pergoso) 0.07 pergoso, IDF(terrorsta) 0.07 terrorsta, IDF(ohn) 0.07 ohn, IDF(tentará) 0.07 tentará, IDF(encontrálo) 0.07 encontrá-lo, IDF(fb) 0.07 fb, IDF(mate) 0.07 mate) Tabela 4 Meta-protótpo correspondente ao flme mostrado na Tabela 2. Observe o atrbuto Snopse na Tabela 4. Como vmos na seção um centróde pode ser crado a partr do atrbuto textual e dessa forma pode ser vsto como um atrbuto qualtatvo multvalorado como, por exemplo, o Elenco Representação do Perfl do Usuáro Suponha que os flmes descrtos na Tabela 5 tenham sdo avalados por determnado usuáro. Atrbuto Flme 1 Flme 2 Gênero Drama, Guerra Guerra País EUA EUA Dretor Steven Spelberg Francs Ford Copolla

28 FMP no Domíno de Flmes Elenco Tom Hanks, Mchael Clarke, James Cromwell, Ben Kngsley, Ralph Fennes Ano Snopse O governo dos EUA oferece um mlhão de dólares por alguma nformação sobre um pergoso terrorsta. John tentará encontrá-lo antes que o FBI o mate. Carolne Goodall, Jonathan Sagall, Lam Neeson, Mchael Clarke O FBI tentará matar um pergoso ladrão de banco nesse flme de ação. Tabela 5 - Exemplos de flmes avalados por determnado usuáro. De acordo com a seção 4.2.2, o peso correspondente a descrção smbólca de um meta-protótpo de um usuáro é a méda dos pesos dos respectvos valores presentes nas descrções de cada tem soladamente. A Tabela 6 mostra o meta-protótpo do perfl do usuáro exemplfcado na Tabela 5. Atrbuto Gênero País Dretor Elenco Ano Snopse Meta-Protótpo (u) ((0.5 Drama, ( ) Guerra) 0.5) ((( ) EUA) 0.5) ((0.5 Steven Spelberg, 0.5 Francs Ford Copolla) 0.5) ((0.2 Tom Hanks, ( ) Mchael Clarke, 0.2 James Cromwell, 0.2 Ben Kngsley, 0.2 Ralph Fennes, 0.25 Carolne Goodall, 0.25 Jonathan Sagall, 0.25 Lam Neeson) 0.5) (( , ) 0.5) ((IDF(fb) ( ) fb, IDF(tentará) ( ) tentará, IDF(matar) ( ) matar, IDF(pergoso) ( ) pergoso, IDF(banco) 0.12 banco, IDF(ladrão) 0.12 ladrão, IDF(ação) 0.12 ação, IDF(flme) 0.12 flme, IDF(eua) 0.07 eua, IDF(governo) 0.07 governo, IDF(oferece) 0.07 oferece, IDF(mlhão) 0.07 mlhão, IDF(dólares) 0.07 dólares, IDF(nformação) 0.07 nformação, IDF(terrorsta) 0.07 terrorsta, IDF(ohn) 0.07 ohn) 0.5) Tabela 6 - O meta-protótpo do perfl do usuáro exemplfcado na Tabela COMPARAÇÃO A comparação de meta-protótpos no domíno de flmes obedece às regras descrtas na seção 4.3. Todava, algumas adaptações podem melhorar o desempenho e a precsão da resposta em sstemas de recomendação de flmes. Não é dfícl notar que a generalzação e a construção de metaprotótpos podem ser fetas de forma ncremental, melhorando o desempenho de classfcação. Para sso, basta mantermos na memóra o número de exemplos usados para construr u (Cardnaldade(u)) em vez de

29 FMP no Domíno de Flmes calcularmos a méda ponderada dos exemplos no passo de generalzação. Então, dvda φ por Cardnaldade(u) na comparação com o meta-protótpo de um flme; ou dvda φ por Cardnaldade(u) e também por Cardnaldade(u ), onde u é o meta-protótpo de um outro usuáro. Além dsso, o meta-protótpo do usuáro não precsa ser recrado caso um novo tem sea avalado. 7.3 APRIMORANDO A FMP Nesta seção serão dscutdas algumas heurístcas na aplcação da abordagem FMP para o domíno de flmes Composção do Perfl do Usuáro Agora que sabemos como representar os tens e o perfl do usuáro com meta-protótpo no domíno de flmes, e sabemos como compará-los podemos efetuar expermentos para comparação com o KNN. Todava precsamos defnr quas os tens que entrarão no perfl do usuáro. Será que é nteressante, por exemplo, construrmos o meta-protótpo com os tens avalados com notas 1 e 2 pelo usuáro? Para nvestgar esse problema o segunte expermento fo executado: Para cada usuáro fo separado 20% do seu conunto de tens avalados para o conunto de perguntas (teste) e 80% para o conunto de trenamento (ou sea, o conunto que compõe efetvamente o perfl do usuáro). Utlzou-se a métrca Breese descrta na seção para medr a qualdade das recomendações. Executou-se o algortmo KNN com k gual a 11 para efeto de comparação Executou-se a FMP para cada uma das possíves composções do protótpo do usuáro: A. O meta-protótpo do usuáro é composto por todos os tens avalados B. O meta-protótpo do usuáro é composto apenas pelos tens avalados com nota maor ou gual a

30 FMP no Domíno de Flmes C. O meta-protótpo do usuáro é composto apenas pelos tens avalados com nota maor que A B C KNN Gráfco 3 Compara a qualdade do sstema com FMP de acordo com a métrca Breese varando os tens que compõe o perfl do usuáro. Mostra também a melhor confguração obtda pelo KNN (seção 1). De acordo com o Gráfco 3 é mas adequado nserr no metaprotótpo do usuáro apenas os tens que foram avalados com nota acma de 3. No entanto, o resultado obtdo está muto aquém do resultado alcançado pela fltragem com KNN As Avalações do Usuáro como Heurístca O domíno de flmes possu algumas nformações que anda não foram consderadas, como, por exemplo, as avalações dos usuáros. Dessa forma, questona-se como utlzar adequadamente as avalações negatvas do usuáro, ou sea, os flmes que receberam notas 1, 2 e (talvez) 3. Uma manera de se empregar a nformação trazda por tas avalações é a construção de um novo meta-protótpo. Portanto, o perfl do usuáro passa a ser consttuído de dos meta-protótpos: um meta-protótpo postvo (u + ) e um meta-protótpo negatvo (u - ). O processo contnua o mesmo, entretanto o meta-protótpo que abrgará um novo tem será determnado pela nota dada ao mesmo. Logo, sugere-se a segunte combnação: tens com notas 1 e 2 pertencem a u -, e tens com notas 4 e 5 pertencem a u +. Já os tens com avalação 3 possuem três opções:

31 FMP no Domíno de Flmes A. eles não são adconados em nenhum meta-protótpo pos o usuáro não possu qualquer opnão sobre o flme (don t care); B. eles serão ncorporados em u -, pos o usuáro não gosta do flme e não deseara assstr a um outro smlar; C. eles serão adconados a u +, pos o usuáro não gosta muto do flme mas anda assm acetara assstr a um outro semelhante. Dessa forma, a função de comparação torna-se: + φ( x, u ) + (1 φ( x, u )) Φ( x, u) = 2 Equação 12 - A função de comparação Φ para dos meta-protótpos, onde φ é defnda na Equação 3. As avalações dos usuáros trazem uma outra hpótese que pode ser anda mas forte do que aquela dscutda anterormente. É fato que uma nota 5 vale muto mas que uma nota 4, e que uma nota 1 é muto rum enquanto uma nota 2 não é tão rum assm. Uma forma de modelar esse comportamento do mundo real na abordagem FMP é: ) um tem com nota 5 tem uma proporção maor em u + do que um tem avalado com nota 4, e, equvalentemente, ) um tem com nota 1 tem uma proporção maor em u - do que um tem avalado com nota 2. Para nvestgar as heurístcas dscutdas anterormente, ou sea, o uso de dos meta-protótpos para defnção do perfl do usuáro e a replcação dos tens de acordo com a nota dada pelo usuáro ao tem, o segunte expermento fo executado: Para cada usuáro fo separado 20% do seu conunto de tens avalados para o conunto de perguntas e 80% para o conunto de trenamento (ou sea, o conunto que compõe efetvamente o perfl do usuáro). Utlzou-se a métrca Breese descrta na seção para medr a qualdade das recomendações. Os tens avalados com nota 1 serão replcados 3 vezes em u

32 FMP no Domíno de Flmes Os tens avalados com nota 2 serão replcados 2 vezes em u - Os tens avalados com nota 4 serão replcados 2 vezes em u + Os tens avalados com nota 5 serão replcados 3 vezes em u + Executou-se a FMP para cada uma das possíves stuações A, B e C dscutdas anterormente. 49, , , , , ,5 A B C KNN Gráfco 4 - Compara a qualdade do sstema com FMP de acordo com a métrca Breese. No entanto, o perfl do usuáro é composto por dos meta-protótpos e ocorre replcação dos tens avalados. Mostra também a melhor confguração obtda pelo KNN (seção 1). De acordo com o Gráfco 4 os tens avalados com nota 3 pelo usuáro não são sgnfcatvos para se determnar a ordem de relevânca dos elementos. Isso sgnfca, portanto, que os usuáros geralmente não dão mportânca a esses tens (don t care), vsto que eles são popularmente avalados como mas ou menos. Dessa forma a confguração utlzada nos próxmos expermentos não consderam os tens avalados com nota 3 para composção do perfl do usuáro. O Gráfco 4 também mostra o quanto melhorou a qualdade da precsão do sstema em comparação a FMP orgnal. Dos foram os motvos dessa melhora: o prmero fo o uso de dos meta-protótpos e o segundo fo a replcação de tens de acordo com a nota dada pelo usuáro. Assm, surgem anda duas outras questões:

33 FMP no Domíno de Flmes A. Se aumentarmos a proporção dos tens replcados nos meta-protótpos haverá uma melhora na qualdade da resposta? B. Qual a mportânca de cada meta-protótpo? Será que u + vale mas do que em u -? A Proporção das Replcações Para respondermos a questão A efetuamos o segunte expermento: Para cada usuáro fo separado 20% do seu conunto de tens avalados para o conunto de perguntas e 80% para o conunto de trenamento (ou sea, o conunto que compõe efetvamente o perfl do usuáro). Utlzou-se a métrca Breese descrta na seção para medr a qualdade das recomendações. Os tens avalados com nota 1 serão replcados 10 vezes em u - Os tens avalados com nota 2 serão replcados 6 vezes em u - Os tens avalados com nota 4 serão replcados 6 vezes em u + Os tens avalados com nota 5 serão replcados 10 vezes em u + Executou-se a FMP 50 49, , , , ,5 45 Replcação Nova Replcação Anteror Gráfco 5 Compara a qualdade do sstema com FMP através da métrca Breese varando a proporção das replcações. A Replcação Anteror está defnda na seção

34 FMP no Domíno de Flmes Ao compararmos os resultados desse expermento com os resultados do expermento da seção observamos que há uma melhora nsgnfcante quando aumentamos a proporção de nclusão dos tens nos meta-protótpos. Dessa forma, contnuaremos com a confguração anteror vsto que ela não compromete a velocdade do sstema tanto quanto a confguração desse últmo expermento Ponderação dos Meta- Protótpos A questão B da seção está dretamente assocada a Equação 12. Se observarmos essa equação é fácl verfcar que o peso dado a cada metaprotótpo é equvalente. Para verfcarmos a mportânca de cada metaprotótpo para a qualdade de resposta do sstema ponderamos os metaprotótpos em proporções cua soma é equvalente a 1. Nesse sentdo a Equação 12 é redefnda segundo a equação mostrada abaxo. Φ( x, u) = w φ ( x, u + ) + (1 w)(1 φ( x, u )) Equação 13 - A função de comparação Φ para dos metaprotótpos, onde w [0, 1]. Assm, o segunte expermento é proposto: Para cada usuáro fo separado 20% do seu conunto de tens avalados para o conunto de perguntas (teste) e 80% para o conunto de trenamento (ou sea, o conunto que compõe efetvamente o perfl do usuáro). Utlzou-se a métrca Breese descrta na seção para medr a qualdade das recomendações. Executou-se a FMP para os seguntes valores de w: 0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 e

35 FMP no Domíno de Flmes w = 0,0 w = 0,1 w = 0,2 w = 0,3 w = 0,4 w = 0,5 w = 0,6 w = 0,7 w = 0,8 w = 0,9 w = 1,0 Gráfco 6 Compara a relevânca dos meta-protótpos postvo e negatvo para o perfl do usuáro. O Gráfco 6 mostra que é mas convenente consderar um peso equvalente para os dos meta-protótpos, ou sea, as avalações postvas são tão mportantes quanto as avalações negatvas do usuáro para se ordenar os tens mas relevantes para esse usuáro. Além dsso, observa-se que melhores resultados são obtdos ao se dar um peso maor ao meta-protótpo postvo (w gual a 0.6 ou 0.7) do que ao meta-protótpo negatvo (w gual a 0.4 ou 0.3)

36 Expermentos e Resultados 8 EXPERIMENTOS E RESULTADOS Até o momento efetuamos dversos expermentos com obetvo de melhorar a qualdade da resposta de ambas as abordagens de fltragem dscutdas nesse trabalho. A tabela abaxo mostra o resultado, de acordo com a métrca Breese, das melhores confgurações obtdas para os algortmos KNN e FMP FMP KNN Gráfco 7 Qualdade dos sstemas com FMP e com KNN de acordo com Breese. De fato, observamos que a abordagem FMP alcançou melhores resultados na qualdade da resposta. Todava, a dferença não é tão sgnfcatva assm (1 ponto percentual), de forma que, em um sstema de recomendação de flmes real, os algortmos possam ser consderados equvalentes. No entanto, o próxmo expermento mostra que a abordagem FMP é extremamente nteressante para esses sstemas de recomendação. 8.1 DESEMPENHO O desempenho de sstemas de recomendação pode ser melhorado com métodos de ndexação no conunto de exemplos, tas como K-D Trees [7]. K-D Trees são estruturas de dados dnâmcas e adaptáves que são muto smlares a árvores bnáras mas dvdem o espaço geométrco de forma adequada para soluconar problemas como busca em ntervalos (range searchng)

37 Expermentos e Resultados A déa básca de K-D Trees é construr árvores de busca bnára com nstâncas do conunto de trenamento como nós, utlzando os atrbutos das nstâncas como chaves em uma seqüênca alternada convenente. O algortmo K-D Tree descrto em [7] fo adaptado para ser usado em conunto com o algortmo KNN apresentado nesse trabalho. Dessa forma, o segunte expermento tem o obetvo de comparar o desempenho dos algortmos KNN, K-D Tree e FMP no que dz respeto a velocdade em se gerar as recomendações: Foram separados 50 usuáros com no mínmo 150 tens avalados. Para cada usuáro separou-se os 100 prmeros tens da sua lsta de avalações para formar o conunto de trenamento. No entanto, varou-se o tamanho do conunto de trenamentos em 5, 10, 20, 40, 60, 80 e 100 tens. Para cada usuáro separou-se os 50 últmos tens da sua lsta de tens avalados para o conunto de perguntas. Utlzou-se a métrca Breese descrta na seção para medr a qualdade das recomendações. Utlzou-se 5 e 11 para os valores de k, ou sea, a quantdade de vznhos mas próxmos. Foram executados os algortmos KNN, K-D Tree e FMP e medu-se o tempo de geração das recomendações em segundos para cada usuáro. Esse tempo nclu a construção do perfl do usuáro que é próxma de zero no caso do KNN e um pouco mas do que sso no caso de FMP e K-D Tree

38 Expermentos e Resultados 1, ,40000 segundos 1, , , , ,40000 KNN k=5 KNN k=11 KDTree k=5 KDTree k=11 FMP 0, ,00000 m=5 m=10 m=20 m=40 m=60 m=80 m=100 tamanho do conunto de trenamento Gráfco 8 Compara o desempenho dos sstemas de recomendação com KNN, K-D Tree e FMP KNN k=5 KNN k=11 KDTree k=5 KDTree k=11 FMP m =5 m =10 m =20 m =40 m =60 m =80 m =100 tamanho do conunto de trenamento Gráfco 9 Compara a precsão dos sstemas de recomendação com KNN, K-D Tree e FMP, de acordo com a métrca Breese. O Gráfco 8 mostra a méda dos tempos gastos por cada algortmo para geração das recomendações. O Gráfco 9 mostra os valores calculados a partr de Breese para os sstemas de recomendação com dferentes algortmos de fltragem de nformação baseada em conteúdo. Observando os gráfcos, verfcamos que a classfcação de um tem do conunto de perguntas (teste) requer N comparações com o KNN e N log 2 N comparações com o K-D Tree, onde N é o número de tens no perfl do usuáro

39 Expermentos e Resultados Além dsso, observa-se que o custo de classfcação para o FMP cresce na mesma taxa que o K-D Tree. Isso ocorre porque, na abordagem FMP, o conunto de trenamento do perfl do usuáro é utlzado por completo para efeto de comparação. Como vsto anterormente, o que ocorre na verdade é um condensamento do perfl do usuáro devdo à mudança de representação do mesmo. Por esse motvo dentfca-se uma precsão relatvamente maor do FMP com relação ao KNN e ao K-D Tree. Por manter uma precsão equparável ao KNN e por alcançar um nível de desempenho acma do KNN e equvalente ao K-D Tree, a abordagem FMP torna-se tão nteressante para sstemas de recomendação reas

40 Conclusões 9 CONCLUSÕES Algumas técncas de fltragem de nformação baseada em conteúdo, que são comumente usadas em sstemas de recomendação, possuem problemas de desempenho nerentes. A abordagem dos k Vznhos mas Próxmos, por exemplo, possu um custo computaconal alto pos o conunto de trenamento que compõe o perfl de um determnado usuáro é composto por todas as nstâncas avaladas pelo mesmo. Há uma dversdade de trabalhos propondo soluções para esses problemas, mas nenhum deles contempla os requstos de: ) melhorar o desempenho sem degradar a precsão da resposta; e, ) ser aplcável ao domíno de flmes, ldando com todos os tpos de atrbutos desse domíno. A abordagem FMP, que obteve bons resultados na classfcação de um tpo especal de magens SAR, melhora sgnfcatvamente o desempenho de sstemas de recomendação de flmes mantendo a precsão da resposta equparável à precsão do KNN

41 Trabalhos Futuros 10 TRABALHOS FUTUROS Há uma sére de estudos que abordam o problema de desempenho do algortmo KNN, reduzndo o conunto de trenamento, tas como Drop [13] e RISE [14]. Em especal, Drop atngu uma redução da memóra de até 12% em alguns domínos. Além dsso, é possível reduzr o conunto de exemplos utlzando Drop, segudo por uma mudança de representação com FMP no conunto de exemplos reduzdo. Dessa forma um trabalho futuro bastante nteressante é o estudo dessas propostas de melhora de desempenho combnadas com a abordagem FMP proposta nesse trabalho. O trabalho [26] propõe um algortmo de seleção de exemplos do conunto de trenamento do usuáro através de técncas de aprendzagem atva. Um trabalho bastante nteressante de ser feto é utlzar os exemplos seleconados pelo algortmo proposto em [26] para compor o meta-protótpo do usuáro. Uma outra extensão desse trabalho é a nvestgação de novas heurístcas no domíno de flmes na tentatva de melhorar anda mas a FMP. Adconalmente, algumas técncas utlzadas em Recuperação de Informação com sucesso como, por exemplo, Stemmng [18] e Snônmos [17], podem ser mplementadas. Para fnalzar, uma outra possbldade de trabalho futuro é a adaptação da FMP em outros domínos de nformação e o estudo comparatvo com outras abordagens á utlzadas com sucesso nesses novos domínos