EXPLORANDO DADOS PÚBLICOS DE PROGRAMAÇÃO DE RÁDIOS E PLAYLISTS NA WEB PARA RECOMENDAÇÃO EM MÚSICA

Transcrição

1 ALEX AMORIM DUTRA Orientador: Álvaro Rodrigues Pereira Jr. EXPLORANDO DADOS PÚBLICOS DE PROGRAMAÇÃO DE RÁDIOS E PLAYLISTS NA WEB PARA RECOMENDAÇÃO EM MÚSICA Ouro Preto Novembro de 2014

2

3 Universidade Federal de Ouro Preto Instituto de Ciências Exatas Programa de Pós-Graduação em Mestrado em Ciência da Computação EXPLORANDO DADOS PÚBLICOS DE PROGRAMAÇÃO DE RÁDIOS E PLAYLISTS NA WEB PARA RECOMENDAÇÃO EM MÚSICA Dissertação de mestrado apresentada ao Programa de Pós-Graduação em Ciência da Computação da Universidade Federal de Ouro Preto, como requisito parcial para a obtenção do grau de Mestre em Ciência da Computação. ALEX AMORIM DUTRA Ouro Preto Novembro de 2014

4

5 D978e Dutra, Alex Amorim. Explorando dados públicos de programação de rádios e playlists na web para recomendação em música [manuscrito] / Alex Amorim Dutra f.: il.: color; grafs; tabs. Orientador: Prof. Dr. Álvaro Rodrigues Pereira Junior. Dissertação (Mestrado) - Universidade Federal de Ouro Preto. Instituto de Ciências Exatas e Biológicas. Departamento de Computação. Programa de Pós-graduação em Ciência da Computação. Área de Concentração Ciência da Computação. 1. Música. 2. Software de aplicação. 3. Sistemas de informação musical. I. Pereira Junior, Álvaro Rodrigues. II. Universidade Federal de Ouro Preto. III. Titulo. CDU: 78: Catalogação:

6

7

8

9 Resumo Desde a antiguidade, o homem utiliza meios para realizar recomendações a outras pessoas com as quais se relaciona. Entretanto, nos dias atuais, com a explosão de informação acessível na Web, os meios para realizar recomendações tem sido empregado em diversos sistemas na Web. Na área da recomendação musical não tem sido diferente, pois, nas últimas décadas, houve uma explosão no conteúdo musical disponível e acessível, o que modicou consideravelmente a maneira de escutarmos músicas. Para isso, na literatura são utilizados métodos baseados em aprendizagem de máquina, agrupamentos entre usuários ou itens, exploração de metadados musicais, utilização de dados de uso, entre outros. Independentemente dos métodos empregados, um importante fator na qualidade da recomendação é a fonte de dados usada. Uma das abordagens mais utilizadas em recomendação é a ltragem colaborativa, que pressupõe a existência de dados de ratings de usuários para os itens em recomendação. No entanto, esses dados nem sempre estão presentes nas aplicações, e mesmo quando presentes, muitas vezes são escassos para um número signicativo de usuários. Este trabalho visa explorar dados disponíveis na Web para, na falta ou escassez de dados de uso, serem usados para aumentar a qualidade da recomendação no contexto musical. A hipótese é que estes dados públicos poderiam substituir com qualidade os dados de uso, que são privados, em sistemas de recomendação. Os dados públicos utilizados neste trabalho são dados coletados do histórico de programação das rádios e de playlists públicos do YouTube. Como estes dados são gerados por especialistas e estão presentes em grande volume, este trabalho explora a inteligência coletiva existente na geração dos programas das rádios e dos playlists. De fato, os resultados demonstram que, para os cenários onde os dados públicos são podados de forma a simular dados cada vez mais ricos, uma vez que estão presentes em maior volume, o emprego de algoritmos desenvolvidos especialmente para esse propósito podem ser tão ecazes quanto os melhores algoritmos de ltragem colaborativa da literatura. Palavras-chave: Sistemas de recomendação. Recomendação musical. Filtragem colaborativa. Dados públicos. i

10 ii

11 Abstract Since ancient times men have used several means to make recommendations to other people with whom they relate. However, nowadays, in the information era, the recommendations has been deployed in the web systems in several ways. In the music recommendation eld, it has not been dierent, as in the last decades, the musical content has exploded and it became available, what changed substantially the way we listen to music. For that, on literature, machine learning methods are used, user or item clustering, music metadata exploring, usage data mining, among other methods. Independently of utilized methods, the source of the data used is a important factor in the quality of the receommendation. One of the most used approaches is the colaborative ltering, that presupposes the existence of data of user ratings for recommendation items. Nevertheless, that data are not always available in the applications, and even when they are, they often are scarce for a relevant number of users. This work, aims to explore the available data on the web for, in the case of scarce or mimssing usage data, being used to increase the quality of recommendation in the music context. The hypothesis is: the public data could substitute with quality the usage data, which are private, in recommendation systems. The public data used in this work are extracted from the radios playlist history and from public YouTube playlists. As those data are generated by specialists and are available as a high volume, this work explores the existing collective intelligence for generating radios programs and playlists. The results show, indeed, that the scenarios where the public data are pruned so that the generated data is constantly becoming more relevant, since they are available in bigger volume, the use of algorithms developed specially for that purpose can be so eective as the literature's best collaborative ltering algorithms. Keywords: Recommendation systems. Musical Recommendation. Collaborative ltering. Public data. iii

12 iv

13 Dedico este trabalho: Ao meu pai Pedro, pelos ensinamentos e exemplo de vida. A minha mãe Zélia, por todo incentivo e carinho oferecido durante toda a minha trajetória de vida. v

14 vi

15 Sumário 1 Introdução Objetivos da dissertação Justicativa Principais contribuições da dissertação Organização da dissertação Fundamentação Teórica Denição do problema de recomendação Representação do perl dos usuários Representação dos itens (artistas e músicas) Metadados acústicos Metadados editoriais Metadados culturais Abordagens dos algoritmos de recomendação Filtragem Colaborativa Recomendação Baseada em Conteúdo Recomendação Baseada em Contexto Recomendação Híbrida Métricas de avaliação Métricas de predição Métricas baseadas em decisão Idealize Recommendation Framework Radialize Processo de coleta do histórico de programação das rádios Trabalhos Relacionados Conteúdo do áudio vii

16 3.2 Filtragem colaborativa Rotulagem por especialistas Utilização de dados públicos no contexto de músicas Modelos híbridos Algoritmo de Filtragem Colaborativa Proposto Algoritmo User-Clustering Modelagem dos dados e algoritmos para recomendação em música Algoritmo baseado na modelagem de rádios como usuários MRU Algoritmos baseados no tf-idf e tf-df TFIDF e TFDF Algoritmo utilizando coocorrências em rádios ou playlists COOC-R Algoritmos do tipo item-based baseados em coocorrências como matriz de similaridades COOC-IB e COOC-BIB Metodologia de Avaliação Bases de dados Base de dados MusicBrainz Base de dados Last.fm 360K Base de dados Yahoo WebScope R Base de dados de playlists coletados do YouTube Histórico de programação coletado das rádios Número de artistas comuns às bases de dados Normalização dos ratings das bases de dados Buscador para mapear nomes de artistas e músicas das bases Seleção dos usuários de teste Seleção dos usuários para treino Seleção das rádios para treino A escolha do baseline Seleção dos dados de acordo com a popularidade Algoritmos que utilizam dados públicos Aplicação das métricas de avaliação Resultados Experimentais Avaliação do algoritmo user-clustering Avaliação do histórico de programação das rádios modeladas como usuários MRU viii

17 7.3 Avaliação do TFIDF e TFDF utilizando o histórico de programação das rádios Avaliação dos algoritmos que utilizam matriz de similaridades construída a partir do histórico de programação Resultados variando o número de ratings dos usuários de teste Avaliação da revocação variando o número de itens recomendados Resultados dos algoritmos utilizando outras métricas de avaliação Avaliação dos resultados em comparação à base de dados Yahoo WebScope R Avaliação dos resultados utilizando a base de dados de playlists coletados do YouTube e a base de dados Last.fm 360K Discussão dos resultados Conclusões e trabalhos futuros Conclusões Trabalhos futuros Referências Bibliográcas 87 ix

18 Lista de Figuras 2.1 Cauda longa, poucos artistas são populares e muitos artistas são conhecidos por pequenos grupos de usuários Conjuntos para apresentar a precisão e revocação Arquitetura alto nível dos frameworks utilizados no IRF Arquitetura alto nível dos componentes do Radialize (retirada de [58]) Ilustração do algoritmo de recomendação que utiliza coocorrência das músicas nas rádios (COOC-R) Visão geral do processo de avaliação Tuplas dos arquivos da base de dados Last.fm 360K Formatação dos arquivos da base de dados Yahoo WebScope R Processo de buscas utilizado para mapear artistas e músicas das bases Modelo de testes de precisão Revocação variando o número de itens recomendados x

19 Lista de Tabelas 2.1 Parte de uma matriz de itens e usuários utilizada na ltragem colaborativa Tabela de contingência utilizada para categorizar itens recomendados ou não recomendados Nomes dos algoritmos e respectivas siglas Número de itens da base de dados MusicBrainz Número de itens da base de dados Last.fm 360K Top 10 artistas mais populares na base de dados Last.fm 360K Número de itens da base de dados Yahoo WebScope R Informações sobre a base construída a partir dos playlists coletados do YouTube Informações sobre a base construída a partir do histórico de programação das rádios Top 10 artistas mais populares nas rádios Bases de dados e número de artistas em comum Valores de precisão obtidos para os cinco grupos de usuários de teste Variando o número de usuários de treino na ltragem colaborativa Variando o número de possíveis artistas a serem recomendados de acordo com a popularidade Comparativo entre o Baseline e algoritmos de clustering desenvolvidos que utilizam dados de usuários MRU - Variando o número de possíveis artistas a serem recomendados de acordo com a popularidade Comparativo entre o baseline e algoritmos de recomendação utilizando o tf-idf e tf-df Resultados obtidos para os algoritmos baseline e algoritmos propostos Variando o número de ratings dos usuários de teste Quantidade de itens recomendados de acordo com o número de ratings xi

20 7.7 Valor de revocação variando o número de itens recomendados Métricas de avaliação para testes com baseline e algoritmos propostos Resultado variando o número de ratings dos usuários de teste, utilizando a base de dados Yahoo WebScope R1 e histórico de programação das rádios Variando o número de ratings dos usuários de teste, utilizando a base de dados Last.fm 360K e playlists coletado do YouTube xii

21 Lista de Algoritmos 1 User-Clustering construção de clusters User-Clustering recomendação Segunda parte do algoritmo de recomendação COOC-R xiii

22 xiv

23 Capítulo 1 Introdução De acordo com Chris Anderson, editor chefe da revista Wired, We are leaving the age of information and entering the age of recommendation. Em tradução literal, Estamos deixando a era da informação e entrando na era da recomendação [5]. Esta nova era é determinada pelo crescimento na produção de dados, principalmente na Web [26]. Hoje em dia, temos ao alcance informação relevante em diversas áreas. Algumas vezes ao realizar buscas manuais sobre um determinado assunto, produto, música ou qualquer outro item, acabamos não encontrando o que desejamos. Não encontrar o que seja realmente relevante deve-se à grande quantidade de dados existentes e à diculdade em realizar buscas manuais sobre estes dados. Na área da recomendação musical não tem sido diferente. Também houve uma explosão na disponibilidade de músicas. Há poucos anos atrás, quando desejava-se ouvir determinada música, era necessário possuir um disco de vinil, uma ta cassete, ou mais recentemente, um CD 1, ou então deveria torcer para que esta música tocasse em uma rádio que estivesse ouvindo. Porém, nos últimos anos, a maneira de ouvirmos músicas tem mudado drasticamente. Hoje em dia, com os serviços e dispositivos de reprodução musical como computadores, laptops, smartphones e tablets, tem-se ao alcance dezenas de milhões de músicas. Em meio à possibilidade de acesso a tanta informação, não signica que somente recuperar tais informações seja suciente. É importante que essas informações sejam recuperadas de forma personalizada. Assim sendo, sistemas de recomendação têm a nalidade de personalizar e levar ao usuário o que realmente é relevante para ele [21]. Sistemas de recomendação tem deixado de ser somente uma novidade e se tornado cada vez mais uma necessidade. Sendo assim, várias abordagens de recomendação tem surgido. 1 CD é uma sigla para compact disc 1

24 1. Introdução 2 Uma das principais abordagens é a ltragem colaborativa [21, 40, 39], que realiza a recomendação baseando-se no perl de múltiplos usuários, onde uns usuários colaboram para as recomendações dos outros. Apesar da ltragem colaborativa ser a abordagem mais ecaz utilizada em sistemas de recomendação, esta abordagem não funciona bem de forma isolada, em qualquer sistema de recomendação. O principal motivo é que a ltragem colaborativa é baseada em dados de uso, em especial ratings 2, sendo que muitas aplicações possuem dados de ratings escassos ou não possuem dados de ratings de usuários. Devido às limitações da ltragem colaborativa, este trabalho propõe a utilização de dados públicos, que são playlists coletados do YouTube e histórico de programação coletado de rádios que transmitem pela Web, de forma que estes dados possam ser utilizados para determinar a similaridade entre músicas. A hipótese é que o uso de dados públicos é ecaz para uma série de aplicações em recomendação, em especial para o contexto de recomendação de artistas 3 e músicas, como será demonstrado nesta dissertação. Neste trabalho, é realizado um estudo comparativo entre os algoritmos de ltragem colaborativa, que utilizam dados privados de usuários, e os novos algoritmos propostos, que utilizam de dados públicos. Esses algoritmos exploram, de forma simples e elegante, as relações entre itens, denidas através da inteligência coletiva de DJs 4, locutores de rádios e outros geradores de conteúdo musical, que são especialistas da área de música. Como resultado desse processo de descoberta de conhecimento, é mostrado que o uso de dados públicos pode ser tão ecaz quanto o uso de dados de uso, privado às organizações, para o problema de recomendação de músicas e artistas. 1.1 Objetivos da dissertação O principal objetivo desta dissertação é demonstrar que os dados públicos de programação de rádios e playlists de músicas, podem ser modelados para uso efetivo em sistemas de recomendação, em especial, no contexto de recomendação musical. Os dados públicos em sistemas de recomendação são importantes quando há escassez de dados de uso para o emprego de abordagens de ltragem colaborativa. Para alcançar este objetivo, foram utilizados dados públicos provenientes de rádios e de playlists, realizando 2 Um rating é uma avaliação realizada por um usuário para um determinado item. 3 O termo artista utilizado nesta dissertação refere-se, de forma generalizada, a uma banda ou um intérprete musical. 4 DJ é uma sigla em inglês que signica disc jockey e refere-se a um prossional responsável por transmitir música na rádio, televisão, boate ou outros meios de reprodução musical.

25 1. Introdução 3 uma comparação com os dados privados providos pelas bases Last.fm 360K [16] e Yahoo WebScope R1 5. Destaca-se dois objetivos secundários. O primeiro objetivo secundário desta dissertação é o desenvolvimento de uma metodologia de testes para comparação entre bases distintas para o problema de recomendação musical. O tratamento desse problema envolve vários desaos. Primeiramente, é necessário realizar o mapeamento de artistas e músicas entre diferentes bases de dados. Com a nalidade de mapear estes itens, fez-se necessário desenvolver um componente de buscas de artistas e músicas. Em seguida, é necessário determinar quais são os usuários de teste válidos para os experimentos e, a partir destes usuários de teste, determinar quais são os usuários, rádios ou playlists necessários para treino pelos algoritmos. O segundo objetivo secundário desta dissertação consiste na proposta e desenvolvimento de novos algoritmos de recomendação. O principal motivo para desenvolver novos algoritmos de recomendação deve-se a nalidade da utilização de maneira mais ecaz dos dados públicos. Os algoritmos desta classe, em geral, calculam as recomendações extraindo informações de uma matriz de similaridade de itens: matriz esta que é construída explorando o conceito de coocorrências em rádios ou playlists. Além da informação de coocorrências, utilizam a informação temporal de execução de cada música, considerando mais similares as músicas que tocam em um menor intervalo de tempo. Um fator importante para utilizar a informação temporal deve-se ao fato de que ao observar os programas de rádios, por exemplo, programas de músicas de rock, percebe-se que estes programas possuem sequências de músicas que são mais similares, e que consequentemente tocam em menor intervalo de tempo. 1.2 Justicativa Neste trabalho, dadas as limitações intrínsecas à abordagem de ltragem colaborativa, principalmente a escassez de dados de usuários em novas aplicações de recomendação, foi estudado e desenvolvido formas de uso de dados públicos em detrimento de dados privados. O uso de dados públicos é ecaz para uma série de aplicações em recomendação e pode suprir algumas das limitações encontradas na ltragem colaborativa. Ao analisar os dados provenientes das programações das rádios, diversas vantagens são obtidas ao utilizar esse tipo de informação. 5

26 1. Introdução 4 A primeira vantagem é a acessibilidade aos dados, pois, em geral, serviços de terceiros não disponibilizam os dados de maneira pública. Quando estes serviços disponibilizam dados de uso, são impostas limitações para utilização destes dados, principalmente quando se trata do uso para ns comerciais. A segunda vantagem, ao utilizar dados provenientes de rádios ou playlists, é a completude das informações. Muitas bases disponíveis não fornecem informações das músicas ou, quando fornecem, são informações anônimas, possuindo somente identicadores numéricos dos itens e dos usuários. Um exemplo é a base de dados disponibilizada pelo Yahoo! Music [37], onde estão disponíveis somente identicadores numéricos dos usuários, das músicas e dos gêneros, impossibilitando o mapeamento de itens e a comparação com alguma outra base de dados. Estes dados anonimizados também impossibilitam a utilização de outros metadados que podem ser coletados quando há o nome do artista e da música. Não é o caso de defender que os serviços disponibilizem os dados publicamente, uma vez que a privacidade precisa ser respeitada: no entanto, nesse trabalho, reforça a possibilidade de uso de dados públicos de serviços que disponibilizam os dados sem ferir a privacidade dos usuários. A terceira vantagem é a atualidade das informações, visto que a recomendação musical é uma área muito dinâmica e sofre mudanças todos os dias. Por exemplo, um artista mais tocado em uma rádio durante uma semana pode não ter sido o artista mais tocado na semana anterior. Sendo assim, bases de dados construídas a partir de coletas, em um determinado período de tempo no passado, podem car obsoletas por não possuírem informações atuais dos artistas, ou por não possuírem qualquer informação de um novo artista ou música. Ao contrário de bases de dados estáticas, os metadados fornecidos pelas rádios cobrem este tipo de deciência, pois, a todo tempo, novas músicas são tocadas nas rádios, e logo descobertas pela aplicação que as observa. A quarta vantagem é a escalabilidade, pelo fato do número de estações de web-rádios crescer a cada dia. Muitas destas rádios são administradas por DJs prossionais, e muitas também são criadas por usuários que possuem conhecimento sobre os artistas e as músicas de um determinado estilo. A quinta vantagem, ao utilizar este tipo de dado, é a estabilidade. Devido ao fato de que as informações de metadados 6 são providas por diversas rádios, e estas rádios não estão centralizadas em um único servidor, é garantida uma estabilidade com relação às fontes dos dados. Pois, se uma determinada rádio deixar de funcionar, haverá outras rádios que suprirão a falta desta rádio. tocada. 6 Um metadado de uma rádio é composto pelo nome do artista, música e a hora que a música foi

27 1. Introdução 5 A partir destas vantagens apresentadas e dos resultados alcançados, que serão apresentados no decorrer desta dissertação, observa-se que quando se tem informações públicas de qualidade, é possível criar sistemas de recomendação musical que possuem acurácia tão boa quanto os sistemas que utilizam dados privados de uso, muitas vezes escassos em aplicações de recomendação. 1.3 Principais contribuições da dissertação A principal contribuição desta dissertação são os algoritmos de recomendação desenvolvidos, e consequentemente a utilização dos dados públicos provenientes da Web. Os algoritmos propostos foram divididos em 4 classes. Na primeira classe, é proposta uma modelagem de rádios como usuários, para que, desta forma, seja possível aplicar os algoritmos de ltragem colaborativa. A segunda classe contém dois algoritmos baseados na ideia do tf-idf [61], com o objetivo de explorar o número de ocorrências dos artistas nas rádios; nesta classe são apresentados dois algoritmos de recomendação propostos o TFIDF e TFDF. A terceira classe propõe um algoritmo que calcula a similaridade entre artistas e músicas a partir dos playlists e histórico de programação das rádios coletadas. Para calcular esta matriz de similaridade, é utilizada a informação temporal das músicas tocadas nas rádios. Por m, a quarta classe contém dois algoritmos que utilizam uma matriz de similaridade entre itens para calcular as recomendações. Na abordagem tradicional de ltragem colaborativa, a matriz de similaridade é construída a partir de dados de ratings de usuários porém, para os algoritmos desenvolvidos nesta classe, a matriz de similaridades entre itens é substituída por uma matriz construída a partir de dados públicos, explorando a coocorrência das músicas na programação das rádios. A segunda contribuição desta dissertação é a metodologia de avaliação proposta. A metodologia desenvolvida tem como principal objetivo avaliar a acurácia dos algoritmos de recomendação desenvolvidos, considerando que é necessário realizar comparações entre diferentes bases de dados, sejam elas públicas ou privadas. Esta metodologia de avaliação pode ser aplicada tanto no contexto de recomendação musical quanto em outras áreas da recomendação, por exemplo, recomendação de lmes, livros ou artigos cientícos. A terceira contribuição deste trabalho é a disponibilização de uma base de dados publicamente 7. Esta base de dados foi construída a partir de coletas realizadas no período entre setembro de 2012 e maio de Neste período, foram coletados metadados de aproximadamente rádios contendo informações relevantes, compreendendo aproximadamente 18 milhões de execuções, e um total de artistas distintos e

28 1. Introdução 6 músicas distintas. As músicas desta base estão mapeadas (referenciadas) para as músicas da base de dados MusicBrainz 8 e os artistas estão mapeados para as bases de dados MusicBrainz, Last.fm 360K [16] e Yahoo WebScope R1. A maioria dos algoritmos de ltragem colaborativa foram utilizados do framework Mahout [53]. Porém, alguns algoritmos implementados no Mahout estão obsoletos ou apresentaram resultados ruins. A m de garantir que algum algoritmo baseado em clustering pudesse ser utilizado como teste, a quarta contribuição desta dissertação é o desenvolvimento de um algoritmo de ltragem colaborativa do tipo clustering, que pode ser aplicado tanto para dados de uso quanto para dados públicos. 1.4 Organização da dissertação Esta dissertação está dividida em 8 capítulos. Este primeiro capítulo é uma introdução e o restante da dissertação é organizada como segue. No Capítulo 2, é apresentada a fundamentação teórica, onde são descritos conceitos importantes associados ao conteúdo dessa dissertação. Em seguida, no Capítulo 3, são apresentados os trabalhos relacionados na área de recomendação de músicas. No Capítulo 4, é descrito o algoritmo de ltragem colaborativa proposto que é baseado em clustering. O Capítulo 5 apresenta os algoritmos propostos modelados para utilização de dados públicos. No Capítulo 6, a metodologia de avaliação é apresentada. No Capítulo 7, os resultados experimentais e as análises realizadas sobre os resultados são apresentados. Por m, no Capítulo 8 são apresentadas as conclusões e os trabalhos futuros. 8

29 Capítulo 2 Fundamentação Teórica Neste capítulo, é apresentada a fundamentação teórica, onde são descritos conceitos importantes associados ao conteúdo dessa dissertação. A Seção 2.1 apresenta a denição do problema de recomendação. Em seguida, a Seção 2.2 apresenta o perl dos usuários e os tipos de feedbacks 1. A Seção 2.3 apresenta o perl dos itens e quais são os tipos de metadados para os artistas e músicas. A Seção 2.4 apresenta as abordagens dos algoritmos de recomendação, onde estão descritos os algoritmos utilizados neste trabalho como baseline. A Seção 2.5 apresenta as métricas de avaliação utilizadas neste trabalho. Em seguida, a Seção 2.6 apresenta o Framework Idealize Recommendation, que foi utilizado para desenvolvimento dos algoritmos de recomendação para realizar este trabalho. Por m, a Seção 2.7 apresenta a arquitetura alto nível do serviço de recomendação Radialize. 2.1 Denição do problema de recomendação O problema de recomendação, como mencionado anteriormente, consiste em recomendar os itens que são mais relevantes para os usuários. Os itens recomendados são selecionados ou ltrados a partir do conjunto total de itens. Muitas vezes, se o usuário não utilizar de algum sistema de recomendação e tiver a necessidade de avaliar todo o conjunto de itens, este usuário irá passar a maior parte do tempo avaliando itens que são irrelevantes para ele. Sendo assim, os sistemas de recomendação tem por objetivo levar aos usuários conteúdos relevantes para estes, e a resolução deste problema é dividida em duas partes: a primeira parte do problema da recomendação consiste em predizer ou estimar o quão bom é um item para um usuário, sendo que este item pertence ao con- 1 Avaliações expressas pelos usuários aos itens. 7

30 2. Fundamentação Teórica 8 junto total de itens disponíveis para serem recomendados. A segunda parte do problema consiste em ordenar e ltrar quais são os itens preditos mais relevantes para o usuário. A parte mais importante em sistemas de recomendação é a primeira, onde é realizada a predição dos valores de ratings para os itens. A predição dos itens resulta em um valor numérico ou um valor booleano. A primeira parte do problema é formalizada da seguinte maneira: Seja um conjunto de usuários U = {u 1, u 2, u 3,..., u m } e o conjunto de todos os possíveis itens a serem recomendados I = {i 1, i 2, i 3,..., i n }. Sendo cada usuário u i pertencente ao conjunto U e que possui uma lista de itens avaliados I ui. A função de predição de um usuário u i para um determinado item i j será expressa por F ui,i j, tal que i j / I ui, ou seja, o item i é um item desconhecido pelo usuário u. A segunda parte da recomendação consiste na ordenação e ltragem dos itens preditos, retornando os top-n itens mais relevantes. 2.2 Representação do perl dos usuários Em sistemas de recomendação, os usuários devem expressar de alguma maneira os seus interesses pelos itens, pois a partir destes interesses, é possível determinar quais são os itens relevantes para os usuários. Os interesses dos usuários podem ser expressos através de buscas realizadas no sistema, sequência de links visitados, itens comprados no passado, utilização de informações de questionários, informações demográcas (idade, gênero, etc.) ou geográcas (país, estado, cidade, etc.). Existem duas maneiras do usuário expressar seus interesses nos itens dispostos pelos sistemas, sendo de forma explícita ou implícita. Feedback explícito Feedbacks explícitos são informações de interesse que o usuário envia para o sistema de forma direta, não sendo necessário inferir a opinião do usuário a partir de outras ações. O primeiro sistema de recomendação musical que utilizou feedbacks explícitos e uma abordagem de ltragem colaborativa foi o Ringo, apresentado por Shardanand e Maes [66]. Os feedbacks explícitos, em geral, são valores numéricos que variam em uma determinada escala, normalmente é utilizada uma escala de 1 a 5, ou podem ser booleanos. Estes valores são adquiridos quando o usuário clica em um botão do tipo curtir, banir, entre outros, gerando informações de interesse direto sobre um determinado item; sendo assim, estas ações possuem um grau de conança maior do que as informações extraídas

31 2. Fundamentação Teórica 9 de maneira implícita [52]. Porém, os feedbacks explícitos são mais difíceis de serem obtidos, pois muitos usuários não possuem o costume de interagir com os sistemas expressando seus interesses explicitamente. Feedback implícito Feedbacks implícitos, em geral, são mais fáceis de serem obtidos em relação aos feedbacks explícitos, pois não necessitam que o usuário expresse sua opinião de forma direta a respeito de um item no sistema. Alguns exemplos de feedbacks implícitos em sistemas musicais são: aumento do volume de uma música, número de vezes que um usuário escutou uma música, utilização do botão skip ou uma busca feita no sistema. Muitos sistemas de recomendação utilizam ratings implícitos pelo fato destes serem tão onipresentes. Se utilizados de forma ecaz, são dados de utilidade para a produção de recomendação com melhor qualidade [38, 32]. 2.3 Representação dos itens (artistas e músicas) Assim como os usuários, cada item possui informações que o denem. As informações das músicas ou artistas são classicadas em 3 categorias de metadados 2 : metadados acústicos, metadados editoriais e metadados culturais [54] Metadados acústicos Os metadados acústicos são obtidos através da análise do sinal do áudio das músicas e representam o mais baixo nível de informações das músicas. Algumas das características que podem ser extraídas do sinal do áudio são: Mel-Frequency Cepstral Coecients (MFCC ), Flux, Spectral Centroid, Tempo, Zero Crossings e Chroma. O MFCC foi desenvolvido por Mermelstein et al. [20] para reconhecimento de voz, mas esta característica também foi utilizada em vários trabalhos realizados para classicação musical [76, 12, 46, 51]. O MFCC é uma representação do espectro de energia em uma pequena janela de tempo do áudio. Flux e Spectral Centroid, são utilizadas para determinar o timbre de um som. O timbre, em síntese, nos permite distinguir a mesma nota tocada por instrumentos diferentes ou em escalas diferentes; por exemplo, uma nota dó tocada em um violão produz um som diferente da mesma nota tocada em um violino. 2 Metadados, ou Metainformação, são dados sobre outros itens. Os metadados facilitam o entendimento dos relacionamentos e a utilidade das informações dos dados.

32 2. Fundamentação Teórica 10 Outra característica extraída do sinal do áudio é o tempo. O tempo representa o número de batidas por minuto (BPM). A característica Zero Crossings é uma medida que indica o número de vezes que a onda sonora passou pelo valor zero. Esta característica é utilizada em processamento de voz para estimar a frequência fundamental da voz. O Chroma é o espectro de cada semitom do áudio, onde o espectro é o conjunto de todas as ondas que compõem o som. Em outras palavras, o Chroma mede o som formado pela composição das notas de uma música. Existem 12 semitons no total que podem compor o Chroma, sendo eles: C (Dó), C# (Dó sustenido), D (Ré), D# (Ré sustenido), E (Mi), F (Fá), F# (Fá sustenido), G (Sol), G# (Sol sustenido), A (Lá), A# (Lá sustenido) e B (Si) Metadados editoriais Metadados editoriais são obtidos de maneira manual, onde este processo é realizado por especialistas da área. Estes metadados também podem ser fornecidos por comunidades de usuários de maneira colaborativa, assim como ocorre no MusicBrainz e também no processo de inserção de tags 3 para artistas e músicas no site Last.fm. Alguns exemplos de metadados editoriais são: lista de músicas de um álbum, biograa do artista (localidade e ano de nascimento), período de atividade (data de início e data de m), gêneros (rock, indie, punk e heavy metal) ou informações do humor das músicas (alegre, triste e enérgica) Metadados culturais A última classe de metadados consiste dos metadados culturais. Estes metadados são obtidos através da análise de informações textuais ou numéricas, providas usualmente da internet, ou de fontes públicas, tais como programas de rádio ou enciclopédias. Diferente dos metadados editoriais, esta informação não é prescrita explicitamente, e sim baseada em padrões, categorias ou associação das informações [54]. Um maneira de obter estes metadados é realizando a análise de programas de rádios, onde é possível determinar a similaridade entre músicas que coocorrem em uma mesma rádio, que é um tipo de metadado cultural. 3 Tags são notas descritivas sobre os itens em questão.

33 2. Fundamentação Teórica Abordagens dos algoritmos de recomendação Algoritmos de recomendação podem realizar a estimativa ou predição dos ratings de várias maneiras, utilizando técnicas de aprendizagem de máquina, teoria da aproximação e diversas heurísticas [1]. Estes algoritmos são classicados de acordo com a abordagem utilizada para predizer os ratings, sendo classicados em diversas categorias, onde as principais são: ltragem colaborativa, recomendação baseada em conteúdo, recomendação baseada em contexto e recomendação híbrida [2, 1, 16, 9] Filtragem Colaborativa A recomendação por ltragem colaborativa tem sua origem na área da mineração de dados. O primeiro sistema apresentado na literatura que utilizou esta abordagem de recomendação foi o Tapestry, que foi implementado na empresa XEROX PARC [28]. Esta abordagem consiste da recomendação que leva em consideração o perl de múltiplos usuários, onde é denido na literatura como wisdom of crowds, em tradução literal sabedoria das multidões. Nesta abordagem de recomendação, o usuário recebe recomendações de acordo com as preferências expressas por outros usuários [1, 77, 38]. Os algoritmos de recomendação da abordagem de ltragem colaborativa utilizam uma matriz de itens e usuários. Esta matriz é preenchida pelos valores de preferências de cada usuário para cada item, onde estes valores podem ser booleanos ou valores numéricos, variando em uma determinada escala. A Tabela 2.1 representa parte de uma matriz utilizada pelos algoritmos de ltragem colaborativa, onde as linhas representam os itens e as colunas representam os usuários. Tabela 2.1: Parte de uma matriz de itens e usuários utilizada na ltragem colaborativa. Usuário 1 Usuário 2... Usuário n Item 1 5 φ... 3 Item 2 φ Item φ Item n Os algoritmos de ltragem colaborativa podem ser divididos em três áreas principais, algoritmos que utilizam vizinhança entre itens (item-based), similaridades entre usuários (user-based) ou algoritmos que utilizam latent factor models [40].

34 2. Fundamentação Teórica Item-based Os algoritmos que utilizam a técnica item-based também são conhecidos como modelbased. Os algoritmos desta categoria calculam a recomendação levando em consideração a similaridade entre itens [21, 44, 62]. Ao utilizar esta técnica de recomendação para determinar os k itens mais similares a um determinado item i, é calculado o valor de similaridade de um item ranqueado pelo usuário em relação aos outros itens disponíveis na base. Desta forma é determinado um conjunto de valores de similaridades de itens em relação ao item i, s i1, s i2, s i3,..., s in. Em seguida, após a realização do cálculo de similaridade entre itens, são selecionados os k itens mais similares ao item i. O primeiro passo para calcular a similaridade entre dois itens, supondo i e j, é selecionar os usuários que ranquearam ambos os itens. A partir desta pré-seleção, calcula-se a similaridade entre os itens, onde é determinado o valor de similaridade S ij. Existem diferentes maneiras de calcular a similaridade entre itens; uma delas é a utilização de métricas para calcular distância entre dois vetores, onde neste caso os vetores são compostos pelos valores de ratings expressos pelos usuários. As principais métricas para calcular distância entre dois vetores utilizadas na ltragem colaborativa são: distância euclidiana, distância de cosseno, coeciente de correlação de Pearson, distância de Manhattan e Jaccard. A distância de cosseno é apresentada na Equação 2.1, onde o conjunto de usuários que ranquearam os itens i e j é denotado por U e R u,i representa o rating do usuário u para o item i. similarity(i, j) = cos( i, j ) = i. j i j = u U R2 u,i u U R u,ir u,j u U R2 u,j (2.1) A Equação 2.2 apresenta a correlação de Pearson, onde A i é o valor médio de rating de todos os usuários para o item i, e I ij é o conjunto de usuários que ranquearam o item i e usuários que ranquearam o item j. similarity(i, j) = u I ij (R u,i A i )(R u,j A j ) u I ij (R u,i A i ) 2 u I ij (R u,j A j ) 2 (2.2) A Equação 2.3 apresenta a distância Euclidiana, onde x e y representam dois itens, sendo n o total de usuários que ranquearam os itens x ou y, e cada posição i representa o valor de rating do usuário para o item x ou item y:

35 2. Fundamentação Teórica 13 A Equação 2.4 representa a distância de Manhattan: d(x, y) = i=1 (x i y i ) 2 (2.3) n i=1 d (x, y) = x i y i (2.4) A Equação 2.5 apresenta a distância de Jaccard, sendo A e B dois vetores contendo os identicadores dos usuários que ranquearam cada item: n J (A, B) = A B A B (2.5) Uma vez calculada a similaridade entre os itens, o próximo passo é determinar os itens mais relevantes para recomendar para um usuário u. Um modelo comum para predizer o valor para um determinado item i, sendo o item i desconhecido pelo usuário u, é computar o somatório de ratings de todos os itens similares a i e que o usuário ranqueou. Denotando S k (i; u) para representar o conjunto k de itens que usuário u ranqueou e que são similares a i, a Equação 2.6 expressa de maneira formal a predição de rating do item i pelo usuário u, sendo j S k (i; u) [16]. ˆR u,i = j S k (i;u) sim(i, j)r u,j j S k (i;u) sim(i, j) (2.6) User-Based Algoritmos de recomendação que utilizam a técnica user-based também são conhecidos como memory-based. Este tipo de recomendação auxilia o usuário a encontrar itens relevantes levando em consideração outros usuários, também conhecidos como usuários similares [68, 81, 30]. Os usuários similares podem ser selecionados de duas maneiras, baseando em um limitante de similaridade, onde são desconsiderados usuários que ultrapassam este limitante. A segunda maneira de selecionar os usuários mais similares é utilizar a técnica top-n, onde são considerados somente os n-usuários mais similares. A partir da seleção dos usuários similares ao usuário u, a m de predizer a relevância de um item i para o usuário u, ˆRu,i, determina-se os n usuários mais semelhantes a u, e então calcula-se o valor médio dos ratings dos n usuários para o item i, e assim prediz o valor do rating, ˆRu,i [16]. Determinar os usuários mais similares é análogo

36 2. Fundamentação Teórica 14 ao problema de determinar itens similares, portanto podem ser utilizadas as mesmas distâncias apresentadas para métodos de recomendação do tipo item-based. A Equação 2.7 apresenta o cálculo da predição de rating de um usuário u para o item i, sendo R u a média dos valores de ratings expressos pelo usuário u. Rz é a média dos valores de ratings expressos pelo usuário z, e V é o conjunto de usuários vizinhos a u: ˆR u,i = R u + z V sim(u, z)(r z,i R z ) z V sim(u, z) (2.7) User-Clustering e Item-Clustering Métodos de recomendação que utilizam a técnica user-clustering realizam o agrupamento de usuários em clusters; estes clusters também são conhecidos como grupos de usuários semelhantes. Uma vez que os grupos de usuários são construídos, as predições de rating para um usuário teste é realizada calculando o valor médio de ratings para cada item do cluster de usuários [29]. A recomendação do tipo item-clustering é análoga a recomendação user-clustering, porém se constrói clusters de itens. Mais detalhes sobre esta categoria de recomendação está apresentado no Capítulo Matrix Factorization Nos últimos anos, uma técnica diferente dos algoritmos do tipo item-based e userbased, denominada latent factor model, vem sendo utilizada na ltragem colaborativa. Métodos em sua forma básica que utilizam tal técnica são conhecidos como Matrix Factorization [40, 39, 31]. Estes métodos apresentaram resultados de predição de ratings superiores em relação as técnicas clássicas de vizinhança de usuários e itens; estes resultados foram observados nos artigos apresentados na competição realizada pela empresa Netix 4. A Netix é uma companhia de locação e recomendação de lmes online. No ano de 2006, esta empresa disponibilizou uma base de dados com mais de 100 milhões de ratings, contendo aproximadamente usuários anonimizados e cerca de lmes, onde cada lme possui ratings variando em uma escala de valores de 1 a 5. Métodos do tipo Matrix Factorization realizam mapeamento de usuários e itens em fator latente em um espaço de dimensionalidade f. A partir deste mapeamento, as iterações entre itens e usuários são modeladas como o produto interno deste espaço. Por exemplo, cada item i é mapeado em um vetor q i R f, e cada usuário u é mapeado em um vetor p u R f. A multiplicação entre os vetores q i e p u, qi T p u, resulta na iteração 4

37 2. Fundamentação Teórica 15 do usuário u em relação ao item i. Sendo assim, o valor resultante da multiplicação dos vetores é o valor aproximado do rating do usuário u para o item i, denotado por ˆr ui [71]. ˆr ui = q T i p u (2.8) Os valores dos vetores p u e q i são aprendidos, portanto, são utilizados os valores de ratings já conhecidos do item i para o usuário u, com o objetivo de minimizar o erro do valor encontrado em relação ao valor real. A Equação 2.9 apresenta o modelo de funcionamento do método Matrix Factorization, onde k é o conjunto de itens de treino, ou seja, itens que já possuem valores de ratings conhecidos. min q,p (u,i) k (r ui q T i p u ) 2 + λ( q i 2 + p u 2 ) (2.9) A m de minimizar o erro apresentado na Equação 2.9, podem ser utilizadas duas abordagens de aprendizado, que são: stochastic gradient descent [70] ou alternating least squares [11]. Foram utilizadas duas implementações do Matrix Factorization neste trabalho. A primeira é uma implementação presente no framework de recomendação Mahout [53], descrito na Seção 2.6. A segunda implementação do Matrix Factorization é uma modicação realizada no código fonte disponível em 5. Esta implementação é baseada no artigo [82]. Limitações da abordagem de ltragem colaborativa A abordagem de recomendação por ltragem colaborativa apresenta os melhores resultados em comparação com outras abordagens, e tem sido aplicada em diversos sistemas na Web [50, 63]; porém, esta abordagem possui algumas limitações: O problema do cold start é uma das limitações bem conhecidas em sistemas de recomendação e, consequentemente, muito estudada. Este problema consiste da falta de informações para novos itens ou novos usuários. Por exemplo, um usuário que acabou de realizar o cadastro no sistema ainda não irá possuir nenhum rating, da mesma maneira um novo item no sistema não irá possuir rating de nenhum usuário. Sendo assim, devido a falta de informações, esta recomendação pode se tornar inecaz para estes casos [64]. 5 Último acesso em 13/03/2014

38 2. Fundamentação Teórica 16 Em aplicações que utilizam a abordagem de ltragem colaborativa e possui grandes quantidades de dados, assim como são os sistemas de recomendação musical, ocorre o problema da esparsidade dos dados. Esta limitação está relacionada com a grande quantidade de itens e usuários, porém a cobertura dos itens que os usuários conhecem são poucos em relação à quantidade total. Desta forma, a porcentagem de valores que são inseridos na matriz da ltragem colaborativa é muito pequena, gerando assim uma matriz de usuários e itens com poucos valores de ratings preenchidos em relação ao total [33]. O problema da esparsidade é relatado em vários trabalhos que utilizam base de dados de músicas [23, 80, 16]. Visto que a distribuição de ratings sobre as bases de músicas tem um comportamento conhecido como cauda longa ou lei de potência [5], onde uma minoria de artistas são bem conhecidos pela maioria dos usuários, e a maioria dos artistas são conhecidos por um pequeno número de usuários. A Figura 2.1 ilustra o comportamento de uma base que segue a lei de potência. Figura 2.1: Cauda longa, poucos artistas são populares e muitos artistas são conhecidos por pequenos grupos de usuários. Outra limitação da ltragem colaborativa é a tendência a popularidade. Esta limitação está relacionada com a quantidade de ratings dos itens, pois, ao utilizar a ltragem colaborativa, os itens mais populares irão possuir similaridade com a maioria dos outros itens da base de dados. Uma vez que possuem similaridade com a maior parte dos itens, haverá uma tendência maior em recomendar estes itens para os usuários que ainda o desconhecem, pois é característica dos algoritmos que utilizam esta abordagem

39 2. Fundamentação Teórica 17 e, principalmente, os algoritmos do tipo item-based Recomendação Baseada em Conteúdo A recomendação baseada em conteúdo tem sua origem na área da recuperação da informação, onde os primeiros sistemas implementados faziam parte do domínio textual [8]. Na abordagem de recomendação baseada em conteúdo, o usuário recebe recomendações de itens que possuem conteúdo similar aos itens que o usuário expressou gostar, ou itens que possuem conteúdo similar ao que o usuário deniu em seu perl [57, 1, 9]. Esta abordagem, diferente da ltragem colaborativa (ver Seção 2.4.1), não leva em consideração os ratings expressos por outros usuários do sistema. Nesta abordagem de recomendação cada item em questão possui um tipo de conteúdo especíco, por exemplo, o conteúdo de um lme pode ser o gênero, atores participantes, diretor, sinopse ou tempo de duração. No contexto de recomendação musical, o conteúdo pode ser características extraídas a partir do sinal do áudio tais como, Mel-Frequency Cepstral Coecients (MFCC ), Flux, Spectral Centroid, Zero Crossings e Chroma (ver Seção 2.3.1), ou características dos próprios artistas, tais como gênero, inuência musical, integrantes da banda, ano de início da banda ou ano de lançamento de uma música. Este processo de caracterização dos itens pode ser de maneira automática (programas para realizar coletas na Web ou extratores de features musicais pela análise do conteúdo do áudio), ou pode ser realizado de maneira manual por especialistas da área, assim como acontece no sistema de recomendação musical Pandora, que é um serviço que está apoiado no projeto Music Genome Project [27]. A caracterização dos itens também pode ser realizada por comunidades de usuários, assim como é o processo de inserção de tags para artistas e músicas realizado no sistema de recomendação musical Last.fm. Para a abordagem de recomendação baseada em conteúdo, a similaridade entre itens é calculada utilizando algum dos tipos de distância entre vetores, que são distância euclidiana, distância de cosseno, coeciente de correlação de Pearson, distância de Manhattan e Jaccard. As fórmulas destas distâncias foram apresentadas na Seção Limitações da abordagem de recomendação baseada em conteúdo Assim como na ltragem colaborativa, a recomendação baseada em conteúdo também possui algumas limitações, a saber. O problema do cold start também aparece nesta abordagem; porém, para esta abordagem, este problema acontece somente para novos usuários, já que considera que todo

40 2. Fundamentação Teórica 18 novo item no sistema já tenha sido caracterizado de maneira automática ou manual. Uma segunda limitação desta abordagem é a não recomendação de itens que possuam grande fator de novidade em relação aos itens pré-visualizados pelo usuário. Este problema ocorre devido a este tipo de abordagem recomendar itens que possuem conteúdos similares aos itens pré-visualizados pelo usuário. Por exemplo, seja um usuário que utilize um sistema de recomendação de lmes e que este sistema utilize os conteúdos, nome do lme, gênero, atores participantes e diretor. Em geral, as próximas recomendações serão de lmes com nomes que possuem palavras em comum, atores, gêneros ou diretores em comum. Analisando um exemplo prático para esta limitação, supondo que um determinado usuário tenha ranqueado positivamente O Senhor dos anéis 1 e Homem aranha 1, desta forma o sistema terá uma tendência em recomendar O Senhor dos anéis 2, O Senhor dos anéis 3, Homem aranha 2 e Homem aranha 3, ou seja, recomendações que a princípio podem ser boas, porém não possuem um grande fator de diversidade Recomendação Baseada em Contexto A abordagem de recomendação baseada em contexto, também descrita atualmente pelo termo context-aware, entre as abordagens de recomendações apresentadas é a mais recente. O termo context-aware foi descrito inicialmente por Schilit e Theimer [65]. O contexto está relacionado com a habilidade de utilizar informações sobre o ambiente, tais como localização, tempo, temperatura, companhia de pessoas, humor do usuário ou identidade do usuário. A maioria dos trabalhos de recomendação desenvolvidos até hoje estão focados em encontrar itens relevantes para usuários únicos e desconsideram as informações do contexto; porém, atualmente, tem surgido trabalhos que utilizam informações contextuais [35, 42]. As informações do contexto dos usuários podem ser obtidas de maneira explícita, implícita ou pode ser inferida. A obtenção do contexto de maneira explícita pode ser realizada através de perguntas diretas aos usuários, permitindo o acesso de um determinado conteúdo somente após os usuários enviarem informações do contexto ao sistema. As informações implícitas como localidade, por exemplo, podem ser obtidas através de determinadas faixas de endereço de internet, ou então pelo DDD de um determinado telefone. Informações temporais podem ser obtidas implicitamente através da última hora da transação executada pelo usuário no sistema. As informações de contextos inferidas, em geral, devem ser modeladas e aprendidas, baseando nos comportamentos dos usuários do sistema; por exemplo, analisando as músicas que as pessoas de determinada faixa etária escutam, inferindo a idade de outros

41 2. Fundamentação Teórica 19 usuários do sistema que escutam tais tipos de músicas Recomendação Híbrida A abordagem de recomendação híbrida é a combinação de diversas abordagens. A nalidade da combinação entre abordagens é que cada abordagem possa suprir as limitações ou desvantagens das outras [59, 4, 1]. Vários trabalhos foram apresentados sugerindo diversas maneiras de combinação entre as diversas abordagens de recomendação [72, 41, 9]. As maneiras de combinar as diferentes abordagens de recomendação são descritas a seguir: Implementação de abordagens separadas e realizar a combinação do valor predito por cada abordagem. Esta combinação de valores pode ser realizada por combinação linear de valores [18] ou por algum modelo de votação [56]. Incorporar conceitos de determinada abordagem em uma abordagem principal; por exemplo, incorporar conceitos da abordagem baseada em conteúdo na ltragem colaborativa [14]. Realizar a troca de abordagens de recomendação a cada momento. Esta troca é realizada quando houver a percepção que determinada abordagem é insuciente para determinado caso. Por exemplo, ao utilizar a abordagem de ltragem colaborativa pode-se trocar para a abordagem baseada em conteúdo no caso de houver cold start de itens. Tran e Cohen [74] propôs uma forma simples de realizar trocas entre as abordagens. A comutação entre os algoritmos é realizada levando em consideração os ratings anteriores e as recomendações que cada abordagem produz, empregando aquela que produz melhor resultado, sendo analisado os ratings do passado do usuário. Modelo em cascata é realizado passo a passo, onde cada abordagem pode funcionar como ltro, ou ainda cada abordagem pode funcionar para reordenar novamente os itens a serem recomendados [14]. 2.5 Métricas de avaliação As métricas de avaliação apresentadas neste trabalho são métricas centradas no sistema (system-centric). Métricas desta categoria são denidas como métricas de predição (predictive-based) e métricas baseadas em decisão (decision-based), que tem sido aplicadas em diversos sistemas de recomendação atualmente [16].

42 2. Fundamentação Teórica Métricas de predição Métricas de predição avaliam o quão bom o sistema é capaz de prever valores de ratings em relação aos ratings reais atribuídos anteriormente pelos usuários, sendo tais métricas, Root Mean Squared Error (RMSE) e Mean Absolute Error (MAE). Root Mean Squared Error (Raiz do Erro Quadrado Médio) Esta métrica tem sido bastante utilizada em sistemas de recomendação que utilizam a abordagem de ltragem colaborativa. A Equação 2.10 apresenta o cálculo utilizando esta métrica, onde o valor real do rating é R i e o valor de rating predito é ˆR i, Mean Absolute Error (Erro médio absoluto) RMSE = 1 i=1 ( n ˆR i R i ) 2 (2.10) A medida de avaliação MAE mede o erro do rating predito em relação ao valor real. Esta métrica possui uma semelhança com a métrica RMSE, porém a medida de avaliação RMSE penaliza erros maiores e, em geral, a métrica RMSE tem sido mais utilizada nos trabalhos apresentados na literatura. A Equação 2.11 apresenta o cálculo para esta medida de avaliação, sendo R i o valor real e ˆR i o valor predito Métricas baseadas em decisão n MAE = 1 i=1 ( n ˆR i R i ) (2.11) As métricas de avaliação baseadas em decisão medem o quão bom é a lista dos top-n itens recomendados. As métricas inclusas nesta categoria são: precisão, revocação e taxa de erro. Estas métricas levam em consideração 4 diferentes casos dos itens retornados: verdadeiro positivo (VP), falso positivo (FP), verdadeiro negativo (VN) e falso negativo (FN). A Tabela 2.2, também denominada de tabela de contingência, apresenta estes 4 casos. Para classicar os itens recomendados em cada caso, deve-se conhecer se um item é relevante ou irrelevante, sendo um item considerado relevante quando o usuário expressa n

43 2. Fundamentação Teórica 21 interesse de maneira positiva por este item, e é considerado irrelevante quando o usuário expressa interesse negativo pelo item. Itens verdadeiros positivos (VP) são os itens que fazem parte dos top-n recomendados pelo sistema e que são itens relevantes para o usuário. Itens falsos positivos (FP) são os itens que fazem parte dos top-n itens retornados pelo sistema e que são itens irrelevantes para o usuário. Itens verdadeiros negativos (VN) são os itens que não fazem parte dos top-n itens e que são itens irrelevantes para o usuário. Itens falsos negativos (FN) são os itens que não fazem parte dos top-n itens recomendados e que são itens relevantes para o usuário. Tabela 2.2: Tabela de contingência utilizada para categorizar itens recomendados ou não recomendados. Relevante Não relevante Recomendado VP FP Não recomendado FN VN Precisão@k A precisão mede a fração dos itens retornados e que são relevantes; para tal métrica de avaliação, é necessário informar um parâmetro k, onde este parâmetro dene o tamanho da lista de itens que será testada. A Equação 2.12 apresenta o cálculo de precisão. V P precisão = (2.12) V P + F P Na Figura 2.2, o conjunto C representa os itens retornados e que são relevantes (VP), portanto, a precisão é medida pela fração do conjunto C sobre o conjunto B, precisão = C. B Figura 2.2: Conjuntos para apresentar a precisão e revocação.