Sistema para pesquisa de imagens com Retroacção de Relevância *

Transcrição

1 Sstea para pesqusa de agens co Retroacção de Relevânca * Ru M. Jesus, Arnaldo J. Abrantes, Jorge S. Marques MA - Insttuto Superor de Engenhara de Lsboa Rua Conselhero Eído Navarro, nº, 94-4 Lsboa, Portugal Telefone: 8377, rjesus@deetc.sel.pl.pt, aja@deetc.sel.pl.pt ISR/IST, Av. Rovsco Pas 49- Lsboa, Portugal Recenteente, a retroacção de relevânca te sdo utlzada para elhorar o desepenho dos ssteas de pesqusa e base de dados de agens. Este artgo apresenta u étodo de Retroacção de Relevânca baseado no classfcador de Mínos Quadrados Regularzado e nua técnca de selecção de agens que perte auentar a capacdade de aprendzage do étodo. São apresentados resultados de testes experentas.. INTRODUÇÃO Os ssteas de pesqusa de agens na web ou e base de dados procura encontrar conjuntos de agens relevantes para o utlzador. Esta tarefa é dfícl porque não é possível anotar anualente grandes bases de dados, utlzando palavras-chave que descreva a nforação contda na age. Por sso, os ssteas autoátcos utlza característcas de baxo nível da age (e.g. cor, textura, fora). No entanto, estes ssteas apresenta u desepenho fraco porque tê dfculdade e capturar concetos seântcos, e.g., flores ou pessoas. Este problea é conhecdo coo falha seântca []. Para ultrapassar esta dfculdade, o utlzador deve poder nteragr co o sstea provdencando nforação adconal durante o processo de busca. Esta operação é conhecda coo retroacção de relevânca []. A prera técnca de retroacção de relevânca apresentada para ssteas de pesqusa baseados e conteúdo (CBIR) fo nsprada no trabalho de Roccho [3] proposto no contexto da procura de docuentos. Esta técnca oventa a query (vector de característcas) na drecção das característcas das agens relevantes no espaço de característcas. Ru Yong et al. [4] elhorou esta técnca atrbundo dferentes pesos a cada coponente do vector de característcas. Estas duas aproxações exbe u au desepenho quando a dstrbução das agens relevantes no espaço característcas é ultodal. Estas dfculdades são ultrapassadas utlzando queres ult-ponto [] consttuídas por város vectores de característcas de váras agens. Incalente a query é caracterzada pelo vector de característcas de ua age. Depos de cada teração, u subconjunto de agens relevantes é escolhdo e as suas característcas são adconadas ao odelo da query. As agens as próxas da query ult-ponto são retornadas pelo sstea ao utlzador. Mas recenteente, fora propostas váras técncas de retroacção de relevânca baseadas e étodos de classfcação [6-8], que classfca as agens da base de dados coo relevantes ou não relevantes. Nesta operação tê sdo extensvaente utlzadas as Máqunas de Vectores de Suporte (SVM) [7,9]. Este artgo apresenta u sstea de pesqusa de agens co retroacção de relevânca. Esta nforação é utlzada para construr nteractvaente u conjunto de agens relevantes e não relevantes (conjunto de treno) e para recursvaente trenar u classfcador bnáro. Esta tarefa é realzada pelo classfcador de * Este trabalho fo parcalente publcado e [ ].

2 Mínos Quadrados Regularzado (RLSC), recenteente proposto e []. Este trabalho tabé propõe ua técnca para escolher as agens a sere avaladas pelo utlzador durante o processo de pesqusa. A selecção de agens a vsualzar faz u coprosso entre dos crtéros confltuosos: a escolha entre as agens as relevantes e as as nforatvas [6] de acordo co o classfcador. Fgura. Sstea de pesqusa de agens co retroacção de relevânca.. SISTEMA DE PESQUISA DE IMAGENS O objectvo do sstea proposto neste trabalho é procurar agens seelhantes à age da query nua base de dados, utlzando o classfcador RLS. Este é u problea especal de classfcação, porque a aor parte dos pontos (vectores de característcas das agens) não estão classfcadas e apenas o vector de característcas da query é classfcado coo relevante. Ass, o conjunto de treno é consttuído apenas por u únco vector. Para elhorar o desepenho pede-se ao utlzador para vsualzar alguas agens adconas e classfca-las quanto à sua relevânca (ver fgura ). E cada teração o sstea ostra ao utlzador u conjunto de novas agens e pede-lhe que as classfque coo postvas ou negatvas. O classfcador é actualzado co base no novo conjunto de treno e o processo repete-se. O classfcador escolhdo para esta tarefa deve ter ua boa capacdade de generalzação porque o núero de pontos classfcados é sepre ua pequena fracção de toda a base de dados. Para resolver este problea é necessáro soluconar duas questões prncpas: - Coo projectar u classfcador co u conjunto de treno pequeno? - Coo escolher as elhores agens para sere classfcadas pelo utlzador? Estes dos pontos são abordados nas secções 3 e CLASSIFICAÇÃO USANDO O RLSC Esta secção descreve o classfcador de Mínos Quadrados Regularzado [] utlzado no algorto de { } retroacção de relevânca proposto neste artgo. Dado u conjunto de treno ( x y ) desgna o -éso padrão e S, = =, onde y {, } a sua classe, pretende-se estar a frontera de decsão entre as duas classes (relevante/ não relevante). A função dscrnante utlzada é, onde = = K ( x, x' ) representa o kernel gaussano K( x x' ) T [ c c c =,..., ] f ( x) c K( x, x), () x x' = e, é o núero de pontos de treno e, σ é u vector de coefcentes que é obtdo nzando o funconal regularzado [], x

3 [ y f ( x )] + f k = γ, () onde γ é u núero real postvo, e nzação da equação () conduz a, f é a nora do espaço H assocado ao kernel k ( I + K ) c = y K K []. A γ, (3) onde I é a atrz dentdade, K é ua atrz defnda postva co os eleentos K K( x, x ) vector co coordenadas equações. { } y, j = j e y é u. O treno do classfcador reduz-se à solução de u sstea lnear de Os pontos x co ( ), são classfcados na classfcados na ( = ) f ( = ) x y. 4. SELECÇÃO DOS MELHORES PONTOS y, e os pontos co f > são ( ) Coo a query ncal é consttuída por ua únca age o classfcador ncal te u desepenho uto pobre. Procura-se que o utlzador forneça nforação adconal o que é feto pedndo ao utlzador que vsualze alguas agens adconas selecconadas pelo sstea e as classfque e relevantes/não relevantes. Esta selecção te u papel portante no processo de aprendzage porque gua a construção do conjunto de treno. Neste trabalho é utlzada u aproxação híbrda para selecconar N agens e cada teração. As agens são selecconados de acordo co dos crtéros. Prero, é selecconado u conjunto de agens as nforatvos.e., agens que perte que o sstea aprenda a dstrbução dos dados e elhore o classfcador. Tabé é ostrado o conjunto da agens as relevantes selecconadas pelo classfcador. O conjunto de pontos as nforatvos é obtdo da segunte fora. Prero, todos os pontos e que, f ( x ) < T, (4) x são consderados coo pontos abíguos, sendot u lar defndo pelo utlzador. A segur, todos os pontos são ordenados de acordo co o núero de vznhos dentro de ua crcunferênca de rao R, O ponto co aor N N { x x x R} = : j () j j < é escolhdo por representar as pontos abíguos e os seus vznhos dentro da crcunferênca são reovdos. O processo é repetdo N vezes para selecconar N pontos. Esta estratéga perte obter nforação e regões do espaço de característcas que anda não fora exploradas, e perte afnar a frontera de decsão.. RESULTADOS EXPERIMENTAIS O étodo de retroacção de relevânca proposto fo testado co dados sntétcos e dados reas.. Dados Sntétcos Msturas de Gaussanas O algorto de retroacção de relevânca fo testado utlzando u conjunto de vectores de característcas gerados aleatoraente por ua stura de 7 Gaussanas co ua forte sobreposção entre os odos

4 Gaussanos (see fg. a). Os pontos gerados por duas destas Gaussanas (%) fora classfcados na classe (relevante) e os restantes pontos na (não relevantes). Fora escolhdos aleatoraente dos pontos de cada classe para trenar o classfcador RLS. As fguras b-d, ostra os resultados obtdos pelo algorto e três terações, onde se pode vsualzar os pontos classfcados coo relevantes (aarelos), os não relevantes (verdes), os pontos abíguos (verelhos) e os pontos abíguos selecconados (cruzes azus). O núero de pontos abíguos dnu co o núero de terações. Neste exeplo fora selecconados os pontos abíguos e pontos relevantes e cada teração. A fgura 3, ostra a evolução da probabldade de erro do classfcador RLS que dnu durante a experênca. A fgura 3a, ostra a evolução da probabldade de erro. Cada curva é obtda utlzando u conjunto de teste de coprento dferente. O desepenho do algorto proposto não é alterado co o auento do núero de pontos não classfcados no conjunto de teste. A fgura 3b, copara duas técncas para a selecção dos pontos a vsualzar pelo utlzador: a estratéga da secção 4 e a selecção aleatóra. O étodo proposto apresenta elhores resultados. Msturas de Gaussanas Msturas de Gaussanas p. classfcados (c) p. classfcados (c) p. abíguos p. representatvos a) b) Msturas de Gaussanas Msturas de Gaussanas p. abíguos p. representatvos c) d) Fgura. Desepenho do sstea co dados sntétcos: a) ground truth; b)c) resultados nterédos e terações; d) resultados fnas.. Dados Reas Iagens O sstea proposto fo testado co ua base de dados co 63 agens, 3 selecconadas do conjunto da UC Berkeley e agens do CD people II da Corel stock photo lbrary. Estas agens fora dvddas e 3 classes pertencentes a grupos: cenáros, anas, autoóves, flores e pessoas. De fora a avalar a técnca de retroacção de relevânca proposta, todas as agens da base de dados fora testadas coo query e para cada ua delas fora calculadas as curvas do precsão e do recall. Os valores édos destas curvas são apresentados na fgura 4. Cada fgura apresenta ua curva co os resultados obtdos se retroacção de relevânca e curvas obtdas depos de 3 terações (4 agens por teração). Estas duas curvas fora obtdas utlzando duas estratégas para a selecção das agens selecconadas:

5 selecção aleatóra e étodo da secção 4. Abas as estratégas exbe elhor desepenho que o sstea se retroacção de relevânca. No entanto, o étodo descrto na secção 4 apresenta o elhor desepenho Algorto de Regularzação usando Msturas de Gaussanas pontos não classfcados pontos não classfcados 3 pontos não classfcados 4 pontos não classfcados pontos não classfcados Algorto de Regularzação usando Msturas de Gaussanas Pontos abíguos Pontos aleatóros Probabldade de Erro.3.. Probabldade de Erro Pontos Classfcados Pontos Classfcados a) b) Fgura 3. Evolução da probabldade de erro: a) utlzando város coprentos para o conjunto de teste ; b) selecção dos elhores pontos versus selecção aleatóra. Estes testes fora obtdos ostrado 4 agens por teração ao longo de 3 terações. Para coparar co estes resultados fora realzados testes seelhantes utlzando agens e 4 terações e agens e terações. A fgura e a tabela ostra os resultados obtdos co estes três testes. Os três casos apresenta resultados seelhantes. O segundo caso é as adequado quando o utlzador pretende resultados co poucas agens para classfcar e cada teração. No entanto, se o requsto for poucas terações, o tercero caso é o as aproprado. O prero caso representa u bo coprosso entre o núero de agens para retroacção e o núero de terações. 9 Precson: Pontos abíguos versus pontos aleatóros ª Pesqusa 3ªIteração de RR p. abíguos 3ªIteração de RR p. aleatóros 8 7 Recall: Pontos abíguos versus pontos aleatóros 8 6 Precson (%) 7 6 Recall (%) Núero de agens retornadas ª Pesqusa 3ªIteração de RR p. abíguos 3ªIteração de RR p. aleatóros Núero de agens retornadas Fgura 4. Méda da precsão e do recall obtda pelo algorto de retroacção de relevânca utlzando a técnca de selecção dos elhores pontos versus a selecção aleatóra. 6. CONCLUSÕES E TRABALHO FUTURO Este artgo apresenta u sstea de pesqusa de agens nua base de dados co retroacção de relevânca. O étodo de retroacção de relevânca proposto é baseado no classfcador de Mínos Quadrados Regularzado e nua técnca para escolher conjuntos de agens durante o processo de aprendzage. O algorto de retroacção de relevânca fo testado co ua base de dados co 63 agens sendo obtdo u bo desepenho co ua precsão éda de 8% e u recall édo de 4% (4 agens retornadas) ao f de três terações. No futuro será necessáro testar o étodo de retroacção de relevânca co bases de dados aores. E relação ao classfcador, é necessáro acrescentar técncas de aprendzage consderando a nforação obtda e outras sessões e por outros utlzadores.

6 9 8 Precson: Varando o núero de Iagens retornadas ª Pesqusa agens retornadas 4 agens retornadas agens retornadas Recall: Varando o núero de Iagens retornadas Precson (%) 7 6 Recall (%) Núero de Iagens retornadas ª Pesqusa agens retornadas 4 agens retornadas agens retornadas Núero de Iagens retornadas Fgura. Meda da precsão e do recall obtdos co o algorto de retroacção de relevânca utlzando, 4, agens para retroacção e cada teração. Iteração agens para retroacção 4 agens para retroacção agens para retroacção º,43,37,3 º,,,7 3º,7,6-4º, - - Tabela. Evolução (e éda) da probabldade de erro obtda pelo classfcador RLS. Referêncas [] Arnold W. M. Seulders and Marcel Worrng and Sone Santn and Aarnath Gupta and Raesh Jan, Content-Based Iage Retreval at the End of the Early Years, IEEE Trans. Pattern Anal. Mach. Intell., Vol., No.,, p [] Alberto Del Bbo, Vsual nforaton retreval, Morgan Kaufann Publshers Inc., 999. [3] J. J. Roccho, Jr., Relevance Feedback n Inforaton Retreval, n Gerard Salton, edtor, The SMART Retreval Syste: Experents n Autoatc Docuent Processng, Prentce-Hall, Inc.,97, p [4] Yong Ru, Thoas S. Huang, and Sharad Mehrotra., Relevance feedback technques n nteractve content-based age retreval, n Storage and Retreval for Iage and Vdeo Databases (SPIE), 998, p. -36,. [] Krengkra Porkaew and Kaushk Chakrabart, Query refneent for ulteda slarty retreval n MARS, n ACM Multeda (), 999, p [6] I. Cox, M. Mller, T. Mnka, T. Papathornas, and P. Yanlos, The bayesan age retreval syste, pchunter: Theory, pleentaton, and psychophyscal experents,. [7] Son Tong and Edward Chang, Support vector achne actve learnng for age retreval, n MULTIMEDIA : Proceedngs of the nnth ACM nternatonal conference on Multeda, ACM Press,, p [8] M. E. J. Wood, N. W. Capbell, and B. T. Thoas, Iteratve refneent by relevance feedback n content-based dgtal age retreval, n ACM Multeda 98, Septeber, 998, p. 3-. [9] Marn Ferecatu, Mchel Crucanu, and Nozha Boujeaa, Saple selecton strateges for relevance feedback n regon-based age retreval, n PCM (), 4, p [] Toaso Poggo and Steve Sale, The atheatcs of learnng: Dealng wth data, Notce of Aercan Matheatcal Socety, Vol., No., 3, p [] Ru M. Jesus, Arnaldo J. Abrantes, and Jorge S. Marques. Relevance feedback n CBIR usng the RLS classfer. th EURASIP Conference focused on Speech and Iage Processng, Multeda councatons and Servces, Bratslava, Junho,.