Aceleração de uma variação do problema k-nearest neighbors

Transcrição

1 UNIVERSIDADE FEDERAL DE GOIÁS INSTITUTO DE INFORMÁTICA JORGE PEIXOTO DE MORAIS NETO Aceleração de ua variação do problea k-nearest neighbors Goiânia 014

2

3 JORGE PEIXOTO DE MORAIS NETO Aceleração de ua variação do problea k-nearest neighbors Dissertação apresentada ao Prograa de Pós Graduação do Instituto de Inforática da Universidade Federal de Goiás, coo requisito parcial para obtenção do título de Mestre e Coputação. Área de concentração: Ciência da Coputação. Orientador: Prof. Wellington Santos Martins Co-Orientador: Prof. Huberto José Longo Co-Orientador: Prof. Leslie Richard Foulds Goiânia 014

4 Dados Internacionais de Catalogação na Publicação (CIP) Morais Neto, Jorge Peixoto de. M791a Aceleração de ua variação do problea K-nearest neighbors [anuscrito] / Jorge Peixoto de Morais Neto f.; il., enc. Orientador: Prof. Dr. Welington Santos Martins; Co-orientador: Prof. Dr.Huberto José Longo; Co-orientador: Prof.Dr. Leslie Richard Foulds. Dissertação (Mestrado) Universidade Federal de Goiás, Instituto de Inforática, Transforada rápida de Fourier.. KNN. I. Universidade Federal de Goiás. II. Título CDU: :

5

6 Todos os direitos reservados. É proibida a reprodução total ou parcial do trabalho se autorização da universidade, do autor e do orientador(a). Jorge Peixoto de Morais Neto Graduou-se e Engenharia Eletrônica no Instituto Tecnológico de Aeronáutica. E seu trabalho de graduação, acelerou (prograando e assebly) a copactação de vídeo no forato MPEG-4 parte para u processador Blackfin. Durante o estrado foi onitor REUNI da disciplina Arquitetura de Coputadores.

7 Dedico o trabalho a Deus.

8 Agradecientos Agradeço a Deus. Agradeço tabé à inha faília, e particular inha ãe Maria Maia de Morais, eu pai Orlando Peixoto de Morais, inhas irãs e inha naorada, Wanessa Sião Barbosa, por apoio e paciência. Agradeço tabé ao eu orientador, prof. Dr. Wellington Santos Martins, por fornecer artigos, revisão, orientação, aulas e apoio. Agradeço a sua paciência. Agradeço por ele ter encontrado o uso de FFT para acelerar a ultiplicação de atriz circulante por vetor. Agradeço aos eus co-orientadores, professores Dr. Huberto José Longo e Dr. Leslie Richard Foulds, por orientação, apoio e paciência. Agradeço à coordenação do prograa de pós-graduação e inforática pela extensão de prazo. Agradeço a Ana Cristina Goes de Jesus, pela disposição e e ajudar e por indicar o professor Edcarlos. Agradeço ao prof. Dr. Edcarlos Doingos da Silva, que e deu encorajaento e orientação e, e particular, chaou atenção para a fora canônica de Jordan. Agradeço a Huberto Silva Naves, que provou a desigualdade triangular para a distância especial. Agradeço ao Ministério da Educação pelo financiaento do trabalho através da bolsa REUNI.

9 And why do we fall, Bruce? So we can learn to pick ourselves up. Thoas Wayne, Batan Begins (005).

10 Resuo de Morais Neto, Jorge Peixoto. Aceleração de ua variação do problea k- nearest neighbors. Goiânia, p. Dissertação de Mestrado. Instituto de Inforática, Universidade Federal de Goiás. Seja M u espaço étrico e P u subconjunto de M. O conhecido problea k vizinhos ais próxios (k-neareast neighbors, KNN) consiste e encontrar, dado q M, os k eleentos de P ais próxios de q confore a étrica de M. Abordaos ua variação do problea KNN para ua classe particular de espaços pseudo-étricos, descrita a seguir. Seja N u natural e seja d a distância euclidiana e R. Dado u vetor p R : p := (p 1,..., p ) seja C (p) o conjunto das rotações das coordenadas de p: C (p) := {(p 1,..., p ),(p,..., p, p 1 ),...,(p, p 1,..., p 1 )} definios a distância especial d e coo: d e (p,q) := in p C (p) d(p,q). d e é ua pseudo-étrica, e (R,d e ) é u espaço pseudo-étrico. A classe de espaços pseudo-étricos abordada é (R,d e ) N. A solução por força bruta é cara deais para instâncias de taanho prático. Nós apresentaos ua solução ais eficiente epregando paraleliso, a FFT (transforada rápida de Fourier) e a eliinação rápida de vetores de treinaento desfavoráveis. Desenvolveos u prograa chaado CyclicKNN que ipleenta essa solução. Reportaos o speedup desse prograa e coparação co a força bruta sequencial, processando bases de dados de referência. Palavras chave aceleração, análise de dados ultidiensionais, k-nearest neighbors, k vizinhos ais próxios, atriz circulante, processaento de iage, prograação paralela, transforada rápida de Fourier

11 Abstract de Morais Neto, Jorge Peixoto. Acceleration of a variation of the k-nearest neighbors proble. Goiânia, p. MSc. Dissertation. Instituto de Inforática, Universidade Federal de Goiás. Let M be a etric space and let P be a subset of M. The well known k-nearest neighbors proble (KNN) consists in finding, given q M, the k eleents of P with are closest to q according to the etric of M. We discuss a variation of KNN for a particular class of pseudo-etric spaces, described as follows. Let N be a natural nuber and let d be the Euclidean distance in R. Given p R : p := (p 1,..., p ) let C (p) be the set of the rotations of p s coordinates: C (p) := {(p 1,..., p ),(p,..., p, p 1 ),...,(p, p 1,..., p 1 )} we define the special distance d e as: d e (p,q) := in p C (p) d(p,q). d e is a pseudo-etric, and (R,d e ) is a pseudo-etric space. The class of pseudo-etric spaces under discussion is {(R,d e ) N.} The brute force approach is too costly for instances of practical size. We present a ore efficient solution eploying parallelis, the FFT (fast Fourier transfor) and the fast eliination of unfavorable training vectors. We describe a progra naed CyclicKNN which ipleents this solution. We report the speedup of this progra over serial brute force search, processing reference datasets. Keywords acceleration, k-nearest neighbors, circulant atrix, iage processing, fast Fourier transfor, ultidiensional data analysis, parallel prograing

12 Suário Lista de Figuras 13 Lista de Tabelas 14 Lista de Algoritos 15 Notação, noes e abreviaturas 16 1 Introdução Roteiro do trabalho 0 O KNN tradicional e ua variação 1.1 Espaço étrico e espaço pseudo-étrico 1. KNN.3 Variação do KNN.4 Aplicação e visão coputacional 8.5 Estruturas de dados na literatura Metric skip list 9.5. Cover Tree 30 3 Aceleração da solução da variação do KNN Aceleração do cálculo de d e e v c Matriz circulante Matriz circulante e FFT Custo de eória Eliinação rápida de vetores de treinaento desfavoráveis Custo de eória 44 4 Ipleentação e experientação Ipleentação Coputação paralela Experientação 47 5 Tentativa de aceleração co interpretação geoétrica Casos particulares = 1, = e = Conjectura:d e (p,q) pode ser calculado e tepo O () Desenvolviento ateático Matriz de C na fora canônica de Jordan Base ordenada B correspondente à fora canônica de Jordan 64

13 5.3.3 Cálculo de distâncias na base ordenada B Redução eficiente do produto de atriz circulante por vetor ao cálculo da distância especial 74 6 Conclusão 76 Referências Bibliográficas 77 A Propriedades da distância especial 79 B Apêndice do capítulo 3 85 C Apêndice do capítulo 5 88 C.1 E R 3, C é ua rotação 89 C. A fórula (5-58) vale tabé para R π (θ q θ p ) R 4 90 C.3 Ortonoralidade da base ordenada B 91

14 Lista de Figuras 5.1 Círculo unitário [ π; π] e quatro partições: 54

15 Lista de Tabelas 4.1 Bases de dados para edida de desepenho Parâetros de edida de desepenho para cada base de dados Speedup de paraleliso para a base Mnist, k = 7, co o algorito acelerado co FFT e exclusão de vetores de treinaento Speedup de paraleliso para a base Mnist, k = 50, co o algorito acelerado co FFT e exclusão de vetores de treinaento Speedup de paraleliso para a base Optdigits, k = 7, co o algorito acelerado co FFT e exclusão de vetores de treinaento Speedup de paraleliso para a base Optdigits, k = 50, co o algorito acelerado co FFT e exclusão de vetores de treinaento Tepo de execução de cada técnica processando a base Mnist (liitada aos 3600 prieiros vetores de consulta), k = 7 49 C.1 Situações e que d d 1 89 C. Situações e que p e q estão no eso seiplano 89

16 Lista de Algoritos.1 Cálculo de d e e v c por força bruta 5. Busca exaustiva pelos vizinhos ais próxios Cálculo da distância especial através do produto de atriz circulante por vetor Eliinação de vetores de treinaento desfavoráveis 43

17 Notação, noes e abreviaturas Observação. As seguintes definições estão e orde alfabética. Por isso, alguas definições faze referência a definições posteriores. Notação X O conjunto de todos os subconjuntos de X. X Para u conjunto X, X é o seu núero de eleentos. x Para u núero x (real ou coplexo), x é o seu ódulo. p Nora (copriento) do vetor p: p := p, p [a;b] ]a;b[ Definido e 3., página 3. Intervalo de a até b, incluindo a e b. Dependendo do contexto, pode ser u intervalo de núeros inteiros ou u intervalo de núeros reais. Intervalo de a até b, excluindo a e b. Dependendo do contexto, pode ser u intervalo de núeros inteiros ou u intervalo de núeros reais. a := b a é definido por b. z Conjugado do núero coplexo z. f Transforada discreta de Fourier (DFT); definida e 3.11, página 37. f (x) O (g(x)) f é da orde de g. f (x) o(g(x)) f te cresciento assintótico estritaente enor que g: f (x) li x g(x) = 0 X Y Produto cartesiano dos conjuntos X e Y. X\Y Diferença de conjuntos: X\Y := {x X x / Y }

18 17 p q Produto interno canônico entre os vetores p,q R : p q := p 1 q p q p c definido e 3.1, página 31. Para p R e c Z, definios p c := C c p. f j Essa notação é usada e alguas partes desse trabalho para abreviação. Para ua função f e u núero natural j, definios f j coo a coposição de j funções iguais a f : f j := f f. Definios tabé f j coo a coposição de j funções iguais a f 1 : f j := f 1 f 1. f (X) Definido e.7, página. Para u conjunto X e ua função f cujo doínio conté X, definios: f (X) := { f (x) x X}. E particular, se D é o doínio de f então f (D) é a iage de f. C Operador linear R R. Dado p = (p 1,..., p ) T R, C(p) := (p,..., p, p 1 ) T definido e.5, página. C(p) tabé é representado se os parênteses: Cp := C(p) C (p) Para p R, C (p) é u conjunto de vetores definido por: C (p) := {p,cp,...,c 1 p} Definido e.10, página 3. d(p,q) Distância euclidiana entre p,q R : d(p,q) := (q 1 p 1 ) + + (q p )

19 18 d e (p,q) distância especial entre os vetores p,q R : d e (p,q) := in p C (p) d(p,q) d e é ua pseudo-étrica e R. É definida e.1, página 3. F Matriz correspondente à DFT e C. Definida e (3-40), página 38. k n Núero de vetores de treinaento ais próxios que se deseja encontrar para cada vetor de consulta. Diensão do espaço vetorial real que conté todos os vetores de treinaento e de consulta. Esse espaço vetorial é R. Núero de vetores de treinaento: n := P nora Ver p. P Conjunto dos vetores de treinaento. É subconjunto de R. P k (q) Conjunto dos k vizinhos ais próxios de q dentre os eleentos de P. Definido e.17, página 5. Q Conjunto dos vetores de consulta. É subconjunto de R. r Núero de vetores de consulta: r := Q R 0 Conjunto dos núeros reais não-negativos (incluindo 0). v c (p,q) Rotação vizinha. É o eleento de C (p) ais próxio (confore a distância euclidiana) de q. Definido e.14, página 4. ω A -ésia raiz priitiva da unidade: ω := e i π Observação. Neste trabalho usaos a vírgula para separar eleentos de u conjunto ou sequência: Divisores de 6 : {1,,3,6} e usaos o ponto para separar a parte inteira da parte fracionária de u núero real: π

20 19 Noes e abreviaturas C++ Ua linguage de prograação conhecida pelo excelente desepenho. Seu últio padrão é o C++11, lançado e 011. DFT discrete Fourier transfor, transforada discreta de Fourier. Definida e 3.11, página 37. Distância especial Ver d e (p,q). FFT fast Fourier transfor, u algorito eficiente para calcular a DFT e a IDFT. IDFT inverse discrete Fourier transfor, a transforada inversa da DFT. KNN k-nearest neighbor, busca dos k vizinhos ais próxios.

21 Introdução CAPÍTULO 1 Neste trabalho estudaos ua variação do problea KNN (k-nearest neighbor, busca pelos k vizinhos ais próxios). Achar o vizinho ais próxio de u ponto confore ua étrica dada é u problea ateático clássico co uitas aplicações práticas. Alguas dessas aplicações inclue buscas e banco de dados, e particular para dados coplexos coo dados ultiídia ou estruturas biológicas, por exeplo e estruturas de proteína ou dados de genoa. Outros usos são e copressão de dados co perda, e que o dado pode ser codificado (encoded) pelo representante ais próxio de u conjunto fixo de representantes, e aprendizage de áquina []. Coparar dois pontos pode ser caro, e deseja-se usar estruturas de dados que perita a busca por vizinho ais próxio co u núero pequeno de coparações [6] (neste trabalho, ofereceos ua solução que rapidaente exclui vetores de treinaento desfavoráveis). A variação do KNN abordada neste trabalho te aplicação e reconheciento de padrão e iage. Reconheciento de padrão é u aspecto fundaental de uitos probleas e visão coputacional, coo reconheciento de cena ou objeto, construção de estrutura 3D a partir de últiplas iagens, e outros. [10] 1.1 Roteiro do trabalho O capítulo apresenta o contexto do trabalho na literatura, define foralente o problea e oferece ua aplicação e visão coputacional. O capítulo 3 apresenta a nossa contribuição para a aceleração da variação do KNN. As seções 3.1 e 3. apresenta técnicas que, e conjunto, acelera drasticaente o problea. O capítulo 4 descreve ua ipleentação paralela e C++11 da solução apresentada no capítulo 3 e apresenta o desepenho e o speedup epíricos de tal prograa. O capítulo 5 apresenta ua outra tentativa de cálculo eficiente da distância especial: interpretação geoétrica. Até o oento não soubeos tirar proveito dessa abordage. O capítulo 6 conclui o trabalho e propõe trabalhos futuros.

22 O KNN tradicional e ua variação CAPÍTULO Este capítulo apresenta o contexto do trabalho na literatura, define foralente o problea e oferece ua aplicação e visão coputacional..1 Espaço étrico e espaço pseudo-étrico Definição.1 (Métrica). Ua étrica e u conjunto M é ua função d : M M R que associa a cada par ordenado u,v M u núero real d(u,v), chaado a distância de u a v, de odo a satisfazer as seguintes condições para quaisquer u,v,w M: 1. d(u,u) = 0;. u v = d(u,v) > 0; 3. d(u,v) = d(v,u) 4. d(u,w) d(u,v) + d(v,w). A condição 4 é conhecida coo desigualdade triangular ou desigualdade do triângulo. [8] A distância especial proposta neste trabalho não satisfaz a condição (há u contraexeplo no apêndice, teorea A.) e, portanto, não é ua étrica. Definição. (Espaço étrico). U espaço étrico é u par (M,d) onde M é u conjunto e d é ua étrica e M. Definição.3 (Pseudo-étrica). Ua pseudo-étrica e u conjunto M é ua função real d : M M R que cupre as condições de ua étrica, exceto que d(u,v) pode ser 0 eso quando u v. Mais precisaente, ua pseudo-étrica satisfaz as seguintes condições para quaisquer u, v, w M: 1. d(u,u) = 0;. d(u,v) 0; 3. d(u,v) = d(v,u) 4. d(u,w) d(u,v) + d(v,w).

23 . KNN Definição.4 (Espaço pseudo-étrico). U espaço pseudo-étrico é u par (M, d) onde M é u conjunto e d é ua pseudo-étrica e M. [8] A condição 1 da definição.3 é satisfeita pela nossa distância especial, coo pode ser trivialente verificado. As condições, 3 e 4 tabé são satisfeitas (provas e A.1, A.4 e A.6 respectivaente). Portanto a nossa distância especial é ua pseudoétrica.. KNN Seja M u espaço étrico e P M o conjunto de treinaento; os eleentos de P são os vetores de treinaento. O conhecido problea k vizinhos ais próxios (kneareast neighbors, KNN) consiste e, dado u vetor de consulta q M, encontrar os k vetores de treinaento ais próxios de q confore a étrica de M. Coo vios acia, a distância especial abordada neste trabalho é ua pseudo-étrica, não ua étrica, e, portanto, convé ter cuidado ao aplicar soluções propostas na literatura para espaços étricos..3 Variação do KNN Esta seção define foralente o problea abordado neste trabalho. Definição.5 (C). Seja u natural. Seja C : R R (-1) a função tal que, dado p = (p 1,..., p ) T R, C(p) := (p,..., p, p 1 ) T. (-) O noe C ve de circular, pois C desloca as coordenadas do vetor ua posição para cia (considerando o vetor coo vetor-coluna) antendo a orde circular. Observação.6. Quando não houver perigo de confusão representareos C(p) se os parênteses: Cp := C(p) (-3) Definição.7 (Núero sobrescrito coo índice de coposição). Seja D, C dois conjuntos, e f : D C ua função. Seja f 0 a função identidade: x D, f 0 (x) = x. (-4)

24 .3 Variação do KNN 3 Para j N seja f j := f f j 1 (-5) Seja f 1 a função inversa de f (se existir): x D, f 1 ( f (x)) = x. (-6) Para j N seja f j := f 1 f ( j 1). (-7) Exeplo.8. f = f f (-8) f = f 1 f 1 (-9) Observação.9. Para ua função f : D C: Para j, f j só está be definida se f (D) D. f 1 só existe se f for injetiva. Para j, f j só existe se D f (D). Definição.10 (C ). Dado u ponto p R, seja C (p) := {p,cp,...,c 1 p}. (-10) C (p) é u conjunto de eleentos. Ou seja, C (p) é o conjunto de todos os pontos de R que tê as esas coordenadas que p na esa orde circular. Cada eleento de C (p) é chaado ua rotação de p. Exeplo.11. Se = 3 (-11) p = (1,,3) T (-1) então C (p) = {(1,,3) T,(,3,1) T,(3,1,) T } (-13) Definição.1 (d e ). d e : R R R é a função tal que, para p,q R : d e (p,q) := in p C (p) d(p,q) (-14) onde d(p,q) é a distância euclidiana entre p e q. Chaaos d e (p,q) de distância especial entre p e q.

25 .3 Variação do KNN 4 Exeplo.13. Se = 3 (-15) p = (1,,3) T (-16) q = (,3,1) T (-17) então d e (p,q) = 0 (-18) Definição.14 (Rotação vizinha). Seja v c : R R R (-19) ua função função tal que, dados p,q R d(v c (p,q),q) = d e (p,q) (-0) Ou seja, v c (p,q) é u eleento de C (p) que iniiza a distância euclidiana a q. Se houver ais de u eleento de C (p) que iniiza a distância euclidiana a q, a escolha é arbitrária. Exeplo.15. Se = (-1) p = (0,1) T (-) q = (0,0) T (-3) então: Cp = (1,0) T (-4) C (p) = {p,cp} (-5) d(p,q) = 1 (-6) d(cp,q) = 1 (-7) d e (p,q) = 1 (-8) v c (p,q) = p (-9) Exeplo.16. Se = 3 (-30) p = (0,1,) T (-31)

26 .3 Variação do KNN 5 q = (3,1,) T (-3) então: Cp = (1,,0) T (-33) C p = (,0,1) T (-34) C (p) = {p,cp,c p} (-35) d(p,q) = 3 (-36) d(cp,q) = 3 (-37) d(c p,q) = 3 (-38) d e (p,q) = 3 (-39) v c (p,q) = C p (-40) Calcular d e e v c por força bruta sequencial te coplexidade de tepo O ( ). Veja o algorito.1. Algorito.1: Cálculo de d e e v c por força bruta Entrada: Vetores p,q R Saída: d e (p,q) e v c (p,q) 1 c_in 0 distancia_in d(p, q) 3 para cada inteiro c tal que 1 c < faça 4 d_c d(c c p,q) 5 se d_c < distancia_in então 6 distancia_in d_c 7 c_in c 8 fi 9 fi 10 d e (p,q) distancia_in 11 v c (p,q) C c_in p O passo 4 deora O () pois os vetores tê diensões. O condicional 5 deora O (1). Portanto cada iteração do laço 3 deora O () e as 1 iterações deora O ( ). O passo deora O (). Portanto o algorito.1 deora O ( ). Definição.17 (P k, as k rotações ais próxias). Seja P e Q dois subconjuntos de R. Seja k u natural. Seja P vc : Q R (-41)

27 .3 Variação do KNN 6 a função tal que, dado q Q: P vc (q) := {v c (p,q) p P} (-4) Seja P k : Q R (-43) a função tal que, dado q Q, P k (q) é o conjunto dos k eleentos de P vc (q) que estão ais próxios de q. Esses k eleentos são chaados os k vizinhos ais próxios de q. Ou seja: para q Q, P k (q) é u conjunto tal que: P k (q) P vc (q) (-44) P k (q) = k (-45) v,u P vc (q), v P k (q) u / P k (q) = d(v,q) d(u,q) (-46) Exeplo.18. Se = (-47) P = {(0,1) T,(1, 1) T,(1,) T } (-48) q = (0,1) T (-49) k = (-50) (-51) então P k (q) = {(0,1) T,( 1,1) T } (-5) O problea abordado neste trabalho consiste e calcular P k (q) para cada q Q. A solução intuitiva é a busca exaustiva, confore o algorito.:

28 .3 Variação do KNN 7 Algorito.: Busca exaustiva pelos vizinhos ais próxios Entrada: Natural k, conjuntos P,Q R Saída: Para cada q Q retorna P k (q) (confore a definição.17). 1 para cada q Q faça para cada p P faça 3 d d e (p,q) 4 v v c (p,q) 5 vizinhos vizinhos {v } 6 fi 7 Dentre os eleentos de vizinhos, selecione os k ais próxios de q 8 Construa o conjunto P k (q) co os k vizinhos selecionados no passo 7 9 Adicione P k (q) à saída 10 fi Seja n := P (-53) r := Q (-54) e seja c d a coplexidade de tepo cobinada dos passos 3 e 4. Se a coplexidade de tepo do passo 5 (ua siples inserção e conjunto) for O (c d ) então a coplexidade de tepo de cada iteração do laço é O (c d ) e as n iterações tê coplexidade total O (nc d ). Para selecionar os k vizinhos ais próxios de q no passo 7, pode-se construir ua heap de ínio coplexidade O (n) e extrair k vezes o ínio da heap coplexidade O (k logn). Assi a coplexidade de tepo do passo 7 é O (n + k logn). Os passos 8 e 9 tê coplexidade O (k). Assi cada iteração do laço 1 te coplexidade O (nc d + n + k logn + k) = O (nc d + k logn). As r iterações tê coplexidade total O (rnc d + rk logn). Se d e e v c fore calculados pelo algorito.1 então c d = O ( ) e o algorito. te coplexidade O ( rn + rk logn ). Desejaos resolver rapidaente instâncias e que k = 50, = 00, r = 100 e n = Por isso a coplexidade O ( rn + rk logn ) é uito rui. Neste trabalho abordaos duas contribuições para acelerar o algorito.: Calcular P k (q) se calcular d e (p,q) e v c (p,q) para todo p P. Acelerar o cálculo de d e e v c. Abas contribuições são descritas no capítulo 3.

29 .4 Aplicação e visão coputacional 8.4 Aplicação e visão coputacional Reconheciento de padrão e iage é u aspecto fundaental de uitos probleas e visão coputacional, coo reconheciento de cena ou objeto e reconstrução de estrutura 3D a partir de últiplas iagens. [10] Ua operação iportante e processaento de iage é extrair características (features) de u objeto e ua iage de referência e procurar características seelhantes e u conjunto de iagens de treinaento. O núero de características extraídas da iage de referência costua ser pequeno (da orde de 10 ou 100) as o núero de características extraídas do conjunto de treinaento pode ser uito aior. Assi, deseja-se étodos eficientes. O artigo [10] apresenta u étodo eficiente e eficaz para extrair características distintivas invariantes de iagens. Tais características são chaadas SIFT features (SIFT: Scale-Invariant Feature Transfor) e são úteis para casaento confiável entre vistas diferentes de u objeto ou cena. Elas são invariantes a rotação e udança de escala, e provee casaento robusto a distorção afi, udança de ponto de vista 3D, ruído, e udança de iluinação. Elas são forteente distintivas: ua SIFT feature pode ser corretaente casada co alta probabilidade co u grande banco de dados de SIFT features extraídas de uitas iagens. O artigo descreve breveente ua abordage (usando busca aproxiada por vizinho ais próxio) para usar essas características para reconheciento de objeto, e apresenta dois exeplos be-sucedidos. Ua edida de siilaridade baseada e dual trees e e transforada wavelet orientada coplexa desenvolvida recenteente ostrou-se benéfica para processaento ulti-diensional de iage. [11] Essa edida te alguns aspectos vantajosos e coparação co a SIFT proposta e [10], e usa a distância especial abordada neste trabalho. A principal razão do uso da distância especial nesse contexto é que objetos pode ser representados rotacionados. Depois de translação, rotação e udança siples de escala são os dois graus de liberdade ais iportante para objetos estáticos. Depois disso vê shear distortions, inclusive udanças diferenciais de escala nas duas coordenadas cartesianas, e efeitos de perspectiva. Todas essas transforações, exceto efeitos de perspectiva, pode ser acoodados por u odelo de distorção afi D, co seis graus de liberdade, dos quais os dois graus de translação e o grau de rotação e o grau de udança de escala tende a ser os ais iportantes para udanças oderadas de ponto de vista. Há duas abordagens gerais para lidar co rotações e u descritor. A prieira, usada pelo SIFT, alinha o descritor co ua direção doinante de gradiente no ponto de consulta. Para essa abordage ter sucesso, o ponto de treinaento correspondente deve ter ua direção doinante de gradiente siilar. A segunda abordage, usada

30 .5 Estruturas de dados na literatura 9 nos descritores introduzidos recenteente por [11], tenta casar o ponto de consulta co o ponto de treinaento usando todas as possíveis rotações (dentro de u liite de resolução) do ponto de consulta através de u processo de casaento eficiente. A abordage SIFT tende a falhar se o ponto de consulta não te ua direção doinante de gradiente..5 Estruturas de dados na literatura Coo vios no capítulo 1, o KNN é u problea ateático clássico co uitas aplicações práticas. Na literatura (pelo enos até 00) a aior parte da pesquisa e algoritos de busca de vizinhos ais próxios focou no caso euclidiano, que é particularente iportante porque uitas aplicações práticas lida co vetores de características (feature vectors) que são naturalente ebutidos e u espaço euclidiano. Poré, e uitos probleas práticos de busca, assi coo no nosso caso, a étrica é não-euclidiana. Algoritos exatos de busca de vizinho ais próxio para espaços étricos gerais são bastante lentos, o que otiva a busca por outras classes de espaços étricos onde a busca é tratável. [6] Tabé há soluções aproxiadas [10]. Fora desenvolvidas uitas estruturas de dados co uito bo desepenho (tepo logarítico por operação) para espaços euclidianos de baixa diensão. [6] No problea abordado pelo presente trabalho, o espaço étrico não é euclidiano, e a diensão é alta..5.1 Metric skip list O artigo [6], desenvolve ua estrutura de dados eficiente para buscas de vizinho ais próxio e ua classe especial de étricas chaada growth-constrained. Seja M = (M,d M ) u espaço étrico, seja P M e seja B p (x) := {p P d M (p, p ) x} (-55) Dizeos que P é growth-constrained se existe ρ,c tais que para qualquer x > 0 e p M vale Bp (x) ρ = Bp (x) c Bp (x) (-56) A estrutura de dados apresentada, a etric skip list, perite busca de vizinho ais próxio e tepo logarítico e n (n é o núero de vetores de treinaento) e polinoial na taxa de expansão c (que infelizente pode ser exponencial na diensão do espaço étrico) co alta probabilidade. O artigo não enciona ua ipleentação disponível. A estrutura de dados consoe espaço c O(1) nlogn [] o que é uito desencorajador

31 .5 Estruturas de dados na literatura 30 quando n 10 7 e = 00 (c pode ser exponencial e!). Nesse quesito, essa estrutura de dados perde para a cover tree, que gasta apenas espaço O (n). O tepo de construção é c O(1) nlogn e o tepo de consulta é c O(1) logn; nesses quesitos, não fica claro se ela ganha ou perde da cover tree. A ipleentação seria difícil; o algorito supõe alguas preissas não-triviais, que não foos capazes de verificar para o nosso problea..5. Cover Tree O artigo [], apresenta ua estrutura de dados e árvore para operações de vizinho ais próxio rápidas e espaços étricos gerais de n pontos (onde o conjunto de dados consiste de n pontos). A estrutura de dados requer espaço apenas O (n) independente da estrutura da étrica de fato, é focada e econoia de espaço as anté todas as propriedades de desepenho de ua navigating net. Se o conjunto de pontos te ua constante de expansão liitada c, que é ua edida da diensionalidade intrínseca (coo definida e [6]) a estrutura de dados cover tree pode ser construída e tepo O ( c 6 nlogn ). Buscas de vizinho ais próxio são feitas e tepo apenas logarítico e n: O ( c 1 logn ). Esses liites são preocupantes pois c pode ser exponencial e [6], e quereos resolver u problea e que = 00. Os resultados experientais do artigo ostra speedups (e relação à busca exaustiva) entre ua e várias ordens de grandeza e bases de dados naturais de aprendizado de áquina.

32 CAPÍTULO 3 Aceleração da solução da variação do KNN Este capítulo apresenta as nossas contribuições para a aceleração da variação do KNN abordada neste trabalho. A seção 3.1 apresenta ua técnica (epregando a FFT) para acelerar drasticaente o cálculo de d e e v c ; a seção 3. apresenta ua técnica para calcular P k (q) se calcular d e e v c para cada eleento de P Q. Desenvolveos u prograa, chaado CyclicKNN, ipleentando essa solução e coputação paralela. Ele é apresentado e Aceleração do cálculo de d e e v c d e e v c pode ser calculados uito ais rapidaente (do que por força bruta) por u algorito que tira proveito da estrutura de atrizes circulantes. Para chegar lá precisaos de alguas definições e teoreas: Definição 3.1 (Produto interno). Seja E u espaço vetorial cujo corpo é R ou C. U produto interno e E é ua função que atribui a cada par de vetores u,v E u escalar u,v e satisfaz as seguintes propriedades para quaisquer vetores u,v,w E e para qualquer escalar x: 1. u + v,w = u,w + v,w. xu,v = x u,v 3. u,v = v,u 4. u 0 = u,u > 0 Se o corpo é R, a condição (3) pode ser siplificada para u,v = v,u (3-1) [5] Dado u espaço vetorial E, pode haver várias funções que satisfaze as condições acia. No espaço euclidiano R, define-se o produto interno canônico dos

33 3.1 Aceleração do cálculo de d e e v c 3 vetores u := (u 1,...,u ) T (3-) v := (v 1,...,v ) T (3-3) por u 1 v u v. (3-4) [9] Dados u,v R, denotaos o seu produto interno canônico por u v. 1 Portanto: u v := u 1 v u v (3-5) Definição 3. (Nora). Dado u espaço vetorial E unido de produto interno, então para u E o núero real não-negativo u := u,u (3-6) chaa-se a nora ou o copriento de u. [9] Definição 3.3 (Distância definida pela nora). E u espaço vetorial E unido de produto interno, definios a distância entre os vetores u,v E coo d(u,v) := v u. (3-7) [9] Observação 3.4. Nu espaço vetorial real a distância definida e 3.3 satisfaz a propriedade: u,v E, d (u,v) = u + v u,v (3-8) Para verificá-la, basta anipulações algébricas siples: d (u,v) = v u = (v u),(v u) = v,v v,u u,v u, u = u + v u,v (3-9) u. 1 A notação u v é couente usada para o produto interno canônico de R. [5] Aqui adotaos a notação de [5] e fazeos ua escolha diferente de [9], que denota a nora de u por

34 3.1 Aceleração do cálculo de d e e v c 33 Observação 3.5. No doínio R 0 a função f (x) = x é estritaente crescente: x,y R 0, y > x = y > x (3-10) Portanto, dado u conjunto X R 0 e sendo X := {x x X} 3, teos in(x ) = (in(x)). (3-11) Ou seja, o quadrado do ínio é o ínio dos quadrados. Resultado análogo vale para o áxio. Teorea 3.6. Seja E u espaço vetorial real unido de produto interno, t R 0, N e U E tais que u U = u = t (3-1) Ou seja, U é u subconjunto de E cujos eleentos tê todos a esa nora. Seja q E e seja u in U tal que: Então d(u in,q) = ind(u,q) (3-13) u U u in,q = ax u,q (3-14) u U Ou seja, quando axiizaos o produto interno u,q (para u U) nós iniizaos a respectiva distância. Prova. Coo vios na observação 3.4, d (u,q) = u + q u,q (3-15) Para u U, por hipótese teos u = t, portanto d (u,q) = (t + q ) u,q. (3-16) Na últia expressão acia (o lado direito da últia equação), colocaos entre parênteses os teros que independe de u. Note que d (u,q) é ua função estritaente decrescente de u,q. Portanto d (u,q) é ínio quando u,q é áxio. Coo x é ua função estritaente crescente de x então o ínio de d (u,q) corresponde ao ínio de d(u,q). 3 Ou seja, X é o conjunto dos quadrados dos eleentos de X.

35 3.1 Aceleração do cálculo de d e e v c 34 Lea 3.7. Os quadrados da nora de todos os vetores p P e de todos os vetores q Q pode ser coputados e tepo O ((n + r)). Prova. A coplexidade de tepo de calcular o quadrado da nora de u vetor de R é O (): u = u u (3-17) São n vetores e P e r vetores e Q; n + r vetores no total. Portanto a coplexidade de tepo total de pré-coputar todos os quadrados das noras é O ((n + r)). Observação 3.8. Os quadrados das noras de todos os vetores p P e q Q pode ser pré-coputados antes do laço ais interno. Teorea 3.9. Suponhaos que os quadrados das noras de todos os vetores p P e q Q são conhecidos (vide 3.7 e 3.8). Para p P e q Q, seja axp(p,q) o áxio do produto interno canônico entre as rotações de p e q: axp(p, q) := ax 0 c< Cc p q (3-18) Seja c a coplexidade de tepo édia do cálculo de axp(p,q). Então o cálculo de d e (p,q) te coplexidade édia c +O (1). Prova. Pela definição de v c, teos d(v c (p,q),q) = Do corolário 5.7 e do teorea 3.6 segue que in p C (p) d(p,q) (3-19) v c (p,q) q = axp(p,q) (3-0) Disso e da prova do teorea 3.6 segue que d e (p,q) = d ( v c (p,q),q ) = Assi: d e (p,q) = q v c q + p = q axp(p,q) + p (3-1) q axp(p,q) + p (3-) Portanto o cálculo de d e (p,q) te coplexidade c +O (1).

36 3.1 Aceleração do cálculo de d e e v c Matriz circulante Dados p P, q Q, quereos calcular d e (p,q) := in d(r,q) (3-3) r C (p) confore as definições de.3. Pelo teorea 3.9, se souberos o áxio do produto interno axp(p, q) := ax 0 c< (Cc p) q (3-4) então podeos calcular d e (p,q) co u custo adicional de apenas O (1). Se p = (p 1,..., p ) T, seja M p a atriz p p 1... p 1 p M p := 1 p... p p 1 p... p (3-5) Ou seja, a j-ésia linha de M p é igual a C j p. Então podeos calcular todos os produtos internos (C c p) q (para 0 c < ) através de u produto de atriz por vetor: p p 1... p 1 q 1 (C 1 p) q p M p q = 1 p... p q = (C p) q. p 1 p... p p q q (3-6) Portanto as coordenadas do vetor-coluna M p q são os produtos internos (C c p) q para 0 c <. Portanto axp(p,q) é o áxio de tais coordenadas; o cálculo do áxio de núeros reais custa 1 coparações. Assi, a partir de M p q podeos calcular d e (p,q) e tepo O (). Portanto se puderos calcular o produto M p q e tepo o( ) (possivelente após u pré-processaento) então podeos calcular d e (p,q) e tepo o( ) através do algorito 3.1:

37 3.1 Aceleração do cálculo de d e e v c 36 Algorito 3.1: Cálculo da distância especial através do produto de atriz circulante por vetor Entrada: Vetores p,q R Saída: d e (p,q) e v c (p,q) (confore a definição.14) 1 produto M p q ax argax(produto[ j]) (3-7) j [1;] 3 d e (p,q) p + q produto[ax] 4 c ax 5 v c (p,q) C c p De fato o produto M p q pode ser calculado e tepo o( ) especificaente, e tepo O (log) se aproveitaros a propriedade de M p ser ua atriz circulante. Definição 3.10 (Matriz circulante). Segundo [4] e [7] ua atriz circulante (circulant atrix) é ua atriz quadrada e que cada vetor-coluna é ua versão deslocada ciclicaente ua posição pra baixo do seu predecessor. Precisaente: e R seja S : R R (3-8) o operador linear que desloca ciclicaente ua posição para baixo as coordenadas de u vetor. Ou seja, se (e 1,...,e ) é a base canônica de R então: S e 1 := e (3-9). (3-30) S e 1 := e (3-31) S e := e 1 (3-3) Então a atriz circulante que te v coo o prieiro vetor-coluna é ( v,s v,...,s 1 v ) (3-33)

38 3.1 Aceleração do cálculo de d e e v c 37 Por exeplo ua atriz circulante 4 4 te a fora: v 1 v 4 v 3 v v v 1 v 4 v 3 v 3 v v 1 v 4 v 4 v 3 v v 1 (3-34) O produto de ua atriz circulante por u vetor 1 pode ser feito e tepo O (log) através da FFT (fast Fourier transfor, transforada rápida de Fourier) Matriz circulante e FFT FFT (fast Fourier transfor) é u algorito eficiente para calcular a DFT (discrete Fourier transfor, transforada discreta de Fourier) e sua inversa, a IDFT (inverse discrete Fourier transfor), co apenas O ( log ) ultiplicações coplexas. A seguir apresentaos a DFT e coo o produto de atriz circulante por vetor pode ser calculado e tepo O (log) através da FFT.[7] Na definição seguinte, contaos as coordenadas dos vetores a partir da posição 0 (e não da posição 1 coo no resto deste trabalho). Seja ω := e iπ (3-35) Definição 3.11 (DFT). Seja f C : f := ( f 0,..., f 1 ) T (3-36) Segundo [7] e [3] a transforada discreta de Fourier e ua diensão de f é u vetor f C : f := ( f 0,..., f 1 ) T (3-37) definido por: para l [0; 1]. f l := 1 ω jl f j (3-38) j=0 Essa transforada é conhecida coo DFT (Discrete Fourier Transfor). Ela pode ser representada e notação atricial. A atriz de DFT de diensão é dada por: j,l [0; 1], (F ) jl = ω jl (3-39)

39 3.1 Aceleração do cálculo de d e e v c 38 ou seja: Então ω F := 1... ω (3-40) 1 ω 1... ω ( 1)( 1) f = F f. (3-41) A inversa de F é dada por F 1 = 1 F (3-4) onde F é a conjugada transposta de F. Definição 3.1 (diag). Se c é u vetor de coordenadas, então denotaos por diag(c) a atriz diagonal cuja diagonal principal é igual a c: v v diag(v 1,...,v ) := v (3-43) Se M p é ua atriz circulante, então seus autovetores são as colunas de F. Portanto ua atriz circulante é diagonalizada por F sendo c a prieira coluna de M p teos: [7] M p = F 1 diag(f c)f (3-44) Definição 3.13 (Produto de Hadaard). Dados p,q R, denotaos por p q o produto de Hadaard (Hadaard product) entre p e q: p q := (p 1 q 1,..., p q ) T (3-45) Essa fatoração de M p propicia ultiplicação eficiente de M p por vetor. Seja q R e seja M p ua atriz circulante cuja prieira coluna é c. Então: M p q = F 1 diag(f c)f q = F 1 (F c F q) (3-46) No nosso caso as transforadas F c e F q pode ser pré-coputadas e arazenadas. No laço ais interno, só precisaos calcular o produto de Hadaard (que custa tepo O ()) e a IDFT.

40 3. Eliinação rápida de vetores de treinaento desfavoráveis Custo de eória Deveos saber o custo de eória de arazenar a DFT de todos os n+r vetores de P Q. A DFT p de u vetor real p R satisfaz a sietria heritiana [3]: p l = p l (3-47) Portanto os valores { p +1,..., p 1 } são redundantes e não precisa ser coputados ne arazenados, reduzindo o custo tanto de eória quanto de processaento praticaente pela etade. A biblioteca FFTW 3, usada no software CyclicKNN apresentado nesse trabalho, tira proveito dessa sietria. Assi, para cada vetor são arazenados +1 núeros coplexos. O CyclicKNN arazena cada núero coplexo co parte real e iaginária e precisão siples (4 bytes para cada parte). Assi, o custo de eória é 8( + 1) bytes por vetor. Aproxiadaente, 4 bytes por vetor, ou 4(n + r) bytes para todos os vetores e P Q. Após a transforada DFT, as coordenadas reais dos vetores não são ais usadas. O CyclicKNN libera a eória das coordenadas reais de cada vetor iediataente após calcular a DFT. 3. Eliinação rápida de vetores de treinaento desfavoráveis Meso co a grande aceleração exposta na seção 3.1., a solução por busca exaustiva ainda deora tepo O (nrlog + rk logn). E u Laptop co processador Intel Core i3 co clock áxio de.7ghz, o prograa deorou 3.4s para processar 51 vetores de consulta e 4096 vetores de treinaento de diensão 00. Coo o tepo de execução é proporcional ao produto nr, então estiaos que para processar 100 vetores de consulta co 10 7 vetores de treinaento levaríaos 7 inutos. Por isso quereos ua solução que não precise calcular a distância especial (eso através da IDFT) para todos os vetores de treinaento. Isso é possível se eliinaros vetores de treinaento desfavoráveis que não pode estar entre os k ais próxios. E u espaço vetorial E unido de produto interno, o produto interno define ua nora, e essa nora define ua distância que satisfaz a propriedade: u,v E, d (u,v) = u + v u v (3-48) confore a observação 3.4. Isso vale e particular para R co o produto interno canônico e a distância euclidiana. Coo vios anteriorente, as noras pode facilente ser pré-coputadas, e o único desafio restante para o cálculo da distância especial é o cálculo do produto interno áxio.

41 3. Eliinação rápida de vetores de treinaento desfavoráveis 40 Se souberos u liite superior para o produto interno áxio, então sabeos u liite inferior para a distância especial. Dados q Q e p P, se o liite inferior de d e (p,q) for uito alto então sabeos que q não está entre os k vizinhos ais próxios de q. Procuraos então ua função t : R R R (3-49) tal que: Sabeos que portanto: portanto: p,q R, c [0; 1], (C c p) q t(p,q) (3-50) d (C c p,q) = p + q (C c p) q (3-51) d (C c p,q) p + q t(p,q) (3-5) de (p,q) p + q t(p,q) (3-53) Para que essa abordage seja frutífera, t deve ser fácil de calcular. Calcular todos os produtos internos da fora (C c p) q custa tepo O (log) co a FFT; só vale a pena calcular t se for significativaente ais rápido do que a FFT. Por outro lado, t precisa ser u liite superior justo, que eliine uitos vetores de treinaento. Não adianta definir que t(p,q) = p q. Ua prieira ideia é a desigualdade de Cauchy-Schwarz [5]. Ela diz que para qualquer espaço vetorial E (real ou coplexo) unido de produto interno e para quaisquer p,q E, vale: p q p q (3-54) A partir dela e alguas anipulações algébricas siples, concluíos que d e (p,q) p q (3-55) confore o teorea B.1 do apêndice B. Esse prieiro resultado pode ser útil. Coo já observaos, as noras de todos os vetores pode ser pré-coputadas e arazenadas, a custo baixo. Poré esse liite superior é frouxo e eliina poucos vetores de treinaento. Quereos eliinar uitos vetores de treinaento se prejudicar a exatidão da resposta. Quereos u liite inferior ais justo para d e. Ua tentativa é analisar ais cuidadosaente a DFT dos nossos vetores.

42 3. Eliinação rápida de vetores de treinaento desfavoráveis 41 Seja F := 1 F (3-56) F é ua atriz unitária [1] e portanto [5] preserva o produto interno heritiano de ua espaço vetorial coplexo E: p,q E, p,q = F p,f q (3-57) Substituindo a equação (3-56): p,q = 1 F p, 1 F q (3-58) portanto: p,q = F p,f q (3-59) Essa últia fórula vale e particular para vetores de R, e e particular quando u dos vetores é C c p: c Z, p,q R, (C c p) q = C c p,q = F C c p,f q (3-60) Se definiros p := F p (3-61) q := F q (3-6) p c := C c p (3-63) p c := F p c (3-64) então: p c q = p c, q (3-65) Podeos expressar p c e teros de p. Seja p 0,..., p 1 as coordenadas de p: p := (p 0,..., p 1 ) (3-66) Então p c l = ω lc p l (3-67) confore o teorea B. do apêndice B. que: Das equações (3-65), (3-67) e da definição de produto interno heritiano segue p c q = 1 ω lc p l q l (3-68) l=0

43 3. Eliinação rápida de vetores de treinaento desfavoráveis 4 portanto: p c q = 1 1 ω lc p l q l (3-69) l=0 Agora é fácil achar u liite superior para o produto interno p c q. Para qualquer núero real x R teos x x, portanto p c q p c q (3-70) Por sua vez: portanto p c q = 1 p c q 1 1 l=0 1 l=0 ω lc p l q l (3-71) ω lc p l q l (3-7) Para qualquer sequência de núeros coplexos (x j ) j J, o ódulo da soa é enor ou igual à soa dos ódulos: Isso vale e particular para a sequência (ω lc p l q l ) l [0; 1] : coo ω = 1 então Portanto: 1 l=0 ω lc p l q l 1 l=0 x j x j (3-73) j J j J 1 l=0 ω lc 1 p l q l = ω lc pl q l (3-74) ω lc pl q l = 1 l=0 ω lc p l q l Cobinando co a desigualdade (3-7) teos: p c q 1 Confore a desigualdade (3-53), isso significa que: d e (p,q) p + q l=0 1 p l q l (3-75) l=0 1 p l q l (3-76) l=0 1 p l q l (3-77) l=0 1 p l q l (3-78) l=0 Assi chegaos ao algorito 3., que é ua elhora do algorito. (busca

44 3. Eliinação rápida de vetores de treinaento desfavoráveis 43 exaustiva). Nesse algorito, a partir da sua inicialização o conjunto P k (q) descreve os k vizinhos ais próxios dentre os vetores de treinaento analisados até então. Cada eleento de P k (q) conté o índice do respectivo vetor, o índice da rotação que iniiza a distância, e o valor de de (p j,q). Para aior eficiência, P k (q) é ipleentado coo ua heap de áxio, peritindo inserção e reoção de u eleento e tepo O (logk), e leitura do áxio e tepo O (1). Denotaos por d o valor de d e (p,q) para o pior vizinho e P k (q). Ou seja: d := ax p P k (q) d e (p,q) (3-79) Algorito 3.: Eliinação de vetores de treinaento desfavoráveis Entrada: Natural k, conjuntos P,Q R Saída: Para cada q Q retorna P k (q). 1 Pré-copute e arazene a nora e a DFT dos eleentos de P e Q Copute e arazene os ( + 1) ódulos não-redundantes de cada DFT coputada na linha 1 3 para cada q Q faça 4 para cada j [1;k] faça 5 Copute d e (p j,q) 6 Adicione a P k (q) os respectivos índices e as respectivas distâncias 7 fi 8 Transfore P k (q) e ua heap de áxio 9 d ax p P k (q) de (p,q) 10 para cada j [k + 1;n) faça 11 se ( p j q ) ( < d então ) 1 se p + q 1 l=0 p l q l < d então 13 d d e (p j,q) 14 se d < d então 15 Insira ( j,d ) e P k (q) 16 Reova de P k (q) o pior vizinho 17 d ax p P k (q) de (p,q) 18 fi 19 fi 0 fi 1 fi P k (q) P k (q) 3 fi

45 3. Eliinação rápida de vetores de treinaento desfavoráveis 44 Observações: As noras são pré-coputadas antes do laço da linha 3. As linhas custa apenas tepo O (logk) pois P k (q) é ua heap de áxio. A linha 1 é conceitual; o prograa otiiza o cálculo sabendo que praticaente a etade dos ódulos é redundante. Podeos elhorar esse algorito. O laço da linha 4 inicializa P k (q) co os k prieiros vetores de treinaento. Na linha 1, nós coparaos o liite inferior da distância especial atual co o pior vizinho de P k (q). Se todos os eleentos de P k (q) fore horríveis, então a linha 1 não eliinará o vetor. No pior caso, P está ordenado e orde decrescente de d e (p,q); nesse caso a linha 1 não eliinará u único vetor. Então ua elhoria siples para o algorito 3. é tratar prieiro os vetores ais favoráveis. Para tal, ua tática siples é ser otiista: ordenar P pelo liite inferior de d e (p,q) (calculado confore (3-78)) e supor que, provavelente, os prieiros vetores de P (confore a nova ordenação) serão de fato bons vizinhos. Isso e nada altera a resposta; apenas uda o tepo de execução do prograa (presuivelente para elhor). Nós não quereos, poré, odificar P para cada vetor de consulta. Para obter bo desepenho, nós quereos paralelizar o prograa, e a aneira ais natural de fazê-lo é designar threads diferentes para analisar vetores de consulta diferentes. Para iniizar o custo de eória, quereos que todas as threads copartilhe o eso conjunto de treinaento P. Então ao invés de odificar P, criaos registros co dois núeros 1. O índice j do vetor de treinaento correspondente;. O liite inferior de d e (p j,q) (confore a equação (3-78)). Criaos u vetor co n tais registros (u para cada vetor de P), e ordenaos esse vetor antes do laço da linha Custo de eória Para que essa últia desigualdade seja proveitosa, quereos calcular o lado direito uito rapidaente. Calcular o ódulo de u núero coplexo é significativaente ais custoso do que fazer ua ultiplicação real. No nosso prograa, se calculásseos os ódulos no laço ais interno, se otiização, teríaos que calcular o ódulo de nr núeros coplexos. Para reduzir esse custo, podeos pré-coputar os valores ( p 0,..., p 1 ) (3-80)

46 3. Eliinação rápida de vetores de treinaento desfavoráveis 45 para cada vetor e P Q. Aparenteente isso consuiria eória deais. Poré, a DFT p de u vetor real p R satisfaz a sietria heritiana: p l = p l (3-81) portanto: p l = p l (3-8) Portanto os valores { p +1,..., p 1 } são redundantes e não precisa ser coputados ne arazenados. Assi, precisaos arazenar + 1 valores reais para cada vetor e P Q. Coo o CyclicKNN usa precisão siples (4 bytes por núero real), o custo de eória e questão é 4( +1) bytes por vetor, ou aproxiadaente bytes por vetor. Coo são n + r vetores, o custo de arazenar os ódulos e questão é (n + r). Coo vios e 3.1.3, o custo de eória para arazenar a DFT de todos os vetores de P Q é aproxiadaente 4(n + r). Assi, o custo total de eória do CyclicKNN e bytes é aproxiadaente 4(n + r) + (n + r) = 6(n + r) (3-83) Para = 00, n = 10 5 e r = 100, isso é aproxiadaente 115MB.

47 Ipleentação e experientação CAPÍTULO 4 Este capítulo descreve ua ipleentação paralela e C++11 da solução apresentada no capítulo 3 e apresenta o desepenho e o speedup epíricos de tal prograa, chaado CyclicKNN. 4.1 Ipleentação Para ipleentar a FFT e sua inversa usaos a biblioteca FFTW A arquitetura da FFTW é descrita no artigo [3], publicado no IEEE e citado por ais de 800 artigos. A FFTW se adapta ao hardware para acelerar o desepenho. Tira proveito inclusive de instruções SIMD, coo SSE e até AVX. É código aberto, uito rápida, uito flexível e largaente utilizada. Seu desepenho é copetitivo até co prograas otiizados por fabricantes de hardware, as co a vantage de rodar be e várias áquinas diferentes. A biblioteca decopõe recursivaente u problea e subprobleas ais siples do eso tipo. Probleas suficienteente siples são resolvidos por código straight-line otiizado. Para aior desepenho, o CyclicKNN usa ponto flutuante de precisão siples. Foi desenvolvido e C++11 co o copilador GCC 4.8. Foi desenvolvido e Linux (Ubuntu 13.10) as não depende de funcionalidades especificas de Linux Coputação paralela Para reduzir o tepo de execução, ipleentaos paraleliso (usando a biblioteca de threads do C++11) particionando o conjunto de consulta. Cada partição exceto a últia te o eso núero de vetores de consulta (a últia partição pode ser enor, se o núero de vetores de consulta não for últiplo do taanho de partição desejado). Cada partição é processada e sua própria thread. E coputação paralela, u problea difícil e trabalhoso é a counicação e sincronização entre tarefas, que deve ser correta e eficiente. No nosso problea co a tática de paralelização descrita acia nós não enfrentaos esse problea potencial.

48 4. Experientação 47 Base de dados Vetores de consulta Vetores de teste Diensão () Pendigits Optdigits Mnist Tabela 4.1: Bases de dados para edida de desepenho Threads diferentes acessa o eso conjunto de treinaento, as esse acesso é soente leitura e facilente gerenciado. As diferentes threads escreve sua saída e posições de eória diferentes, o que tabé é fácil de gerenciar. A única sincronização foi a thread estre esperar o térino de todas as outras, para ter certeza de que o resultado está pronto. Isso é trivial co a biblioteca de threads C++11. E conclusão, a paralelização do nosso prograa foi fácil e resultou e u speedup excelente. A liitação dessa tática é que não podeos usar ais threads do que o núero de vetores de consulta. A ipleentação de paraleliso teve boa relação benefício x custo o benefício foi ua excelente aceleração, e o custo foi u oderado tepo de desenvolviento. Por esse otivo, nós ipleentaos paraleliso antes eso de apliar os esforços na busca de ua estrutura de dados otiizada para o problea abordado que fica coo trabalho futuro. Alé disso, deseja-se cobinar a aceleração advinda da estrutura de dados co a aceleração do paraleliso; para coparar tal solução co u algorito ais siples, desprovido de estrutura de dados especializada para deterinar se tal estrutura é proveitosa é necessário que esse algorito ais siples seja paralelo, para a coparação ser justa. 4. Experientação Para edir o desepenho, nós copilaos e executaos o prograa e u coputador co as seguintes características: Dois processadores Intel Xeon cada u co 4 núcleos Sistea operacional Linux, opensuse 1.3 (rodando e 64 bits) Copilador g Biblioteca FFTW Nós processaos três bases de dados, descritas na tabela 4.1. A base MNIST está disponível e e as outras duas estão disponíveis no UCI Machine Learning Repository ( archive.ics.uci.edu/l/). O processaento da base MNIST co o algorito força bruta é uito lento; por isso, o processaento co o força bruta foi liitado aos prieiros 3600 vetores de

49 4. Experientação 48 k Núero de threads Algorito Força bruta Acelerado co FFT Acelerado co FFT e exclusão de vetores de treinaento Tabela 4.: Parâetros de edida de desepenho para cada base de dados Núero de threads Tepo de execução Speedup 1 193s - 798s s s 3.5 Tabela 4.3: Speedup de paraleliso para a base Mnist, k = 7, co o algorito acelerado co FFT e exclusão de vetores de treinaento Núero de threads Tepo de execução Speedup 1 319s - 186s s s 4.6 Tabela 4.4: Speedup de paraleliso para a base Mnist, k = 50, co o algorito acelerado co FFT e exclusão de vetores de treinaento consulta. Meso co esse liite, o força bruta co ua thread levou 0h para cada valor de k. O prograa foi edido co todas as cobinações dos parâetros descritos na tabela 4. (as apenas alguns dos resultados fora expostos nas tabelas abaixo). Os resultados estão nas tabelas abaixo:

50 4. Experientação 49 Núero de threads Tepo de execução Speedup 1.3s - 1.s 4 0.6s s 7.1 Tabela 4.5: Speedup de paraleliso para a base Optdigits, k = 7, co o algorito acelerado co FFT e exclusão de vetores de treinaento Núero de threads Tepo de execução Speedup 1 3.7s - 1.9s 4 1s s 7.3 Tabela 4.6: Speedup de paraleliso para a base Optdigits, k = 50, co o algorito acelerado co FFT e exclusão de vetores de treinaento Força bruta sequencial Força bruta (8 threads) FFT (8 threads) FFT e exclusão (8 threads) 71340s 8967s 5s 179s Tabela 4.7: Tepo de execução de cada técnica processando a base Mnist (liitada aos 3600 prieiros vetores de consulta), k = 7

51 Tentativa de aceleração co interpretação geoétrica CAPÍTULO 5 Na seção o produto M p q (usado para calcular a distância especial) calcula produtos internos, e só aproveita o aior deles. Isso sugere que há coputação desnecessária e oportunidade para ua aceleração aior. Esse capítulo apresenta ua outra abordage para o cálculo eficiente da distância especial: interpretação geoétrica do operador C. Veos que para 3 podeos resolver o problea e tepo O () e tentaos estender esse resultado para o caso geral. Até o oento não conseguios tirar proveito dessa abordage, e não conseguios provar a conjectura Casos particulares = 1, = e = 3 Para 3, d e (p,q) pode ser calculada e tepo O (), assuindo (para siplificar) que o coputador faz aritética e R e tepo O (1) por operação. Para = 1 o problea é trivial. Para =, R está dividido e dois seiplanos acia e abaixo da reta y = x. Dado p R a operação C consiste e refletir p e torno dessa reta. O conjunto C (p) te exataente u ponto acia dessa reta e u ponto abaixo dela. Dado q R, o ponto de C (p) ais próxio de q é aquele que estiver no eso seiplano (provado no teorea C.1, apêndice C). Podeos coputar o seiplano de cada p co a coparação p > p 1 e podeos coputar o seiplano de cada q co a coparação q > q 1. Assi d e (p,q) pode ser calculada e tepo O (). Para = 3, a operação C é ua rotação de π 3 rad e torno do eixo ( 1 3, 1 3, 1 3 ). Para verificá-lo basta substituir os valores adequados na atriz de rotação e torno de u eixo e R 3, coo foi feito na seção C.1 do apêndice C. Definição 5.1 (Base ordenada). Dado u espaço vetorial de diensão finita E, ua base ordenada de E é ua sequência finita de vetores de E que é linearente independente e gera E.[5]

52 5.1 Casos particulares = 1, = e = 3 51 Podeos udar a base ordenada do espaço R 3 para que novo eixo z coincida co a reta x = y = z. Isso pode ser feito co ua rotação de 0.96 rad e torno do eixo dado por ( 1, 1,0) 1. Essa udança de base pode ser feita antes do laço principal e não custaria uito tepo de processaento. Nessa base ordenada, a transforação C é ua rotação de π 3 rad e torno do eixo z. Essa rotação não uda a coordenada z de u vetor. Portanto teos p = (p x, p y, p z ) (5-1) Cp = (p x, p y, p z ) (5-) C p = (p x, p y, p z ) (5-3) Logo d 0 := d(p,q) = (p x q x ) + (p y q y ) + (p z q z ) (5-4) d 1 := d ( Cp,q ) = (p x q x ) + (p y q y ) + (p z q z ) (5-5) d := d ( C p,q ) = (p x q x ) + (p y q y ) + (p z q z ) (5-6) Quereos o ínio dentre d 0, d 1 e d. Confore a observação 3.5 podeos coparar os respectivos quadrados da distâncias pois o ínio dos quadrados corresponde ao quadrado do ínio. d 0 = (p x q x ) + (p y q y ) + (p z q z ) (5-7) d 1 = (p x q x ) + (p y q y ) + (p z q z ) (5-8) d = (p x q x ) + (p y q y ) + (p z q z ) (5-9) O tero (p z q z ) é o eso e todas as três equações acia. Podeos passá-lo para o lado esquerdo da respectiva equação. Assi, para c {0,1,} seja D c := d c (p z q z ) (5-10) ) rad é arccos( é o cosseno do ângulo entre a reta x = y = z e o eixo z, coo pode ser 3 calculado pelo produto interno ( 1 3, 1 3, 1 3 ) (0,0,1) = 1 3. O eixo ( 1, 1,0) está contido no plano z = 0 e é perpendicular à reta x = y = z. A atriz de udança de base seria. A udança de base seria feita ultiplicando essa atriz por ua outra atriz cujas colunas são os vetores de treinaento e consulta. O custo de ultiplicar ua atriz por ua atriz (n + r) é O ( (n + r) ), pequeno e coparação co O ( nr ). Alé disso a ultiplicação de atrizes é ua operação básica e altaente otiizada, inclusive e coputação paralela.

53 5.1 Casos particulares = 1, = e = 3 5 portanto D c = d c (p z q z ) (5-11) Assi: Quereos o ínio dentre D 0, D 1, D. D 0 = d 0 (p z q z ) = (p x q x ) + (p y q y ) (5-1) D 1 = d 1 (p z q z ) = (p x q x ) + (p y q y ) (5-13) D = d (p z q z ) = (p x q x ) + (p y q y ) (5-14) Seja F : R 3 R a função tal que, dado u R 3 : F(u) := (u x,u y ) (5-15) Intuitivaente, F(u) é a projeção ortogonal de u no plano z = 0. Teos então: D 0 = d(f(p),f(q)) (5-16) D 1 = d(f(cp),f(q)) (5-17) D = d(f(c p),f(q)) (5-18) E coordenadas polares: F(q) = (r q,θ q ) (5-19) F(p) = (r p,θ p ) (5-0) F ( Cp ) = ( r p,θ p π ) 3 (5-1) F ( C p ) = ( r p,θ p 4π ) 3 (5-) Ou seja, c {0,1,}, F (C c p) = ( r p,θ p π 3 c) (5-3) Os pontos F ( C c p ) tê todos a esa nora, portanto pelo teorea 3.6 o ínio da distância corresponde ao áxio do produto interno. Teos F ( C c p ) F(q) = r p r q cos ( θ q (θ p π 3 c)) = r p r q cos(θ q θ p + π 3 c) (5-4)

54 5.1 Casos particulares = 1, = e = 3 53 Precisaente: Portanto quereos achar c ax {0,1,} que axiiza r p r q cos(θ q θ p + π 3 c) (5-5) ( c ax = argax rp r q cos(θ q θ p + π 3 c)) (5-6) c {0;1;} Se houver ais de u c ax que satisfaz a equação (5-6) então escolheos arbitrariaente qualquer u deles. Lebre que, pelo teorea 3.6, d e (p,q) = d ( C c ax p,q ). Seja a: R Z (5-7) a função que arredonda u núero real para o inteiro ais próxio (e se a parte fracionária do núero for 0.5, arredonda para o inteiro par ais próxio). Por exeplo: Seja R π : R [ π;π] a função definida por a( 1.5) = (5-8) a(0.5) = 0 (5-9) a(0.6) = 1 (5-30) a(1.5) = (5-31) R π (θ) = θ πa( θ π ) (5-3) Note que R π é ua função periódica, de período π. Note tabé que cos ( R π (θ) ) = cosθ. Particioneos o intervalo [ π;π] e quatro conjuntos: ] R 1 := π 3 ; π [ ] 3 π [ R := 3 ;π ] R 3 := π; π [ 3 (5-33) (5-34) (5-35) R 4 := { π; π 3 ; π ;π} (5-36) 3 Essa partição é ilustrada pela figura 5.1 Vaos supor por enquanto que R π (θ q θ p ) R 1 R R 3 (5-41)

55 5.1 Casos particulares = 1, = e = 3 54 Figura 5.1: Círculo unitário [ π;π] e quatro partições: ] R 1 := π 3 ; π [ ] 3 π [ R := 3 ;π ] R 3 := π; π [ 3 (5-37) (5-38) (5-39) R 4 := { π; π 3 ; π ;π} (5-40) 3 Depois verificareos que o resultado obtido tabé vale se R π (θ q θ p ) R 4. Note que R 1, R e R 3 tê, cada u, copriento π 3. Note tabé que R 1 é a região de aior cosseno dentre R 1,R,R 3 : θ 1 R 1,θ R,θ 3 R 3 = cosθ 1 = Retoeos a equação (5-6). Se R π (θ q θ p ) R 1 então ax cosθ (5-4) θ {θ 1,θ,θ 3 } portanto R π (θ q θ p ) R 1 = cos(θ q θ p ) = Se R π (θ q θ p ) R então R π (θ q θ p + π 3 ) R (5-43) R π (θ q θ p + 4π 3 ) R 3 (5-44) ax c {0,1,} cos(θ q θ p + π 3 c) = c ax = 0 (5-45) R π (θ q θ p + π 3 ) R 3 (5-46) R π (θ q θ p + 4π 3 ) R 1 (5-47)