MINISTÉRIO DA EDUCAÇÃO

Transcrição

1 MINISÉRIO DA EDUCAÇÃO UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL CENRO ESADUAL DE PESQUISAS EM SENSORIAMENO REMOO E MEEREOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM SENSORIAMENO REMOO Dssertação de Mestrado EXRAÇÃO DE FEIÇÕES EM DADOS IMAGEM COM ALA DIMENSÃO POR OIMIZAÇÃO DA DISÂNCIA DE BHAACHARYYA EM UM CLASSIFICADOR DE DECISÃO EM ÁRVORE Por Dens Alter de Olvera Moraes Orentador: Prof. Vtor Haertel Ph.D. Co-orentador: Prof. Robn homas Clarke Ph.D. Porto Alegre, julho de 005.

2 UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL CENRO ESADUAL DE PESQUISAS EM SENSORIAMENO REMOO E MEEREOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM SENSORIAMENO REMOO Dssertação de Mestrado EXRAÇÃO DE FEIÇÕES EM DADOS IMAGEM COM ALA DIMENSÃO POR OIMIZAÇÃO DA DISÂNCIA DE BHAACHARYYA EM UM CLASSIFICADOR DE DECISÃO EM ÁRVORE por Dens Alter de Olvera Moraes Bacharel em Estatístca (00 - UFRGS) Sob orentação do Prof. Vtor Haertel Ph.D. Dssertação submetda ao Programa de Pós-Graduação em Sensoramento Remoto do Centro Estadual de Pesqusas em Sensoramento Remoto e Metereologa UFRGS, como requsto parcal para a obtenção do grau de Mestre em Sensoramento Remoto Lnha de Pesqusa: Reconhecmento de Padrões Orentador: Prof. Vtor Haertel Ph.D. Co-orentador: Prof. Robn homas Clarke Ph.D Banca Examnadora: Prof. Dr. Dante Barone Prof. Dr. João Comba Prof a. Dr a. Patríca Zegelmann Dssertação apresentada e aprovada em 3 de julho de 005.

3 Agradecmentos À Sabedora, que não é depente dos fenômenos externos ou nternos, que não pode ser destruída, que não é mpermanente, que nada contém de errado, que é mas profunda que tudo, e que a tudo permea. Aos meus pas, Delc Moraes e Enel Moraes, que cultvaram esse trabalho desde antes de haver ncado, com ngualável amor e dedcação. Aos meus companheros, colegas e professores. Especalmente ao Prof. Vtor Haertel, o qual me orentou como exemplo de competênca e dedcação ao trabalho e à cênca. À mnha namorada, Cláuda Cavalcante, pela beleza, doçura e ncontáves lções de vda. Àquela que camnha lvremente no espaço básco dos fenômenos, Chagdud Khadro. Possa ela ter uma longa vda e possam seus benefícos ser lmtados a todos os seres.

4 SUMÁRIO INRODUÇÃO... REVISÃO BIBLIOGRÁFICA As propredades do hper-espaço O volume de um hper-cubo se concentra nos vértces O volume de uma hper-esfera se concentra na camada externa O volume de um hper-elpsóde se concentra na camada externa Resultados geras do hper-espaço Um hper-espaço está pratcamente vazo As dagonas são aproxmadamente ortogonas a todos os exos coordenados O tamanho amostral Projeções lneares de dados em alta dmensão tem a se dstrbur normalmente em baxa dmensão Propredades assntótcas das estatístcas de prmera e segunda ordem Implcações da alta dmensão na classfcação supervsonada O fenômeno de Hughes Prncpas abordagens de pesqusa para classfcação de dados hper-espectras MEODOLOGIA Introdução O Classfcador de Bayes Estmação dos parâmetros das funções dscrmnantes Métodos para redução de dmensões Seleção de Feções Sequental Forward Selecton Extração de Feções Análse de Dscrmnante Canônca Meddas estatístcas de separação entre classes Dvergênca Dstânca de Bhattacharyya: Forma Geral Dstânca de Bhattacharyya: Forma Gaussana Extração de feções va otmzação da dstânca de Bhattacharyya As matrzes de covarânca de ambas as classes são guas: = Os vetores méda de ambas as classes são guas: µ = µ Dstntos vetores méda e matrzes de covarânca: µ µ e A dferença domnante ocorre entre os vetores méda µ e µ A dferença domnante ocorre entre matrzes de covarânca e Classfcadores em estágo únco e múltplo-estágo EXPERIMENOS Introdução...53 v

5 4. Dados sobre a magem utlzada Estrutura bnára do CDA Lmar de verossmlhança (LV) Expermentos do LV envolvo ses classes Expermentos do LV envolvo cnco classes Número de feções utlzadas no CDA com a ADC Redução sstemátca das bandas orgnas Padronzação do número de amostras de trenamento Resultados utlzando conjuntos de amostras de trenamento de gual tamanho para todas as classes empo de processamento em função da dmensão dos dados CONCLUSÃO BIBLIOGRAFIA ANEXOS v

6 LISA DE FIGURAS Fgura. Fração do volume de uma hper-esfera nscrta em um hper-cubo de dmensão d (Landgrebe, 003)... 5 Fgura. Volume contdo na camada externa de uma hper-esfera para um ε = r/5 e dmensão d (Landgrebe, 003)... 6 Fgura.3 Magntude da densdade gaussana em função da dstânca da méda para váras dmensões (Landgrebe, 003)... 8 Fgura.4 Volume da superfíce dferencal de uma hper-esfera em função da dstânca ao centro e da dmensão d (Landgrebe, 003)... 9 Fgura.5 Massa de probabldade em função da dstânca da méda, para densdades gaussanas em váras dmensões (Landgrebe, 003)... 0 Fgura.6 Hstogramas das funções de varáves aleatóras normalmente dstrbuídas para váras dmensões (Landgrebe, 003)... Fgura.7 Hstogramas das funções de varáves aleatóras unformemente dstrbuídas para váras dmensões (Landgrebe, 003)... Fgura.8 Ângulo (em graus) entre uma dagonal e o exo coordenado eucldano em função da dmensão d (Landgrebe, 003)... 3 Fgura.9 Dados smulados de uma classe com dstrbução unforme projetada de um espaço d-dmensonal para um espaço de dmensão untára (Landgrebe, 003)... 5 Fgura.0 Classe espectral com dstrbução normal projetada de um espaço d- dmensonal para um espaço de dmensão untára (Landgrebe, 003)... 6 Fgura. Duas classes espectras smuladas com dstrbuções normas projetadas de um espaço d-dmensonal para um espaço de dmensão untára (Landgrebe, 003)... 6 Fgura. Duas classes espectras smuladas com dstrbuções normas projetadas de um espaço d-dmensonal para um espaço de dmensão untára (Landgrebe, 003)... 7 Fgura.3 Acuráca de classfcação para dados smulados - Dferença predomnante nas estatístcas de segunda ordem (Landgrebe, 003)... 0 Fgura.4 Dstânca de Bhattacharyya, componentes de méda, covarâncas e a soma das duas - Dferença predomnante nas estatístcas de segunda ordem (Landgrebe, 003)... 0 Fgura.5 Razão entre a componente de méda sobre a componente de covarânca - Dferença predomnante nas estatístcas de segunda ordem (Landgrebe, 003)... Fgura.6 Acuráca de classfcação de dados smulados - Dferença predomnante das estatístcas de prmera ordem (Landgrebe, 003)... Fgura.7 Dstânca de Bhattacharyya, componentes de méda, covarâncas e a soma das duas - Dferença predomnante das estatístcas de prmera ordem (Landgrebe, 003)... 3 Fgura.8 Razão entre a componente das médas sobre a componente de covarânca - Dferença predomnante das estatístcas de prmera ordem (Landgrebe, 003)... 3 Fgura.9 Fenômeno de Hughes: decréscmo na acuráca de classfcação com o aumento da dmensão (Rchards, 998)... 4 Fgura 3. A regra de decsão de Bayes (herren, 989)... 3 Fgura 3. Funções densdade típcas para o logartmo da razão de verossmlhança (herren, 989) Fg 3.3 Exemplo típco de separação entre duas funções densdade (herren, 989). 39 Fgura 3.4 Classfcador em estágo únco Fgura 3.5 Classfcador de decsão em árvore (Safavan, 99) Fgura 4.a Imagem hper-espectral AVIRIS Fgura 4.b Verdade terrestre das classes v

7 Fgura 4. Curva de resposta espectral méda das cnco classes em estudo Fgura 4.3 Bandas utlzadas do sensor AVIRIS Fgura 4.4 Exemplo de CDA com estrutura bnára e cnco classes Fgura 4.5 Formas de sub-dvdr uma árvore bnára com três classes A, B e C Fgura 4.6 Árvore de classfcação com ses classes e LV = 55% e 5 feções Fgura 4.7 Acuráca de classfcação das classes no CDA com LV gual a 55% Fgura 4.8 Árvore de classfcação com ses classes e LV = 99% e 30 feções Fgura 4.9 Acuráca de classfcação das classes no CDA com LV gual a 99%... 6 Fgura 4.0 Acuráca méda entre as ses classes para o CDA com LV gual a 55% e 99%... 6 Fgura 4. Acuráca de classfcação para o CDA com LV gual a 55% Fgura 4. Acuráca de classfcação para o CDA com LV gual a 75% Fgura 4.3 Acuráca de classfcação para o CDA com LV gual a 00% Fgura 4.4 Acuráca méda de classfcação para o CDA com LV gual a 55%, 75% e 00% Fgura 4.5 Forma fnal da árvore de classfcação (LV = 00%) Fgura 4.6 Acuráca méda dos três métodos com N feções e amostras de tamanho Fgura 4.7 Acuráca méda dos três métodos com N feções e amostras de tamanho Fgura 4.8 Acuráca méda dos três métodos com N feções e amostras de tamanho Fgura 4.9 Acuráca méda dos três métodos com N feções e amostras de tamanho Fgura 4.0 Acuráca méda dos três métodos com N feções e amostras de tamanho CDA/ODB CDA/ODB CDA/ODB Fgura 4. empo de processamento dos três métodos com 5 classes e amostras de tamanho v

8 LISA DE ABELAS abela 4. otal de amostras nos expermentos com ses classes abela 4. otal de amostras nos expermentos com cnco classes... 6 abela 4.3 Síntese comparatva dos três métodos em relação ao número de feções utlzadas e amostras de trenamento abela 4.4 otal de feções extraídas pelo método CDA/ODB em função da dmensão e do número de classes... 7 abela 4.5 otal de feções extraídas pelo método CDA/ADC em função do número de classes v

9 EXRAÇÃO DE FEIÇÕES EM DADOS IMAGEM COM ALA DIMENSÃO POR OIMIZAÇÃO DA DISÂNCIA DE BHAACHARYYA EM UM CLASSIFICADOR DE DECISÃO EM ÁRVORE Dens Alter de Olvera Moraes Orentador: Prof. Vtor Haertel Ph.D. Neste trabalho é nvestgada uma abordagem para extração de feções baseada na otmzação da dstânca de Bhattacharyya em um classfcador herárquco de estrutura bnára. O objetvo é mtgar os efetos do fenômeno de Hughes na classfcação de dados magem hper-espectras. A utlzação de um classfcador em múltplo-estágo, analsando um sub-conjunto de classes em cada etapa ao nvés do conjunto total, permte modos mas efcentes para extrar as feções mas adequadas em cada etapa do procedmento de classfcação. Em uma abordagem de árvore bnára, somente duas classes são consderadas em cada etapa, permtndo a mplementação da dstânca de Bhattacharyya como um crtéro para extração de feções em cada nó da árvore. Expermentos foram realzados utlzando dados magem do sensor AVIRIS. A performance da metodologa proposta é comparada com métodos tradconas para extração e seleção de feções. Dssertação de Mestrado em Sensoramento Remoto, Centro Estadual de Pesqusas em Sensoramento Remoto e Metereologa, Curso de Pós-Graduação em Sensoramento Remoto da Unversdade Federal do Ro Grande do Sul. Porto Alegre/RS, (98 p.). Julho de 005. x

10 FEAURE EXRACION IN HIGH DIMENSIONAL IMAGE DAA BY OPIMIZING HE BHAACHARYYA DISANCE IN A REE SRUCURED CLASSIFIER Dens Alter de Olvera Moraes Advsor: Prof. Vtor Haertel Ph.D. In ths work we nvestgate an approach to feature extracton based on the optmzaton of the Bhattacharyya dstance n a tree structured classfer. he am s to mtgate the effects of the Hughes phenomenon n hyperspectral mage data classfcaton. he use of a mult-stage classfer, analyzng one sub-set of classes at each stage rather than the full set at once, allows for a more effcent way to extract the most adequate features at each step of the classfcaton procedure. In a bnary tree approach, only two classes are consdered at each node, allowng the mplementaton of the Bhattacharyya dstance as a crteron for feature extracton at each tree node. Experments are performed usng AVIRIS mage data. he performance of the proposed methodology s compared aganst more tradtonal methods for feature selecton and extracton. Master of Scences Dssertaton n Remote Sensng, Center for Remote Sensng and Meteorology, Graduate Program n Remote Sensng at Federal Unversty of Ro Grande do Sul. Porto Alegre/RS, (98 p.). July 005. x

11 INRODUÇÃO Uma grande área de nteresse em sensoramento remoto é a classfcação de padrões contdos em magens dgtas. Sejam localzados em plataformas orbtas ou aéreas, atualmente exstem város sensores coletando nformações sobre a erra. Com o propósto de nvestgar toda a nformação dsponblzada por tas sensores, dversas técncas de classfcação de padrões têm sdo utlzadas, tas como o uso de classfcadores supervsonados, não-supervsonados, em estágo únco e múltploestágo. Classfcadores em múltplo-estágo também são conhecdos como classfcadores herárqucos, ou classfcadores de decsão em árvore. Nas duas últmas décadas, com o advento dos sensores hper-espectras - sensores com centenas de bandas - surgu também a necessdade de elaborar métodos efcentes para dmnur a dmensão dos dados sem uma perda sgnfcatva de nformação. Um exemplo desses sensores é o AVIRIS, com 4 bandas espectras, o qual utlzaremos na seção dos expermentos. Para tas sensores, a redução de dmensões é necessára e tem três propóstos báscos: ) mnmzar o efeto do fenômeno de Hughes, ) aumentar o grau de acuráca da classfcação e, 3) otmzar o tempo de processamento e as lmtações computaconas decorrentes do grande volume de dados. O uso desses sensores é muto útl quando as classes em estudo possuem característcas espectras muto smlares entre s. A classfcação de dados em agrcultura, como a dscrmnação da mesma espéce de mlho tratada com três tpos dferentes de manejo do solo, é um exemplo dessas aplcações. Nesses casos, dferenças muto suts entre classes, que dfclmente poderam ser verfcados por sensores multespectras - como exemplo ctamos o sensor Landsat M que possu sete bandas de larga ampltude e descontínuas - tornam-se evdentes quando analsadas sob a vsão hper-espectral, a qual cobre pratcamente toda a regão do espectro vsível com centenas de bandas adjacentes, captando muto mas nformação do espectro eletromagnétco. Quanto às técncas de classfcação supervsonadas em estágo únco, o classfcador Bayesano é ótmo no sentdo de mnmzar a esperança do rsco. O classfcador da Máxma Verossmlhança é um caso partcular do anteror quando se

12 assume valores 0 ou para a função custo e probabldades a pror guas para todas as classes. O método do classfcador em estágo únco é largamente utlzado, entretanto ocorrem problemas quanto à estmação dos parâmetros das funções de densdade de probabldade condconadas, vetores de méda e matrzes de varânca e covarânca. O problema de estmação de uma grande quantdade de parâmetros deve-se ao fato de que na medda em que a dmensão dos dados aumenta, e manto-se constante o número de amostras de trenamento, o que geralmente acontece em stuações reas, a estmação dos parâmetros va se tornando menos estatstcamente sgnfcante e conseqüentemente menos acurada. Esse fato se traduz na dmnução no valor da acuráca de classfcação fnal a partr de uma determnada dmensão dos dados. al efeto é conhecdo como fenômeno de Hughes, autor do artgo que pela prmera vez expôs o problema. Quanto aos classfcadores herárqucos, uma das técncas conhecdas desde a década de 970 é o Classfcador de Decsão em Árvore (CDA). Nessa abordagem, o problema global envolvo todas as classes smultaneamente é partconado em problemas menores subconjuntos de classes - ao longo dos ramos e níves da árvore. Além dsso, os CDA s também proporconam seleconar um subconjunto N de feções de um total de L feções (N < L) para classfcar os subgrupos de classes. Dado que o tamanho amostral é sempre lmtado, tas procedmentos mnmzam os efetos do fenômeno de Hughes, pos em cada nó, teremos um número menor de classes a serem comparadas e também um número menor de feções para estmar os parâmetros. Dessa forma, com o uso do classfcador herárquco, o problema de seleção ou extração de feções resulta mas efcente adotando-se um subconjunto das feções mas adequadas àquele partcular subconjunto de classes. Esta abordagem permte, em prncípo, obter probabldades de erro anda menores do que no caso do classfcador em estágo únco de Bayes. O objetvo desse trabalho é então, nvestgar métodos para extração de feções através do uso de CDA s, de forma a se obter uma acuráca de classfcação superor àquela fornecda pelo classfcador em estágo únco de Bayes. Nesta dssertação, ncalmente é apresentada no capítulo a Revsão Bblográfca, localzando o assunto do problema de estmação de parâmetros em dados

13 hper-dmensonas no campo de reconhecmento de padrões e o estado da arte das técncas envolvdas. No capítulo 3, Metodologa, será revsada a teora envolvo a metodologa de classfcadores herárqucos, especalmente os algortmos de decsão em árvore bnára e os métodos para seleção e extração de feções. O prmero método para extração de feções que explcaremos brevemente é a técnca tradconal de Análse de Dscrmnante Canônca. O segundo método é a otmzação da dstânca de Bhattacharyya para os dversos casos especas, conclundo com o método proposto nos expermentos, que é a otmzação dessa dstânca para dferenças predomnantes entre matrzes de covarâncas. Assm, será aplcada no capítulo 4, sobre os resultados dos Expermentos, a metodologa proposta para extração de feções em conjunto com o CDA. A maor parte dessa dssertação está concentrada no estudo e aplcação desses métodos em dados do sensor AVIRIS, bem como a comparação dos mesmos com a metodologa usual para seleção de feções, aplcada em um classfcador de estágo únco. No capítulo 5, sobre a Conclusão, é apresentado um resumo dos prncpas resultados. Em partcular, verfcamos que o uso do CDA em conjunto com a Análse de Dscrmnante Canônca mostrou-se superor no caso de pequenas amostras devdo sua efcênca computaconal e grau médo de acuráca. Por outro lado, o CDA em conjunto com a otmzação da dstânca de Bhattacharyya otmzada para dferenças predomnantes entre matrzes de covarânca é convenente no caso de tamanhos de amostras moderados a grandes. Desse modo, o capítulo ncará abordando alguns dos fatores que explcam a mportânca da busca pela melhor otmzação dos métodos em reconhecmento de padrões para extração de feções no caso de dados hperdmensonas, conforme veremos a segur. 3

14 REVISÃO BIBLIOGRÁFICA Devdo à grande dversdade de sensores com capacdades e aplcações específcas, város métodos em reconhecmento de padrões vêm so desenvolvdos com vstas a aprmorar a classfcação dos dados obtdos em sensoramento remoto. No caso de dados em dmensão muto alta (da ordem de 00 a 300 varáves) como aqueles obtdos por sensores hper-espectras, surgem novos desafos a serem transpostos a fm de tornar possível explorar todo o potencal da nformação obtda. Como veremos, tas desafos não podem ser superados utlzando procedmentos tradconas como aqueles desenvolvdos orgnalmente para dados fornecdos por sensores mult-espectras com cerca de uma dezena de bandas ou menos. Ao analsar dados em alta dmensão além de ldar com uma tarefa computaconalmente maor, é convenente observar se o sgnfcatvo ncremento no número de varáves, não mplca no surgmento de problemas adconas não enfrentados anterormente. Embora a complexdade decorrente do aumento no valor da dmensão dos dados tenha sdo explorada ao longo das últmas três décadas, seu mpacto vara de um campo de aplcação para outro. Por exemplo, em processos de otmzação combnatóra é sabdo que o esforço computaconal cresce exponencalmente na classfcação de dados em alta dmensão. Em Estatístca, tal complexdade se manfesta quando é necessáro estmar parâmetros ou funções densdade de probabldade de varáves aleatóras, pos dados em alta dmensão apresentam característcas que necesstam ser ereçadas adequadamente. Nesse capítulo são revstas as prncpas característcas dos espaços em dmensão alta (hper-espaços) e suas mplcações no processo de classfcação de dados.. As propredades do hper-espaço Incalmente, é necessáro dzer que nossas percepções relatvas ao espaço tr-dmensonal, freqüentemente não podem ser extrapoladas para espaços em dmensões mas elevadas. A dstrbução dos dados nas funções densdade de probabldade normas ou unformes, por exemplo, apresentam característcas que se contrapõe às percepções mas ntutvas (Landgrebe, 003). 4

15 Nas seções seguntes serão examnadas algumas característcas de natureza geométrca e estatístca pertnente a dados em hper-espaços, as quas são relevantes ao processo de classfcação empregando dados magem em altas dmensões... O volume de um hper-cubo se concentra nos vértces Com o aumento das dmensões, fo mostrado por D. W. Scott (99) que o volume de uma hper-esfera de rao r e dmensão d é dado pela equação: r VS ( r) = d d π Γ d ( d / ) E o volume de um hper-cubo em [-r,r] d é dado por: V ( r) = (r) C Assm, a fração do volume da hper-esfera nscrta no hper-cubo de mesmas dmensões é: d V ( ) S r π d = = d VC ( r) d Γ f d ( d / ) Onde, d representa a dmensão do espaço. A Fgura. mostra como a razão f d decresce enquanto a dmensão aumenta. Note que lm f = 0, o que mplca que o d d volume do hper-cubo está cada vez mas concentrado nos vértces a medda em que d aumenta. Fgura. Fração do volume de uma hper-esfera nscrta em um hper-cubo de dmensão d (Landgrebe, 003) 5

16 .. O volume de uma hper-esfera se concentra na camada externa So ε uma fração do rao r, Scott (99) e Wegman (990) mostram que a fração do volume defndo pela esfera de rao r-ε, nscrta dentro da esfera de rao r é: f V ( r) V ( r ε ) ( r ε ) d d d d = = = Vd ( r) r r ε r A Fgura. lustra o caso ε = r/5. Nota-se que enquanto a dmensão aumenta, o volume da esfera de dmensão d concentra-se na superfíce mas externa. Fgura. Volume contdo na camada externa de uma hper-esfera para um ε = r/5 e dmensão d (Landgrebe, 003) Note que lm f =, ε > 0, mplcando em que a maor parte do volume d d da hper-esfera está concentrado na sua camada externa...3 O volume de um hper-elpsóde se concentra na camada externa Os resultados anterores também podem ser generalzados para um hperelpsóde. A equação de um hper-elpsóde em d dmensões pode ser escrta como: X λ X X d = λ λd E o seu volume é calculado pela expressão (Kall, 96): λ Ve ( λ ) = d d d / = π Γ( d / ) 6

17 O volume de um hper-elpsóde defndo pela equação: X ( λ δ ) X X d ( λ δ ) ( λ ) = d δ d Onde, 0 < δ < λ para todo é calculado por: V ( λ δ ) = e d ( λ δ ) d / = π d Γ( d Assm, a fração do volume V λ δ ) nscrto no hper-elpsóde com e ( / ) V e ( λ ) é: Seja γ mn( δ / λ ) mn d ( λ δ ) d = f d = = 3 d = λ = =, então: λ δ d d λ f d = ( γ mn ) ( γ mn ) 3 = δ = = Utlzando o fato de que f d 3 0, conclu-se que lm f d 3 = 0 d d, demonstrando assm que o volume do hper-elpsóde concentra-se na sua camada mas externa quanto maor o seu número de dmensões.. Resultados geras do hper-espaço Através do que fo descrto, pelo menos duas mportantes conseqüêncas relatvas ao emprego de dados em alta dmensão no contexto desta dssertação são descrtas a segur... Um hper-espaço está pratcamente vazo A prmera conseqüênca dz respeto ao fato de que um hper-espaço é pratcamente vazo. Isso mplca em que os dados multvarados em R d estão na verdade 7

18 em uma estrutura dmensonal menor. Como conseqüênca, dados em alta dmensão podem ser projetados num subespaço reduzdo sem perda sgnfcatva de nformação em termos da separação entre as dferentes classes estatístcas. A segunda conseqüênca é que os dados normalmente dstrbuídos possuem a tênca de se concentrar nas caudas da dstrbução multvarada. Smlarmente, dados unformemente dstrbuídos rão gualmente concentrar-se nos extremos, fazo assm a estmação das dstrbuções uma tarefa mas dfícl. Assm, vznhanças locas são geralmente vazas, produzndo perda na estmação detalhada da função densdade em espaços hperdmensonas. É conhecdo que dstrbuções normas apresentam forma smétrca de sno e que a maor parte dos dados concentra-se próxmo da méda. Como pode ser então verdade que dados normas em alta dmensão concentrem-se nas caudas da dstrbução, dado que para as funções gaussanas os valores que possuem maor probabldade são aqueles que estão próxmos da méda e não das caudas? Conforme Landgrebe (003), esse paradoxo fo explcado pela prmera vez por P-fue Hseh, tal como exposto a segur. Prmeramente, note pela Fgura.3 o que acontece com a magntude da função densdade gaussana com méda zero enquanto a dmensão aumenta. É sabdo que enquanto a forma da curva se mantém em forma de sno, sua magntude se torna cada vez menor com o aumento da dmensão, pos o volume total precsa permanecer gual a. Assm, a magntude decresce exponencalmente enquanto aumenta o rao r em relação à méda. Fgura.3 Magntude da densdade gaussana em função da dstânca da méda para váras dmensões (Landgrebe, 003) 8

19 A segur, consdere como o volume vara com a dmensão do espaço. O volume da hper-esfera de rao r como função da dmensão dos dados é dado por: (S) V S = volume da hper-esfera r = d d d / π Γ( d / ) Assm, o volume em uma camada dferencal como função do rao r é: dv dr d / π ( d ) = Γ( d / ) r A Fgura.4 lustra o volume dferencal na superfíce de uma hper-esfera em função da dstânca ao seu centro para dferentes valores na dmensão do espaço. Fgura.4 Volume da superfíce dferencal de uma hper-esfera em função da dstânca ao centro e da dmensão d (Landgrebe, 003) Nota-se que o volume exstente em uma camada dferencal de rao r aumenta rapdamente, na medda em que a dmensão do espaço aumenta. Então, a massa de probabldade como uma função do rao r pode ser mostrada como: d ( r / ) r e f r ( r) = ( d / ) Γ( d / ) Essa função está lustrada na Fgura.5. Pode ser mostrado que o pco dessa função ocorre em d. 9

20 Fgura.5 Massa de probabldade em função da dstânca da méda, para densdades gaussanas em váras dmensões (Landgrebe, 003) Devdo ao volume de uma camada dferencal em uma hper-esfera aumentar muto mas rapdamente com o rao r do que a dmnução da função densdade, o efeto líqudo desse aumento apresenta um comportamento como o lustrado na Fgura.5. Assm, nota-se que o pco da massa de probabldade afasta-se da méda enquanto a dmensão dos dados aumenta, ndcando que a maor parte dos dados concentra-se nas caudas da função densdade, mesmo para dados normalmente dstrbuídos. Para elucdar essas característcas dos dados multvarados, Hseh gerou amostras com dstrbução normal (N) e unforme (U) para o expermento descrto a segur. As varáves são ndepentes e dentcamente dstrbuídas, cujos parâmetros são respectvamente N(0,) e U(-,). Através desse exemplo, nota-se que a méda e o desvo-padrão dessas varáves aleatóras são funções do número de dmensões. Hseh (Landgrebe, 003) calculou a méda e o desvo padrão das varáves aleatóras r = d x = e R = d x =, e as Fguras.6 e.7 lustram seus hstogramas. Essas varáves são funções de vetores normas e unformes para dferentes dmensões. 0

21 Fgura.6 Hstogramas das funções de varáves aleatóras normalmente dstrbuídas para váras dmensões (Landgrebe, 003) Nota-se que com o aumento da dmensão, a dstânca das duas varáves em relação à coordenada zero aumenta. A varável R tem dstrbução χ com d graus de lberdade, onde os x s são amostras de uma dstrbução N(0,). São resultados conhecdos da probabldade (Sharf, 99) que a méda e varânca de R são E(R) = d, Var(R) = d.

22 Fgura.7 Hstogramas das funções de varáves aleatóras unformemente dstrbuídas para váras dmensões (Landgrebe, 003) Sob essas crcunstâncas, sera dfícl mplementar qualquer procedmento para estmação das funções densdade e obter resultados precsos. Geralmente as abordagens não-paramétrcas em alta dmensão enfrentam problemas anda maores que as abordagens paramétrcas, so assm o seu uso nesses casos mpratcável... As dagonas são aproxmadamente ortogonas a todos os exos coordenados Scott (99), mostra que o cosseno do ângulo entre qualquer vetor dagonal e um exo coordenado eucldano é: cos( θ ) = ± d d A Fgura.8 lustra como o ângulo d, entre a dagonal e as coordenadas se aproxma de 90 com o aumento da dmensão. Note que lm cos( θ ) = 0, o qual mplca d d

23 que, em espaços de alta dmensão, as dagonas possuem tênca a se tornar ortogonas às coordenadas eucldanas. Fgura.8 Ângulo (em graus) entre uma dagonal e o exo coordenado eucldano em função da dmensão d (Landgrebe, 003) Essa observação é mportante porque a projeção de qualquer agrupamento de feções em qualquer dagonal, por exemplo, fazo a méda das feções, podera destrur a nformação contda nos dados hper-dmensonas. Para elucdar sso, tome a dag como qualquer dagonal em um espaço d-dmensonal. ome também ac como a - ésma coordenada desse espaço. Qualquer ponto no espaço pode ser representado pela forma: d P = α ac = A projeção de P sobre a dag, P dag é: dag dag dag d P = (P a )a = α (ac a Mas enquanto d aumenta, ac a dag 0, o que mplca que P dag 0. Como uma conseqüênca, P dag está so projetado sob a coordenada zero, perdo assm nformação sobre a sua localzação no espaço d-dmensonal. = d ) a d 3

24 ..3 O tamanho amostral Outro ponto mportante a ser observado é como o número necessáro de amostras para os métodos de classfcação supervsonados aumenta como função da dmensão. Fukunaga (990) prova que a quantdade de amostras necessáras para trenamento aumenta lnearmente em relação à dmensão para um classfcador lnear e quadratcamente para um classfcador quadrátco. Esse fato é muto mportante, especalmente porque os expermentos demonstram que exstem crcunstâncas em que as estatístcas de segunda ordem são mas relevantes que as de prmera ordem para dscrmnar dados em alta dmensão (Cho, 00). Nesse caso, a utlzação de procedmentos não-paramétrcos torna o processo anda mas severo. Fo estmado que, enquanto o número de dmensões aumenta, o tamanho da amostra precsa aumentar exponencalmente para que as funções densdade sejam estmadas com efcênca (Scott, 99). É razoável esperar que dados em alta dmensão contenham maor nformação, de forma que mas classes possam ser dferencadas com maor acuráca. Ao mesmo tempo, as característcas menconadas acma mostram que as técncas usuas baseadas em cálculos na dmensão total podem não trazer vantagens, a menos que o número de amostras de trenamento seja substancalmente grande. Isso fo provado por Hughes (968), o qual demonstrou que a partr de um determnado momento, com um número lmtado de amostras de trenamento, há uma penalzação na acuráca de classfcação enquanto o número de feções aumenta...4 Projeções lneares de dados em alta dmensão tem a se dstrbur normalmente em baxa dmensão Pode-se mostrar (Scott, 99) que para a maora dos dados em alta dmensão, suas projeções em baxas dmensões possuem tênca a ser normas, ou uma combnação de dstrbuções normas, enquanto a dmensão aumenta com probabldade aproxmadamente gual a. A normaldade nesse caso mplca em uma dstrbução normal ou uma combnação de dstrbuções normas. 4

25 Fgura.9 Dados smulados de uma classe com dstrbução unforme projetada de um espaço d- dmensonal para um espaço de dmensão untára (Landgrebe, 003) A lteratura relata expermentos dversos neste tópco, utlzando dados reas e smulados. Nesse expermento, os dados foram projetados desde um espaço de alta dmensão para um sub-espaço de dmensão gual à undade. O comportamento dos dados projetados fo examnado usando dmensões orgnas guas a, 0 e 00. O método utlzado para as projeções fo o de multplcar por um vetor normal com ângulos aleatóros às coordenadas. Através de um hstograma pode-se ver o comportamento da dstrbução dos dados. Uma função com densdade normal fo projetada sobre os hstogramas para compará-los (Landgrebe, 003). Pode-se observar através da Fgura.9 que dados que no espaço orgnal apresentam uma dstrbução não-normal, no sub-espaço projetado tem a apresentar uma dstrbução normal. A Fgura.0 lustra dados hper-espectras obtdos pelo sstema AVIRIS, apresentando uma dstrbução normal. Na medda em que o número de dmensões no espaço orgnal aumenta, o hstograma dos dados projetados te a se aproxmar cada vez mas da dstrbução normal. Note que os dados de ambas dstrbuções (Fgura.9 e.0) têm comportamento smlar. 5

26 Fgura.0 Classe espectral com dstrbução normal projetada de um espaço d-dmensonal para um espaço de dmensão untára (Landgrebe, 003) Fgura. Duas classes espectras smuladas com dstrbuções normas projetadas de um espaço d-dmensonal para um espaço de dmensão untára (Landgrebe, 003) Esse resultado sugere que os dados podem ser assumdos como normas ou uma combnação de dstrbuções normas no espaço projetado sem maores problemas. Outros expermentos mostram que uma mstura de dstrbuções normas, onde cada uma representa uma classe estatístca dferente, podera colapsar em uma dstrbução normal, o que podera mplcar em perda de nformação. 6

27 As Fguras. e. mostram a repetção do expermento para o problema de duas classes. Ambas lustram o rsco de degradar a nformação, tal como a separação entre classes, quando projetados em um sub-espaço. No caso da Fgura. os dados são do sensor AVIRIS, so uma das classes, mlho, e a outra soja. Fgura. Duas classes espectras smuladas com dstrbuções normas projetadas de um espaço d-dmensonal para um espaço de dmensão untára (Landgrebe, 003) Em todos esses casos se podem perceber as vantagens em desenvolver algortmos capazes de estmar as projeções que melhor separam classes dstntamente defndas, realzando os processos de classfcação em um espaço de dmensão menor. Os vetores calculados rão separar as classes e, ao mesmo tempo, as classes defndas rão apresentar comportamentos convergndo para dstrbuções normas. As suposções de normaldade também serão mas consstentes em um sub-espaço do que na dmensão total. Estatstcamente, as feções orgnas podem ser resumdas em um número mas reduzdo por meo de transformações, lneares ou não, que transportam o conjunto de dados orgnas para outro sstema de coordenadas espacas. al fato é possível porque as bandas dos sensores hper-espectras apresentam alta correlação entre s, so assm vantajoso trabalhar com um número menor de feções. Além dsso, outra vantagem da redução de dmensões é que geralmente os processos de classfcação são muto dsposos em termos de tempo de processamento, especalmente os métodos 7

28 de classfcação herárqucos. Desse modo, a redução de dmensões também acelera o tempo de processamento fnal..3 Propredades assntótcas das estatístcas de prmera e segunda ordem Nessa seção, é revsto o uso das estatístcas de prmera e segunda ordem no processo de classfcação. Os resultados estão baseados no comportamento assntótco dos dados em alta dmensão. É razoável assumr que enquanto o número de feções cresce, a nformação potencal contda nos dados hper-espectras também aumenta. Em processos de classfcação supervsonada, esse aumento de nformação permte a separação de classes que apresentam característcas muto smlares. Nos exemplos menconados na lteratura e aqu reportados, a dstânca de Bhattacharyya é usada como uma medda de separação entre classes. Essa medda provê um lmte de erro para a acuráca de classfcação to em conta as estatístcas de prmera e segunda ordem. Pode-se nterpretar a dstânca de Bhattacharyya como a soma de duas componentes, uma baseada prncpalmente na dferença entre médas e outra baseada na dferença entre covarâncas. A dstânca de Bhattacharyya, sob a suposção de normaldade é calculada através da expressão: B = 8 ( M M ) ( M M ) + + ln + Onde M e M são os vetores méda e e são as matrzes de covarânca das classes. Neste estudo é utlzada a notação B = Bhatt Mean + Bhatt Cov, onde Bhatt Mean, estma a separação entre duas classes devdo à dferenças entre os vetores méda enquanto Bhatt Cov estma a separação devdo as matrzes de covarânca. Dos expermentos lustrando essas característcas da dstânca de Bhattacharyya são relatados em Landgrebe (003). No prmero caso, a separação entre as classes é devda prncpalmente às dferenças entre as estatístcas de segunda ordem (matrzes de covarânca), enquanto no segundo expermento a separação é devda 8

29 9 prncpalmente as estatístcas de prmera ordem (vetores de méda). O prmero, em condções onde as estatístcas de segunda ordem são mas relevantes na dscrmnação entre as classes e o segundo expermento, apresentando condções favoráves à predomnânca das estatístcas de prmera ordem. Expermento Nesse expermento, os dados foram smulados para duas classes. Ambas possuem dstrbuções normas com médas e covarâncas dferentes. Cada classe dspõe de 500 amostras de trenamento. Seus parâmetros (vetor méda e matrz de covarânca) respectvos são: [ ] µ = [ ] µ = = 0 0, = Os dados foram classfcados usando três classfcadores dferentes, o classfcador da Máxma Verossmlhança (ML), o classfcador ML sob a restrção de utlzar somente a dferença entre covarâncas (ML Cov) e o classfcador da Mínma Dstânca Eucldana (Mn Dst). Os resultados são mostrados na Fgura.3. Observe que o classfcador ML Cov torna-se mas acurado que Mn Dst quando são utlzadas mas que duas dmensões.

30 Fgura.3 Acuráca de classfcação para dados smulados - Dferença predomnante nas estatístcas de segunda ordem (Landgrebe, 003) Para demonstrar as característcas das estatístcas de prmera e segunda ordem das componentes da dstânca de Bhattacharyya (Bhatt Mean, Bhatt Cov e otal Dst = B), as mesmas foram calculadas por Hseh e lustradas na Fgura.4. A razão entre Bhatt Mean/Bhatt Cov é lustrada na Fgura.5. Fgura.4 Dstânca de Bhattacharyya, componentes de méda, covarâncas e a soma das duas - Dferença predomnante nas estatístcas de segunda ordem (Landgrebe, 003) 0

31 Fgura.5 Razão entre a componente de méda sobre a componente de covarânca - Dferença predomnante nas estatístcas de segunda ordem (Landgrebe, 003) Ambas as fguras exbem o relaconamento entre a predomnânca das estatístcas de segunda ordem e a relevânca do termo Bhatt Cov. Enquanto o número de dmensões aumenta, a razão entre o termo Bhatt Mean/Bhatt Cov decresce sgnfcantemente e o classfcador ML Cov torna-se mas efetvo que o Mn Dst. Isso mostra que se enquanto a dmensão aumenta, a razão Bhatt Mean/Bhatt Cov dmnu, as estatístcas de segunda ordem são mas relevantes em dados de hper-dmensonas mesmo se essa stuação não for verdadera em baxa dmensão. Expermento Esse expermento é smlar ao anteror, com a dferença da predomnânca das estatístcas de prmera ordem. Os parâmetros (vetor méda e matrz de covarânca) das duas classes são: µ = µ = [ ] [ ]

32 = 0 0, = Os resultados de classfcação são lustrados na Fgura.6. Observe que o classfcador Mn Dst torna-se mas acurado que ML Cov para dmensões acma de ses. As componentes da dstânca de Bhattacharyya para a méda (Bhatt Mean), covarânca (Bhatt Cov) e suas somas (otal Dst) foram calculadas e lustradas na Fgura.7. Fgura.6 Acuráca de classfcação de dados smulados - Dferença predomnante das estatístcas de prmera ordem (Landgrebe, 003) A razão de Bhatt Cov/Bhatt Mean está lustrada na Fgura.8. Nota-se que enquanto o número de dmensões aumenta, a razão Bhatt Cov/Bhatt Mean dmnu, mostrando que as estatístcas de prmera ordem são mas relevantes para classfcar esse tpo de dados.

33 Fgura.7 Dstânca de Bhattacharyya, componentes de méda, covarâncas e a soma das duas - Dferença predomnante das estatístcas de prmera ordem (Landgrebe, 003) Esses resultados ndcam dretamente que a predomnânca das componentes de méda ou covarânca na dstânca de Bhattacharyya se relacona com as estatístcas de prmera ou segunda ordem em termos da acuráca de classfcação. Fgura.8 Razão entre a componente das médas sobre a componente de covarânca - Dferença predomnante das estatístcas de prmera ordem (Landgrebe, 003).4 Implcações da alta dmensão na classfcação supervsonada Baseados nas característcas observadas sobre os dados em alta dmensão, tas como o volume de hper-cubos concentrando-se nos vértces, e o volume de hperelpsódes nas camadas externas, torna-se evdente que os espaços em alta dmensão são em grande parte vazos, estando assm os dados hper-dmensonas geralmente em 3

34 estruturas de dmensões menores. Como conseqüênca, teorcamente é possível reduzr a dmensão dos dados sem perdas sgnfcatvas de nformação e separação. Devdo às dfculdades para estmar funções densdade com abordagens não-paramétrcas, é esperado que uma versão paramétrca dos algortmos produza melhores resultados em casos onde somente um número lmtado de amostras conhecdas está dsponível para suprr as nformações necessáras à pror..4. O fenômeno de Hughes Como já menconado anterormente, uma das prncpas conseqüêncas do problema de estmação de parâmetros, frente ao número lmtado de amostras, é a dmnução no valor da acuráca da classfcação a partr de uma determnada dmensão dos dados (Rchards, 998). al efeto é conhecdo como fenômeno de Hughes (968), o qual é lustrado na Fgura.9. Fgura.9 Fenômeno de Hughes: decréscmo na acuráca de classfcação com o aumento da dmensão (Rchards, 998) 4

35 .5 Prncpas abordagens de pesqusa para classfcação de dados hper-espectras Dentre os atuas processos para mtgar as conseqüêncas na classfcação dos dados hper-espectras, destacam-se três vas prncpas: a análse de Dscrmnante Regularzada (Aeberhard, 994), a técnca de amostras sem-rotuladas (Shahshahan, 994) e os processos para redução de dmensões através de seleção de feções ou extração de feções (adjudn, 998). Nesse trabalho, será tratada somente da últma lnha de pesqusa: uma metodologa para extração de feções com o ntuto de encontrar o melhor subconjunto de combnações lneares das feções orgnas, conforme um determnado crtéro de optmaldade. Outra forma de complementar com uma contrbução sgnfcatva ao aumento da acuráca de classfcação é a metodologa dos classfcadores herárqucos - ou classfcadores de decsão em árvore (CDA) - ao nvés dos classfcadores de estágo únco. Esta abordagem, em conjunto com os métodos para extração de feções permte, em prncípo, obter probabldades de erro anda menores do que no caso do classfcador em estágo únco de Bayes. Dentre os város métodos que têm sdo propostos para o delneamento da estrutura do CDA, destacam-se prncpalmente três formas: top-down (topo para baxo), bottom-up (base para cma) e a unão destes dos, o método híbrdo. O método bottom-up nca com todas as classes reundas no mesmo nó raz. Então, tomando-se alguma medda de dssmlardade, as classes mas dstantes entre s são separadas em nós descentes dstntos ao longo da árvore. As demas classes são então classfcadas em algum dos nós descentes até que sejam alcançados os termnas da árvore, onde o processo termna. O método top-down nca nos termnas da árvore, com todas as classes separadas entre s. Então, a partr de uma medda de smlardade, as classes mas semelhantes são agrupadas ascentemente até que todas pertençam a um únco nó termnal no topo da árvore. O método bottom-up fo o prmero proposto por Breman et al. (984) ncorporado em um algortmo conhecdo como Classfcaton and Regresson rees (CAR). O procedmento CAR se resume em testar uma combnação lnear de feções de forma que essas feções sejam oblíquas no espaço. A déa fundamental em partconar as classes de um nó, é a de que os dados de cada um dos nós descentes sejam mas "puros" que os dados do grupo orgnal. Uma manera de realzar essa tarefa 5

36 é defnr uma função de mpureza (t). Supondo-se que para o nó t exsta uma possível dvsão S que dvde este nó em dos nós descentes, esquerdo (L) e dreto (R) tal que uma fração p L dos casos va para t L e uma fração p R para t R. Pode-se então defnr a qualdade dessa dvsão pelo decréscmo na função de mpureza do nó orgnal: ( S, t) = ( t) ( t ) p ( t ) p O crtéro para dvsão consste em seleconar uma dvsão S que maxmze ( S, t). Uma das formas conhecdas para o índce de mpureza é o índce de Gn (Breman et al., 984), defndo como: ( t) = p( / t) p( j / t) j Onde p(/t) é a probabldade de uma amostra aleatóra X pertencer à classe, dado que está no nó t, enquanto p(j/t) é a probabldade dessa amostra pertencer à classe j. A segunda etapa consste em defnr um crtéro de parada no processo de dvsão dos nós, sto é, um crtéro de térmno no processo. Um possível crtéro consste em defnr um lmar > 0 e declarar o nó como termnal se: max ( S( t), t) < β s S A tercera etapa consste em estmar a acuráca a ser obtda no processo de classfcação. Essa estmatva é normalmente obtda por meo de amostras dsponíves, empregando procedmentos como holdout e leave-one-out (Fukunaga, 990), ou anda por resubsttução da taxa de erro de classfcação de uma árvore, defnda por Breman et al. (984) como: R ( ) = ~ t al que, R(): taxa de erro de classfcação de uma árvore ; r(t): taxa de erro de classfcação em um nó t pertencente a ; p(t): probabldade de uma amostra pertencer ao nó t. Algumas desvantagens do CAR são, prmeramente, que o procedmento permte o uso de uma únca feção ou uma combnação lnear de feções a cada nó. 6 L L r( t) p( t) = ~ t R R( t) R

37 Segundo, o CAR é computaconalmente pesado, pos requer a cração de múltplas árvores auxlares. Fnalmente, e talvez o mas mportante, embora seja seleconada uma árvore fnal da famíla paramétrca de sub-árvores, a árvore ótma no sentdo de melhor acuráca fnal de classfcação, pode não estar contda nessa famíla. Na lteratura são ctados anda outros métodos para delneamento de CDA s. You e Fu (976) sugerem uma árvore lnear bnára, a qual combna classes em dos subgrupos dsjuntos a cada nó usando estatístcas das classes. Gelfand et al. (99) propõem um algortmo nteratvo de ramo e poda dvdndo os dados em dos grupos aproxmadamente guas e nteratvamente gerando um ramo da árvore com um dos subgrupos e podando com o outro subgrupo, após sso sucessvamente nverter os papés. Esse algortmo de poda é uma smples e ntutva abordagem top-down. Os autores provam a convergênca do seu algortmo e os resultados expermentas em reconhecmento de ondas, com suporte teórco, sugerem a superordade desse método sobre o método proposto por Breman et al. (984). Outro método paramétrco é proposto por Km e Landgrebe (990) usando uma abordagem msta bottom-up e top-down (abordagem híbrda) seqüencalmente. O método bottom-up calcula a dstânca de Bhattacharyya entre cada par de classes e as duas classes com a menor dstânca são agrupadas, formando um novo grupo, até que restem apenas dos grupos no topo da árvore. Então, calcula-se o vetor méda e a matrz de covarânca para cada grupo e essa nformação é utlzada em um algortmo top-down para gerar dos novos grupos. Cada grupo é verfcado para ver se ele contém apenas uma classe. Se sm, esse nó é rotulado como um termnal, se não, o procedmento anteror é repetdo. Destaca-se, fnalmente, o método branch-and-prunnng (ramo e poda), o qual fo desenvolvdo para obter soluções ótmas para problemas combnatóros sem que seja necessáro recorrer a buscas exaustvas, garantndo que o subconjunto de feções seleconadas seja o melhor dentre todas as combnações possíves. Nesse método, dado que t é um nó em uma árvore, defne-se como ramo da arvore em t, ao segmento de t formado pelo nó t, e todos os seus descentes; Podar um ramo t consste em remover da árvore o nó t e todos os seus descentes, de forma que a árvore fnal seja formada por - t. O prncpal problema desse método é que o número 7

38 de árvores a ser testado é geralmente muto grande, so que a melhor árvore pode mesmo nem exstr. No capítulo 3 é apresentada a metodologa do CDA utlzado nessa dssertação em conjunto com o método para extração de feções baseado em um caso especal da otmzação da dstânca de Bhattacharyya. A segur, é dada uma breve explanação sobre o processo de extração de feções através da Análse de Dscrmnante Canônca, a qual é utlzada em conjunto com o CDA proposto. ambém é abordado um processo para seleção de feções em conjunto um classfcador de estágo únco. Assm, essas duas técncas são utlzadas nos expermentos fnas com o objetvo de comparar a metodologa proposta com os métodos mas convenconas de classfcação. 8

39 3 MEODOLOGIA 3. Introdução Em sensoramento remoto, magens obtdas por sensores hper-espectras produzem um conjunto de meddas em dferentes regões do espectro eletromagnétco (bandas espectras) que exprmem, em termos de radânca, a energa eletromagnétca refletda e/ou emtda pelos elementos de cobertura do solo na cena mageada. Nos dados magem, os valores de radânca espectral em cada pxel ndvdual podem ser convenentemente organzados na forma de um vetor de observações com dmensão gual ao número de bandas espectras dsponíves no sstema. O processo de classfcação consste em rotular cada pxel ndvdual, defndo pelo seu vetor de observações, atrbundo-o a uma das classes exstentes. Deve-se notar que o referdo vetor de observações é uma varável aleatóra, com uma dstrbução descrta por uma função densdade de probabldade multvarada. Os parâmetros nessa função densdade devem ser estmados para cada classe ndvdualmente, e o problema de reconhecmento de padrões torna-se um problema clássco de teste de hpóteses. Neste capítulo, é ncalmente revsto o problema de decsão envolvo duas classes, o qual pode ser posterormente estdo para o problema mult-classe. 3. O Classfcador de Bayes Dado um vetor de observações X, a regra de classfcação de Bayes fornece um crtéro de decsão para fns de alocação de um ndvduo a uma determnada classe. Uma regra de decsão baseada smplesmente nas probabldades de X pertencer a cada uma das classes pode ser escrta da segunte forma (Fukunaga, 990): X ω se p( ω / X ) > p( ω j / X ) j () Onde p(ω /X) é a probabldade a posteror de ω dado X. A probabldade a posteror p(ω /X) pode ser obtda de uma forma convenente, utlzando o teorema de Bayes: 9

40 p( ω / X ) = p ( X / ω ) p( X ) P( ω ) Onde p(x) é a função densdade ponderada das duas classes, ou função mstura de densdade, P(ω ) é a probabldade a pror da classe ω e p(x/ω ) é a probabldade condconal de X dado que pertence à classe ω. Nesse caso, a regra de decsão () pode ser escrta como: p X ω Caso contraro, X ω. ( X ω ) P( ω) p( X / ω ) p( X ) p( X ) P( ω ) > () / Como p(x) é postva e comum a ambos os lados da desgualdade (), a regra de decsão pode ser smplfcada para: / ω ω ω ω X ω ( X ) P( ) p( X / ) P( ) p > (3) Caso contráro, X ω. A regra de decsão (3) pode ser expressa de uma outra forma por: X ω ( X / ω ) P( ω ) ( X / ω ) P( ω ) p l ( X ) = > (4) p Caso contráro, X ω. O termo l(x) é denomnado de razão de verossmlhança e é a quantdade básca no teste de hpóteses. Nesta expressão, a razão entre as duas probabldades a pror faz a função de um lmar (threshold) para a razão de verossmlhança no processo de decsão. As regras de decsão (3) e (4) não serão alteradas se ambos os membros forem substtuídos por funções monotoncamente crescentes dos mesmos. Para o caso de dados apresentando uma dstrbução normal multvarada, torna-se mas prátco, especalmente para fns computaconas, empregar a função logartmo natural (ln) como mostrado abaxo. X ω ln ( l ( X ) ) = ln p( X / ω ) ln p( X / ω ) < P( ω) ln P( ω ) Para o caso mult-classe, assumndo-se probabldades a pror guas, esta regra de classfcação pode ser escrta como: 30

41 ( X ) > l ( X ) j X ω l (5) O classfcador em (4) mplementa uma abordagem probablístca ao processo de classfcação. A probabldade de erro ε neste caso pode ser estmada por: ε = P( ω j ) p( X / ω) dx + P( ω ) p( X / ω ) dx = P( ω) ε + P( ω ) L L ε Onde L e L são as regões de domíno das classes ω e ω, respectvamente. O classfcador Bayesano é um classfcador ótmo no sentdo de que mnmza a probabldade de erro. Esta probabldade mínma de erro é conhecda como erro de Bayes. A Fgura 3. lustra o caso undmensonal dessa regra, onde o erro bayesano dado pelo lmar t é o menor possível, conforme a fgura, ε = A + B + C. Caso seja tomado qualquer outro lmar, dgamos t, a regão de erro sob as duas curvas é aumentada pela quantdade D, so assm maor que o erro de Bayes. Fgura 3. A regra de decsão de Bayes (herren, 989) A abordagem anteror, contudo, é baseada mplctamente no entmento de que a perda ou penaldade que se ncorre por um erro de rotulagem de pxel seja constante e gual para todas as classes. Para desenvolver o método geral, é necessáro ntroduzr o conceto de uma função de penaldade, ou função perda: λ ( k), k =,... M Essa é uma medda de penaldade ncorrda quando se rotula erroneamente um pxel como pertencente à classe ω quando na realdade ele pertence à classe ω k. A função perda total ou rsco, estma a penaldade total que se ncorre ao rotular um pxel X na classe ω : L X M ( ω ) = λ( k ) p( ω k / X ) k = 3

42 3 So M, o número total de classes no processo. A função rsco pode ser expressa de uma forma mas adequada fazo uso do teorema de Bayes: ( ) ( ) ) ( ) / ( ) ( j M k j X P X p k X p L ω ω ω λ = = (6) A regra de decsão Bayesana consste em rotular X de forma a mnmzar a perda total (ou rsco) L X (ω ). A utlzação de (6) requer uma defnção com relação às funções perda λ( k). Uma escolha, freqüentemente sugerda na lteratura, consste em atrbur um mesmo valor para todos os possíves erros de rotulagem e zero para o acerto, sto é: λ( k) = 0 se k = λ( k) = se k Nesta suposção a função perda total (6) fca: ( ) ) ( ) / ( ) ( j M j j j X P X p X p L ω ω ω = = A estratéga bayesana consste em mnmzar L X (ω ) ou equvalentemente maxmzar uma função decsão G (X): G (X) = - L X (ω ) Isto é, o rótulo para X é escolhdo de forma a maxmzar G (X). So que p(x) ndepe de ω, a função decsão pode ser escrta como: ) ( ) / ( ) ( j M j j j P X p X G ω ω = = (7) So o conjunto das M classes exaustvo, pode-se escrever em geral: ) ( ) / ( ) ( ) / ( ) ( ) / ( ) ( j M j j j j M j j P X p P X p P X p X p ω ω ω ω ω ω = = + = = Então:

43 M j= j p( X / ω ) P( ω ) = j j p( X ) p( X / ω ) P( ω ) Substtundo em (7) e lembrando que p(x) ndepe de ω, pode-se escrever a função decsão como: G (X) = p(x / ω ) P(ω ) (8) A função decsão (8) é conhecda como função dscrmnante da máxma verossmlhança. Assm, a regra da máxma verossmlhança atrbu um vetor de observações X a uma classe ω, se e somente se, o valor da função dscrmnante G (X) for maor que o valor de G j (X), sto é: ( X ) > G ( X ) j X ω G (9) A expressão acma é usualmente conhecda como a regra ncondconal da máxma verossmlhança. Sabe-se que dados magem de cenas naturas podem ser adequadamente modelados por dstrbuções gaussanas multvaradas. Neste caso, a função densdade de probabldade assume a forma: p ( X ω ) = ( π ) exp n / j ( X M ) ( X M ) So n a dmensão dos dados (número de bandas espectras), M e respectvamente o vetor méda e a matrz de covarânca assocados à classe ω. Assm, substtundo-se na função dscrmnante G (X), o estmador quadrátco da Máxma Verossmlhança Gaussana na forma matrcal é dado por: G ( X ) = p( ω ) n ( π ) exp / ( X M ) ( X M ) A decsão do classfcador (0) não será alterada se for tomada como função decsão uma função monotoncamente crescente de G (X): G ( X ) = [ P( )] ln ( X M ) ( X M ) (0) ln ω () 33

44 A função () é a forma mas utlzada da função de decsão da Máxma Verossmlhança Gaussana. Na prátca, com freqüênca assumem-se guas valores para as probabldades a pror P(ω ). Nesse caso, a função () torna-se: G ( X ) = ( X M ) ( X M ) ln () 3.3 Estmação dos parâmetros das funções dscrmnantes Os parâmetros em um classfcador paramétrco são estmados a partr de um conjunto de amostras dsponíves para cada uma das classes envolvdas, as quas são denomnadas de amostras de trenamento. No caso do classfcador da máxma verossmlhança gaussana, a estmação da matrz de covarânca requer que o número de amostras de trenamento seja no mínmo gual à dmensão dos dados mas um, caso contráro, a matrz de covarânca resulta sngular. Esse número mínmo de amostras, entretanto, produz estmatvas pouco confáves para os parâmetros do classfcador, em especal para a matrz de covarânca. Uma regra smples proposta na lteratura estpula que o número de amostras de trenamento para cada uma das classes envolvdas deve ser da ordem de dez vezes maor do que a dmensão dos dados, para que as estmatvas amostras dos parâmetros do classfcador sejam acetáves. Na prátca, entretanto, o analsta geralmente não dspõe de um número sufcente de amostras para gerar boas estmatvas dos parâmetros em dados magem hper-dmensonas, so necessáro recorrer aos métodos para redução de dmensão dos dados que sejam mas efcazes, como os que serão abordados a segur. 3.4 Métodos para redução de dmensões Um problema freqüentemente encontrado no processo de classfcação de magens dgtas em sensoramento remoto consste no número mutas vezes nsufcente de amostras de trenamento para a estmação dos parâmetros do classfcador. A coleta de amostras em campo tem um alto custo fnancero e em algumas vezes nvablza a realzação do projeto. É necessáro assm, encontrar metodologas que produzam melhores resultados de classfcação frente à quantdade lmtada de amostras e ao número grande de parâmetros a serem estmados. 34

45 Exstem duas abordagens geras para fns de redução da dmensão nos dados de magens. A prmera delas é por seleção de feções e a segunda é por extração de feções. Nesta dssertação é nvestgada a utlzação do crtéro da otmzação da dstânca de Bhattacharyya (ODB) e de prncípos da Análse de Dscrmnante Canônca (ADC) para fns de extração de feções em um CDA em estrutura bnára. A efcênca dessa metodologa para redução da dmensão dos dados é então comparada a um processo clássco de redução de feções va seleção de feções, o Sequental Forward Selecton (SFS) Seleção de Feções As técncas para seleção de feções geralmente empregam um algortmo de busca e uma função crtéro de decsão. O algortmo de busca gera e compara possíves soluções, sto é, subgrupos de feções, aplcando uma função crtéro de decsão como uma medda de adequacdade da solução. Segundo Serpco et al. (995), é dto que uma busca exaustva pela solução ótma é probtva do ponto de vsta computaconal, mesmo para um número moderado de feções. Incalmente são usadas todas as bandas orgnas e, especfcando-se um número desejado de feções menor que a dmensão total, aquelas que não contrbuem para a dscrmnação das classes são removdas. Um crtéro usualmente empregado é a separação entre as classes. Se a remoção de uma banda, ou de um conjunto de bandas, não dmnur o valor dessa medda de separação substancalmente, então esta banda será redundante Sequental Forward Selecton Dentre os város métodos para seleção de feções conhecdos, uma metodologa smples e amplamente utlzada é aquela denomnada de Sequental Forward Selecton (SFS). Suponhamos que se quera seleconar N bandas de um total de M dsponíves. Na metodologa SFS, ncalmente é seleconada entre todas as M bandas aquela que melhor dscrmna as classes envolvdas, de acordo com alguma medda de separação. Essa prmera banda não será mas descartada e fará conjunto com a próxma banda seleconada dentre as M- dsponíves, e assm por dante, até que sejam seleconadas as N bandas desejadas. Nesse trabalho a medda utlzada fo a 35

46 otmzação da dstânca de Jeffres-Matusta para o problema mult-classe, a qual é dada por (Serpco et al, 995): J Bh = M = j> P ( X / ω ) P( X / ω ) j J j Deve-se consderar que a seleção ótma de feções envolve uma busca exaustva envolvo todas as feções, resultando em um alto custo computaconal, prncpalmente no caso de dados hper-espectras Extração de Feções A extração de feções envolve a transformação das bandas orgnas em um número reduzdo de feções, enquanto mantém a separação das classes tanto quanto possível. Essa transformação é geralmente lnear e baseada em algum crtéro de otmzação. Na próxma seção é abordada brevemente a metodologa para extração de feções através da Análse de Dscrmnante Canônca, e a segur, a otmzação da dstânca de Bhattacharyya, so essa últma explorada em detalhes para todos os possíves casos especas Análse de Dscrmnante Canônca A Análse de Dscrmnante Canônca utlza o quocente da matrz de dspersão entre-classes b sobre a matrz de dspersão ntra-classes função de crtéro e calcula um vetor d que maxmze: Onde, d d b é a matrz de dspersão entre-classes, defnda por: b w d d w como uma b = L = α ( M M )( M M ) 0 0 w é a matrz de dspersão ntra-classes, tal que: w = L = α 36

47 e α são a matrz de covarânca e a probabldade a pror da classe, respectvamente. L é o número total de classes e M 0 é o vetor méda, defndo por: M L 0 = α = M Embora a análse de dscrmnante tenha uma performance boa para a maor parte dos casos, o número de feções fornecdo por essa abordagem é lmtado e gual ao mínmo entre o número de classes menos um e o número de varáves menos um, sto é: Número de feções pelo método ADC = mn(l-, dm(m -)) Assm, para um problema envolvo L classes e M feções, com M > L, podem ser extraídas somente (L-) feções. Outro aspecto é que se os vetores de médas são muto próxmos, ou guas, a extração de feções não é possível. Por últmo, para o caso mult-classe, se uma classe tem vetor méda muto dferente das outras classes, a matrz de dspersão entre-classes é envesada para essa classe, resultando em feções nefcentes Meddas estatístcas de separação entre classes Nessa seção, será apresentada uma ntrodução sobre duas meddas de separação entre classes relaconadas, conhecdas como Dvergênca e dstânca de Bhattacharyya. Para essa últma, é apresentada sua forma geral e gaussana Dvergênca A razão de verossmlhança pode ser consderada como uma estatístca, so o logartmo da razão de verossmlhança dado por: p( X / ω) Λ ( X ) = ln, p( X / ω ) Essa medda pode ser descrta com o par de funções densdade de probabldade lustrados na Fgura 3., conforme exposto por herren (989). Em uma regra de decsão empregando o logartmo da razão de verossmlhança, comparado a um 37

48 lmar τ, a probabldade de erro será menor quando as funções densdade forem bem separadas entre s, e maor caso contráro. Fgura 3. Funções densdade típcas para o logartmo da razão de verossmlhança (herren, 989) Uma medda de separação entre classes baseada na dferença entre as médas η e η, defnda por D, está lustrada na Fgura 3.. Essa quantdade é conhecda como Dvergênca. A Dvergênca é formalmente defnda como a esperança da probabldade condconal de X, dada uma classe, de forma que: Então, substtundo-se Λ ( X ) pela sua defnção, a Dvergênca pode ser reescrta como: D = E [ Λ( X ) ω ] E Λ( X ) [ ] ω ( X / ω ) ( X / ω ) ( X / ω ) ( X / ω ) p p D = ln p( X / ω ) dx ln p( X / ω )dx p p 38

49 Dstânca de Bhattacharyya: Forma Geral Outra medda de separação entre classes muto utlzada é a dstânca de Bhattacharyya, defnda como: B = ln p( X / ω ) p( X / ω ) dx ( A Fgura 3.3 mostra um par típco de funções densdade p X / ω ) e ( p X / ω ). Para nterpretar a dstânca de Bhattacharyya, note que se as funções orgnas estão bem separadas e a probabldade de X com respeto à classe for alta, a probabldade de X com respeto à classe j será muto próxma de zero. Assm, o produto p X / ω ). p X / ω ) terá a zero e B a mas nfnto, pos lm( ln( X )) = +. Por ( ( outro lado, se as densdades se sobrepõem, então o produto das duas densdades terá a e B a zero, pos lm( ln( X )) = 0. X X 0 Fg 3.3 Exemplo típco de separação entre duas funções densdade (herren, 989) A dstânca de Bhattacharyya é nvarante frente a uma transformação lnear do vetor X e também é adtva quando os componentes de X são ndepentes, sto é, pode ser expressa como uma soma dos termos smlares com cada termo envolvo somente uma das componentes de X. Em adção a sso, se J ω, ω ) representa a m ( dstânca entre as duas classes baseada em uma feção X com m componentes, então as seguntes propredades métrcas de uma função dstânca são apropradas: J J m ( ω ω ω, ω ) > 0; m ( ω, ω) = J m ( ω, ω ) = 0 J m ( ω, ω ) = J m ( ω, ω) 39

50 40 as propredades não satsfazem a desgualdade trangular e, assm não podem ser classfcadas como funções verdaderas de dstâncas. Contudo, ambas satsfazem a propredade adconal: ), ( ), ( ω ω ω ω + m m J J Dstânca de Bhattacharyya: Forma Gaussana Embora não seja trval, a forma da dstânca de Bhattacharyya, sob a suposção de normaldade dos dados, pode ser obtda através da seqüênca de procedmentos a segur. Consderando-se a função densdade gaussana e aplcando-a dretamente na equação da dstânca de Bhattacharyya, se obtém: = dx X p X p B / / ) / ( ) / ( ln ω ω ( ) ( ) ( ) ( ) [ ] dx M X M X M X M X B m + = / 4 4 / / 4 exp ) ( ln π (3) O termo exponencal pode ser expanddo e reescrto como: ( ) ( ) ( ) ( ) [ ] 4 M X M X M X M X + [ ] 4 M M X M X X M M X M X X = [ ] C M M X M X X p p p p p p + + = (4) Onde, ( ) + = p ( ) M M M p p + = ( ) p p p M M M M M M C 4 + = (5)

51 Então, de acordo com (4), a equação (3) pode ser escrta como: / C B = ln e / 4 / 4 exp ( X M ) ( X M ) p p p m / / ( π ) p p dx = C + ln / p / Desde que sua ntegral seja gual a. Pode ser mostrado através de manpulações algébrcas que C tal qual defndo pela equação (5) se reduz a: E que: C = 8 ( M M ) ( M M ) + / / p = ( + ) / A forma fechada para a expressão da dstânca de Bhattacharyya para dados com dstrbução gaussana pode então ser lda como: / B = 8 ( M M ) ( M M ) + + ln ( + ) / / (6) Onde o prmero termo da expressão (6) à dreta estma a contrbução dos vetores méda na separação das duas classes e o segundo estma a contrbução das matrzes de covarânca. Note que quando as matrzes de covarânca para as duas classes são guas, a dstânca de Bhattacharyya (B), e a dstânca da Dvergênca (D) são meddas equvalentes, tal que: ( M M ) ( M ) D = 8B = M Essa quantdade é também reconhecda como a dstânca de Mahalanobs entre duas classes. 4

52 3.5 Extração de feções va otmzação da dstânca de Bhattacharyya O método proposto para fns de extração de feções, mplementa uma transformação lnear cujo crtéro é o de otmzar a separação entre duas classes pelo crtéro da dstânca de Bhattacharyya. A otmzação da dstânca de Bhattacharyya, entretanto, não é uma tarefa trval, pelo fato de estarem presentes dos tpos dferentes de funções: o traço e o determnante de matrzes. Dessa forma para esse estudo, conforme Fukunaga (990), são consderados casos sub-ótmos de otmzação dessa dstânca As matrzes de covarânca de ambas as classes são guas: = Quando as matrzes de covarânca são guas, a expressão (6) pode ser resumda ao prmero termo: B = 8 ( M M ) ( M M ) (7) Note-se que o produto no membro da dreta tem dmensão (x) e, portanto: B = tr 8 {( M M ) ( M M )} Dadas duas matrzes A e B, sabe-se que tr ( A. B) = tr( B. A). Aplcando-se em (8) tem-se: (8) _ = tr 8 ( M M )( M M ) B (9) No membro da dreta da equação (9), observa-se que ( M M )( M M ) é uma matrz (n x n) gerada pelo produto de um vetor por s própro, to portanto rank =. Neste caso, ( M M )( M M ) matrz (n x n) com rank =, sto é, apenas um autovalor dstnto de zero: λ 0, λ = λ3 =... = λn = 0 Então, de (8) tem-se: também é uma B = λ 8 4

53 E, autovetor e de λ ( M M ) ( M ) = M Portanto, no espaço das feções, B está alnhado segundo o prmero ( M M )( M M ), assocado ao prmero autovalor. Esta é, portanto, a dreção da feção que maxmza B entre duas classes. Dado um vetor X no espaço das feções, com dmensão (n x ), a feção ótma Y no sentdo de máxma separação entre duas classes pelo crtéro da dstânca de Bhattacharyya (B ) pode ser obtdo projetando-se X sobre e : Y = (x) e. X (xn) ( nx ) Y = ( M M ) (xn) X ( nx) A dreção de e pode ser obtda da segunte forma: do problema geral de autovalores/autovetores em uma matrz genérca M: M. e = λ e. No presente caso: = ( M M M )( M M ) Então: ( M M )( M M ). e = e.( M M ) ( M M ) E, portanto: Assm, a feção ótma é: e = M ( M ) Y = ( ( M M ) ). X 43

54 3.5. Os vetores méda de ambas as classes são guas: µ = µ Somente o segundo termo da dstânca de Bhattacharyya permanece, a contrbução das dferenças entre matrzes de covarânca. B = ln X + X X X B = 4 [ ln + + I ln(4) ] X X X X n (0) Onde, os subscrtos e ndcam as duas classes e o subscrto X ndca que a matrz de covarânca é estmada no espaço das feções orgnas X. O objetvo aqu consste em encontrar uma transformação lnear que maxmze a separação entre um par de classes. A forma geral de uma transformação lnear é dada por: Y = A X So, X o espaço das feções orgnal, Y o espaço transformado, e A uma matrz ortogonal que realza a transformação. Pode-se mostrar que a matrz de covarânca no espaço transformado ( Y ) está relaconada com a matrz de covarânca no espaço orgnal ( X ) por: Y = A X A No espaço transformado, a expressão (0) fca: ( ) B = ln ( ) ( ) + ( ) ( ) + ln(4) A X A A X A A X A A X A I n Y o termo: A transformação lnear A que maxmza B pode ser obtda maxmzando-se ( A A) ( A A) + ( A A) ( A A) I J ( n) = ln X X X Maxmzando-se J(m): 44 X + Ou reto-se apenas m componentes (m < n): ( ) m = ln ( A ) ( ) + ( ) ( ) + X A A X A A X A A X A I m J ()

55 J m) = * A [ ] [{ A A } + { A A }] = 0 ( X Y Y Y X Y X Y Y Y X Y () So, ( A A) ( A A) + ( A A) ( A A) [*] = X X X X termo em (): Para tornar J ( m) A nulo, deve-se anular ambas as parcelas no segundo A A 0 (3) X Y Y Y X Y = A A 0 (4) X Y Y Y X Y = Pré-multplcando ambos os membros em (3) por X e pós-multplcando por Y, tem-se que: A Y Y = X X A (5) Pré-multplcando-se ambos os membros de (5) por X e pósmultplcando-se por Y, tem-se que: A ( ) = ( )A Y Y X X (6) So A ortogonal, A = A e lembrando que: Y = A X A Assumndo uma matrz de transformação A comum para ambos X e X : = A Y X A e = A Y X A (7) E, Y ( A A) = A A = (8) X Multplcando (7) por (8): X ( ) = A ( )A Y Y X X Conclu-se que a matrz A é a matrz de autovetores de. X X De uma manera smlar pode-se mostrar que: 45

56 ( ) = A ( )A Y Y X X Isto é, A é a matrz de autovetores de. X X Assm, as condções de (3) e (4) são satsfetas pela mesma matrz A, resultando que a matrz A satsfaz a condção de mínmo (). Note que ( ) e ( ) ( ) = ( ) X X X X X X são relaconadas na forma X X. Ambas compartlham a mesma matrz de autovetores e as correspondentes matrzes de autovalores são uma a nversa da outra. Conclu-se que tomando A como a matrz de autovetores de ( ), temse um ponto de extremo, sto é, a condção de mínmo é atngda e X X J ( m) = zero. A A matrz A mplementa uma transformação que maxmza a dstânca de Bhattacharyya entre duas classes no caso de vetores de médas dêntcos. Nesse caso, a redução de dmensões pode ser atngda tomando-se um número menor de componentes (m) no espaço transformado. Um prmero caso para um problema n-dmensonal, é quando ambas as classes possuem mesmo vetor méda, sto é, µ = µ. Prmero selecone m (m < n) autovetores de ( X X ) ( ) X X devem ser seleconados.. Então, a questão a ser formulada é quas m < n autovetores de Note que = ( ) Assm, X X X X. Em geral, A A = Λ e ( A A) = Λ A A = Λ Conclu-se que a matrz de autovetores de ( X X ) autovalores de ( X X ) J ( n) = ln{ ( A X A) ( AX A) + ( A X A) ( A X A) ( A X A) + I } é a nversa da matrz de. A função crtéro () pode então ser re-escrta como: { A AA A + A AA A + I } = ln X X X X (9) 46

57 { + I } = ln X X X X + = ln = ln { Λ + Λ I } + { Λ + Λ + I } Como em uma matrz dagonal o determnante é gual ao somatóro dos elementos ao longo da dagonal, segue que: J n ( n) = = ln λ + + λ O objetvo aqu consste em reduzr a dmensão dos dados com perda mínma de nformação. Adota-se então a estratéga de seleconar os m < n autovetores λ que geram os m maores valores para a expressão acma de J(n), sto é, os m maores termos λ + +. λ Dstntos vetores méda e matrzes de covarânca: µ µ e Para o caso geral, quando temos ambas as componentes da dstânca de Bhattacharyya dferentes, sto é, µ µ e, não há solução ótma. Dessa forma é necessáro analsar qual dos termos apresenta dferenças domnantes e adotar um dos seguntes procedmentos sub-ótmos A dferença domnante ocorre entre os vetores méda µ e µ Nesse caso, pode-se propor uma abordagem mplementando seletvamente ambos os crtéros anterores. Este procedmento pode ser sumarzado pelas seguntes etapas: a) Extrar uma feção conto a contrbução devdo à dferença entre as médas. Para sso, calcular os autovetores ϕ e autovalores λ de ( M )( M M ) M, 47

58 onde somente λ 0. vetores méda. Utlze o correspondente ϕcomo a prmera feção y, dada por: y = ϕ X Esta feção y captura toda a separação dsponível pela dferença entre os b) Mapee X na dreção dos (n ) autovetores restantes y = X =,3,, n. ϕ Estas feções não contrbuem para a separabldade devda à dferença entre médas (B ), mas contém a contrbução devdo à dferença entre as matrzes de covarânca (B ). ( ) Y Y λ + +. λ c) Otmze B no espaço (n )-dmensonal, sto é, no espaço Y, calculando. A segur calcule seus autovalores e autovetores λ, ϕ, com =,, n. d) Selecone os m autovetores ϕ que estão assocados com os maores e) Mapee Y em Z, tal que: Z = Y, =,, m. ϕ f) As (m+) feções ótmas segundo o crtéro da dstânca de Bhattacharyya são, portanto: y, z, z,, z }. { m A dferença domnante ocorre entre matrzes de covarânca e Novamente aqu, pode-se propor uma abordagem que mplementa seletvamente ambos os crtéros anterores. Nesse caso, a déa é utlzar estas dreções para extrar as feções, mas seleconando aquelas que apresentam não somente alto valor para contrbução da componente B, mas também a contrbução de B, sto é, das médas. Este procedmento pode ser sumarzado pelas seguntes etapas: a) Calcular Φ, a matrz de autovetores de ( ) 48. X X

59 b) Calcular a matrz de autovalores Λ de ( ). X X c) Aplcar a transformação Y = Φ X d) No sstema Y, a dstânca de Bhattacharyya é dada por: B Y = { ϕ ( µ µ )} n + ln λ + + ( ) = ln λ 4 λ (30) Na equação (30), o segundo termo no membro da dreta é o crtéro para extração de feções com base na contrbução da dferença entre covarâncas e o prmero termo nclu a contrbução da dferença entre médas. e) Seleconar os m autovetores de ( ) maores autovalores de B Y. X X que correspondem aos m 3.6 Classfcadores em estágo únco e múltplo-estágo A Fgura 3.4 lustra a metodologa tradconal utlzada para classfcação de padrões. A função de decsão G (X) é estmada para cada uma das classes envolvdas no processo, so então o vetor X atrbuído à classe vencedora.,,..., n... n Fgura 3.4 Classfcador em estágo únco Esse classfcador, que mplementa a função de decsão () smultaneamente para todo o conjunto das classes envolvdas é denomnado de classfcador em estágo únco. Nesta abordagem, o processo de classfcação é efetuado de uma forma global, sto é, consderando todas as classes em uma únca etapa. Esse fato tem uma conseqüênca dreta no problema de seleção das feções a serem empregadas no processo de classfcação, sto é, as feções seleconadas devem satsfazer a um crtéro de otmzação global na performance do classfcador, consderando-se smultaneamente todas as classes envolvdas. 49

60 Uma outra possível abordagem para os casos mult-classe consste no uso dos classfcadores herárqucos, onde o problema global é dvddo em etapas, envolvo um número menor de classes a cada etapa. Nessa abordagem, no processo de classfcação de cada ndvduo, somente um subconjunto de classes é consderado a cada etapa. O Classfcador de Decsão em Árvore (CDA) é um tpo especal de método de classfcação em estágo múltplo, ou classfcador herárquco. Uma das característcas desse classfcador é que ele permte a rejeção de classes em estágos ntermedáros, smplfcando a solução fnal do problema, pos cada padrão só precsa ser comparado com um conjunto reduzdo de classes. No caso de dados em alta dmensão, como em magens hper-espectras, esse aspecto assume especal relevânca, pos permte seleconar a cada etapa o subconjunto de feções com maor poder dscrmnante relatvo ao subconjunto de classes consderadas. Esse processo também permte otmzar o método de redução na dmensão dos dados va seleção ou extração de feções, reduzndo os efetos do fenômeno de Hughes. raíz nível 0 t-ésmo nó C(t) F(t) D(t) nível.... nível (m-) k j termnas (rótulos das classes) C(t) subconjunto de classes no t-ésmo nó F(t) subconjunto de feções no t-ésmo nó D(t) regra de decsão no t-ésmo nó Fgura 3.5 Classfcador de decsão em árvore (Safavan, 99) 50

61 Safavan (99), defne a estrutura geral de um CDA conforme o esquema apresentado na Fgura 3.5. Nessa estrutura, a raz da árvore é apresentada no nível zero por um únco nó, conto todos os padrões não dscrmnados pertencentes às n classes. Cada nó t é composto por uma terna (C(t), F(t), D(t)), onde D(t) representa a regra de decsão que utlza o subconjunto de feções F(t) para dscrmnar os padrões contdos no nó t entre as C(t) classes. Esse processo é repetdo ao longo dos ramos da árvore, até que não seja mas possível dscrmnar as amostras entre s. Neste caso, o nó torna-se um nó termnal e recebe um rótulo correspondo a uma classe específca. Recentemente, adjudn e Landgrebe (998) propuseram um algortmo para CDA na forma bnára, smlar ao que será adotado nessa dssertação. Dferentemente do exemplo geral lustrado na Fgura 3.4, esse método consdera apenas um par de classes a cada nó, subdvdndo todas as classes presentes em um nó em apenas dos subconjuntos de classes, smlares ao par escolhdo. Dessa forma, o CDA bnáro pode ser resumdo nas seguntes etapas: classes; a. Defnr um crtéro para estmar o grau de separação entre pares de b. Seleconar o par que apresentar a maor separação. Estmar o vetor méda e matrz de covarânca para estas duas classes e utlzá-los como estatístcas. Estas estatístcas servrão para defnr os dos nós subseqüentes (esquerdo e dreto). c. Classfcar as amostras em um dos dos nós utlzando a regra de decsão da Máxma Verossmlhança Gaussana (): Então: Onde, G ( X ) = ln ( X M ) ( X M ) n L X se G ( X ) G ( X ) nl < = nl e n R, representam o nó esquerdo e dreto, respectvamente; X: amostra com p feções; M : méda amostral estmada do nó ; : matrz de covarânca estmada no nó ; nr 5

62 d. Se desse processo de classfcação resultar que o número de amostras pertencentes a uma determnada classe supera um lmar prevamente estabelecdo, a classe é consderada como pertencente a este nó e a totaldade de suas amostras são atrbuídas a este nó. Caso contráro, a classe é atrbuída a ambos os nós descentes. Esse processo contnua até que os nós termnas sejam atngdos. O método para delneamento do CDA descrto acma tem as seguntes característcas desejáves:. Em se utlzando uma abordagem top-down, na qual a raz da árvore consste de um grupo pré-defndo de classes, o CDA garante que as classes têm valor nformaconal, sto é, os nós termnas corresponderão a classes conhecdas;. Separando-se prmero as classes com maor dstânca, a ocorrênca de sobreposções de classes pode ser reduzda, dmnundo-se assm o tamanho da árvore;. Utlzando duas classes, ao nvés de dos subgrupos de classes, evta-se o problema de emparelhamento, que é a unão de duas classes em uma só. Em adção a sso, desde que as classes são assumdas como normalmente dstrbuídas, a regra de classfcação da Máxma Verossmlhança Gaussana pode ser prontamente aplcada como uma regra de dvsão do nó; v. Na estrutura do CDA bnáro, somente duas classes são consderadas em cada nó. Essa estrutura apresenta a notável vantagem de permtr a utlzação dreta de dstâncas estatístcas como, por exemplo, a dstânca de Bhattacharyya, no processo de seleção de feções, a qual não sera vável no caso de múltplas classes. No capítulo 4, serão mplementados os expermentos com a aplcação da otmzação da dstânca de Bhattacharyya para esse últmo caso, onde a dferença predomnante se dá entre as matrzes de covarâncas. Esse método será usado em conjunto com o CDA em estrutura bnára, de forma a possbltar o uso da otmzação da dstânca de Bhattacharyya entre pares de classes. A escolha dessa otmzação específca é devda às característcas espectras das classes escolhdas para análse, as quas possuem vetores de médas muto semelhantes e matrzes de covarâncas dstntas. Dessa forma, utlzando dados hperespectras do sensor AVIRIS, procurou-se obter uma melhor separação entre as classes com base na contrbução predomnante das dferenças entre as matrzes de covarâncas. 5

63 4 EXPERIMENOS 4. Introdução Neste capítulo são descrtos e analsados os expermentos realzados de acordo com a metodologa proposta no capítulo 3, sto é, a classfcação de dados magem hper-espectras, empregando um classfcador de decsão em árvore (CDA) com estrutura bnára e redução na dmensão dos dados em cada nó por meo de um processo de extração de feções sob o crtéro de otmzação da dstânca de Bhattacharyya no caso especal de dferença predomnante entre as matrzes de covarâncas. Os expermentos foram desenvolvdos empregando-se dados magem em alta dmensão, cobrndo uma área teste no Estado de Indana (USA). Na cena mageada estão presentes classes espectralmente muto semelhantes, sto é, classes que apresentam vetores de méda muto semelhantes entre s, so portanto de dfícl separação. O desenvolvmento desse capítulo nca com a apresentação dos dados sobre a magem hperespectral utlzada. A segur, são defndas as característcas do CDA com estrutura bnára e o crtéro de pertnênca das classes em cada nó. Incalmente fo nvestgada a estrutura do CDA mas adequada aos dados utlzados, sto é, aquela que produzu a acuráca mas elevada. Nesse procedmento ncal, fo empregada a cena ntera, com as ses classes dsponíves. Os demas expermentos foram desenvolvdos em uma área mas restrta utlzando cnco classes, devdo ao fato de uma das classes não possur amostras sufcentes para os testes com amostras de tamanho gual a 500. Nesses expermentos fo empregado o mesmo número lmtado de amostras para todas as classes, a fm de solar possíves fatores de varação na comparação entre as metodologas vsando a redução na dmensão dos dados. O tamanho dos conjuntos de amostras de trenamento utlzados fo gual a 500, 350, 50, 00 e 70. Com sso, buscou-se verfcar a evolução gradual do comportamento das metodologas de classfcação testadas. A efcênca da metodologa proposta nesta dssertação é avalada comparandose os resultados obtdos com aqueles produzdos por outros métodos bem conhecdos de classfcação para redução na dmensão dos dados. Desta forma, os expermentos foram repetdos empregando-se um CDA com extração de feções em cada nó va técncas de Análse Dscrmnante Canônca e também um classfcador em estágo únco com redução na dmensão dos dados va seleção de feções. Nesse ultmo caso, fo empregado o processo conhecdo como Sequental Forward Selecton (SFS). 53

64 No fnal do capítulo são fetas as consderações sobre o tempo de processamento das metodologas em função da dmensão utlzada para classfcação. Para a mplementação de todos os expermentos, fo utlzada a lnguagem do aplcatvo comercal MALAB, so que as rotnas desenvolvdas estão nserdas nos anexos fnas. 4. Dados sobre a magem utlzada Os expermentos foram realzados utlzando-se dados do sensor AVIRIS, o qual captura 4 bandas espectras com a largura 0nm cada, cobrndo uma regão do espectro eletromagnétco que se este de 0.4 µm a.5 µm em comprmento de onda (λ). Os dados magem são, portanto, dados em alta dmensão (dados hper-espectras). A cena compree uma área teste da Purdue Unversty, mostrando uma regão agrícola no Estado de Indana, USA. As Fguras 4.a e 4.b lustram respectvamente uma composção colorda (RGB) produzda com três bandas espectras da magem analsada e o mapa temátco com a verdade terrestre. Fgura 4.a Imagem hper-espectral AVIRIS Fgura 4.b Verdade terrestre das classes Em especal, cnco classes de culturas agrícolas foram analsadas nesse trabalho por apresentarem alta semelhança espectral, consttundo-se em um desafo maor para o classfcador. A Fgura 4. lustra o alto grau de semelhança entre as curvas de resposta espectral das cnco classes, as quas se referem a três tpos de manuseo do solo para o planto de mlho e dos tpos de manuseo para o planto de soja. 54