Estimação de Pesos Para Amostras Semi-Rotuladas em Classificadores Paramétricos. Atilio Efrain Bica Grondona¹ Vitor Francisco de Araújo Haertel¹

Transcrição

1 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7332 Estiação de Pesos Para Aostras Sei-Rotuladas e Classificadores Paraétricos Atilio Efrain Bica Grondona¹ Vitor Francisco de Araúo Haertel¹ ¹ Universidade Federal do Rio Grande do Sul UFRGS/CEPSRM Caixa Postal Porto Alegre - RS, Brasil {atilio.grondona, victor.aertel}@ufrgs.br Abstract. In tis paper it is investigated a etodology aied at te estiation of te eigts to be assigned to sei-labeled saples in te training of paraetric classifiers en te nuber of training saples (pixels are too sall for te diensionality of te data (bands, and te estiates of ean vector and te covariance atrix are poor. Te proposed etodology includes to steps, te first step is only for estiate te eigt of te sei-labeled saples, and te second step is for refine te eigt estiated in te previus step. Initially it is investigated a procedure to estiate eigts based on te classifier s decision function, ere te sei-labeled saples are eigted according to probability of belongs to deterined class. Next, tese estiated are furter refined by eans of spatial context inforation, by use of te probabilistic relaxation to refine te eigt of tese sei-labeled saples. After tis refineent, te ean vector and te covariance atrix are reestiated, and te paraeters are used as input data in te paraetric classifier. Te etodology is tested by applying it to a set of yperspectral iage data. Tis data are fro test site ic ad several classes spectrally siilar, and is due tis caracteristic of te site ic is propitious to or it yperspectral sensors lie AVIRIS. Palavras-cave: classification, paraeter estiation, spatial context, classificação, estiação dos parâetros, contexto espacial. 7332

2 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p Introdução Dados e alta diensionalidade, coo por exeplo, aqueles disponibilizados por iagens iperespectrais apresenta u grande potencial na classificação de iagens de cenas naturais. Classes espectralente uito seelantes, isto é, classes que apresenta estatísticas de prieira orde (vetores de édias uito siilares pode ser separadas co u alto grau de acurácia e espaços de alta diensionalidade, sob a condição das atrizes de covariância difira significativaente entre s confore Fuunaga (990 e Landgrebe (2003. Dados e alta diensionalidade quando aplicados a classificadores paraétricos gera, entretanto, u núero grande de parâetros a sere estiados a partir das aostras de treinaento disponíveis (aostras rotuladas. E situações reais, entretanto se dispõe e geral de u núero apenas liitado de aostras para fins de treinaento e este fato resulta e estiativas pouco confiáveis para os parâetros do classificador. Esta dificuldade afeta particularente as estiativas para as atrizes de covariância, resultando no coportaento conecido coo fenôeno de Huges. A acurácia produzida por u classificador paraétrico tende inicialente a crescer na edida e que inforação adicional, isto é, novas variáveis são acrescentadas aos dados. E u deterinado ponto, a acurácia atinge u áxio para e seguida passar a decrescer, na edida e que a diensionalidade dos dados, isto é, o núero de bandas espectrais, continua a crescer. Este coportaento reflete a dificuldade e se obter estiativas confiáveis para u núero crescente de parâetros. Na literatura pode ser encontradas diferentes propostas visando iniizar este problea e desta fora apliar o uso de iagens iperespectrais na classificação de cenas naturais. E teros gerais, as etodologias propostas pode ser agrupadas e três categorias: análise discriinate regularizada, descrita por Friedan (989 e Aeberard et al. (984, redução na diensionalidade dos dados por seleção ou extração de variáveis, confore Fuunaga (990 e Serpico et al. (2002, e o eprego de aostras sei-rotuladas, de acordo co Sasaani e Landgrebe (994 e Jacson e Landgrebe (200. Este estudo se insere nesta últia abordage. Co esta finalidade, aostras sei-rotuladas são selecionadas inicialente e de ua fora iterativa durante o próprio processo de classificação, coo proposto por Jacson e Landgrebe (200 e Liczbinsi e Haertel (2008. Neste estudo, o processo de estiação dos pesos para as aostras sei-rotuladas é investigado e aiores detales. Este processo produz ua estiativa inicial dos pesos que é e seguida refinada por eio de inforações de contexto espacial. Na literatura se pode encontrar diferentes abordagens para fins de extração de inforações de contexto espacial, coo as propostas por Terrien (989 e Solberg (999. Ua das abordagens ais frequenteente epregada refere-se aos capos de Marov. Neste estudo se eprega u processo de relaxação. A etodologia investigada neste estudo é testada epregando-se dados iperespectrais coletados pelo sistea sensor AVIRIS sobre a área teste denoinada de Indian Pine, localizada no estado de Indiana, USA e o softare necessário foi desenvolvido e abiente MATLAB. 2. Metodologia de Trabalo A etapa inicial consiste na seleção de u certo núero de aostras sei-rotuladas e sua inclusão de ua fora ponderada na estiação dos parâetros do classificador. Neste estudo segue-se ua abordage siilar à proposta e Jacson e Landgrebe (200 e Liczbinsi e Haertel (2008, propondo-se u critério ais elaborado na estiação dos pesos das aostras sei-rotuladas. O classificador aqui epregado é o classificador de Bayes, cua expressão geral é dada por (Equação : 7333

3 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7334 G X = p( X / ω P( ω ( ( Sendo X o pixel a ser rotulado, p(x/ ω a função densidade de probabilidade condicional à classe ω, e P(ω a probabilidade a priori associada à esa classe. Na suposição de ua distribuição Noral ultivariada, a função de decisão ( assue a fora (Equação 2: t G ( X = exp ( ( ( p X µ Σ X µ P ω 2 2 (2π 2 (2 Σ Sendo µ e Σ respectivaente o vetor de édias e a atriz de covariância associados à classe ω, e p a diensionalidade dos dados. O peso,i associando o pixel X i à classe ω pode ser estiado pela probabilidade a posteriori p(ω / X i, a qual pode ser calculada por eio do teorea de Bayes (Equação 3: p( X / ωi P( ωi = p( ωi / X = (3 p( X / ω P( ω = e portanto (Equação 4: = G ( X = i G ( X (4 onde representa o núero de classes. Na prática esta abordage quando ipleentada diretaente pode apresentar dificuldades nuéricas, devido aos valores uito pequenos resultantes da parte exponencial e (2, gerando estiativas não confiáveis para os pesos e (3. Este problea é couente evitado epregando-se ua função onótona crescente de (2, ais especificaente a função logarito natural (Equação 5: t G ( X = Σ ( X µ Σ ( X µ i + ln P( ω (5 2 2 Ebora nuericaente ais adequada, esta alternativa apresenta a peculiaridade de que os valores resultantes resulta negativos. Para fins exclusivos de classificação dos pixels e ua iage, este fato não apresenta nenu inconveniente, pois a regra de classificação peranece inalterada: cada pixel é rotulado confore a classe que produz o aior valor para a função de decisão (5. Coo para todas as classes, os valores produzidos por (5 serão negativos, a classe vencedora será aquela que apresentar o enor valor absoluto. Esta peculiaridade inviabiliza, entretanto, o eprego direto da equação (3 para fins de estiação dos pesos. Neste estudo se propõe resolver este problea da seguinte fora. Inicialente valores são calculados para cada pixel, e cada ua das classes, aplicando a expressão logarítica da função de decisão G(X 7334

4 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7335 (5 e (4. Dado o fato anteriorente encionado de que todos os valores de G(X produzidos por (5 são negativos, os valores obtidos para os pesos,i resulta ordenados inversaente. Neste estudo se propõe resolver este problea toando-se o copleento destes valores (Equação 6: *, i, i = (6 Ebora estes novos valores para os pesos estea corretaente seqüenciados de acordo co os graus de pertinência de cada pixel a cada ua das classes, torna-se ainda necessário efetuar a noralização, isto é, de que para qualquer pixel a soa dos pesos sobre as classes deva ser igual à unidade (Equação 7: **, i = *, i *, i = (7 U problea final a ser ainda considerado se refere ao valor assuido por cada pixel individual co relação à função densidade de probabilidade Noral ultivariada (2. Observa-se pela expressão (4 que os pesos são estiados relativaente aos valores nas funções de decisão G(X. Nesta abordage pode ocorrer situações e que o valor de G(X para a classe vencedora sea reduzido, as aqueles para as deais (- classes sea ainda enores, resultando e u valor alto para o peso da classe vencedora. Torna-se, portanto necessário escalonar o peso da classe vencedora confore sua posição efetiva na distribuição daquela classe, isto é, do valor de G(X e teros do valor áxio desta função, o que ocorre para X = µ. Na etodologia proposta neste estudo, se propõe ultiplicar o peso da seguinte fora: G( X, =, * G( M sendo M o valor estiado para o vetor de édias µ, onde representa a classe vencedora (ω. Então os parâetros do classificador passa a ser estiados por u conunto de aostras de treinaento, que inclui aostras rotuladas (peso unitário e u deterinado núero de aostras sei-rotuladas, co peso estiado pelo procediento acia descrito. As expressões epregadas para as estiativas aostrais do vetor de edias e da atriz de covariância (M, S são dadas por Liczbinsi e Haertel (2008 (Equação 8: M = =, N =, X (8 S N = =, =, ( X M ( X M t 7335

5 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7336 onde N representa o núero total de aostras de treinaento epregadas (rotuladas ais seirotuladas para a classe ω. Deve-se notar aqu que os pesos referentes as aostras rotuladas são iguais à unidade. A segunda etapa da etodologia consiste e refinar as estiativas para os pesos, por eio da introdução de inforações de contexto espacial. U dos étodos epregados co este obetivo consiste e étodos de relaxação probabilística, confore os propostos por Terrien (989 e Di Zenzo et al. (987. Neste processo, a dependência espacial entre u pixel e seus vizinos é estiada e u processo iterativo dentro de ua vizinança previaente definida. Os pesos são austados de acordo co a expressão (Equação 9: L t+ t = n ( + (/ n ( ri,, = =, co os índices (t, t+ indicando o núero da iteração, r, o coeficiente de copatibilidade, n o núero de pixels na vizinança, o núero de classes e L u fator de noralização, dado por (Equação 0: L n t + r i,, (0 = (/ n = = = o coeficiente de copatibilidade r, estia portanto a probabilidade de u pixel na posição central i de ua vizinança pertencer à classe ω ao eso tepo que seu vizino na posição pertence á classe ω. e é estiado por Di Zenzo et al. (987 (Equação : (9 r, = E ln p( i ω, ω p( i ω p( ω ( ua estiativa aostral de ( é dada por (Equação 2: r, N(, / N = ln (2 ( N(, / N ( N(, / N = = onde N(, representa o núero de vezes e que u pixel na posição i pertence à classe ω, ao eso tepo e que seu vizino na posição pertence à classe ω, e N o núero de pixels na iage. O tero N(,/N estia portanto a probabilidade conunta p i ω, ω, = = enquanto ( N(, / N e ( N, / N ( ( estia respectivaente as duas probabilidades arginais no denoinador de (. O processo de relaxação probabilística atualiza os valores estiados para os pesos ω aplicando sucessivaente as equações (9, (0 e (2 e u procediento iterativo, até que u critério de convergência sea satisfeito. Deve-se aqui observar, que para fins de extração de inforações de contexto espacial, é necessário levar e conta a existência de pixels que não pertence a nenua das classes e 7336

6 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7337 consideração. Por esta razão, foi criada ua classe de fundo, coposta por pixels cuo peso ais alto é enor do que u liiar previaente selecionado. 3. Resultados e Discussão Vários experientos fora realizados para fins de teste/validação da nova etodologia proposta. Cada experiento consiste na estiação da acurácia obtida no processo de classificação (acurácia do usuário e do produtor variando-se a diensionalidade dos dados. Para tornar os resultados coparáveis entre s as deais variáveis (núero de iterações, núero de aostras rotuladas, núero de aostras sei-rotuladas fora antidas constantes ao longo de cada experiento. Neste trabalo é apresentado e coentado os resultados de u, dos vários, experientos realizados. As figuras abaixo ilustra os resultados gerados por este experiento, que te coo parâetros: núero de aostras de treinaento igual a 6 pixels, co o núero de aostras sei-rotuladas igual a 30 pixels (Figura, 60 pixels (Figura 2 e 90 pixels Figura 3. E cada caso, a diensionalidade dos dados variou dentro do intervalo [, núero de aostras rotuladas-]. A Figura 4 ilustra os resultados pela prieira etapa da etodologia (se a etapa de relaxação e a Figura 5 co a inclusão da relaxação (inforação de contexto espacial. Figura. Acurácias édias, respectivaente, do usuário e do produtor. E preto epregando soente as 6 aostras rotuladas, e azul co a adição de 30 aostras sei-rotuladas ponderadas, e e verelo co o refinaento pela relaxação probabilística. Figura 2. Acurácias édias, respectivaente, do usuário e do produtor. E preto epregando soente as 6 aostras rotuladas, e azul co a adição de 60 aostras sei-rotuladas ponderadas, e e verelo co o refinaento pela relaxação probabilística. 7337

7 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7338 Figura 3. Acurácias édias, respectivaente, do usuário e do produtor. E preto epregando soente as 6 aostras rotuladas, e azul co a adição de 90 aostras sei-rotuladas ponderadas, e e verelo co o refinaento pela relaxação probabilística. Figura 4. Acurácias édias, respectivaente, do usuário e do produtor na etapa da ponderação das aostras sei-rotuladas. E preto soente co as 6 aostras rotuladas, e verde co a inclusão de 30 aostras sei-rotuladas, azul co a inclusão de 60 aostras sei-rotuladas ponderadas, e e verelo a inclusão de 90 aostras sei-rotuladas ponderadas. Figura 5. Acurácias édias, respectivaente, do usuário e do produtor na etapa da relaxação probabilística. E preto soente co as 6 aostras rotuladas, e verde co a inclusão de 30 aostras sei-rotuladas, azul co a inclusão de 60 aostras sei-rotuladas ponderadas, e e verelo a inclusão de 90 aostras sei-rotuladas ponderadas. 4. Conclusões Os experientos acia descritos ostrara a eficácia de abas as etapas da etodologia proposta. Isso pode ser visto co o auento significativo da acurácia no pico do fenôeno de 7338

8 Anais XV Sipósio Brasileiro de Sensoriaento Reoto - SBSR, Curitiba, PR, Brasil, 30 de abril a 05 de aio de 20, INPE p.7339 Huges. O auento desta acurácia se dá não só no conunto do processo, prieira e segunda etapas, coo tabé, individualente e cada etapa. Observa-se ainda que este auento ocorre ao longo de todo o intervalo de variação na diensionalidade dos dados. Referências Bibliográficas Fuunaga, K. Introduction to Statistical Pattern Recognition. Boston: USA, p. Landgrebe. D. Signal Teory Metods in Multispectral Reote Sensing. Hoboen: USA, p. Friedan, J. H. Regularized Discriinant Analysis. Journal of te Aerican Statistical Association, v. 84, n. 405, p , 989. Aeberard, S., Cooans, D., and De Vel, O., Coparative Analysis of Statistical Pattern Recognition Metods in Hig Diensional Settings. Pattern Recognition. v. 27, n. 8, p , 994. Serpico, S. B., D'Inca, M., Melgan F., and Moser, G., A coparision of feature reduction tecniques for classification of yperespectral reote-sensing data. In: Proceedings of SPIE - Te International Society for Optical Engineering, Agia Pelagia, Greece. v. 4885, p Sasaan B.M., and Landgrebe, D. Te effect of Unlabeled Saples in Reducing te Sall Saple Size Proble and Mitigating te Huges Penoenon, IEEE Transactions on Geoscience and Reote Sensing, v. 32, n. 5, p , 994. Jacson, Q., and Landgrebe, D. An Adaptive Classifier Design for Hig-Diensional Data Analysis Wit a Liited Training Data Set, IEEE Transactions on Geoscience and Reote Sensing, v. 39, n. 2, p , 200. Liczbins C., and Haertel, V., A Ne Approac to Estiate A priori Probabilities in Reote Sensing Digital Iage Classification, Canadian Journal of Reote Sensing, v. 34, n. 2, p , Indian Pine data disponível e: <ftp://ftp.ecn.purdue.edu/biel/multispec/92av3c>. Acesso e Terrien, C. W., Decision Estiation and Classification, An Introduction to Pattern Recognition and Related Topics, Ne Yor: USA, p. Di Zenzo, S., Bernstein, R., DeGloria, S., Kolsy, H. G., Gaussian Maxiu Lieliood and Contextual Classification Algorits for Multicrop Classification, IEEE Transactions on Geoscience and Reote Sensing, v. GE-25, n. 6, p , 987. Byeungoo, J., and D. Landgrebe, Classification it Spatio-Teporal Interpixel Class Dependency Contexts, IEEE Transactions on Geoscience and Reote Sensing, v. 30, n. 4, p , 992. Jacson, Q., and Landgrebe, L., Adaptive Bayesian Contextual Classification Based on Marov Rando Fields, IEEE Transactions on Geoscience and Reote Sensing, v. 4, n., p , Jia, X., and Ricards, J., Managing te Spectral-Spatial Mix in Context Classification Using Marov Rando Field, IEEE Geoscience and Reote Sensing Letters, v. 5, n. 2, p. 3-34, Solberg, A. H. S., Contextual Data Fusion Applied to Forest Map Revision, IEEE Transactions on Geoscience and Reote Sensing, v. 37, n. 3, p ,