Estudo do comportamento dos índices de Exatidão Global, Kappa e Tau, comumente usados para avaliar a classificação de imagens do sensoriamento remoto

Transcrição

1 Estudo do omportamento dos índies de Exatidão Global, Kappa e Tau, omumente usados para avaliar a lassifiação de imagens do sensoriamento remoto Geíza Coutinho Figueiredo Carlos Antonio Oliveira Vieira Universidade Federal de Viçosa UFV Departamento de Engenharia Civil Avenida P. H. Rolfs s/n - Campus UFV Viçosa - MG, Brasil geizaf@hotmail.om arlos.vieira@ufv.br Abstrat: Evaluation of the auray plays an important role in the proess data analysis of remote sensing produts. The evaluation of the auray an be obtained through derived measures from a onfusion matrix. This artile desribes some of theses measures, suh as Overall Auray, Kappa and Tau indexes, whih are ommonly used to evaluate the lassifiation of remote sensing images. A omparative study about the behavior of these indexes was aomplished and a preliminary disussion is presented. Results show that despite Kappa and Tau indexes are omputed following different formulations and assumptions, the present onsistently very similar values, whih indiates that both measures ould indisriminately be used for remotely sensed auray assessment. Palavras-have: lassifiation images, themati auray, index Kappa, index Tau, auray global, lassifiação de imagens, preisão temátia, índie Kappa, índie Tau, exatidão global.. Introdução A exatidão de um mapa india à proximidade de uma determinada medida ao seu valor real, logo, a onfiabilidade de um mapa está vinulada a sua exatidão. Neste ontexto, é neessário realizar algum proedimento estatístio, no produto de uma lassifiação de imagens digitais, para determinar a auráia ou exatidão desta lassifiação (Bernardes, 006. No proesso de análise dos dados do sensoriamento remoto, um passo fundamental é a avaliação da preisão temátia. Os usuários neessitam saber quão onfiáveis são os dados provenientes dos mapas temátios, derivados da lassifiação de um produto do sensoriamento remoto, e através da matriz de onfusão é possível derivar medidas e onsequentemente verifiar erros oriundos do proesso de atribuição dos pixels a determinadas lasses (Vieira, 000. A avaliação da auráia pode ser obtida por meio de oefiientes de onordânia derivados da matriz de onfusão, sendo que estes podem ser expressos omo onordânia total ou para lasses individuais. Congalton (99 relata que o uso do oefiiente Kappa (K é satisfatório na avaliação da preisão de uma lassifiação temátia, pelo fato de levar em onsideração toda a matriz de onfusão no seu álulo, inlusive os elementos de fora da diagonal prinipal, os quais representam as disordânias na lassifiação, diferentemente da exatidão global, por exemplo, que utiliza somente os elementos diagonais (onordânia real. Com relação ao oefiiente Kappa, Foody (99 observou que o grau de onordânia por hane poderia estar sendo superestimado, pelo fato de inluir também a onordânia real, e por ausa disso a magnitude de Kappa não refletiria a onordânia presente na lassifiação, apenas desontada a asualidade. Na tentativa de orrigir essa defiiênia no álulo do índie Kappa, Ma e Redmond (995 propuseram um outro índie para a medição da preisão da lassifiação, o índie Tau (T. Apesar de esses índies serem amplamente usados pela omunidade ientífia, não existem estudos que indiquem omo esses índies se omportam, quando da variação do número de lasses informaionais e/ou do número de padrões de validação - onsiderando que 5755

2 esses índies levam em onsideração ou o número total de lasses ou o número total de padrões de validação; ou mesmo se houver disrepânia entre os valores amostrados, para validação, entre as lasses informaionais. Este trabalho tem omo objetivo fazer uma desrição dos oefiientes de onordânia que são omumente usados para avaliar a lassifiação de imagens do sensoriamento remoto e também observar o omportamento dos mesmos variando o número de lasses informaionais na lassifiação, variando o número total de pixels e também quando oorre disrepânia entre o número de amostras entre as lasses informaionais. Uma motivação para observar esses omportamentos, é para estudar se as diferenças entre esses índies de exatidão são onstantes ou não dentro dos níveis do desempenho da lassifiação, e o que isso implia na esolha de qual índie utilizar.. Matriz de onfusão (ou matriz de erro O método padrão para avaliação da preisão temátia atualmente tem sido índies derivados da matriz de onfusão. A matriz de onfusão fornee a base para desrever a preisão da lassifiação e araterizar os erros, ajudando a refinar a lassifiação. De uma matriz de onfusão podem ser derivadas várias medidas de preisão da lassifiação, sendo a exatidão global uma das mais onheidas (Foody, 00. A matriz de onfusão é formada por um arranjo quadrado de números dispostos em linhas e olunas que expressam o número de unidades de amostras de uma ategoria partiular relativa inferida por um lassifiador (ou regra de deisão, omparado om a ategoria atual verifiada no ampo (Congalton, 99. Normalmente abaixo das olunas representa-se o onjunto de dados de referênia que é omparado om os dados do produto da lassifiação que são representados ao longo das linhas. Os elementos da diagonal prinipal (em negrito indiam o nível de aerto, ou onordânia, entre os dois onjuntos de dados. A Tabela mostra a representação de uma matriz de onfusão. Tabela Representação matemátia de uma matriz de onfusão. Dados de referênia Classifiação Total nas linhas n i + x x x x + x x x x + x 3 x 3 x 3 X + Total nas olunas n + i x + x + x + n Fonte: Adaptada de Bernardes ( Medidas e índies derivados da matriz de onfusão As medidas derivadas da matriz de onfusão são: a exatidão global, preisão de lasse individual, preisão de produtor, preisão de usuário e índie Kappa, entre outros. A exatidão global é alulada dividindo a soma da diagonal prinipal da matriz de erros x ii, pelo número total de amostras oletadas n, ou seja: xii i= G= ( n A distribuição da preisão ao longo das ategorias individuais não é apresentada na preisão global, entretanto a preisão de uma ategoria individual é obtida através da divisão do número total de amostras lassifiadas orretamente naquela ategoria pelo número total de amostras daquela ategoria. Congalton e Green (999 desrevem os álulos assoiados om estas medidas. 5756

3 A preisão de produtor e de usuário são maneiras de representar a preisão de uma ategoria ou lasse individualmente. A preisão de produtor refere-se às amostras que não foram lassifiadas orretamente omo pertenendo àquela ategoria sendo omitidas de sua ategoria orreta. E a preisão de usuário india a probabilidade que um pixel lassifiado na imagem de fato representa aquela ategoria no ampo. A análise de Kappa é uma ténia multivariada disreta usada na avaliação da preisão temátia e utiliza todos os elementos da matriz de onfusão no seu álulo. O oefiiente Kappa (K é uma medida da onordânia real (indiado pelos elementos diagonais da matriz de onfusão menos a onordânia por hane (indiado pelo produto total da linha e oluna, que não inlui entradas não reonheidas, ou seja, é uma medida do quanto à lassifiação está de aordo om os dados de referênia. O oefiiente Kappa pode ser alulado através da seguinte equação: K n xii i+ + i i= i= = n xi+ x+ i i= Onde K é uma estimativa do oefiiente Kappa; x ii é o valor na linha i e oluna i; x i + é a soma da linha i e x + i é a soma da oluna i da matriz de onfusão; n é o número total de amostras e o número total de lasses. Embora o oefiiente Kappa seja muito utilizado na avaliação da exatidão de mapeamento, não existe uma fundamentação teória para reomendar quais os níveis mínimos aeitáveis deste oefiiente numa lassifiação. Entretanto, a Tabela apresenta níveis de desempenho da lassifiação para o valor de Kappa obtido, normalmente aeitos pela omunidade ientífia. Tabela Índie Kappa e o orrespondente desempenho da lassifiação. Índie Kappa Desempenho < 0 Péssimo 0 < k 0, Ruim 0, < k 0,4 Razoável 0,4 < k 0,6 Bom 0,6 < k 0,8 Muito Bom 0,8 < k,0 Exelente Fonte: Fonsea (000. Ao redor do valor de Kappa podem ser alulados intervalos de onfiança usando a variânia da amostra (var e o fato de que a distribuição estatístia do Kappa é normalmente assintótia. Congalton e Green (999 sugerem meios de testar a signifiação estatístia do Kappa para uma únia matriz de onfusão, através da variânia, a fim de determinar se o nível de aerto da lassifiação e os dados de referênia são signifiativamente maior que zero. O teste estatístio para testar a signifiação de uma únia matriz de onfusão é determinado pela equação a seguir: x x ( k Z = (3 var(k Onde Z é unifiado e normalmente distribuído e var é a grande variânia da amostra do oefiiente Kappa, que pode ser alulado usando o método de Delta omo segue: 5757

4 Onde ( θ ( θ ( θ( θθ θ 3 3 ( θ ( θ ( θ 4θ θ 4 var( k = n ( θ (4 θ = x ii, θ = x i + x + i, θ 3 = xii ( xi+ + x + i e n i= = + 4 xij ( x j+ x+ j 3 n i= j= θ. n i= n i= Se Z Z α/ a lassifiação é signifiativamente melhor que uma distribuição aleatória, onde α/ é o nível de onfiança nos dois lados da urva no teste Z e o número de graus de liberdade é assumido ser infinito. Além dos índies de exatidão global e Kappa, que são omumente usados, Ma e Redmond (995 introduziram na omunidade do sensoriamento remoto o índie Tau, que fornee uma medida quantitativa relativamente preisa e intuitiva sobre a auráia da lassifiação. O oefiiente Tau (T é superfiialmente similar ao Kappa e pode ser alulado omo segue: P0 Pr T = (5 Pr Onde P 0 seria a onordânia real e P r a onordânia aleatória expressos da seguinte xii i= forma: P = 0 e Pr = Pi + Pi = xi+ xi. n i= n i= Sendo P i+ = (x i+ /n a distribuição marginal dos dados de referênia, P i = (x i /n as probabilidades a priori para ada lasse. Quando as probabilidades a priori para as lasses forem iguais, ou seja, x i = n/ temos: P0 T = (6 Segundo Ma e Redmond (995, devido a onordânia aleatória (P r ser independente dos elementos da matriz de erros e poder ser alulada antes da lassifiação, ela é tratada omo uma onstante. Sendo σ ( P r = 0 e σ ( P0 = P0( P0, e apliando a lei de n propagação de variânias, temos a variânia de Tau: P0 ( P0 σ ( T = (7 n( P r Para testar a signifiação estatístia do índie Tau, proede-se da mesma forma desrita para o índie Kappa. 4. Comparação entre os índies de exatidão Global, Kappa e Tau Objetivando analisar o omportamento dos índies de Exatidão Global, Kappa e Tau, riaramse várias matrizes de onfusão hipotétias, variando primeiramente o número de lasses informaionais para ada lassifiação (Figura a 5; depois variando o total de amostras utilizados para gerar a matriz de onfusão (Figura 6 a 0; e finalmente, variando o total de pixels e disrepando os valores amostrados, para validação, entre as lasses informaionais (Figura a 5 para verifiar qual seria o omportamento dos três índies dentro dos ino 5758

5 níveis de desempenho da lassifiação. Para ada aso foram geradas 5 matrizes de onfusão, de onde foram derivados os índies de exatidão global (G, Kappa (K e Tau (T, obtidos utilizando as equações (, ( e (6, respetivamente. Os resultados são representados nos gráfios, pelas diferenças absolutas entre os índies: GK diferença entre o índie de Exatidão Global e o Kappa; GT - diferença entre o índie de Exatidão Global e o Tau; e KT - diferença entre o índie de Kappa e o Tau; de onde extraiu-se a média e o desviopadrão. Chamamos a atenção do leitor para a variação dos valores no eixo Y dos gráfios. Comportamento dos índies variando as lasses - Faixa 0,8 a,0 Comportamento dos índies variando as lasses - Faixa 0,6 a 0,8 0, ,0 0,00 0,80 0,60 0,40 0,0 0, Nº de lasses Nº de lasses Figura Variando o número de lasses informaionais num nível de desempenho exelente. Comportamento dos índies variando as lasses - Faixa 0,4 a 0,6 Figura Variando o número de lasses informaionais num nível de desempenho muito bom. Comportamento dos índies variando as lasses - Faixa 0, a 0,4 0,300 0,70 0,40 0,0 0,80 0,50 0, Nº de lasses 0,390 0,360 0,330 0,300 0,70 0,40 0,0 0,80 0,50 0, Nº de lasses Figura 3 Variando o número de lasses informaionais num nível de desempenho bom. Figura 4 Variando o número de lasses informaionais num nível de desempenho razoável. Comportamento dos índies variando as lasses - Faixa 0 a 0, 0,480 0,450 0,40 0,390 0,360 0,330 0,300 0,70 0,40 0,0 0,80 0,50 0, Nº de lasses Figura 5 Variando o número de lasses informaionais num nível de desempenho ruim. 5759

6 Comportamento dos índies variando o total de pixels - Faixa 0,8 a,0 Comportamento dos índies variando o total de pixels - Faixa 0,6 a 0,8 0,035 0,05 0,05 0,00 0,005 0, Figura 6 Variando o total de amostras num nível de desempenho exelente. Comportamento dos índies variando o total de pixels - Faixa 0,4 a 0,6 Figura 7 Variando o total de amostras num nível de desempenho muito bom. Comportamento dos índies variando o total de pixels - Faixa 0, a 0,4 0, ,30 0,0 0,0 0,00 0, Figura 8 Variando o total de amostras num nível de desempenho bom. Figura 9 Variando o total de amostras num nível de desempenho razoável. Comportamento dos índies variando o total de pixels - Faixa 0 a 0, 0,50 0,40 0,30 0,0 0,0 0,00 0, Figura 0 Variando o total de amostras num nível de desempenho ruim. 5760

7 Comportamento dos índies variando o total de pixels e disrepando valores - Faixa 0,8 a,0 Comportamento dos índies variando o total de pixels e disrepando valores - Faixa 0,6 a 0,8 0,0 0, ,40 0,0 0, Figura Variando o total de pixels e disrepando os valores num nível de desempenho exelente. Comportamento dos índies variando o total de pixels e disrepando valores - Faixa 0,4 a 0,6 Figura Variando o total de pixels e disrepando os valores num nível de desempenho muito bom. Comportamento dos índies variando o total de pixels e disrepando valores - Faixa 0, a 0,4 0,80 0,60 0,40 0,0 0, ,80 0,60 0,40 0,0 0, Figura 3 Variando o total de pixels e disrepando os valores num nível de desempenho bom. Figura 4 Variando o total de pixels e disrepando os valores num nível de desempenho razoável. Comportamento dos índies variando o total de pixels e disrepando valores - Faixa 0 a 0, 0,60 0,40 0,0 0, Figura 5 Variando o total de pixels e disrepando os valores num nível de desempenho ruim. Analisando as Figuras a 5 pode-se notar que GK e GT diminuem a medida que aumenta o número de lasses, mas o valor da variação aumenta a medida que ai o nível de desempenho da lassifiação. A variação de KT foi muito pequena em todos os níveis. Das 576

8 Figuras 6 a 0 pode-se notar que GK é maior que GT e o valor da variação também aumentou a medida que aiu o nível de desempenho da lassifiação, sendo que a variação entre KT também foi baixa em todos os níveis. Já nas Figura a 5 nota-se que GK e GT foram mais disrepantes um em relação ao outro, sendo que GT tende a ser onstante; e também o valor da variação aumentou a medida que aiu o nível de desempenho da lassifiação. A diferença entre KT foi um pouo mais alta quando oorreu disrepânia nos valores amostrados. 5. Considerações finais Diante desses resultados onluímos que as diferenças entre os três índies não são onstantes ao longo dos níveis de desempenho da lassifiação. No geral, a diferença entre os índies Kappa e Tau foi muito pequena. Embora a Exatidão Global apresente um valor mais alto, os oefiientes de onordânia Kappa e Tau são mais onsistentes por envolver no valor final todas as élulas da matriz de onfusão. Foody (99 mostra que, sem modifiações, o oefiiente Kappa superestima a proporção de onordânia por hane e subestima a preisão da lassifiação. A onordânia por hane é superestimada pelo fato de inluir no seu álulo, além da onordânia por hane, a onordânia real, ou seja, leva em onsideração duas vezes o total de aertos. Porém, omo os oefiientes de onordânia Kappa e Tau apresentam valores aproximados, ao se realizar uma avaliação da auráia de mapas temátios ambos podem ser reomendados. Sugerimos aos pesquisadores interessados, realizar outro teste a fim de verifiar se há possibilidades de através de um índie obter o valor de outro. Por exemplo, no nosso estudo poderia se pensar na possibilidade de se estimar a diferença entre os índies global e Tau através da diferença entre os índies global e Kappa, pelo fato de apresentarem omportamento semelhante nos gráfios. Referênias Bernardes, T. Caraterização do ambiente agríola do Complexo Serra Negra por meio de sensoriamento remoto e sistemas de informação geográfia. Dissertação (Mestrado. Universidade Federal de Lavras, Minas Gerais, 006, 9p. Disponível em: < Aesso em: 3 out Congalton, R. G. A review of assessing the auray of lassifiations of remotely sensed data. Remote Sensing of Environment, v. 49 n., p , 99. Congalton, R. G., and Green, K. Assessing the auray of remotely sensed data: Priniples and praties. New York: Lewis Publishers, p. Fonsea, L. M. G. Proessamento digital de imagens. Instituto Naional de Pesquisas Espaiais (INPE, p. Foody, G. M. On the ompensation for hane agreement in image lassifiation auray assessment. Photogrametri Engineering and Remote Sensing, v. 58, n. 0, p , 99. Foody, G. M. Status of land over lassifiation auray assessment. Remote Sensing of Environment, v. 80, p. 85 0, 00. Ma, Z., Redmond, R. L. Tau oeffiients for auray assessment of lassifiation of remote sensing data. Photogrametri Engineering and Remote Sensing, v. 6, n. 4, p , 995. Vieira, C. A. O. Auray of remotaly sensing lassifiation of agriultural rops: a omparative study p. Thesis (Dotor of Philosophy. University of Nottingham, 000, p