Estatística: Aplicação ao Sensoriamento Remoto SER ANO Técnicas de Reamostragem

Transcrição

1 Estatística: Aplicação ao Sesoriameto Remoto SER ANO 2016 Técicas de Reamostragem Camilo Daleles Reó camilo@dpi.ipe.br

2 Distribuição Amostral Testes paramétricos clássicos utilizam estatísticas (calculadas a partir de uma amostra) cujas distribuições amostrais teóricas são cohecidas. Exemplo: X Se ~ N 2, X ~ N0,1 H 0 : 0 for verdadeira, etão Nem todos os estimadores têm suas distribuições amostrais facilmete defiidas, mesmo quado se cohece a distribuição origial da variável aleatória estudada. 2 Exemplo: ~ N, X mediaa X, X,, X ) ~? ( 1 2 Quado a amostra é pequea, certas suposições podem ão ser válidas, dificultado a obteção da distribuição amostral de um estimador qualquer. X ~ N 0,1 Exemplo: X ~? 2, X ~ N0,1 se for grade (TLC) 2

3 Reamostragem A reamostragem é o ome que se dá a um cojuto de técicas ou métodos que se baseiam em calcular estimativas a partir de repetidas amostrages detro da mesma amostra (úica). Estas técicas se propõem a avaliar as icertezas relacioadas a obteção de estatísticas com distribuições amostrais descohecidas. Também podem ser utilizadas para avaliar a sigificâcia de testes cujas estatísticas básicas ão têm suas propriedades bem estabelecidas ou cujas premissas ão podem ser cosideradas verdadeiras. Exemplos de técicas de reamostragem: Testes de Aleatorização (Testes de Permutação) Jackkife Bootstrap Validação Cruzada 3

4 Testes de Aleatorização Testes de aleatorização (ou testes de permutação ou testes exatos) são típicos testes de sigificâcia ode a distribuição da estatística testada é obtida calculado-se todos os possíveis valores desta estatística rearrajado-se os valores da amostra cosiderado uma hipótese ula verdadeira. Exemplo do teste Wilcoxo: É melhor usar 2 images? Dif média = 14,25 Região Área corretamete classificada 1 imagem 2 images Dif Qual valor esperado caso ão houvesse difereça a área corretamete classificada quado uma ou duas images forem utilizadas? Quão raro seria ecotrar o valor 14,25 esse caso? Ou seja, qual o valor-p associado a esta estatística? Solução: calcular todos os valores possíveis de difereça média quado trocamos ou ão os valores etre as 2 abordages para cada amostra. Com isso, obtém-se a distribuição amostral desta estatística. 4

5 Testes de Aleatorização H 0 : ão há difereça etre as abordages (Dif média = 0) H 1 : usar 2 images é melhor que usar apeas 1 imagem (Dif média > 0) Se H 0 é verdadeira, etão haverá 2 8 possibilidades de trocas, gerado 256 resultados diferetes Região Área corretamete classificada 1 imagem 2 images Dif Dif média 15,5 Dif Região Área corretamete classificada 1 imagem 2 images Dif Dif média -15,5 (ver Aleatorização em Reamostragem.xls) 5

6 Testes de Aleatorização H 0 : ão há difereça etre as abordages (Dif média = 0) H 1 : usar 2 images é melhor que usar apeas 1 imagem (Dif média > 0) Se H 0 é verdadeira, etão haverá 2 8 possibilidades de trocas, gerado 256 resultados diferetes 97,66% 14,25 Valor-P = P(Dif média H 0 verdadeiro Dif média observada) = 2,34% Coclusão: rejeita-se H 0 a 5% de sigificâcia, ou seja, é melhor usar 2 images 6

7 Jackkife Também chamado leave-oe-out test Usado para estimar a variâcia e a tedêcia de um estimador qualquer. Baseia-se a remoção de 1 amostra (podedo ser mais) do cojuto total observado, recalculado-se o estimador a partir dos valores restates. É de fácil implemetação e possui úmero fixo de iterações ( caso se retire apeas 1 amostra por vez). 7

8 iferêcia Jackkife População, amostragem estimado por ˆ X 1, X 2,..., X reamostragem vezes X 2, X 3,..., X X 1, X 3,..., X X 1, X 2,..., X -1 estatísticas ˆ ˆ (1) (2) ˆ ( ) 8

9 Jackkife Supoha que um determiado parâmetro possa ser estimado a partir de uma amostra de valores, ou seja, ˆ f ( x1, x2,..., x ) Etão a i-ésima replicação Jackkife correspode ao valor estimado sem a amostra i: ˆ (,,...,,..., ) ( i) f x1 x2 xi 1 xi 1 x Defie-se o i-ésimo pseudovalor como: x ˆ ( 1) ˆ * ( i) ( i) Com base os pseudovalores, pode-se calcular etão: ˆ 1 ˆ ˆ jk Var jk * x( i) ( 1) ode ˆ (.) (.) ˆ ( i) i1 i1 ˆ 1 ˆ ˆ 2 ( i) (.) i1 1 ˆ jk jk ˆ Var ~ t 1 ( grade) Efro, B.; Stei, C. The Jackife estimate of variace. The Aals of Statistics, 9(3):

10 Jackkife Supoha que se deseja saber qual é a média geométrica de uma população e para isso obteve-se uma amostra de 10 valores: X mg (i) x* (i) 1 2,2 6,688-0, ,5 6,352 2, ,4 6,372 2, ,7 5,910 6, ,2 5,961 6, ,2 5,779 7, ,2 5,705 8, ,9 5,803 7, ,0 5,719 8, ,1 5,646 9,027 Qual é o valor da média geométrica desta amostra e qual a variâcia deste estimador? mg 10 2,23, ,1 5,9844 mg mg x x * * 9 (1) 3,5 3, ,1 6, (10) (1) (10) 2, 2 3,5... 9, 0 5, , ,688 0, , ,646 9,027 (amostra completa) 1 10 mg JK x 10 Var JK i1 ( mg) 9 10 * ( i) 5, mg( i) mg(.) 1, 0119 i1 (ver exemplo JK em Reamostragem.xls) 10

11 Bootstrap Pode ser cosiderado uma estratégia mais abragete que o Jackkife por permitir um maior úmero de replicações. Também é usado para estimar a variâcia e a tedêcia de um estimador qualquer. Baseia-se a geração de uma ova amostra de mesmo tamaho da amostra origial, a partir do sorteio aleatório com reposição de seus elemetos. 11

12 iferêcia Bootstrap População, amostragem estimado por ˆ X 1, X 2,..., X Y k é um dos X i (com repetição) reamostragem m vezes Y 1, Y 2,..., Y Y 1, Y 2,..., Y Y 1, Y 2,..., Y estatísticas ˆ 1 2 ˆ ˆm 12

13 Bootstrap Supoha que um determiado parâmetro pode ser estimado a partir de uma amostra de valores, ou seja, ˆ f x, x,, 1 2 x Etão a cada iteração j o valor estimado a partir da amostra será: ˆ f y, y,, y i 1 2 ode y k é um dos valores da amostra (com reposição) Com base as estimativas de m iterações, pode-se calcular etão: ˆ 1 b m Var b m i1 ˆ i ˆ m 1 ˆ ˆ 2 i m i1 ˆ ˆ Recomeda-se que m 2, ou pelo meos, m = l() b Var b ~ t ( grade) 13

14 Bootstrap Supoha que se deseja saber qual é a média geométrica de uma população e para isso obteve-se uma amostra de 10 valores: X 1 2,2 2 3,5 3 3,4 4 6,7 5 6,2 6 8,2 7 9,2 8 7,9 9 9, ,1 Qual é o valor da média geométrica desta amostra e qual a variâcia deste estimador? mg 10 2,23, ,1 5,9844 Y 1 mg Y 200 mg mg b {3,4;6,7;8,2;7,9;10,1;9,2;7,9;6,2;3,5;10,1} 6,8794 {7,9;9,2;9,0;8,2;10,1;8,2;6,2;7,9;9,2} , i1 mg i 6, 0703 (amostra completa) Varb mg mgi 5,9844 0, i1 (ver exemplo BS em Reamostragem.xls) 14

15 Validação Cruzada Tipicamete, a validação cruzada, a amostra é particioada aleatoriamete em dois subcojutos: um de treiameto e outro de teste (validação). Esta técica é aplicada pricipalmete quado um modelo é gerado e posteriormete este modelo é utilizado para se fazer predição. É importate observar que as avaliações feitas sobre o mesmo cojuto amostral de treiameto (úica amostra) sempre são superestimadas, uma vez que o modelo ecotrado teta miimizar os erros de cada observação em relação ao modelo desejado. Para reduzir a casualidade do resultado ecotrado após uma úica divisão arbitrária, pode-se repetir o processo de partição aleatoriamete muitas vezes (validação cruzada exaustiva) e avaliar cada uma delas, sitetizado os resultados em uma medida de tedêcia cetral (média, mediaa, etc). Outra abordagem bastate utilizada é reservar apeas 1 amostra por vez para teste e usar as demais para treiameto. Este método é cohecido como Validação Cruzada LOO (Leave Oe Out). 15

16 Validação Cruzada Num estudo de regressão, por exemplo, um cojuto pode ser usado para calcular os coeficietes da equação e o outro para comparar com os valores estimados por esta regressão. Treiameto Teste X Y X Y 1,2 16,4 2,5 12,8 1,9 13,3 3,6 22,1 2,8 18,4 5,6 23,3 4,3 21,4 7,8 24,7 5,5 27,7 10,1 31,9 7,2 23,0 11,1 34,0 9,1 25,8 12,0 38,0 11,7 35,2 12,4 39,2 13,0 34,5 13,7 44,2 14,9 42,4 14,7 41,0 Y est erro 17,3-4,5 19,3 2,8 23,0 0,3 27,0-2,3 31,2 0,7 33,0 1,0 34,6 3,4 35,4 3,8 37,7 6,5 39,5 1,5 erro médio 1,32 Root Mea Square r 0,9708 ( QME ) 3,42 (ver exemplo VCruzada em Reamostragem.xls) 16