MÉTODOS ESTATÍSTICOS PARA EXATIDÃO DE MAPEAMENTO E AVALIAÇÃO DE MODELOS

Transcrição

1 MÉTODOS ESTATÍSTICOS PARA EXATIDÃO DE MAPEAMENTO E AVALIAÇÃO DE MODELOS Camilo Daleles Rennó Referata Biodiversidade 8 novembro 2007

2 Modelagem lençol freático rocha de origem

3 Modelagem O que faz uma planta estar num determinado lugar? Fatores ambientais Fatores aleatórios Modelagem => Simplificação => erros lençol freático rocha de origem

4 Modelagem seleção calibração lençol freático probabilidade ou chance de ocorrência limiar rocha de origem mapa de ocorrência (estimada)

5 Avaliando Modelos... X X verdade estimado modelo A estimado modelo B Comparando com uma referência... Comparandose modelos...

6 Matriz de Erro (de Confusão) presença ausência Real (ou Referência) a b ab Estimado c d cd ac bd n Erros: falsos positivos (b) falsos negativos (c) É função do limiar de corte e do conjunto de pontos usados na avaliação

7 Particionamento dos Dados Treinamento X Teste Idealmente deveriam ser conjuntos independentes de pontos, ou seja, pontos de teste não usados durante o desenvolvimento do modelo Métodos de particionamento: Resubstituição (treinamento = teste) > resultado otimista Bootstrapping (amostragem com repetição) * Aleatorização (amostragem sem repetição) * Amostragem prospectiva (amostragem pósmodelagem) Leaveoneout (1 para teste e demais para treinamento) * *avaliação iterativa: permite estimar a incerteza da precisão

8 Um pouco de teoria... No lançamento de uma moeda normal, P(K) =? 0,5 P(C) =? 0,5 ou 50% No lançamento de duas moedas normais, P(KK) = P(K)?. P(K) eventos independentes 1 a K 2 a K KK KC K 1 a K C 0,25 0,25 0,5 C C CK CC 2 a C 0,25 0,25 0,5 0,5 0,5 1

9 Um pouco de teoria... 2 a K C K Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes as duas seriam caras? Resposta: de zero a 100 vezes (variável aleatória) Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes esperaríamos que as duas fossem caras? Resposta: 25 (conceito de esperança, 100*0,25) 1 a C??? K??? 2 a C?? 100 observado K 1 a C esperado

10 Um pouco de teoria... 2 a K C K Com base no resultado de um experimento, podemos saber se, de fato, o resultado de uma moeda não influencia o da outra? 1 a C K a C observado K 1 a C esperado 2 2 ( FAObs ) 2 ij FAEspij FAEsp i= 1 j= 1 ij ~ χ χ 1 (Distribuição quiquadrado com 1 grau de liberdade) α 0 X crít independentesnão independentes Importante: pressupõese que não haja relação entre cada uma das 100 repetições (2 moedas)

11 Voltando ao nosso problema... presença ausência Real a b ab Estimado c d cd ac bd n Erros: falsos positivos (b) falsos negativos (c) deveriam ser independentes pontos distribuídos no espaço... Autocorrelação Espacial

12 Autocorrelação Espacial Potencial problema para estudo baseados em área Independência entre amostras é violada > problema para definição de significância dos testes Soluções: incorporar a informação de vizinhança no modelo selecionar conjunto independente espacialmente (necessita avaliação da autocorrelação espacial)

13 Medidas de Avaliação Real a b ab Estimado c d cd ac bd n Exatidão = a mínimo = 0 d n máximo = 1 (ou 100%)

14 Exatidão Exemplo numérico Real Estimado Exatidão = = = %

15 Exatidão Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória: Real? 47 Estimado

16 Exatidão Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória: 47* Real 23,5 23,5 47 Estimado 26,5 26, Exatidão = 23,5 26,5 50 = = %

17 Kappa Real a b ab Estimado c d cd ac bd n κ mínimo = máximo = Índice Kappa (κ) medida de concordância ˆκ θ1 θ2 = 1 θ < θ = θ 1 a d n ( a b)( a c) ( c d)( b d) = n 2 2 exatidão total exatidão total (se independência)

18 Kappa Exemplo numérico Real Estimado Índice Kappa (κ) medida de concordância θ 1 = 0,93 θ θ 0,93 0,5 1 2 ˆκ = = = 0,86 1 θ2 1 0,5 θ 2 = 0,5 Será que este valor é significativamente superior a zero? Teste de hipótese

19 Kappa ˆκ θ θ a d n ( a b)( a c) ( c d)( b d) 1 2 = θ 1 1 = θ2 = 2 θ2 n Var(κ) ˆ 2 2 ( 1 θ1) ( θ4 4θ2 ) 1 θ ( 1 θ ) 2( 1 θ )( 2θθ θ ) = n ( 1 θ2) ( 1 θ2) 1 θ ( ) 2 [ a a b c d b c d ] n θ 3 = (2 ) ( 2 ) 3 [ a a b c b a b d c a c d d b c d ] n θ 4 = (2 ) ( 2 ) ( 2 ) ( 2 ) Z ˆκ κ = ~ N(0,1) Var κ ( ˆ ) Z = ( κˆ1 κˆ 2) ( κ1 κ2) Var ( κˆ ) Var ( κˆ ) 1 2 ~ N(0,1)

20 Outras Medidas de Avaliação Real a b ab Estimado c d cd ac bd n Prevalência = (a c)/n Poder de diagnóstico total = (b d)/n Sensitividade = a/(a c) Especificidade = d/(b d) Taxa de falso positivo = b/(b d) Taxa de falso negativo = c/(a c) Poder preditivo positivo = a/(a b) Poder preditivo negativo = d/(c d) Taxa de erro = (b c)/n Oddsratio = (ad)/(cb) Tau

21 Medida independente do limiar 1 ROC plot aumento do limiar (fração de verdadeiros positivos) sensitividade 0,8 0,6 0,4 0,2 Área treinamento teste 0 0 0,2 0,4 0,6 0,8 1 1 especificidade (fração de falsos positivos) presença = 0 se Prob(ocorrência) < limiar 1 caso contrário Área ~ exatidão total

22 Comparandose Modelos X verdade estimado modelo A medida A X medida B cuidado!!! testes estatísticos quase sempre pressupõe independência na amostragem verdade X estimado modelo B OBS: 2 Kappas só podem ser comparados se as amostras forem diferentes!!!

23 Comparandose Modelos X verdade estimado modelo A medida A (ok) X medida B (ok) estimado modelo A estimado modelo B X verdade estimado modelo B medida AxB

24 Comparandose Modelos X estimado modelo A estimado modelo B Modelo B certo errado certo a c Modelo A errado b ab d cd teste de McNemar: x ( b c) = b c 2 ~ χ 2 1 ac bd n 2 χ 1 OBS: Se b c < 5, use teste binomial. Para comparações múltiplas (3 ou mais modelos), use o teste de Cochran 0 coerentes α X crít não coerentes

25 Obrigado