ão, Regressão & Simulação

Transcrição

1 ITA - Laboratório rio de Guerra Eletrônica EENEM 2008 Estatística stica e Probabilidade Aula 09: Correlação ão, Regressão & Simulação 1/43

2 Pode-se pesar um urso com fita métrica? Como os ursos, em sua maioria, são bastante pesados e difíceis de serem levantados, os pesquisadores e caçadores adores têm considerável dificuldade em determinar seus pesos na floresta. Seria possível determinarmos o peso de um urso a partir de outras medidas mais fáceis de se obter? 2/43

3 Comprimentos e pesos de ursos machos comprimento x (in) peso y (lb) 53, , , , , , , ,0 34 3/43

4 Definição Existe uma correlação entre duas variáveis veis quando uma delas está,, de alguma forma, relacionada com a outra. 4/43

5 Correlação Vamos determinar se há correlação entre a variável vel x (comprimento( comprimento) ) e a variável vel y (peso). A importância de tal determinação decorre do fato de que a presença de uma correlação pode conduzir-nos nos a um método para estimar o peso de um urso medindo o seu comprimento. 5/43

6 Suposições 1) a amostra de dados emparelhados (x, y) é aleatória 2) os pares de dados (x, y) têm uma distribuição normal bivariada. 6/43

7 Definição O coeficiente de correlação linear r mede o grau de relacionamento linear entre os valores emparelhados x e y em uma amostra. Calcula-se seu valor com auxílio da fórmula a seguir. r = nσxy (Σx)(Σy) n(σx 2 ) (Σx) 2 n(σy 2 ) (Σy) 2-1 r 1 7/43

8 8/43

9 Exemplo A tabela a seguir fornece o número (em milhares) ) de armas automáticas ticas registradas, juntamente com a taxa de criminalidade (em crimes por ). Os crimes com armas de fogo parecem estar relacionados com o número de armas automáticas ticas? armas automáticas taxa de criminalidade 11,6 8,3 3,6 0,6 6,9 2,5 2,4 2,6 13,1 10,6 10,1 4,4 11,5 6,6 3,6 5,3 9/43

10 Scatterplot of taxa de criminalidade vs armas automáticas taxa de criminalidade armas automáticas /43

11 Coeficiente de correlação linear devemos evitar a conclusão de que a correlação implica causalidade surge outra fonte de erro potencial quando os dados se baseiam em taxas ou médias a conclusão de que não há correlação linear significativa não quer dizer que x e y não estejam relacionados de alguma outra forma não-linear 11/43

12 Correlação Tendo concluído pela existência de um relacionamento, interessa agora determinar qual é esse relacionamento, de modo que possamos calcular o peso de um urso, quando conhecemos seu comprimento (regressão). 12/43

13 Efeito de regressão No final do século 19 Francis Galton procurava por uma estimativa da altura do filho a partir da altura do pai. Ele concluiu que os filhos de pais com alturas superiores (ou inferiores) à média também seriam mais altos (baixos) que a média, mas não tanto quanto os pais. Ou seja, haveria um efeito de regressão à média... 13/43

14 Definição Dada uma coleção de dados amostrais emparelhados,, a equação de regressão descreve a relação entre as duas variáveis veis ^y = b 0 + b 1 x 14/43

15 Equação de regressão b 0 = (Σy)(Σx 2 ) (Σx)(Σxy) n(σx 2 ) (Σx) 2 b 1 = n(σxy) (Σx)(Σy) n(σx 2 ) (Σx) 2 15/43

16 taxa de criminalidade 15,0 12,5 10,0 7,5 Fitted Line Plot taxa de criminalidade = 4, ,8525 armas automáticas S 1,81154 R-Sq 78,3% R-Sq(adj) 74,7% 5, armas automáticas /43

17 Predições Só devemos utilizar a equação da reta de regressão se r indica a existência de uma correlação linear significativa. Na ausência de uma tal correlação linear, não devemos utilizar a equação de regressão para projetar ou predizer; em vez disso, nossa melhor estimativa da segunda variável vel é simplesmente a sua média. 17/43

18 Uso da equação de regressão 1) se não há correlação linear significativa, não use a equação de regressão para fazer predições 2) ao aplicar a equação de regressão para predições ões, mantenha-se dentro do âmbito dos dados amostrais 3) uma equação de regressão baseada em dados passados não é necessariamente válida hoje 4) não devemos fazer predições sobre uma população diferente daquela de onde provêm os dados amostrais 18/43

19 Definição Dado um par de dados amostrais (x, y), um resíduo é a diferença (y - ^y) entre um valor amostral observado y e o valor ^y predito com base na equação de regressão. 19/43

20 Definição A equação de regressão representa a reta que melhor se ajusta aos pontos de acordo com a propriedade dos mínimos quadrados Uma reta verifica a propriedade dos mínimos quadrados se a soma dos quadrados dos resíduos é a menor possível 20/43

21 Definição variação total = var. explicada + var. não-explicada Σ(y (y - y) 2 = Σ(y (y ^ - y) 2 + Σ(y (y - ^y) 2 desvio total (y - y) y = 9 (5,19) (5,13) (5,9) desvio não-explicado (y - y) ^ desvio explicado (y ^ - y) x = 5 21/43

22 Definição O coeficiente de determinação é o valor da variação de y que é explicado pela reta de regressão r 2 = variação explicada variação total 22/43

23 Exemplo Os dados a seguir referem-se a pares de medidas de y = porosidade (%) de diversas espécies de concreto relacionadas com x = peso unitário (pcf). Podemos estimar y a partir de x? x 99,0 101,1 102,7 103,0 105,4 107,0 108,7 110,8 112,1 112,4 113,6 113,8 115,1 115,4 120,0 y 28,8 27,9 27,0 25,2 22,8 21,5 20,9 19,6 17,1 18,9 16,0 16,7 13,0 13,6 10,8 23/43

24 30 25 Fitted Line Plot porosidade = 118,9-0,9047 pcf S 0, R-Sq 97,4% R-Sq(adj) 97,2% porosidade pcf /43

25 Residual Plots for porosidade 99 Normal Probability Plot of the Residuals 2 Residuals Versus the Fitted Values 90 1 Percent Residual Residual Fitted Value Histogram of the Residuals 2 Residuals Versus the Order of the Data Frequency Residual ,0-1,5-1,0-0,5 0,0 Residual 0,5 1,0 1, Observation Order 25/

26 E o urso? 26/43

27 Scatterplot of peso (lb) vs comprimento (in) peso (lb) comprimento (in) Não podemos estimar o peso de um urso a partir do seu 27/43 tamanho. Precisamos de mais dados...

28 Definição Simulação é uma técnica para realização de um experimento que imita o mundo real com o objetivo de se obter dados que possam ser utilizados para se fazer previsões sobre o sistema. 28/43

29 Por quê simular? nem sempre temos eventos independentes: : P(A B) = P(A) P(B) P(B) e as relações de dependência costumam ser complexas ausência de modelos analíticos fechados para distribuições específicas não-usuais o tratamento analítico de não-linearidades pode ser impossível ou impraticável vel. Lembrar que: E[f(X)] f(e[x]) se f é uma função não-linear 29/43

30 Definição Um modelo estatístico stico é aquele que toma amostras aleatórias de uma distribuição de probabilidade que descreve a operação de algum aspecto do sistema ou de todo o sistema. Simulações que envolvem amostras aleatórias são usualmente chamadas de simulações de Monte Carlo. 30/43

31 Exemplo: cálculo de π x: Unif(0,1) a cada nova rodada são gerados x e y se x 2 +y 2 < 1, faz-se A = A+1 Após muitas rodadas, observa-se que π = 4 A/N raio = 1 y: Unif(0,1) 31/43

32 Dois paradigmas Time-step step: : a cada passagem de tempo Δt, todo o sistema se atualiza e novos estados são determinados Discrete-event event: os eventos se sucedem em fila,, e os tempos entre os eventos não são fixados a priori 32/43

33 Time step simulation deslocamento de um vetor em movimento retilíneo uniforme 3 sensores na área P detecção = f(d) B v A d A d B Δt d C C 33/43

34 Discrete event simulation A exp(λ A ) S 1 exp(λ 1 ) S 2 exp(λ 2 ) t evento chegada A(1) início S 1 /A(1) chegada A(2) início S 2 /A(2) chegada A(3) término S 1 /A(1) início S 1 /A(3) 9 chegada A(4) término S 2 /A(2) início S 2 /A(4) 34/43

35 Números aleatórios números gerados por computadores e calculadoras são, na verdade, pseudo aleatórios rios, uma seqüência proveniente de uma função matemática tica que depende de um valor inicial: : a semente (seed) atende sem problemas à grande maioria das aplicações (é problema para a criptografia) 35/43

36 Geração de números aleatórios com uma dada distribuição de probabilidade Método da transformação inversa F(x) 1,0 0,5 Uniforme (0,1) Normal (μ = 0, σ = 1) x 36/43

37 Método da transformação inversa Gerar uma distribuição Uniforme (a, b): f(x;a,b): 1/(b - a) se a x b (pdf) F(x;a,b): (x - a)/(b - a) se a x b (cdf) y = (x - a)/(b - a), resolvendo para y: x = a + (b - a) y,, se y é Unif(0,1) F - 1 (y) x = a + (b-a) Unif(0,1) 37/43

38 Método da transformação inversa Gerar uma distribuição Exponencial (λ) f(x;λ): λ e -λx x 0 e λ > 0 (pdf) F(x,λ): 1 - e -λx x 0 e λ > 0 (cdf) y = 1 - e -λx, resolvendo para y: x = -ln(1 - y)/λ,, se y é Unif(0,1) F - 1 (y) x = -ln( ln(unif(0,1) Unif(0,1)) λ 38/43

39 Critérios rios de parada A necessidade de se buscar estimativas de parâmetros de interesse nos faz simular para acumular dados esses dados precisam ser analisados estatisticamente,, de acordo com critérios rios estabelecidos a priori (N não pode simplesmente ser infinito!) utilizar intervalos de confiança ou erro relativo para interromper a simulação 39/43

40 Exemplos de Simulação 40/43

41 Exemplos de Simulação 41/43

42 Exemplos de Simulação OTIMIZAÇÃO DO LANÇAMENTO AMENTO DE MAE OPTRÔNICAS (FLARE) 42/43

43 Exemplos de Simulação A Modified Multiple Sample Correlation Algorithm for Electronic Target Location 43/43