Qual estatística é necessária? Carlos Alberto de Bragança Pereira

Transcrição

1 Qual estatística é necessária? Carlos Alberto de Bragança Pereira

2 Máximas da ciência Moda é passado em ciência. Nada é só bom! Nada é só ruim! Probabilidade não existe. O objetivo da estatística é tornar racional atitudes que inconscientemente tomamos em nossas vidas. 2

3 Estatístico? Quem? The Statistician is the Wizard who makes "scientific" statements about invisible states and quantities. However, contrary to real wishes (and witches), he attaches uncertainties to her (or his) statements. 3

4 O Estatístico é o Operário da Ciência 4

5 Trabalho do Estatístico O trabalho do estatístico é iniciado no momento da descrição dos níveis de incerteza de um cientista sobre as quantidades de interesse (invisíveis). A ferramenta usada para a descrição do nível de incerteza é a Probabilidade. 5

6 Probabilidade A probabilidade do valor, θ0, de um estado de natureza, digamos θ, é um valor que indica o nível de incerteza sobre a afirmação: o valor do estado da natureza é θ0. Para este índice de incerteza, existem regras que devem ser obedecidas. 6

7 Regra Máxima: Open Minded Probabilidades devem ser atribuídas a todos valores possíveis do estado de natureza sendo avaliado (estudado). Ao conjunto de todas as afir mações probabilísticas de um problema usamos o ter mo modelo probabilístico ou distribuição de probabilidades. 7

8

9 Estabelecendo Regras Probabilidade é um número entre 0 e 1. Uma urna tem 5 bolas indiferenciáveis exceto pelo número inscrito (1 a 5) e pela cor, branca (3 bolas) ou preta (2). A seleção de uma bola é feita ao acaso se cada bola tiver a mesma chance de ser selecionada. No caso 1/5! A bola selecionada é branca com probabilidade 3/5. Se A é Impossível (certo), P(A)=0 (1). 9

10 Exemplo

11 Perguntas e Respostas Seja X (Y) o 1º (2º) algarismo. P(X=0) = 10/100 =0,1 = P(X=Y) = P(Y=1) = P(X+Y = 9). P(X>Y)=45/100=1-55/100=1-P(X < Y) P(X Y)=1-P(X=Y)=90/100 P{Nenhum dígito excede 3}=16/100 P{Ambos excedem 3} = 36/100 P(somente um excede 3} = 48/100 P{X>3&Y<3} = 24/100 11

12 Axiomas Sejam A e B dois eventos: Convexidade 0<P(A)<1. Se A é impossível (certo) P(A)=0 (1). Aditividade: A e B mutuamente exclusivos P(AouB)=P(A B)=P(A) +P(B) Completividade: P(ñ A)=1-P(A) 12

13 Unidades e Variáveis Unidades populacionais são os elementos onde medidas podem ser obtidas. Unidades amostrais são aquelas que são efetivamente observadas em um estudo. Quantidades aleatórias são as quantidades desconhecidas e de interesse. Normalmente associadas às unidades populacionais. 13

14 0,12 0 Função de Probabilidades x ou y f(x)=f(y)=0,1 Função de Probabilidades 1 Função de Distribuição ou de Probabilidades Acumuladas F(x)=(x+1)/10 F(y)=(y+1)/10 Função de Distribuição 0,5 0 x ou y

15 Distribuições No exemplo vamos definir a quantidade Z=X+Y e vamos calcular as probabilidades de todos os valores possíveis de Z. Se A é um evento relacionado às unidades da população, então: P(A) = (no de casos favoráveis) dividido pelo (no de casos possíveis) 15

16 Probabilidades em porcentagens Z

17 Função de Probabilidades Note que se desejarmos predizer o valor de Z quando uma unidade (X,Y) dessa população é selecionada, podemos escrever a função de probabilidades da variável z. f(z)=p{z=z}=0,1-0,01 z-9 para todo valor de z no conjunto {0,1,2,...,17,18} 17

18 Função de Distribuição Função de distribuição ou função de probabilidades acumuladas é definida por P{Z<z}=P{Z=0}+...+P{Z=z} Escreve-se F(z) = P{Z< z} Note que F(z)-F(z-1)=f(z) 18

19 1 Distribuição 0,8 Probabilidades 0,6 0,4 0,2 0 z=x+y

20 1 1/4 Y Exemplo x+y (x,y) C=ñA&ñB =ñ(aoub) 0 A 1/2 1 B X P(A)=1/2 P(B)=1/4 P(A&B)=1/8 P(A B)=1/2= =(1/8)/(1/4) P(C)=3/8 P(AouC)= P(A)+P(C)= 1/2+3/8=7/8 P(AouB) = P(A)+P(B)-P(A&B) =4/8+2/8-1/8=5/8 20

21 1 Funções de Densidade e de Distribuição de z=x+y 0,8 0,6 0,4 distribuição Densidade f(z)=z se z<1 F(z)=1-(2-z)2/2 se z>1 0,2 0 F(z)=z2/2 se z<1 f(z)=2-z se z>1 0 0,5 1 1,5 2 21

22 F(x)=x/9 & F(y)=y/9 Contínuo Z=X+Y F(z)=(z/9)2/2 se z<1 e F(Z)=1-(2-z/9)2/2 se 1<z<2 f(x)=1/9 9 f(y)=1/9 6 (X=7,Y=6) f(z)=z/81 se 0<z<9 X+Y-9 f(z)=(18-z)/81 se 9<z<18 X+Y-9=

23 1 Distribuição 0,8 Densidade 0,6 0,4 0,2 0 z=x+y

24 Exemplo; Distância D de (0,0) a (X,Y) 1 Pr(D<0,79)= =0,625 F(d) = d2 0,75 0,5 0,25 0 (X1,Y1)= (1/4;3/4) d=0,79 Pr(D<0,9)= =0,8125-0,25-0,5-0,75 d=0,9 (X2,Y2)= (-1/2;-3/4) ,75-0,5-0,25 0 0,25 0,5 0,

25 Exemplo do Círculo Distribuição de D: F(d) = πd2/π = d2 Densidade de D: f(d) = 2d Distância de (x,y) até (0,0) é a raiz quadrada de x2 + y2. Assim, d1 = raiz(1/16+9/16) = = raiz(10/16) = 0,79 e d2 = raiz(4/16+9/16) = = raiz(13/16) = 0,9 25

26 2 Distribuição Densidade média mediana 1,5 1 0, ,2 0,4 0,6 0,8 1 26

27 Média Considere novamente o primeiro exemplo onde X representa o primeiro dígito da bola selecionada. Os valores possíveis de X estão no vetor (0,1,2,3,4,5,6,7,8,9). Agora você deve adivinhar o valor que X irá assumir. Isto é independente do valor obser vado de X, a sua escolha será um número M. Qual o número M de sua preferência? 27

28 Média Devemos escolher um valor N de tal for ma que a distância Euclidiana entre o vetor de possibilidades de X, (0,1,2,3,4,5,6,7,8,9) esteja mais próximo do vetor (M,M,M,M,M,M,M,M,M,M). Isto é, qual o valor de M que minimiza D = Raiz{(0-M)2+(1-M)2+...+(9-M)2} Isto é: D2 = Σ(x-M)2 deve ser minimizada 28

29 Desvio Padrão Demonstra-se que se m é a média de x então D(m) < D(M) qualquer que seja M. Isto é a distância com a escolha da média é o mínimo que se pode obter. A distância D(m) é o desvio padrão da variável X. O quadrado dessa distância é denominado Variância de X. 29

30 Normal Padrão X~Normal(0,1) Z=D(X+m) Então Z~Normal(m,D)

31 Vetores aleatórios Vamos lembrar do primeiro exemplo e pensar em (x,z) onde z=x+y. Suponha que temos de predizer z e podemos ter o valor de x antes da predição. Qual a melhor predição neste caso? Novamente seria Média de Z na distribuição condicional de Z dado X. Assim E(Z X) é o melhor preditor. 31

32 18 Z=X+Y Regressão (z) = 4,5+x 15 Corr 0, X 32

33 Vamos agora pensar em duas variáveis que aparen-temente são altamente correlacionadas Z=X+Y & W=X-Y [Se X e Y são variáveis normais independentes então Z e W são independentes.] 33

34 9 W Corr Zero Z 34

35 Amostra1 Amostra2 Amostra3 Amostra

36 (s,m,m)=(55,82,58) (57,52,55) (39,38,37) (51,56,52)

37 Distribuição Posteriori 1 Posteriores: (m1,m2,m3,m4) = (59,44,65,72) Posterior A1 A2 A3 A4 0 N

38 1 Posteriori Am3 & Am. Total: m3=72 e mt=51 0,

39 Um roubo foi cometido e um suspei-to, um jovem, está sendo julgado. O assaltante aparentemente se cor-tou e seu sangue pingou no local do crime. O sangue do suspeito também foi coletado. Como estamos interessados em avaliar a probabilidade do suspei-to ser o criminoso, devemos usar todas as evidências disponíveis. Foi observado que o sangue do local do crime é do mesmo tipo do sangue do suspeito. 39

40 Exemplo - Estatística Forense θ = 1 (=0) se o suspeito é culpado (inocente). X = 1 (=0) se o sangue do suspeito é do tipo A (ñ A). Y = 1 (=0) se o sangue do local é do tipo A (ñ A). 40

41 Estatística Forense: Diagrama de Influência P(θ) θ P(θ X,Y) θ Y Y X P(Y X,θ) X P(X θ)=p(x) 41

42 Exemplo - Estatística Forense priori q =P{θ=1} διστ. αµοστραλ δε Ξ: Π{Ξ=1 θ}=π{ξ=1}=p Pr{θ = 1 X = 1, Y = 1} = q = > q (1 q) p + q P{Y = y x,θ} = p se θ y = 1 1 p se θ = y = 0 1 se θ = 1e y = x 0 no complementar 42

43 0,8 posterior - prior p=0,01 p=0,1 p=0,3 p=0, ,5 prior 1 43

44 Paternidade Antônio, um jovem filho de Maria, decide seguir o conselho de sua mãe e entra na justiça para que John, um rico empresário, reconheça a paternidade de Antônio. O Juiz então decide que tanto o demandado, John, quanto os demandantes, Antônio e Maria, se submetam ao exame de DNA em amostras de seus respectivos sangues. As análises dos sangues seguiram a técnica de Microsatélites pela Reação de Cadeia da Polimerase (PCR). 44

45 Paternidade Resultado para os três primeiro locos: Loco Mãe Demandante Demandado freq fi gi hi f16 é a freq. gênica do alelo 16 no loco 1, g29 é a do alelo 16 no loco 2 e g19 é a do alelo 19 no loco 3. 45

46 Paternidade Loco 1 Pa θ =1 (=0) se o demandado (não) é o pai. O1 X=1 (=0) se o genótipo do demandado (não) é (12 16). O2 Y=1 (=0) se o genótipo do demandante (não) é (13 16). Obs: Pa para parâmetro e O para observação Consideremos que a priori q =P{θ=1}. Por outro lado, P{X=1 θ=1}= P{X=1 θ=0}=p{x=1}=2f12f16. Finalmente, podemos escrever a probabilidade condicional de Y dado (θ,x): P{Y=1 X=1, θ=1}=1/4. 46

47 Paternidade Loco 1 P{X=1,Y=1}=P{X=1,Y=1,θ=0} + P{X=1,Y=1,θ=1} =P{θ=0}P{X=1,Y=1 θ=0} + P{θ=1}P{X=1,Y=1 θ=1} P{θ=0}P{X=1 θ=0}p{y=1 X=1,θ=0}+P{θ=0}P{X=1 θ=1}p{y=1 X=1,θ=1} =P{θ=0}P{X=1}P{Y=1 X=1,θ=0} + P{θ=1}P{X=1}P{Y=1 X=1,θ=1}. P{X=1,Y=1} = (1-q)(2f12f16)f16/2+q(2f12f16)/4. P{θ=1 X=1,Y=1}= P{X=1.Y=1, θ=1} P{X=1.Y=1} = [1+2f16(1-q)/q]- 1. incerteza total: q=1/2, posteriori de paternidade [1+2f16]-1 47

48 Paternidade Loco 1 1 Paternidade 0,8 0,6 0,4 0, ,2 0,4 0,6 0,8 1 f16 48

49 Paternidade Loco 2 Consideremos que a priori para o loco 2 é de q =P{θ=1}=0,7. Por outro lado, P{X=1 θ=1}= P{X=1 θ=0}=p{x=1}=2f29f35. Finalmente, podemos escrever a probabilidade condicional de Y dado (θ,x): P{Y=1 X=1, θ=1}=1/4. P{Y=1 X=1, θ=0}=(1/2)(f29+f35). 49

50 Paternidade Loco 2 P{X=1,Y=1}=P{X=1,Y=1,θ=0} + P{X=1,Y=1,θ=1} =P{θ=0}P{X=1,Y=1 θ=0} + P{θ=1}P{X=1,Y=1 θ=1} P{θ=0}P{X=1 θ=0}p{y=1 X=1,θ=0}+P{θ=0}P{X=1 θ=1}p{y=1 X=1,θ=1} =P{θ=0}P{X=1}P{Y=1 X=1,θ=0} + P{θ=1}P{X=1}P{Y=1 X=1,θ=1}= P{X=1,Y=1} = (1-q)(2f29f35) (f29+f33)/2+q(2f29f33)/4. P{θ=1 X=1,Y=1}= P{X=1.Y=1,θ=1} P{X=1.Y=1} = [1+(f29+f33)(1-q)/q]-1 = [(1+2(0.4)0.4286]-1=

51 Paternidade Loco 3 P{θ=1 X=1,Y=1}= P{X=1.Y=1,θ=1} P{X=1.Y=1} = q(1/2)(f19)2 {q(1/2)(f19)2+(1-q)(1/2)(f19+f20) (f19)2} = [1+(f19+f20)(1-q)/q]-1 = [(1+(0.4) ]-1= Prior q = 0,7447 & f19+f20=.4 51