AGA Análise de Dados em Astronomia I. 2. Probabilidades

Transcrição

1 1 / Introdução AGA Análise de Dados em Astronomia I 2. Probabilidades Laerte Sodré Jr. 1o. semestre, 2019

2 2 / 26 aula de hoje: 1 o que são 2 distribuições de 3 a distribuição normal ou gaussiana 4 condicionais e conjuntas 5 as regras fundamentais das 6 exercícios sobre 7 o teorema de Bayes 8 aplicações 9 combinação de distribuições A teoria das é o senso comum reduzido ao cálculo (Pierre-Simon Laplace)

3 3 / 26 o que são? teoria das : provê um meio de quantificar as incertezas fontes de incertezas: incerteza intrínseca ao fenômeno, como na Mecânica Quântica ou em fenômenos caóticos e/ou estocásticos incerteza nas medidas ou observações incerteza nos modelos, que leva a uma incerteza nas predições há uma disputa dentro da Estatística, tendo como base a natureza das : métodos bayesianos x métodos frequentistas

4 4 / 26 o que são? probabilidade frequentista: medida da frequência de eventos (em vários experimentos ou ensemble de sistemas estatisticamente equivalentes) probabilidade bayesiana: medida da plausibilidade de uma proposição os métodos bayesianos propõem um enfoque lógico para a análise de dados baseado no teorema de Bayes os métodos frequentistas foram largamente dominantes durante todo o século XX: existem muitos procedimentos frequentistas que são muito usados (ex.: estimativa de parâmetros via máxima verossimilhança)

5 5 / 26 o que são probabilidade frequentista: o número de vezes que um evento ocorre dividido pelo número total de tentativas, no limite de um número infinito de tentativas P(x): número entre 0 e 1 que mede a frequência com que a proposição x aparece em uma amostra problemas: não comporta eventos únicos ou não repetíveis lida com as propriedades assintóticas ( no limite... ) probabilidade bayesiana: medida da plausibilidade de um evento P(x): número entre 0 e 1 que mede o grau com que a proposição x é verdadeira (com 0 falsa e 1 verdadeira)

6 distribuições de x: variável aleatória contínua ou discreta variável aleatória: variável cujos valores são resultados de um processo aleatório ou estocástico, obedecendo a uma certa distribuição de, P(x) P(x): número entre 0 e 1 que mede a incidência da variável x ou o grau com que uma proposição x é verdadeira (com 0 falsa e 1 verdadeira) P(x) pode ser uma função discreta ou contínua quando se tem um contínuo de proposições, P(x) fica uma função de densidade de (fdp ou pdf): P(x)dx: número entre 0 e 1 que mede o grau de plausibilidade de que uma certa variável x esteja entre x e x + dx no caso de variáveis discretas a distribuição de é chamada de função de massa de (FMPs) as FDPs/FMPs podem ser multivariadas, i.e., funções de várias variáveis: P(x, y, z) 6 / 26

7 7 / 26 distribuições de exemplos:

8 8 / 26 distribuições cumulativas P(x): função de distribuição de (FDP) FDP cumulativa: F(x) = x P(x )d(x ) notação: x P(x) x é uma variável aleatória que obedece a P(x)

9 9 / 26 distribuição normal ou gaussiana distribuição gaussiana: P(x µ, σ) = 1 [ exp 2πσ (x ] µ)2 2σ 2 2 parâmetros: média µ desvio padrão σ (ou variância σ 2 ) notação: x N(x; µ, σ)

10 10 / 26 condicionais e conjuntas são, normalmente, condicionais, isto é, dependem ou podem depender de outras proposições: P(x y): lê-se probabilidade de x dado y P(x y) mede a plausibilidade da proposição x se a proposição y é admitida como verdadeira P(x y, z, w): tudo o que estiver a direita da barra é suposto conhecido probabilidade conjunta: P(x, y) probabilidade conjunta de duas proposições x e y P(x, y z): probabilidade conjunta de x e y dado z P(x) = P(x H): toda variável depende de hipóteses (H), implícitas ou explícitas

11 11 / 26 as regras fundamentais das as duas regras fundamentais das : regra da soma: P(x) + P( x) = 1 onde x representa a probabilidade de x ser falso regra do produto (ou da cadeia): P(x, y) = P(x y) P(y)

12 12 / 26 exercícios sobre jogamos duas moedas: qual é a probabilidade de sair duas caras? Cada moeda pode dar: cara (H, heads) ou coroa (T, tails) o espaço amostral é S = {(H, T), (H, H), (T, H), (T, T)} seja E o evento sair duas caras : E = {(H, H)} então, P(E) = n(e)/n(s) = 1/4

13 13 / 26 exercícios sobre Uma caixa contém 4 bolas azuis, 2 amarelas e 3 vermelhas. - Tiramos uma bola ao acaso e a retornamos à caixa. - Repetimos isso 3 vezes. - Qual é a probabilidade de termos tirado 2 bolas azuis e 1 vermelha? número total de bolas: n = = 9 probabilidade de tirarmos 1 bola azul: 4/9; outra bola azul: 4/9; 1 bola vermelha: 3/9 probabilidade total de tirarmos 2 bolas azuis e 1 vermelha : 4/9 4/9 1/3 = 16/

14 14 / 26 exercícios sobre a mesma caixa: 4 bolas azuis, 2 amarelas e 3 vermelhas. - Tiramos uma bola ao acaso e não a retornamos à caixa. - Repetimos isso 3 vezes. - Qual é a probabilidade de termos tirado 2 bolas azuis e 1 vermelha? possibilidades: P(A,A,V)=4/9 3/8 3/7=36/504 P(A,V,A)=4/9 3/8 3/7=36/504 P(V,A,A)=3/9 4/8 3/7=36/504 probabilidade de tirarmos 2 bolas azuis e 1 vermelha: 3 36/504 = 1/

15 15 / 26 exercícios sobre 40% dos estudantes da classe disseram conhecer R e Python. 60% dos estudantes disseram conhecer Python. Qual é a probabilidade de um estudante que conhece Python conhecer também R? seja A conhecer Python e B conhecer R dados: P(A, B) = 0.4 P(A) = 0.6 o que se quer: P(B A) condicionais: P(A, B) = P(B A)P(A) logo, P(B A) = P(A, B)/P(A) = 0.4/0.6 = 2/3 0.67

16 diagrama de Venn 16 / 26 exercícios sobre probabilidade de A ou B: dados 2 eventos, A e B, qual é a probabilidade de se ter A OU B? P(A ou B) = P(A) + P(B) P(A e B) eventos mutuamente exclusivos: se um ocorre o outro não ou os dois não podem ocorrer ao mesmo tempo P(A e B) = 0 exemplo qual é a probabilidade de se obter ou 5 ou 6 jogando um dado? P(5) = P(6) = 1/6, P(5 e 6) = 0 e portanto P(5 ou 6) = 1/6 + 1/6 0 = 1/3

17 diagrama de Venn 17 / 26 exercícios sobre probabilidade de A ou B: dados 2 eventos, A e B, qual é a probabilidade de se ter A OU B? P(A ou B) = P(A) + P(B) P(A e B) eventos mutuamente exclusivos: se um ocorre o outro não ou os dois não podem ocorrer ao mesmo tempo P(A e B) = 0 exemplo: qual é a probabilidade de se tirar uma carta vermelha ou um 3 em um baralho de 52 cartas (4 naipes de 13 cartas)? P(V) = 26/52; P(3) = 4/52; P(V, 3) = 2/52 e, portanto, P(V ou 3) = 26/52 + 4/52 2/52 = 28/52 = 7/13

18 18 / 26 o teorema de Bayes o teorema de Bayes as duas regras fundamentais das : regra da soma: P(x) + P( x) = 1 onde x representa a probabilidade de x ser falso regra do produto (ou da cadeia): P(x, y) = P(x y) P(y) teorema de Bayes ( 1740) da regra do produto vem que: P(x, y) = P(x y) P(y) P(y, x) = P(y x) P(x) como P(x, y) = P(y, x), temos o teorema de Bayes: P(x y) = P(y x) P(x) P(y)

19 o teorema de Bayes as regras fundamentais das : alguns resultados regra da soma: P(x) + P( x) = 1 generalização para um conjunto de proposições discretas ou contínuas, mutuamente exclusivas e exaustivas : k P(x k) = 1 regra de normalização das P(x)dx = 1 a marginalização: quando se tem um conjunto y k de proposições MEE P(x) = k P(x, y k) ou P(x) = P(x, y)dy aplicação da regra do produto: vamos supor que x e y são independentes: P(x y) = P(x) e P(y x) = P(y) portanto, P(x, y) = P(x y)p(y) = P(x)P(y) a probabilidade de duas proposições independentes é o produto das de cada uma 19 / 26

20 o teorema de Bayes as regras fundamentais das : alguns resultados aplicação da regra do produto: P(x, y, z) = P(x y, z)p(y, z) P(y, z) = P(y z)p(z) logo, valor esperado de uma função f (x) com respeito a uma distribuição de P(x): E(f ) = P(x)f (x)dx P(x, y, z) = P(x y, z)p(y z)p(z) E(f ) = i P(x i )f (x i ) 20 / 26

21 21 / 26 aplicações o problema de Monty Hall um programa de auditório: você tem 3 portas na sua frente: uma contém uma Ferrari e as duas outras estão vazias MH então te pergunta: quer trocar de porta ou não quer? Você quer trocar a porta que escolheu por esta que sobrou ou não? o que é mais vantajoso fazer? MH pede para você escolher uma delas: você escolhe, por exemplo, a 1 antes de abrir a porta que você escolheu, MH (que sabe onde o carro está), escolhe uma das portas vazias e a abre; sobra assim uma outra porta fechada

22 aplicações o problema de Monty Hall um programa de auditório: vamos considerar N portas e o prêmio está atrás de uma delas escolhando uma caixa ao acaso, X: P(premio X) = 1 N logo, P(premio nas outras caixas) = N 1 N é vantajoso trocar de porta! > 1 N 22 / 26

23 aplicações tabela de contingência 2 x 2 temos duas variáveis: T: teste de doença T = 0 resultado negativo, T = 1 resultado positivo D: presença de doença D = 0: não tem a doença; D = 1: doente vamos supor que conhecemos as : P(T = 1 D = 0) = ɛ fp P(T = 0 D = 0) = 1 ɛ fp P(T = 0 D = 1) = ɛ fn P(D = 1) = ɛ D falso positivo falso negativo probabilidade a priori da doença combinações possíveis: (T, D) = (0, 0), (0, 1), (1, 0), (1, 1) queremos determinar P(D = 1 T = 1) 23 / 26

24 aplicações tabela de contingência 2 x 2 conhecidas: P(T = 1 D = 0) = ɛ fp falso positivo P(T = 0 D = 0) = 1 ɛ fp queremos P(D = 1 T = 1): P(D = 1 T = 1) = P(T=1 D=1)P(D=1) P(T=1) P(T = 1) = P(T = 1 D = 0)P(D = 0)+ P(T = 0 D = 1) = ɛ fn falso negativo P(T = 1 D = 1)P(D = 1) = ɛ fp (1 ɛ D ) + (1 ɛ fn )ɛ D P(D = 1) = ɛ D probabilidade a priori da doença P(D = 1 T = 1) = P(D = 1 T = 1) ɛ D ɛ fn ɛ D ɛ D +ɛ fp ɛ D (ɛ fp +ɛ fn ) ɛ D ɛ D +ɛ fp só se pode diagnosticar com certeza uma doença (P 1) se ɛ fp << ɛ D teste de DNA: um resultado positivo só é conclusivo se ɛ fp for muito menor que a probabilidade de que alguém escolhido ao acaso tenha o mesmo DNA 24 / 26

25 combinando distribuições de combinando distribuições muitas vezes conhecemos a distribuição de uma variável mas queremos saber a distribuição de uma quantidade derivada, y = f (x) P(x): pdf de x P(y): pdf de y como a densidade de é conservada, dx P(x)dx = P(y)dy e P(y) = dy P(x) (cuidado se f (x) não é monotônica!) exemplo: suponha que P(x) = exp( x), (x > 0), e y(x) = ln(x) como x = exp(y), P(y) = P(x)/ dy/dx = x exp( x) = exp(y exp(y)) esta técnica se torna difícil de aplicar para mais de uma variável 25 / 26

26 26 / 26 combinando distribuições de exercícios 1 Numa amostra de 100 quasares, 10 são radio-loud (fortes emissores em rádio). Dois objetos são escolhidos aleatoriamente nesta amostra. Qual é a probabilidade de escolhermos 1 dois objetos radio-loud; 2 dois objetos radio-quiet; 3 um objeto radio-loud e um objeto radio-quiet. 2 Numa amostra de 100 galáxias, 68 estão formando estrelas e 44 têm um núcleo ativo. Qual a probabilidade de uma galáxia ao acaso estar formando estrelas e possuir um núcleo ativo?