Uma breve introdução a probabilidade

Transcrição

1 Uma breve introdução a probabilidade

2 Modelo Probabilístico Espaço amostral (S): conjunto de todos os resultados que podem ocorrer a partir de um experimento aleatório Probabilidade de eventos (P): quantificação da chance que cada resultado ocorra Eventos (E): conjunto de resultados que são de interesse

3 Diagrama de eventos Álgebra de Eventos Espaço amostral S Evento A Evento B Evento C Evento ocorre quando um de seus elementos é o resultado do experimento aleatório Operações de união, interseção e complemento

4 Exclusão Mútua Dois eventos A e B são disjuntos ou mutuamente exclusivos se Exemplos? A B= Evento A: os dois dados são pares Evento B: os dois dados são ímpares conjunto vazio

5 Axiomas de Probabilidade (A1): para cada evento A, 0 <= P(A) <= 1 (A2): P(S) = 1, onde S é o espaço amostral (A3): se A e B são mutuamente exclusivos, então P(A U B) = P(A) + P(B)

6 Caso geral Para o caso geral, a probabilidade da união de dois eventos A e B, é dada por P( A B)=P( A)+P(B) P( A B) Esta regra pode ser estendida para soma de três ou mais termos.

7 Como calcular as freqüências de ocorrência? Contando o número de casos favoráveis para ocorrência de um certo evento, se os eventos são equiprováveis Quando o espaço amostral é grande, temos que usar a análise combinatória P(E) = número de casos favoráveis/número total de casos

8 Probabilidade Condicional Relacionamento entre a ocorrência de um evento e outros eventos S Evento A Evento B Qual a probabilidade do evento A dado que o evento B ocorreu? Dado que o resultado do experimento aleatório é elemento de B, qual a probabilidade deste ser também elemento de A? Espaço amostral passa a ser o evento B

9 Probabilidade Condicional Definição: Probabilidade de A dado B P [ A B ]= P [ A B] P[ B]

10 Regra do produto ou regra da cadeia Permite o cálculo da distribuição conjunta de n eventos a partir de probabilidades condicionais Considere um conjunto finito eventos tais que os eventos condicionais A i / A 1 A 2... A i 1 positivas. Temos que: A 1, A 2,..., A n tenham probabilidades de

11 Regra do produto ou regra da cadeia Para demonstrar basta escrever: E reescrever o lado direito da equação usando a definição de probabilidade condicional:

12 Eventos Independentes Sejam A e B dois eventos definidos no mesmo espaço amostral S A e B são independentes se P [ A B ]=P [ A]P [B ] Note que se A e B são independentes, então P [ A B ]= P [ A B ] P[ B] = P [ A]P [B ] P [B ] =P [ A] 2 eventos são independentes se a ocorrência de um não altera a probabilidade do outro

13 Eventos: Mutuamente Exclusivos x Independentes Experimento Aleatório: Jogar um dado e uma moeda S={(1,Ca),(1,Co),(2,Ca),(2,Co),(3,Ca),(3,Co), (4,Ca),(4,Co),(5,Ca),(5,Co),(6,Ca),(6,Co)} Evento A: resultado da moeda é cara P(A) = 1/2 Evento B: resultado da moeda é coroa P(B) = 1/2 Eventos A e B são independentes ou mutuamente exclusivos? A B= A e B são mutuamente exclusivos!

14 Eventos: Mutuamente Exclusivos x Independentes Evento A: resultado do dado é maior do que 2 Evento B: resultado da moeda é cara S={(1,Ca),(1,Co),(2,Ca),(2,Co),(3,Ca),(3,Co), (4,Ca),(4,Co),(5,Ca),(5,Co),(6,Ca),(6,Co)} A B = { (3,Ca), (4,Ca), (5,Ca), (6,Ca)} 8 resultados em 12 P [ A B] = 4/12 = 1/3 P[A] = 8/12 = 2/3, P[B] = 1/2 P[ A B]=1/3=P[ A] P [B]=1/3 P [ A/ B]=P[ A B]/P [ B]=2 /3 A e B são independentes! 2 resultados em 3

15 Relacionar eventos para calcular probabilidades Sejam A e B dois eventos, temos que P [ A]=P [ A B A B ] = = S P [ A B] P [ A B] P [ A B ]P [ B] P[ A B] P [B ] Evento A Evento B definição de conjuntos mutuamente exclusivos Definição de probabilidade condicional

16 Teorema da Probabilidade Total Generalização do conceito Seja B i (i=1,...,n) uma partição do espaço amostral, onde B i são eventos mutuamente exclusivos, e a sua união é igual ao espaço amostral B 1 B 2 BA 3... B n-1 B n Considere o evento A. Qual a probabilidade de A ocorrer (em função de B i )? i= n P [ A]= i =1 P [ A B i ] P [ B i ] Teorema da Probabilidade Total

17 Lei de Bayes Permite o cálculo da probabilidade de um evento B condicionado a um evento A, dado que se conhece o inverso Uso do teorema da probabilidade total P [ B i A] P[ B i / A]= P [ A / B i ] P[ B i ] n j=1 P [ A B j ] P[ B j ] P [ A]

18 Exemplo Técnica (imperfeita) para acusar defeitos em processadores Eventos D : processador defeituoso T : resultado do teste é positivo 95% verdadeiro positivo 5% falso positivo 1% dos processadores possuem defeitos P(D) teste acusa defeito quando processador está defeituoso P(T/D) teste acusa defeito quando processador está ok P [T D]=0.05 Qual a probabilidade de um processador ser defeituoso dado que o teste foi positivo? P(D/T)

19 Exemplo D : processador defeituoso T : resultado do teste é positivo Pergunta: P[D T]? P [D]=0.01 P [T D]=0.95 P [T D]=0.05 P [D T ]= P[ D T ] P [T ] = P[T D] P[ D] P [T ] P [T ]=P [T D] P [D] P [T D] P [D]

20 Event A: Subject has disease Event B: Test is positive Exemplo Interpret: Probability patient has disease and positive test (correct!) P( A B) Probability patient has disease BUT negative test (false negative) P( A B) Probability patient has no disease BUT positive test (false positive) P( A B) Probability patient has disease given a positive test Probability patient has disease given a negative test P(A / B) P(A / B)

21 Exemplo If only data we have is B or not B, what can we say about A being true? Not as simple as positive = disease, negative = healthy Test is not infallible! Probability depends on A and B: p ( A B )= p ( A B) p ( B ) p ( A B )= p ( A B) = p ( A B ) p ( B ) 1 p ( B ) Must Examine independence Does P(A) depend on P(B)? Does P(B) depend on P(A)? Events are dependent Event A: Subject has disease Event B: Test is positive

22 Exemplo Bayes theorem allows inference on A, given the test result, using knowledge of the test s accuracy and population qualities P(B A) is test s sensitivity P(B A) is test s false positive rate P(A) is occurrence of disease Event A: Subject has disease Event B: Test is positive P( A / B)= P( A B) = P(B) P(B/ A) P( A) P(B) P( B)= i P(B/ A i ) P( A i )=P(B/ A) P( A)+P(B/ A) P( A)

23 Variáveis Aleatórias Necessidade de expressar eventos de forma precisa Interesse não no resultado aleatório, mas numa função do resultado Idéia: Mapear eventos em números reais A B C D E reais

24 Exemplo: Um dado Considere um dado Ganha 10 se o resultado é 6, zero se o resultado é 4 ou 5, e perde 5 se o resultado é 1, 2 ou

25 Definição de Variável Aleatória Uma variável aleatória X é uma função sobre um espaço amostral S que associa um número real a cada elemento de S X : S R

26 Função probabilidade de massa (pmf) Associar probabilidade a valores de uma v.a. Seja X uma v.a. (discreta). Qual a probabilidade de X = x? {s X s =x } Conjunto de eventos elementares que são mapeados no valor x p X (x)=p[ X=x]=P[{s X (s)=x }]= X (s)=x notação de pmf (probability mass function) P[s] Propriedades: 0 p X (x) 1 p x X(x)=1

27 Função probabilidade de massa (pmf)

28 Função distribuição cumulativa (cdf) Dada v.a. X discreta, temos F X x =P[ X x]=p [{s X s x }]= X s x notação da cdf (cumulative distribution function) P [s] Propriedades: (i) F X (x) é monotônica, não decrescente em X (ii) 0 F X (x) 1, x +

29 Função distribuição cumulativa (cdf)

30 Variáveis Aleatórias Contínuas Para uma v.a. contínua é definida a função distribuição F X (x)=p[ X x] Propriedades: (i) F X (x) é monotônica, não decrescente em X (ii) 0 F X (x) 1, x + (iii) c P[ X =c]=p[c x c]= f c X (x)dx=0

31 Variáveis Aleatórias Contínuas Para uma v.a. contínua é definida a função densidade f X (x)= d F X(x) dx Propriedades: (i) f X (x) 0, x a P[ X a]= f X (x)dx b P[a X b]= f X (x)dx=f X (b) F X (a) a (ii) + f X (x)dx=1

32 Função Densidade e Distribuição

33 Variáveis Aleatórias Conjuntas

34 Variáveis Aleatórias Conjuntas - X e Y tem distribuição Normal - X,Y tem bivariate normal distribution

35 Variáveis Aleatórias Conjuntas: Propriedades

36 Variáveis Aleatórias Conjuntas: Propriedades Função distribuição marginal da v.a. X Função densidade marginal da v.a. X Função densidade marginal da v.a. Y

37 Função Distribuição Marginal Função densidade marginal da v.a. X

38 Variáveis Aleatórias Conjuntas Suponha duas v.a. contínuas definidas no mesmo espaço de probabilidade Estamos interessados em calcular: P[ X x,y y]=f X,Y (x, y) F X,Y (x, y)= x y f X,Y (u, v)dvdu Podemos obter a função distribuição marginal a partir da função distribuição conjunta: x F X (x)= + f X,Y (u, v)dvdu

39 Função Distribuição Condicional: Motivação Muitas vezes as variáveis aleatórias possuem dependência A forma de expressar a dependência entre duas variáveis aleatórias é condicionando uma v.a. na outra e depois usar o teorema da probabilidade total e suas variações

40 Função Distribuição Condicional Considere que iremos condicionar a variável Y na variável X Casos a serem estudados: X e Y são duas variáveis aleatórias discretas X e Y são duas variáveis aleatórias contínuas

41 Caso 1: X e Y v.a. discretas

42 Caso 1: X e Y v.a. discretas

43 Exemplo: X e Y v.a. discretas

44 Exemplo: X e Y discretas O número de jobs enviados para o servidor A dado que chegaram n jobs no sistema é uma v.a. Binomial p Y (k)= n=k n= py / X (k /n) p X (n)

45 Caso 2: X e Y v.a. contínuas

46 Caso 2: X e Y v.a. contínuas

47 Variância Var [ X ]=E[( X E[ X ]) 2 ] Var [ X ]=E[ X 2 ] (E[ X ]) 2 σ X = Var [ X ]

48 Variância da soma de variáveis aleatórias Var [ X +Y ]=Var [ X ]+Var [Y ], se X e Y são independentes E [ X E [ X ] Y E [Y ] 2 ]

49 Dependência entre variáveis aleatórias Se Cov(X,Y)=0, não significa que X e Y são independentes Covariância expressa a dependência linear

50 Dependência entre variáveis aleatórias: exemplo Seja X v.a. Uniforme ( 1,1) e Y=X 2, logo Y é dependente de X. Qual o valor de Cov(X,Y)? Cov X,Y =E [ XY ] E [ X ] E [Y ]=0 Y é dependente de X, mas X e Y são não correlacionadas.

51 Coeficiente de Correlação

52 Coeficiente de Correlação