Base Matemática Probabilidade

Transcrição

1 Noções Básicas Base Matemática Experimento Aleatório Resultado no lançamento de um dado; Hábito de fumar de um estudante sorteado em sala de aula; Tempo de duração de uma lâmpada; Tipo sangüíneo de um habitante escolhido ao acaso. Noções Básicas Espaço Amostral conjunto de todos os resultados possíveis de um experimento aleatório. Exemplos Lançamento de um dado: = {,, 3, 4, 5, 6} Exame de sangue (tipo sangüíneo): = {A, B, AB, O} Tempo de duração de uma lâmpada. = {t: t 0} Evento Noções Básicas Subconjunto do espaço amostral. Exemplo Experimento Aleatório: lançamento de um dado. Espaço amostral: = {,, 3, 4, 5, 6} Alguns eventos: A: face do dado é par A={,4,6} B: face do dado é > 3 B = {4, 5, 6} C: face do dado é C = {}

2 Operação com eventos Eventos Disjuntos A B: união dos eventos A e B. Representa a ocorrência de pelo menos um dos eventos, A ou B. A B: interseção dos eventos A e B. Representa a ocorrência simultânea dos eventos A e B. Definição. A e B são disjuntos ou mutuamente exclusivos quando não têm elementos em comum, isto é, A B = Eventos Complementares Definição. A e B são complementares se sua interseção é vazia e sua união é o espaço amostral, isto é, A B = e A B = Exemplo: Lançamento de um dado = {,, 3, 4, 5, 6} Eventos: A = {, 4, 6}, B = {4, 5, 6} e C = {} sair uma face par e maior que 3 A B = {, 4, 6} {4, 5, 6} = {4, 6} sair uma face par e face A C = {, 4, 6} {} = sair uma face par ou maior que 3 A B = {, 4, 6} {4, 5, 6} = {, 4, 5, 6} sair uma face par ou face A C = {, 4, 6} {} = {,, 4, 6} não sair face par A C = {, 3, 5}

3 Medida da incerteza associada aos resultados do experimento aleatório Deve fornecer a informação de quão verossímil é a ocorrência de um particular evento Através das freqüências de ocorrências. O experimento aleatório é repetido n vezes Calcula-se a freqüência relativa com que cada resultado ocorre. Como atribuir probabilidade aos elementos do espaço amostral? Através de suposições teóricas. Exemplo: lançamento de um dado Admite-se que o dado é perfeitamente equilibrado P(face ) =... = P(face 6) = /6. Definição. Uma distribuição de probabilidade Pr{} sobre um espaço amostral S é uma função que mapeia cada evento de S em um número real de modo que (i) Pr(A)>=0 para todo evento A (ii) Pr(S)= (iii) Para qualquer sequência de eventos A,A,... dois a dois mutuamente exclusivos, temos 3

4 Condicional Definição. Dados dois eventos A e B, com P(B)>0, a probabilidade condicional de A dado que ocorreu B é denotada por P(A B) e definida por P(A B) P(A B), P(B) 0. P(B) Da definição de probabilidade condicional, obtemos a regra do produto de probabilidades P(A B) P(B) P(A B). Analogamente, se P(A) >0, P(A B) P(A) P(B A). 3 Qual é a probabilidade do jovem escolhido ser alfabetizado sabendo-se que é do sexo masculino? Diretamente da tabela temos P(S M) = Pela P(S Sexo definição, M) Alfabetizada Sim Não Total Masc Fem Total P(S M) P(M) / = 0, ,8. Exemplo: Em uma urna, há 5 bolas: brancas e 3 vermelhas. Duas bolas são sorteadas sucessivamente, sem reposição. A: ª bola sorteada é branca C: ª bola sorteada é branca P(A) =??? 5 B 3 5 V B V B V Resultados BB BV VB V V Total s Para representar todas as possibilidades, utilizamos, um diagrama conhecido como diagrama de árvores ou árvore de probabilidades. Temos P(A) 0 P(A C) e 4

5 Considere agora que as extrações são feitas com reposição, ou seja, a a bola sorteada é reposta na urna antes da a extração. Nesta situação, temos 5 B 3 5 V B V B V Resultados BB BV VB V V Total Neste caso, P(A) = P(branca na ª) = ou seja, o resultado na a extração independe do que ocorre na a extração. 5 P(A C) = P( branca na ª branca na ª) = P(A) P(A C c ) = P(branca na ª vermelha na ª) = e 5 P(A) 5 Eventos Independentes Definição. Dois eventos A e B são independentes se e somente se Pr(A B)=Pr(A)Pr(B) Variável Aleatória Definição (intuitiva). Uma variável aleatoria X em um espaço amostral é uma função que associa cada elemento do espaço amostral a um valor real Exemplo. A probabilidade de Jonas tirar nota maior que 7 é /3 e a de Madalena é /3. Qual é a probabilidade de ambos tirarem nota maior que 7? Evento A: Jonas tira nota maior que 7 Evento B: Madalena tira nota maior que 7 P(A B) = P(A) x P(B) = /3 x /3 = /9 Exemplo. Experimento: dois dados honestos com 6 faces são jogados Espaço amostral: ={(i,j) <=i<=6 e <=j<=6} X: valor máximo entre os dois dados X(a,b)=max{a,b} Pr{X=3} = 5/36 e Pr{X=6}=/

6 Variável Aleatória Valor Esperado Aplicações em Computação Variáveis aleatórias relacionadas a propriedades de algoritmos aleatorizados X: tempo de execução de um algoritmo aleatorizado X: qualidade da solução de um algoritmo aleatorizado Valor Esperado. Dada uma variável discreta X, seu valor esperado X] é definido por : Exemplo X] j Pr[X j] j0 X(a,b) = max{a,b}, onde (a,b) é o resultado de lançamento de dois dados honestos X] = */36 +*3/36+3*5/36+ 4*7/36 +5*9/36 + 6*/36 Seção 6.3 do Cormen Valor Esperado: Propriedades Importantes Propriedade Útil. Se X é uma V.A. 0/, X] = Pr[X = ]. Pf. X] j Pr[X j] j Pr[X j] Pr[X ] j0 j0 Linearidade do Valor Esperado. Dada duas V.A. X e Y definidas sobre o mesmo espaço de probabilidade, X + Y] = X] + Y]. Propriedade pode simplificar bastante alguns cálculos! Guessing Cards Game. Shuffle a deck of n cards; turn them over one at a time; try to guess each card. Memoryless guessing. No psychic abilities; can't even remember what's been turned over already. Guess a card from full deck uniformly at random. Claim. The expected number of correct guesses is. Pf. (surprisingly effortless using linearity of expectation) Let X i = if i th prediction is correct and 0 otherwise. Let X = number of correct guesses = X + + X n. X i ] = Pr[X i = ] = /n. X] = X ] + + X n ] = /n + + /n =. linearity of expectation 4 5 6

7 Guessing Cards Linearidade do Valor Esperado Game. Shuffle a deck of n cards; turn them over one at a time; try to guess each card. Guessing with memory. Guess a card uniformly at random from cards not yet seen. Claim. The expected number of correct guesses is (log n). Pf. Let X i = if i th prediction is correct and 0 otherwise. Let X = number of correct guesses = X + + X n. X i ] = Pr[X i = ] = / (n - i - ). X] = X ] + + X n ] = /n + + / + / = H(n). Exemplo. Qual é a o valor esperado do número de caras ao jogar uma moeda justa 00 vezes? X: número de vezes que o resultado é cara X i = se o resultado da i-ésima tentativa é cara e X i =0, caso contrário. X ] / X ] 00 i X i i ] 50 linearity of expectation ln(n+) < H(n) < + ln n 6 7 Desigualdade de Markov Desigualdades de Cauda Como gerar limites superiores para a probabilidade de uma variável aleatória se afastar da média? Ferramenta fundamental para caracterizar o tempo de execução e/ou a probabilidade de sucesso de algoritmos aleatorizados Lema. Seja X uma V.A. que assume somente valores não negativos. Então, para todo t positivo, X ] Pr[ X t] t Prova. Considere a variavel 0- Y que assume valor se X>=t e 0, caso contrário. Note que Y X/t. Logo, Pr[X t]=y] e Y] X]/t. Portanto, Pr[X t] X]/t 8 9 7

8 Desigualdade de Markov Variância de uma distribuição Exemplo. Qual é a probabilidadade obtermos mais de 75 caras ao jogar uma moeda justa 00 vezes? X: número de vezes que o resultado é cara X i : se o resultado da i-ésima tentativa é cara e 0 caso contrário. X ] / Aplicando Markov temos X ] 00 Pr[X>75] 50/75=/3 i X i i ] 50 Definição. A variância de uma variável aleatória X é definida como Var(X)= (X-X]) ] A variância mede o quanto a distribuição foge da média. O desvio padrão de X, denotado por x, é a raiz quadrada da variância 30 3 Variância de uma distribuição Variância de uma distribuição Propriedade importante: Var(X)= (X-X]) ] = (X - XX]+ X] ] = (X - XX]+ X] )] = X ]- X] Definição. Duas variáveis aleatórias X e Y são independentes se para qualquer par de reais x,y Pr[X=x Y=y] = Pr[X=x]Pr[Y=y], ou seja os eventos X=x e Y=y são independentes para todo x,y Lema: Se X e Y são V.A. independentes, então XY]=X]Y] Var(X+Y)=Var(X)+Var(Y)

9 Desigualdade de Chebyschev Quicksort: Expected Number of Comparisons Lema. Seja X uma V.A. com desvio padrão x.. Então, para todo t>0, Pr[ X X ] t X ] t Prova. Pr [ X- X] t x ] = Pr [(X-X]) t x ] Se Y = (X- X]), por Markov temos, Pr [(X- X]) t Var(X)] = Pr [ Y t Var(X)] Y]/ (t Var(X)) =Var(X)/ (t Var(X)) = / t Theorem. Expected number of comparisons is nln n. Pf. Theorem. [Knuth 973] Stddev of number of comparisons is ~ 0.65N. Ex. If n = million, the probability that randomized quicksort takes less than 4n ln n comparisons is at least 99.4%. Chebyshev's inequality. Pr[ X - k] / k. The result is established by setting k= ln(n)/ Desigualdade de Chebyschev Exemplo. Qual é a probabilidadade obtermos mais de 75 caras ao jogar uma moeda justa 00 vezes? X: número de vezes que o resultado é cara X i : se o resultado da i-ésima tentativa é cara e 0, caso contrário X ] 00 X 50 e Var( X ) Aplicando Chebyschev temos 00 i i i Pr[ X-50 5x5] /5 4% Var( X ) 5 i Chernoff Bounds Teorema. Asumma que X,, X n são variáveis aleatórias 0- independentes. Seja X = X + + X n. Então, para todo X] e para todo > 0, temos e Pr[ X ( ) ] ( ) A soma é bsatante concentrada próximo da média Teorema. Assuma que X,, X n são variáveis aleatórias 0- independentes. Seja X = X + + X n. Entao, para todo X] e para qualquer any 0 < <, temos / Pr[ X ( ) ] e Diretamente relacionado a lei dos grandes números... Pr [ X 75 ] % (simetria) 36 9

10 Chernoff Bounds Hoeffding Bounds Exemplo. Qual é a probabilidade obtermos mais de 75 caras ao jogar uma moeda justa 00 vezes? X: número de vezes que o resultado é cara X i : se o resultado da i-ésima tentativa é cara e 0 caso contrário X ] Aplicando Chernoff temos 00 X i i 50 Pr[ X-50 >(+0.5) x50]<=0.007 <= 0.7% Lema. Sejam X,...,X n variáveis aleatórias reais, com X i assumindo valores no intervalo [a i,b i ]. Além disso, seja X= X X n e Portanto, e =(b -a )+...+(b n -a n ) Pr[ X X] t] exp(-t / ) Pr[ X X] -t] exp(-t / ) 38 Union Bound Union bound. Dados os eventos E,, E n, Pr n E i i n Pr[E i ] i Exemplo Union Bound Um dado honesto de 6 faces é jogado uma vez. Considere os seguintes eventos: Evento A: resultado é um número primo Evento B: resultado é par Evento C: resultado é impar Temos P(A U B) =5/6 P(A)+P(B) = P(A U C) =4/6 P(A)+P(C) = P(A U B U C) = P(A)+P(B)+P(C) =3/

11 Union Bound Bibliografia Exemplo A probabilidade de um sistema falhar ao utilizarmos ele uma vez é Qual a probbilidade do sistema ter sucesso em 00 utilizações seguidas? Espaço amostral: Resultado possíveis para os 00 usos: {F,S,F,F,S,...,F} Evento E i : i-ésima utilização falhou Evento E: sistema falhou em alguma das 00 utilizações Evento S: sistema teve sucesso em todas as 00 utilizações Como Pr(E i )=0.00, então Pr[E}= Pr n E i <= 0. i n Pr[E i ] i Segue que Pr[S]=-Pr[E] >=