M A N I S H S H A R M A E L E S I N A I S E S I S T E M A S A L E AT Ó R I O S V 8

Transcrição

1 M A N I S H S H A R M A E L E S I N A I S E S I S T E M A S A L E AT Ó R I O S V 8

2

3 Coteúdo 1 Probabilidade Itrodução Defiição de Probabilidade Probabilidade Ituitiva Casos Favoráveis/Casos Possíveis (Teoria Clássica) Probabilidade como Medida da Frequêcia de Ocorrêcia Defiição Axiomática de Probabilidade (Utilizada o Curso) Operações em Cojuto Defiição axiomática de probabilidade Probabilidade cojuta, codicioal, total, idepedêcia Exercícios 14 2 Variáveis Aleatórias Itrodução Defiição de Variável Aleatória Fução Distribuição de Probabilidade (ou Só Probabilidade) Fução Desidade de Probabilidade (p.d.f) Variáveis Cotíuas, Discretas e Híbridas Exemplos de Distribuiçõs e Desidades Desidades Codicioal e Cojutas Distribuição e Desidade Cojuta Iformações complemetares: Exercícios 25 3 Fuções e Trasformações de Variáveis Aleatórias Itrodução e Defiição Problemas do Tipo Y = g(x) - Uivariáveis Caso de v.a. discreta 31

4 4 maish sharma 3.3 Problemas do tipo Z = g(x, Y) Problemas Geeralizados para Várias v.a. s cotíuas Exercícios 36 4 Esperaça e Estimação Valor Esperado de uma Variável Aleatória Esperaça Codicioal Esperaça Codicioal como uma v.a Mometos Mometos Cojutos Variáveis Gaussiaas Cojutas Desigualdades de Chebyshev e Schwarz Desigualdade de Chebyshev Desigualdade de Schwarz Fução Geradora de Mometos Limitate de Cheroff Fução Característica Exercícios 57 5 Vetores aleatórios e estimação de parâmetros Defiições Vetores Esperados e matriz de covariâcia Propriedades de Matrizes de covariâcia Recohecimeto de Padrões Regra Gaussiaa Multidimesioal Fuções Características de Vetores Aleatórios Fução Característica da Regra Gaussiaa Estimação de Parâmetros Estimação de médias vetoriais e matrizes de covariâcia Estimador de Máxima Verossimilhaça Estimação Liear de Parâmetros Vetoriais Estimação de p.d.fs Exercícios 77

5 ele-48 siais e sistemas aleatórios v8 5 6 Sequêcias aleatórias Coceitos Básicos Sequêcia de Beroulli Cotiuidade da Medida de Probabilidade Especificação Estatística de uma Sequêcia Aleatória Sequêcias Gaussiaas Revisão sobre Pricípios Básicos de Sistemas Lieares de Tempo Discreto Sequêcias Aleatórias e Sistemas Lieares Sequêcias Aleatórias WSS e Sistemas LSI Desidade Espectral de Potêcia (PSD) Relações de etrada e de saída para Sequêcias WSS e Sistemas Lieares Sequêcias Aleatórias de Markov Cadeias de Markov Sequêcias Aleatórias Vetoriais e Equações de Estado Exercícios Processos aleatórios Defiições Básicas Algus Processos Aleatórios Importates Sialização Biária Assícroa (ABS) Processo de Cotagem de Poisso Sial Telegráfico Aleatório (RTS) Modulação Digital Utilizado PSK Processos de Wieer ou Movimeto Browiao Processos Aleatórios de Markov Sistemas Lieares Cotíuos com Etradas Aleatórias Classificações Úteis Estacioaridade Processos WSS e Sistemas LTI Desidade Espectral de Potêcia (PSD) Relação etre PSD s Processos estacioários e equações difereciais Processos periódicos e cicloestacioários 131

6 6 maish sharma 8 Filtragem estocástica Modelo probabilístico Filtro de Kalma Limites do método Filtro de Kalma extedido 138 A Lista de aluos coautores 139

7 1 Probabilidade 1.1 Itrodução Algumas das pricipais questões levatadas ao se estudar probabilidade é: "Porque estudar probabilidade?"ou "Será que os processos são realmete aleatórios?". De fato, muitas vezes utiliza-se a Teoria da Probabilidade para aalisar um problema atural, como por exemplo, a passagem de correte elétrica em um resistor. Sabe-se que com as equações de Maxwell e a Força de Loretz pode-se modelar qualquer problema de eletromagetismo, iclusive a passagem de correte em um resistor. Todavia, seria iviável efetuar os cálculos para tamaha quatidade de elétros, digamos, da ordem de elétros passado por segudo o resistor. Ou seja, idepedetemete do determiismo, a Teoria da Probabilidade é uma ferrameta matemática extremamete útil em uma série de problemas a área de ciêcia e de egeharia. A probabilidade traz uma oção relacioada a experimetos que ão podemos prever de maeira defiitiva seu resultado, seja porque eles aida ão ocorreram ou porque ão somos capazes de observálos diretamete. Se determiado experimeto ão pode ser previsto e/ou determiado, etão há mais de uma forma dele ser realizado. 1.2 Defiição de Probabilidade A probabilidade pode ser defiida de quatro formas. Porém utilizaremos apeas uma delas Probabilidade Ituitiva Não possui ehuma base matemática. Muito utilizada o dia a dia para tetar prever comportameto de determiadas pessoas. Por exemplo: "João provavelmete vai almoçar fora hoje". Essa afirmação pode ser razoavelmete feita se João for uma pessoa que almoça costatemete fora de casa. Mais uma vez, vale observar que ão há ehum embasameto matemático para essa afirmação. Essa abordagem ão será utilizada o curso.

8 8 maish sharma Casos Favoráveis/Casos Possíveis (Teoria Clássica) Essa teoria ão é experimetal e estima que a probabilidade de determiado eveto é calculada a priori da seguite maeira: Seja E um eveto possível desse experimeto, e N E o úmero de formas possíveis dele ocorrer e N o úmero total de resultados do experimeto. Assim a probabilidade do eveto E ocorrer seria dada pela razão N E /N. Vale otar aida que essa teoria só faz setido com experimetos ode todos os resultados são equiprováveis. Um exemplo rápido desta teoria sedo aplicada é o caso de se jogar dois dados umerados de 1 a 6 cada. A probabilidade da soma dos dados dar 7 é igual a 6/36 = 1/6. Pois há 6 maeiras de se somar 7 (1,6);(2;5);(3;4);(4;3);(5;2);(6;1) e 36 resultados possíveis 6 6 = Probabilidade como Medida da Frequêcia de Ocorrêcia Essa abordagem diz que a probabilidade de um eveto E pode ser calculada pela razão etre o úmero de vezes que esse eveto ocorre ( E ) pelo úmero de vezes que se realizou o experimeto () quado cresce idefiidamete. Matematicamete: P[E] = lim ( ) E Como é evidete que E, tem-se que 0 P[E] 1. Essa teoria tem um problema que uca pode-se repetir um experimeto idefiidamete ou mesmo que muitas vezes. Segudo, essa teoria postula que este limite coverge, porém ão há ehuma garatia disso. Além disso, supoha o caso em que se jogue uma moeda, que pode retorar cara ou coroa, 1000 vezes. A probabilidade de cair exatamete 500 caras é muito pequea, e quato maior o úmero de jogadas, meor será a probabilidade de cair exatamete a metade de vezes de laçametos de coroa. Apesar destes problemas, esta teoria aida é usada em algumas situações físicas Defiição Axiomática de Probabilidade (Utilizada o Curso) Essa abordagem defie a probabilidade de maeira axiomática, com os axiomas de Kolmogorov. Para defiir a probabilidade desta maeira, precisa-se recordar algus coceitos sobre cojutos e itroduzir algus coceitos relativos à Teoria da Probabilidade a próxima seção. Essa defiição de probabilidade será apresetada a Seção 1.4. Primeiramete, deotamos um experimeto como H. Geericamete, o experimeto pode resultar em qualquer eveto detro de um cojuto. Este resultado pode ser um úmero, uma cor, uma face de moeda, etre outros possíveis. Este cojuto, que possui todos os resultados possíveis do experimeto, é defiido como Ω: Espaço Amostral. O Espaço Amostral Ω é composto de elemetos E 1, E 2,..., E.

9 ele-48 siais e sistemas aleatórios v8 9 Podemos ter uma quatidade de elemetos tão grade quato ecessário. Subcojutos de Ω são evetos. Um eveto pode coter vários elemetos de Ω. Como todo subcojuto de Ω é um eveto, etão Ω também é um eveto: eveto certo que irá ocorrer. Example 1 Cosidere um experimeto o qual classificamos um produto em defeituoso ou ão defeituoso. Neste caso, o espaço amostral é Ω = {defeituoso; ão defeituoso}. Example 2 Laçameto de uma moeda uma úica vez. O espaço amostral é Ω = {CARA; COROA}. O Eveto Cara = {CARA}. Example 3 Laçameto de duas moedas uma úica vez, sedo cara deotado por H (do iglês "heads") e coroa por T ("tails"). O espaço amostral é Ω = {HH;HT;TH;TT}. O Eveto ode pelo meos caiu uma cara é {HH;HT;TH}. Example 4 Laçameto de um dado de 6 faces. O espaço amostral é Ω = {1,2,3,4,5,6}. Há 6 elemetos. Há vários evetos. Por exemplo, temos que o Eveto 1 = {1} e o Eveto par = {2,4,6}. Example 5 Velocidade istatâea de um foguete 10 segudos após o laçameto: Variável cotíua descohecida que pode assumir uma quatidade ifiita de possibilidades. Neste caso podemos dizer que Ω = [0; ), isto é, a velocidade pode assumir qualquer valor ão egativo. Tem-se o Eveto Supersôico = (a; ). Ode a é a velocidade do som. 1.3 Operações em Cojuto A fim de embasar para a defiição axiomática da Probabilidade, é ecessário revisar algus coceitos de álgebra de cojutos. Dados dois cojutos E e F, subcojutos de Ω, defiimos as seguites operações: Uião: E F, ou E + F, é o subcojuto que cotém todos os elemetos de E e todos os elemetos de F e somete elemetos de E e F. Example 6 Seja A = {1; 2; 4} e B = {2; 3; 5}. Logo A B = {1; 2; 3; 4; 5}. Se E é um subcojuto de F, etão E F. Isto é, se ζ é um elemeto de Ω, podemos escrever que E F, se ζ E etão ζ F. Em outras palavras, E é subcojuto de F se todos os elemetos de E também são elemetos de F. Example 7 Seja A = {1; 2; 4} e B = {1; 2; 3; 4; 5}. Logo A B. Pois todo elemeto de A também é elemeto de B. Assim, E + F = G, se E G e F G e para qualquer ζ G, etão ou ζ E, ou ζ F, ou ambos. Itersecção: E F = E F = G {ζ: ζ E e também ζ F}.

10 10 maish sharma Example 8 Seja A = {1; 2; 4} e B = {2; 3; 5}. Logo A B = {1; 2}. Pois só estes elemetos pertecem a ambos os cojutos. Complemeto: E c são todos os elemetos de Ω que ão pertecem a E. Logo, E + E c = Ω e E E c =. Example 9 Seja Ω = {1; 2; 3; 4; 5; 6} e E = {1; 3; 5}. Logo E c = {2; 4; 6}. Estes são os elemetos de Ω que ão pertecem a E. Difereça: E F = G {ζ : ζ E,e ζ / F}. É o mesmo que E F = E F c ou F E = F E c. Vale ressaltar que, geralmete, E F = F E. Em outras palavras, E F represeta todos os elemetos que pertecem a E mas ão pertecem a F. Example 10 Seja Ω = {1; 2; 3; 4; 5; 6} e E = {1; 3; 5}eF = {1; 2; 5}. Logo E F = {3}. Estes são os elemetos de E que ão pertecem a F. Soma Exclusiva (XOR): E F = (E F) (F E). Em outras palavras, E F represeta os elemetos que pertecem somete a um dos dois cojutos E ou F, mas ão de ambos ao mesmo tempo. Example 11 Seja A = {1; 2; 3; 6; 7} e B = {2; 3; 4; 5; 6}. Logo A B = {1; 7}. Além dessas operações, fala-se de mais duas defiições úteis: Cojutos disjutos: Dois cojutos E e F são ditos disjutos quado: E F =. Isto é, E e F ão possuem elemetos em comum. Example 12 Seja A = {1; 2; 3; 6; 7} e B = {4; 5}. Logo A B =. Partição -ária: Dado um cojuto E, a partição -ária é uma sequêcia de subcojutos E i, i = 1, 2,...,, tal que: E i E, E i E j = i = j E i = E i=1 Em outras palavras, uma partição -ária é dividir um dado cojuto maior em cojutos tais que todos estes cojutos estão cotidos o cojuto maior, além disso esses cojutos são disjutos etre si, e ao uir todos estes cojutos eles formam o cojuto maior. Assim é possível cocluir que, dados dois cojutos E e F, podemos partir F em dois: F = F E F E c Pois tato (F E) F e (F E c ) F. Além disso: (F E) (F E c ) =. Cosequêcias: (E F) c = E c F c (E F) c = E c F c

11 ele-48 siais e sistemas aleatórios v8 11 E por idução: [ ] c E i = i=1 [ ] c E i = i=1 Ei c (1.3.1) i=1 Ei c (1.3.2) Essas propriedades mostradas as equações e são cohecidas como Teorema de DeMorga ou Lei de DeMorga. Vale também observar que: Dois cojutos são iguais, E = F se, e somete se, E F e F E. Isto é, se todo elemeto de E também é elemeto de F e vice-versa. Como qualquer subcojuto é um eveto possível, podemos dizer que todos os evetos possíveis para um experimeto H com espaço amostral Ω são todos os subcojutos de Ω, que chamamos de campo F (em iglês, field). Example 13 O laçameto de uma moeda pode ter como resultado CARA ou COROA. Logo, o espaço amostral é Ω = {CARA, COROA}. O espaço de evetos é o campo F = {CARA, COROA,, Ω} Veremos a próxima seção que o Espaço Amostral Ω e o campo de evetos F, juto com uma lei de probabilidade P defiem o tripé (Ω; F; P) chamado de Espaço de Probabilidade P. i=1 1.4 Defiição axiomática de probabilidade Sejam E e F evetos que pertecem a um campo F. Além disso, F é composto de todos os subcojutos de Ω. Probabilidade é a fução que associa a cada um dos termos de F um úmero P[E], chamado de probabilidade de E, tal que: 1. P[E] 0 2. P[Ω] = 1 3. P[E F] = P[E] + P[F], se E F = Esses três axiomas são suficietes para defiir a Teoria da Probabilidade. Desses axiomas, seguem as seguites propriedades (que podem ser provadas rapidamete através das defiições ateriores): P[ ] = 0 P[E F c ] = P[E] P[E F], ode E F, F F. P[E] = 1 P[E c ] P[E F] = P[E] + P[F] P[E F] Além disso: P[ i=1 E i ] = i=1 P[E i], se E i E j =, i, j.

12 12 maish sharma Example 14 Moedas sem vícios com resultados CARA (H) ou COROA (T). Ω = {CARA, COROA} F = {CARA, COROA,, Ω} P[H] = 0.5, P[T] = 0.5, P[ ] = 0, P[Ω] = 1 Example 15 Cosideremos o experimeto de jogar um dado ão viciado de 6 faces, cujo resultado pode ser um úmero de 1 a 6. Ou seja, Ω = {1; 2; 3; 4; 5; 6}. Seja os evetos A = {1} e B = {2; 3}. Tem-se que P[A] = 1/6. E P[B] = P[{2}] + P[{3}] = 2/6. Como A B = Calcula-se: P[A B] = P[A] + P[B] = 1/6 + 2/6 = 1/2 1.5 Probabilidade cojuta, codicioal, total, idepedêcia Temos dois evetos A e B com probabilidades P[A] e P[B]. Dada a probabilidade de ambos ocorrerem simultaeamete, isto é, P[A B], chamada probabilidade cojuta, podemos defiir a probabilidade codicioal como: P[A B] P[B A] (1.5.1) P[A] i.e, a probabilidade de ocorrer o eveto B, dado que o eveto A ocorreu. Podemos também defiir: P[A B] P[A B] (1.5.2) P[B] Aida, através da defiição de probabilidade cojuta, temos: P[A B] P[A] P[B A] = P[B] P[A B] (1.5.3) Como cosequêcia da defiição axiomática: P[E A] 0 P[Ω A] = 1 P[E F A] = P[E A] + P[F A], quado E F =. Example 16 Cosidere um sistema de comuicação biário, ode a comuicação é feita usado apeas os símbolos 0 e 1. Seja X o símbolo eviado e Y o símbolo lido. Devido a preseça de ruído, as vezes Y será igual a X, as vezes ão. O espaço amostral deste experimeto é: Ω = {(X, Y) : X = 0ou1, Y = 0ou1} = {(0; 0); (1; 0); (0; 1); (1; 1)}. Através de medidas é cohecido que: P[Y = 1 X = 1] = P[Y = 0 X = 0] = 0, 9 P[Y = 0 X = 1] = P[Y = 1 X = 0] = 0, 1 E, do sistema: P[X = 0] = P[X = 1] = 0, 5. Tem-se que algumas das probabilidades cojutas são: P[X = 0, Y = 0] = P[Y = 0 X = 0] P[X = 0] = 0, 45 P[X = 0, Y = 1] = P[Y = 1 X = 0] P[X = 0] = 0, 05

13 ele-48 siais e sistemas aleatórios v8 13 Exclusividade mútua: Dois evetos A e B são ditos mutuamete exclusivos se P[A B] = P[A] + P[B]. Probabilidade descodicioada: Sejam A 1, A 2,..., A, evetos mutuamete exclusivos, tal que i=1 A i = Ω. Seja B um outro eveto defiido o espaço amostral de A i. Etão, com P[A i ] = 0, i, P[B] = i=1 P[B A i] P[A i ]. Idepedêcia estatística (superficialmete): Dois evetos A e B F são estatisticamete idepedetes se, e somete se, P[A B] = P[A] P[B] Como P[A B] = P[B A] P[A] = P[A B] P[B], esta idepedêcia implica em: P[A B] = P[A] e P[B A] = P[B] (1.5.4) Geericamete, para evetos A i, i = 1, 2,..., idepedetes, é ecessário que: P[A i, A j ] = P[A i ] P[A j ] P[A i, A j, A k ] = P[A i ] P[A j ] P[A k ]. P[A 1,..., A ] = P[A 1 ] P[A 2 ]...P[A ] i, j, k (1.5.5) Com 1 i < 2 < k <... Teorema de Bayes Supodo que desejamos saber a probabilidade do eveto A j ocorrer, dado que observamos o eveto B, e temos cohecimeto a priori das probabilidades codicioadas P[B A j ]. O que desejamos calcular é etão a probabilidade após (a posterior) a observação, isto é, P[A j B]. Como P[A B] = P[A B] P[B] = P[B A] P[A], temos que: P[A B] = P[B A] P[A] P[B] (1.5.6) Quado utilizamos a fórmula de descodicioameto e codições, chegamos a: P[A j B] = }{{} a posteriori a priori {}}{ P[B A j ] P[A j ] i=1 P[B A i] P[A i ] (1.5.7) que é cohecido como o Teorema de Bayes. Esta fórmula, apesar de simples, é muito importate e utilizada a área da medicia e biologia. Example 17 Supoha que existe um teste que detecta a preseça de uma determiada doeça. Seja A o eveto que o teste resulta positivo (isto é, diz que a pessoa está doete). E seja B o eveto que é a pessoa de fato estar doete. Imediatamete, A c é o eveto em que o teste resulta egativo (diz que a pessoa ão tem a doeça), e B c sigifica que a pessoa ão está doete. É sabido que: P[A B] = P[A C B C ] = 0, 95.EP[B] = 0, 005. Aparetemete, o teste parece ser bom, tedo em vista que se a pessoa está doete, ele provavelmete cofirmará, e se a pessoa estiver saudável, ele

14 14 maish sharma também cofirmará. Mas será que o cotrário vale? Isto é, se ele cofirmar que a pessoa está doete, será que as chaces dela estar doete são de fato altas? Assim, queremos calcular P[B A]. P[B A] = P[B] P[A B] P[A B] P[B] + P[A B C ] P[B C = 0, 087 ] Isso quer dizer que, apeas em 8,7% das vezes que o teste da positivo, a pessoa de fato está doete. Ou seja, possui um alto ídice de alarme falso.assim, este teste ão é tão cofiável quato iicialmete parece. 1.6 Exercícios Os exercícios deste capítulo são: 1.20, 1.23, 1.29,1.30 do livro " Probability ad radom processes with applicatios to sigal processig", Hery Stark.

15 2 Variáveis Aleatórias 2.1 Itrodução Muitos evetos aleatórios possuem como resultados úmeros. Por exemplo, escolher uma pessoa aleatoriamete a rua e medir a sua altura. Todavia, em todos os evetos possuem resultados uméricos. Um exemplo direto é o laçameto de uma moeda, que pode cair CARA ou COROA. Mesmo em experimetos ode o espaço amostral ão é um cojuto umérico pode ser útil correlacioar estes resultados com úmeros reais. Por exemplo, ao sortear uma bola que pode ter a sua cor variado desde braco até preto passado por vários tos de ciza. Poderíamos relacioar cada tom a um úmero, sedo o braco e o preto dois extremos, por exemplo. Assim, surge a ideia de fazer um mapeameto etre o espaço amostral Ω e a liha Real R. Esta ideia de mapear ou relacioar elemetos de Ω com úmeros que os leva a defiir uma variável aleatória. 2.2 Defiição de Variável Aleatória Cosidere o experimeto H com espaço amostral Ω. Os elemetos de Ω são ξ, os resultados possíveis de H. A associação de ξ a um úmero real através da fução X(ξ), sujeita a codições, faz com que X seja uma variável aleatória (abreviação, v.a.). Assim, a variável aleatória X ão é uma variável qualquer, mas sim uma fução cujo domíio é o espaço amostral Ω e a imagem é um subcojuto da reta real R. Como a relação etre ξ e X é fução, um ξ é mapeado em um úico X(ξ). O cotrário ão precisa ser verdade. Evetos (cojutos de ξ, subcojutos de Ω) são potos em R. Estes potos podem ser as vezes agrupados em regiões. Em particular, o seguite eveto: ξ : X(ξ) < x, (2.2.1) abreviado como X < x, possui uma probabilidade (úmero) associada que é P[X < x] = F X (x), chamada fução distribuição de probabilidade (PDF em maiúsculo). A fução F X (x) deve satisfazer algumas codições para ser cosistete com a defiição axiomática de probabilidade (vide 1.4). As-

16 16 maish sharma sumimos que ela satisfaz estas codições, que podem ser deduzidas. Do poto de vista matemático, é irrelevate o formato do espaço amostral Ω ou da relação etre os elemetos deste espaço amostral e X, isto é, X( ). É suficiete saber a relação etre o úmero x e a sua probabilidade, isto é, F X (x). Uma codição importate que a variável aleatória deve seguir é: P[X = ] = P[X = ] = 0. Isso assegura codições de cotiuidade para a PDF. Se a imagem de X é cotável, a v.a. é discreta. Caso cotrário, é cotíua (grosseiramete falado). É importate para o etedimeto ressaltar a difereça etre X e x: X é uma variável aleatória, cujo valor ão é sabido e pode assumir vários valores, depededo da sua PDF; x é um úmero. A variável aleatória X pode assumir o valor de x, e isto acotece com probabilidade P[X = x]. Example 18 Um ôibus chega aleatoriamete em uma certa estação detro do itervalo de tempo [0; T]. Seja t o tempo de chegada do ôibus. O espaço amostral é Ω = {t : t [0; T]}. Uma variável aleatória X é defiida por: 1, t [T/4; T/2] X = 0, c.c. (caso cotrário) Assumido que a probabilidade de chegada é uiforme para o itervalo [0; T]. Agora, pode-se calcular a P[X(t) = 0] ou P[X(t) 5]. P[X = 0] = P[(t [0; T/4]) (t [T/2; T])] = 1/4 + 2/4 = 3/4 P[X 5] = 1. Pois X sempre assumirá valores meores que Fução Distribuição de Probabilidade (ou Só Probabilidade) A Fução de Distribuição de Probabilidade é defiida por: F X (x) = P[ξ : X(ξ) x] = P[(; x]] (2.3.1) De maeira geral, quado se calcula F X (x), ela retora a probabilidade da variável aleatória assumir um valor desde até x. Vale observar os ídices da otação F X (x). O ídice subscrito idica a variável aleatória relacioada com a fução. E o valor x etre parêteses idica o valor até ode a probabilidade é calculada. Em outras palavras, se y for um úmero real, faz completo setido escrever F X (y) = P[X y]. Se F X (x) tiver uma descotiuidade (comum em experimetos com evetos discretos) o poto x 0, etão o valor da PDF F X (x 0 ) será o valor imediatamete à direita. Ou seja, a cotiuidade é pela direita. Propriedades: 1. F X ( ) = 1 ; F X () = 0

17 ele-48 siais e sistemas aleatórios v Se x 1 < x 2, F X (x 1 ) F X (x 2 ), ou seja, é uma fução ão-decrescete. 3. F X (x) é cotíua pela direita, i.e.: F X (x) = lim ɛ 0 F X (x + ɛ), ɛ > 0 4. Se F X (x) é uma fução cotíua, F X (x) = F X (x ). 5. Se F X (x) possui descotiuidades o poto x, etão: F X (x) F X (x ) = P[x < X < x] = lim ɛ 0 P[x ɛ < X < x] P(X = x). Tipicamete P[X = x] é uma fução descotíua em x, igual a zero ode F X (x) é cotíua e diferete de zero ode F X (x) é descotíua. Example 19 Cosideremos o caso do ôibus que chega em seu poto em um mometo aleatório etre (0; T]. Seja X a variável aleatória que sigifica o tempo de chegada. Claramete F X (t) = 0; t 0, pois o ôibus ão chegará ates do tempo "zero". E também F X (T) = 1, pois com certeza o ôibus chegará ates do istate T. Cosiderado que a probabilidade do ôibus chegar é uiforme detro do itervalo, tem-se que a fução de distribuição de probabilidade é: 0, t 0 F X (t) = t/t, t (0; T] 1, t > T 2.4 Fução Desidade de Probabilidade (p.d.f) Se F X (x) é cotíua e difereciável, defiimos a sua p.d.f (do iglês, probability desity fuctio) via: Propriedades da p.d.f : f X (x) = df X(x). (2.4.1) dx 1. f X (x) F X (x) = f X (ɛ)dɛ = F X ( ) F X () = 1 x 4. F X (x 2 ) F X (x 1 ) = P[x 1 < x x 2 ] f X (ɛ)dɛ = P[X x] x2 x1 f X (ɛ)dɛ x2 f X (ɛ)dɛ = f X (ɛ)dɛ = x 1 A iterpretação de f X (x) vem do cálculo da seguite probabilidade: P[x < X X + x] = F X (x + x) F X (x) Se F X (x) tem sua primeira derivada cotíua, etão, para um x suficietemete pequeo: F X (x + x) F X (x) = x x f X (ɛ)dɛ f X (x) x

18 18 maish sharma 1 µ = i x i / e σ = (x µ) 2 / para grade, u(x) = 1, se x 0 e u(x) = 0, se x < 0 (degrau). Serão defiidos adequadamete o capítulo 3. Desidades comus 1 : Gaussiaa (com média µ e desvio padrão σ: f X (x) = ( 1 exp 1 2πσ 2 2 [ ] ) x µ 2. (2.4.2) σ Rayleigh (σ > 0): Expoecial (µ > 0): f X (x) = x ( ) σ 2 exp x2 2σ 2 u(x). (2.4.3) f X (x) = 1 ( µ exp x ) u(x). (2.4.4) µ Uiforme (b > a): 1 b a f X (x) =, a < x < b 0, c.c. (caso cotrário) (2.4.5) Example 20 Supoha que escolhemos um resistor com resistêcia R de um motate de resistores. A distribuição das resistêcias pode ser cosiderada ormal, com média µ = 1000 ohms e desvio padrão σ = 200 ohms. Qual a probabilidade de R assumir um valor etre 900 e 1100 ohms? Como foi dito, tem-se que R : N[1000; 200]. Esta otação X : N[µ; σ] idica que X está distribuída como uma ormal de média µ e desvio padrão σ. Estes coceitos serão vistos o próximo capítulo mais detalhadamete. Gostaríamos de calcular: P[900 < R 1100] = f X (ɛ)dɛ Mas sabemos que essa itegral ão é resolvível aaliticamete. Para isso, utiliza-se tabelas de itegrais. Uma tabela comum de ser ecotrada é a da Fução Erro (er f (x)). A Fução Erro é defiida como: er f (x) = 1 x e t2 2 dt 2π Pode-se mostrar que com essa fução, pode-se calcular para uma ormal de parâmetros µ e σ: ( ) ( ) b µ a µ P[a < X b] = er f er f σ σ Além disso: er f ( x) = er f (x) Por fim, calcula-se para os resistores e de uma tabela, tem-se que er f (0, 5) = 0, 191: 0 P[900 < R 1100] = er f (0, 5) er f ( 0, 5) = 2er f (0, 5) = 0, 38

19 ele-48 siais e sistemas aleatórios v Variáveis Cotíuas, Discretas e Híbridas Se F X (x) for: cotíua x; difereciável em qualquer lugar exceto por um úmero cotável de potos; ter derivada diferete de zero em pelo meos alguma região ode for difereciável; etão X é uma v.a. cotíua. Se a derivada de F X (x) existe o poto x, etão, f X (x) = F X (x). Se ão existir, a p.d.f. f X (x) pode ser um úmero positivo qualquer, o que a defiiria completamete. Nestas codições, coseguimos escrever as seguites equações, dado que f X (x) é defiida para todo úmero 2 : F X (x) = x f X (ξ)dξ 2 B é um eveto de Ω mapeado via X( ) em regiões disjutas em R P(x 1 < x x 2 ) = P[B] = x2 x 1 ξ:ξ B f X (ξ)dξ f X (ξ)dξ (2.5.1) Para uma v.a. discreta, F X (x) tem forma de uma escada com quatidade de descotiuidades igual ao úmero de valores que X pode assumir. Além disso, o tamaho de cada degrau é a própria probabilidade daquele poto. A medida utilizada para variáveis aleatórias discretas é a fução massa de probabilidade (PMF, do iglês), defiida como: = 0, as descotiuidades de F X (x) P X [x] = P[X x] P[X < x] = = 0, c.c (2.5.2) Como F X (x) ão é cotíua, f X (x) ão existe, mas podemos utilizar deltas de Dirac para "aproximar"o seu formato de forma matemática. Assim, a p.d.f de uma v.a. discreta X que pode assumir os valores x 1, x 2,..., x N seria: f X (x) = N δ(x x i )P[X = x i ] (2.5.3) i=1 Utilizado este artifício, podemos relacioar a p.d.f com a PDF 3 3 Elucidação: Vale a pea ressaltar as de uma v.a. discreta através das equações difereças etre p.d.f e PDF: p.d.f. é a fução desidade de probabilidade Example 21 A pdf associada a uma distribuição de Poisso com parâmetro a é dada por: e PDF é a fução distribuição de probabilidade. A PDF é geérica e vale tato para F X (x) discreta quato cotíua, equato a p.d.f. vale apeas para F X (X) cotíua e difereciável. f X (x) = e a a k δ(x k) k! k=0

20 20 maish sharma Example 22 A pdf associada a uma distribuição biomial b(k;;p) é dada por: f X (x) = k=0 ( ) p k q k δ(x k) k 2.6 Exemplos de Distribuiçõs e Desidades Testes de Beroulli (biomial) Cosidere um experimeto simples que pode ter um resultado biário, digamos "sucesso"e "falha". Seja a probabilidade de sucesso é p, equato a probabilidade de falha é q. Evidetemete, q = 1 p. Um exemplo de experimeto assim é jogar uma moeda. O resultado pode apeas ser "cara"ou "coroa". Imagie agora que este experimeto seja repetido várias vezes e que cada repetição do experimeto é idepedete de outra repetição. Muitas vezes é iteressate saber evetos como "pelo meos 3 sucessos em 5 tetativas"ou "ão mais que 2 falhas em 6 tetativas". Seja a seguite situação: são jogadas moedas e veremos quatas deram CARA(H) ou COROA(T), o que acotece com probabilidade p e q respectivamete (p + q = 1). No caso, o sucesso é CARA. Com = 4 temos: HHHH THHH TTHH TTTH TTTT HTHH THTH TTHT HHTH THHT THTT Ω = HHHT HTHT HTTT HHTT HTTH Seja A k o eveto ode há k sucessos. Assim: P[A k ] = ( ) p k q k b(k;, p). (2.6.1) k Observemos a equação O primeiro termo do produto represeta a combiação de quatas maeiras possíveis podem ocorrer k sucessos. Por exemplo, se k = 2 há 6 maeiras diferetes de cair duas CARA s. A seguda parte do produto, p k q k represeta a probabilidade de cair exatamete uma das ( k ) maeiras de se obter k sucessos. Distribuição biomial cumulativa (há até k sucessos): B(k;, p) = k b(i;, p) = i=0 k i=0 Probabilidade de haver etre k e j sucessos, iclusive: ( ) p i q i. (2.6.2) i j b(i;, p). (2.6.3) i=k Um caso particular e aproximado da Biomial é obtido matedo

21 ele-48 siais e sistemas aleatórios v8 21 p = a costate e fazedo >> 1, p << 1 e k << temos: ( ) p k (1 p) k 1 ( = k k! ak 1 a ) k a k, = k! exp( a). (2.6.4) Nestas codições, b(k;, p) ak k! exp( a). Essa última fórumla represeta a Regra de Poisso, a ser discutida em seguida. Regra de Poisso Esta regra é uma forma limitate da regra biomial: P[k] = ak exp( a), k = 0, 1, 2,... (ocorrêcias) (2.6.5) k! ode a = λτ (λ é média de ocorrêcia o itervalo de tempo e τ é o itervalo de tempo). Quado λ e τ são idepedetes temos que a probabilidade de haver k ocorrêcias o itervalo de tempo τ é: P[k; t, t + τ] = exp( λτ) (λτ)k. (2.6.6) k! A Regra de Poisso é muito utilizada em vários campos, geralmete o dimesioameto de recursos compartilhados. Example 23 Cosidere um computador com peças. Cada compoete falha de maeira idepedete do outro. A probabilidade de um compoete falhar em um ao é de Cosiderado que o computador falha se uma ou mais peças falharem, qual a probabilidade do computador cotiuar fucioado após 1 ao de uso. Para isso, é equivalete a calcularmos a probabilidade de todas as peças estarem fucioado. Seja p = 0, 0001; = ; k = 0 e p = 1. Assim, observa-se que >> 1, p << 1 e k <<, podemos aproximar para uma Poisso: 1 0 0! e 1 = 1/e = 0, 368 Distribuição Normal Essa distribuição também pode ser vista como uma aproximação da biomial. É uma das pricipais distribuições de probabilidade, utilizada em diversos ramos. A sua fução de desidade de probabilidade é dada por: φ(x) = 1 exp [ 12 ] x2, (2.6.7) 2π e a sua itegral, a distribuição ormal: Φ(x) = 1 2π x exp [ 12 y2 ] dy (2.6.8) que é ão possui solução aalítica. Os valores dessa itegral são ecotrados em tabelas de distribuição ormal. Há também aplicativos como o Probability Distributios que forecem os valores dessa itegral e de outras distribuições usuais. Assim, para grade: b(k;, p) 1 ( )] k p [φ, (2.6.9) pq pq sedo essa aproximação melhor para o produto pq grade.

22 22 maish sharma 2.7 Desidades Codicioal e Cojutas Seja C um eveto que cosiste de todos os resultados ξ Ω tais que X(ξ) x e ξ B Ω ode B é um outro eveto. O eveto C é etão a iterseção etre os dois evetos {ξ : X(ξ) x} e {ξ B}. Defii-se a fução de distribuição codicioal de X dado o eveto B como: F X (x B) = P[C] P[X x, B] = P[B] P[B] (2.7.1) Ode P[X x, B] é a probabilidade cojuta do eveto {X x} B e P[B] = 0. Deste resultado é possível chegar a desidade de probabilidade codicioal: f X (x B) = df X(x B) dx (2.7.2) Seja B e {X = x} evetos defiidos em um mesmo espaço amostral. Tem-se que a probabilidade codicioal é: P[B X = x] = P[B, X = x] P[X = x] Mas observe que se X for uma variável aleatória cotíua, temse que P[X = x] = 0, e a solução fica idefiida. Porém, trocado {X = x} por {x < X x + x} e levar ao caso limite em que x 0, chega-se o seguite resultado importate: P[B X = x] = f X(x B) P[B] ; f f X (x) X (x) = 0 (2.7.3) Por fim, tem-se os casos gerais. Dadas duas v.a. s Y (discreta) e X (cotíua), a fórmula de Bayes fica: f X (x Y = y) = P(Y=y X=x) f X(x) P(Y=y) P(Y = y X = x) = f X(x Y=y) P(Y=y) f X (x) (2.7.4) Caso ambas sejam cotíuas temos um úico formato: f X (x Y = y) = f Y(y X=x) f X (x) f Y (y) f Y (y X = x) = f X(x Y=y) f Y (y) f X (x) (2.7.5) Example 24 Um sial, X pode vir de três diferetes fotes, chamadas A, B e C. O sial de A é N( 1; 4), o sial de B é N(0; 1), e o sial de C é N(1; 4). Somete uma fote mada sial por vez, mas ão se sabe qual fote madou. Mas é sabido que a fote A mada duas vezes mais sial que a fote B, que por sua vez mada duas vezes mais que a C. a) Calcular P[X 1] b) Dado que observou-se o eveto {X > 1}, de qual fote o sial é mais provável ter vido? Dos dados, tem-se que: P[A] = 2P[B] = 4P[C]. Como P[A] + P[B] + P[C] = 1, tem-se que: P[A] = 4/7, P[B] = 2/7 e P[C] = 1/7. Agora, calcula-se:

23 ele-48 siais e sistemas aleatórios v8 23 P[X 1] = P[X 1 A]P[A] + P[X 1 B]P[B] + P[X 1 C]P[C] Para isso, usado a tabela da fução erro para o cálculo das distribuições ormais: P[X 1 A]P[A] = 0, 5 P[X 1 B]P[B] = 0, 5 er f (1) = 0, 159 P[X 1 C]P[C] = 0, 5 er f (1) = 0, 159 Assim, substituido esses valores, tem-se que: P[X 1] = 0, 354 Agora, para o item b), queremos calcular P[A X > 1], P[B X > 1] e P[C X > 1] e verificar qual é a maior dessas probabilidades. Tem-se que P[A X > 1] = 1 P[A X 1] e aalogamete para B e C. Do Teorema de Bayes: P[A X > 1] = {1 P[X 1 A]}P[A] 1 P[X 1] = 0, 44 Para P[B X > 1] = 0, 372 e P[C X > 1] = 0, 186 Logo a maior probabilidade é de que o sial teha vido de A. 2.8 Distribuição e Desidade Cojuta Em muitas situações teremos mais de uma variável aleatória em um mesmo espaço amostral. Nestas situações, muitas vezes estamos iteressados o eveto {X x, Y y} = {X x} {Y y}, que correspode ao eveto ode as respostas ξ Ω do experimeto são tais que X(ξ) x e Y(ξ) y. Essa região correspode o plao cartesiao x y a um semi-plao que está abaixo das lihas x = x e y = y. A PDF cojuta de duas variáveis aleatórias X e Y é defiida por: F XY (x, y) = P[X x, Y y] (2.8.1) Como {X } e {Y } são evetos certos, ou seja, P[X ] = P[Y ] = 1, tem-se que: F XY (x, ) = F X (x) (2.8.2) F XY (, y) = F Y (y) (2.8.3) Caso a PDF seja cotíua e difereciável, a p.d.f cojuta pode ser obtida via derivada, isto é: f XY (x, y) = 2 [F XY (x, y)] x y (2.8.4)

24 24 maish sharma Da p.d.f. é possível chegar a PDF através de uma dupla itegração: F XY (x, y) = x y f XY (ξ, η)dξdη (2.8.5) Nos potos de descotiuidade, a F XY tem cotiuidade somete pela direita e por cima. Ou seja, se (x 0 ; y 0 ) é um poto de descotiuidade, tem-se que F XY (x 0 ; y 0 ) assume o valor imediatamete a sua direita e para cima. Propriedades da PDF cojuta: 1. F XY (, ) = 1; 2. F XY (, y) = F XY (x, ) = 0; 3. F XY (x, ) = F X (x) e F XY (y, ) = F Y (y); 4. Se x 1 x 2 e y 1 y 2, F XY (x 1, y 1 ) F XY (x 2, y 2 ). 5. F XY (x; y) = lim (ɛ;δ) (0;0) F XY(x + ɛ; y + δ), ɛ; δ > 0 Example 25 Seja a desidade cojuta dada: f XY (x; y) = e (x+y) u(x)u(y), ode u é a fução degrau uitário. u(x) = 0; x < 0 e u(x) = 1; 1 x. Deseja-se calcular P[(X; Y) A], ode A = {(x; y) : 0 x 1; y x}. Neste exemplo é importate aalisarmos os limites de itegração das variáveis aleatórias. A figura é um triâgulo, com um dos vértices a origem e os outros dois os potos (1; 1) e (1; 1). Assim, a itegral fica da forma: P[(X; Y) A] = x=1 y=x x=0 y= x e (x+y) u(x)u(y)dydx Como 0 0 etão u(y) = 0 durate x < y < 0, logo: P[(X; Y) A] = x=1 y=x x=0 Resolvedo essa itegral, chegamos o resultado: 0 e (x+y) dydx P[(X; Y) A] 0, Iformações complemetares: Tem-se que as fuções F X (x) e F Y (y) são chamadas de Distribuições Margiais se forem obtidas a partir de uma distribuição cojuta F XY (x, y). Matematicamete: F X (x) = F XY (x, ) = F X (x) = F XY (, y) = x y dζ f (ζ, y)dy (2.9.1) dη f (x, η)dx (2.9.2)

25 ele-48 siais e sistemas aleatórios v8 25 Assim, as Desidades Margiais são dadas por: f X (x) = F X(x) dx = f XY (x, y)dy (2.9.3) f Y (y) = F Y(y) dy = f XY (x, y)dx (2.9.4) Para variáveis aleatórias discretas o resultado aálogo é dado pelas somas: P X (x i ) = y k P XY (x i, y k ) (2.9.5) P Y (y k ) = x i P XY (x i, y k ) (2.9.6) Outro coceito importate é o de Variáveis Aleatórias Idepedetes. Duas variáveis aleatórias X e Y são ditas idepedetes se os evetos {X x} e {Y y} forem idepedetes para qualquer combiação de x e y. Vimos o Capítulo 1 que dois evetos A e B são ditos idepedetes se P[AB] = P[A]P[B]. Tomado A = {X x} e B = {Y y}, e lembrado das defiições de F X (x) e F Y (y), tem-se imediatamete que: F XY (x, y) = F X (x) F Y (y) (2.9.7) Esse resultado vale para todo x e y se, e somete se, X e Y são idepedetes. Também segue que: f XY (x, y) = f X (x) f Y (y) (2.9.8) Este também só vale se, e somete se, X e Y são idepedetes. Example 26 Seja: f XY (x, y) = 1 2πσ 2 e (1/2σ2 )(x 2 +y 2 ) f XY (x, y) = 1 2πσ 2 e (x2 /2σ 2 ) 1 2πσ 2 e (y2 /2σ 2) = f X (x) f Y (y) Logo, X e Y são idepedetes Exercícios Os exercícios deste capítulo são: 2.2, 2.11, 2.14, 2.20 do livro "Probability ad radom processes with applicatios to sigal processig", Hery Stark. Outros exercícios podem ser feitos pelo aluo, escolhidos aleatoriamete.

26

27 3 Fuções e Trasformações de Variáveis Aleatórias 3.1 Itrodução e Defiição Na egeharia e a ciêcia muitas vezes estamos iteressados a relação etrada e saída de um sistema. Se a etrada de um sistema é aleatória, geralmete a saída também será aleatória. De maeira mais forma, se uma etrada de um sistema é uma variável aleatória X e Y é a saída do sistema, Y também é uma variável aleatória. A perguta que pesamos é: "Se cohecermos a p.d.f, PMF ou PDF da etrada podemos cohecer as fuções da saída?". A resposta para essa perguta é: Em algus casos sim, em outros a relação pode ser muito complicada, mas aida sim pode-se obter iformações da saída. Em sistemas que possuem uma espécie de memória, isto é, a saída seguite depede dos valores ateriores, esses cálculos são muito mais complicados. No atual mometo, ão estamos iteressados esses casos. Existem diferetes formas de se compreeder uma Fução de Variável Aleatória (FRV, do iglês, Fuctio of a Radom Variable). Uma das formas é exergá-la como uma relação de etrada e saída de um sistema. Para todo valor X(ξ) a imagem R X, gera-se um ovo úmero Y = g(x) com imagem R Y. Y é uma regra cujo domíio é R X e imagem é R Y. Y é uma Fução da Variável Aleatória X. Assim, pode-se exergar essa relação ode uma dada etrada x se relacioa com uma saída y pela fução y = g(x). Um dos problemas que os deparamos os cálculos evolvedo FRV s é: Dado g(x) e F X (x), qual o cojuto de potos C y tam que os evetos são iguais: {ξ : Y(ξ) y} = {ξ : g[x(ξ)] y} = {ξ : X(ξ) C y } Para assim cohecermos a probabilidade: P[Y y] = P[X C y ] Example 27 Uma forma de oda de dois íveis é feita aalógica pelo efeito aditivo de um ruído Gaussiao (se distribui de maeira Gaussiaa, isto é, Normal) de média e variâcia uitárias (N(1; 1)). Um decodificador recebe

28 28 maish sharma uma forma de oda x(t) o istate t 0 e decodifica de acordo com a seguite regra: Se x(t 0 ) 1/2 etão y = 1 Se x(t 0 ) < 1/2 etão y = 0 Deseja-se calcular a PMF de Y: Evidetemete, tem-se que: Assim: {Y = 0} = {X < 0, 5} {Y = 1} = {X 0, 5} P[Y = 0] = P[X < 0, 5] = 1 0,5 e 2 1 (x 1)2 dx = 0, 31 2π O cálculo dessa fução pode ser feito utilizado uma mudaça de variável x = (x 1) e depois utilizado a tabela da fução erro. Assim: P[Y = 0] = 0, 31. De maeira aáloga, pode-se calcular P[Y = 1] = 0, 69 (ou perceber que os úicos valores que Y pode assumir são 0 e 1. Logo a PMF é: P Y (0) = 0, 31 P Y (1) = 0, 69 P Y (y) = 0; y = 0; 1 Se desejarmos obter a p.d.f, podemos utilizar as fuções delta de Dirac: f Y (y) = 0, 31δ(y) + 0, 69δ(y 1) 3.2 Problemas do Tipo Y = g(x) - Uivariáveis 1 Isto equivale a dizer que a área debaixo das curvas de desidade de probabilidade de x (até x ) e de y (até y ) serão iguais. Sejam duas v.a. s cotíuas X e Y, tal que Y = g(x), isto é, Y é uma fução determiística de X. Seja P Y (Y < y ) = P X (X < x ) para algum valor de x e y 1. Derivado em relação a x temos: f X (X = x) = d dx P Y(Y < y) = dp Y(y) dy dy dx = f y (g(x)) dy dx (3.2.1) Obs.: Foi tomado o valor absoluto de dy dx, pois, o caso geral, poderíamos também ter y como fução decrescete de x ( dy dx ), < 0 ou seja, P X (X < x ) = P Y (Y > y ) P X (X < x ) = 1 P Y (Y < y ) f X (X = x) = f Y (Y = y) dy dx = f Y(Y = y) dy dx A partir deste poto vários camihos são possíveis. Em um deles, mostrado o exemplo a seguir, itegramos os dois lados da equação, apos a separação de dx/dy.

29 ele-48 siais e sistemas aleatórios v8 29 Figura 3.1: Trasformação de variáveis da uiforme para a expoecial. Observe que as áreas de baixo das curvas até os valores equivaletes de x e y são iguais. Example 28 Temos uma v.a. X uiformemete distribuída etre etre 0 e 1. Desejamos obter uma v.a. Y com distribuição expoecial com parâmetro K qualquer. Como deve ser a relação Y = g(x)? f X (x) = { 1, 0 < x < 1 0, c.c (3.2.2) f Y (y) = 1 K exp( y K ) (3.2.3) Utilizado f X (x) = f Y (g(x)) dy dx temos (veja o que ocorre se escolhermos dy dx < 0): 1 K exp ( y ) K = 1 dx dy 1 K exp ( y ) ( K dy = dx x = exp y ) K + c (3.2.4) log(c x) = y K y = K l(c x) Porém, queremos que quado x = 0, teremos y = 0. Logo c = 1 e, portato y = K l(1 x). Existe uma maeira mais geral de resolver esse tipo de problema. Seja X uma v.a. com p.d.f f X (x) e a fução difereciável g(x) de variável real x. Deseja-se achar a p.d.f de Y = g(x). É possível mostrar que, se a equação y = g(x) possui raízes reais x 1 ; x 2 ;...; x, e como o eveto {y < Y < y + dy} pode ser escrito como uma uião de evetos disjutos {E i }, etão estes evetos disjutos têm forma: E i = {x i dx i < X x i } se g (x i ) for egativo ou E i = {x i < X x + dx i } se g (x i ) for positivo. Nos dois casos, da defiição de p.d.f, tem-se que: P[E i ] = f X (x i ) dx i. Etão: P[y < Y y + dy] = f Y (y) dy = Dividido ambos os lados por dy : f Y (y) = i=1 f X (x i ) dx i i=1 f X (x i ) g (x i ) ; x i = x i (y); g (x i ) = 0 (3.2.5) Vale observar que em sempre essa maeira é a mais rápida. No exemplo aterior, por exemplo, resolver uma equação diferecial por separação de variáveis foi muito mais útil.

30 30 maish sharma Example 29 Vamos ecotrar uma relação geeralizada para variáveis aleatórias relacioadas de maeira liear. Seja Y = ax + b, com X uma v.a. cotíua com p.d.f f X (x). Supodo a > 0, tem-se que o eveto {ax + b y} é idêtico ao eveto {X y b a }. Assim: {Y y} = {ax + b y} = {X y b } a Da defiição de PDF: E logo a p.d.f: ( ) y b F Y (y) = F X a f Y (y) = 1 a f X ( ) y b Repetido o processo para a < 0, chega-se o resultado geral: f Y (y) = 1 ( ) y b a f X ; a = 0 (3.2.6) a Usado a técica geral, tem-se que ax + b = y só possui uma raiz real: x 1 = y b a Além disso, g (x 1 ) = a Assim, aplicado a equação 3.2.5: f Y (y) = 1 a f X(x 1 ) = 1 ( ) y b a f X a Que é o mesmo resultado que ecotramos ateriormete. Example 30 Outro caso iteressate é quado Y = X 2, ode X é uma v.a. com PDF cotíua F X (x). Tem-se que: a {Y y} = {X 2 y} = { y X y} Usado a defiição de PDF: F Y (y) = F X ( y) F X ( y) + P[X = y] Como X é cotíua, P[X = y] = 0. Logo, para y > 0: f Y (y) = d dy [F Y(y)] = 1 2 y f X( y) y f X( y) Equato isso, para y < 0, tem-se que f Y (y) = 0, pois, como Y = X 2, Y uca assumirá úmeros egativos. Pelo método geeralizado, tem-se que: y = x 2 tem duas raízes reais quado y > 0, x 1 = y e x 2 = y. E tem-se que: g (x) = 2x, etão: g (x 1 ) = 2 y = g (x 2 ). Fialmete, usado a equação 3.2.5: f Y (y) = 1 y f X ( y) + 1 y f X ( y) Que é o mesmo resultado que chegamos ateriormete. Além disso, para y < 0 a equação y = x 2 ão possui raízes reais. Logo, esse caso, f Y (y) = 0.

31 ele-48 siais e sistemas aleatórios v Caso de v.a. discreta Como Y = g(x), o espaço de Y é imagem de g(x). A relação etre P.D.F. s pode ser obtida via somatório abaixo: 2 : P y (Y = y ) = x [A] = 1, g(x) = y ; P x (X = x) [A]; [A] = 0, c.c (3.2.7) 2 A otação [A] vale 1 se A for verdade e 0 caso cotrário. Ela se chama " Iverso bracket"e opera de forma similar a uma variável booleaa Este método pode facilmete ser geeralizado para o caso multivariável. Example 31 Seja X uma variável aleatória discreta defiida por: P(x = 1) = 0.5; P(x = 2) = 0.25; P(x = 3) = 0.125; X : P(x = 4) = ; P(x = 5) = ; P(x = 6) = 0; Quais seriam as probabilidades para uma variável Y, tal que Y é o resto da divisão por 2 da variável x? Seja: Y = g(x) = mod(x, 2) A variável Y pode assumir os valores: 0, x = 2, 4, 6 y = g(x) = 1, x = 1, 3, 5 Dessa forma, a probabilidade de Y = y i é dada por: [A] = 1, y i = g(x); P(Y = y i ) = P(x) [A], [A] = 0, y i = g(x) Logo: x=6 x=1 P(y = 0) = P(y = 1) = Problemas do tipo Z = g(x, Y) Em muitas situações a ciêcia e a egeharia, uma variável aleatória depederá de mais de duas ou mais variáveis aleatórias. Nesta seção, os preocuparemos com o caso ode a variável aleatória Z é fução das v.a. X e Y, isto é, Z = g(x, Y). Isso pode represetar um dispositivo que amplifica um sial X por um fator Y, tedo assim: Z = XY. Outro caso possível é a sobreposição de um ruído aleatório Y em um sial X, assim: Z = X + Y. Ou aida pode represetar um

32 32 maish sharma movimeto aleatório em um plao, ode a distâcia até a origem do sistema é: Z = X 2 + Y 2. De maeira aáloga ao que foi feito para uma variável, estamos iteressados o eveto {Z z} = {(X, Y) C z } ode C z é o cojuto de potos tais que os evetos {ξ : Z(ξ) z} e {ξ : X(ξ), Y(ξ) C z } são iguais. Assim, da defiição de PDF: F Z (z) = f XY (x, y)dxdy (3.3.1) (x,y) C z Diferete do caso uivariável, a itegração é dupla, pois a fução depede de duas variáveis aleatórias. Em caso de variáveis discretas, ao ivés de itegrais teríamos somatórios. Além disso, em geral, pelo fato de haver mais de uma variável, os cálculos tedem a ser mais complicados e trabalhosos. Example 32 Seja Z = max(x, Y), e X e Y são v.a. idepedetes. Deseja-se calcular a p.d.f f Z (z). Tem-se que o eveto {max(x, Y) z} é igual ao eveto {X z, Y z}. Assim, como as variáveis são idepedetes: F Z (z) = P[Z z] = P[X z, Y z] = F X (z) F Y (z) Derivado em relação a z: f Z (z) = f X (z)f Y (z) + F X (z) f Y (z) Z Cohecedo as distribuições das variáveis X e Y, cohecemos a p.d.f de No exemplo seguite será tratado o caso ode Z = X + Y. Um caso muito importate e recorrete a área da ciêcia e egeharia. Example 33 Seja Z = X + Y. E X e Y são duas variáveis aleatórias. Deseja-se ecotrar a equação para f Z (z). Tem-se que o eveto {Z z} = {X + Y z}. Assim, os potos do cojuto C z é o cojuto de potos tais que: g(x; y) = x + y z. No plao xy, isso represeta o semiplao localizado abaixo e à esquerda da reta que passa pelos potos (0; Z) e (Z; 0). Da defiição de PDF: F Z (z) = x+y z f XY (x, y)dxdy = ( z y ) dx dy Defiido G XY (x, y) como a itegral idefiida: G XY (x, y) = f XY (x, y)dx F Z (z) = [G XY (z y, y) G XY (, y)]dy Difereciado essa equação para obter a p.d.f: f Z (z) = df Z(z) dz = d dz [G XY(z y, y)]dy f Z (z) = f XY (z y, y)dy (3.3.2)

33 ele-48 siais e sistemas aleatórios v8 33 Um caso especial e iteressate é quado X e Y são v.a. idepedetes. Nesse caso, f XY (x, y) = f X (x) f Y (y), logo: f Z (z) = f X (z y) f Y (y)dy (3.3.3) A equação é cohecida como itegral de covolução, ou aida, a covolução etre f X e f Y, deotada por: f Z = f X f Y. É uma itegral com aplicações relevates a área de cotrole por exemplo. Aalogamete, podemos escrever: f Z (z) = f X (x) f Y (z x)dy (3.3.4) Para um caso geeralizado: Z = ax + by, seguido um procedimeto aálogo e com a seguite mudaça de variáveis: Chegamos a seguite resposta: f Z (z) = 1 ab V = ax w = by Z = V + W ( ) z w ( w ) f X f a Y dy (3.3.5) b No caso de duas v.a. discretas, o processo é semelhate. Sedo X e Y duas v.a. discretas. Seja Z = X + Y. Pode ser mostrado que a PMF de Z é dada por: P Z (z ) = No caso de X e Y são idepedetes: P Z (z ) = x k +y j =z P[X = x k, Y = y j ] (3.3.6) x k +y j =z P X (x k )P Y (y j ) P Z (z ) = x k P X (x k )P Y (z x k ) (3.3.7) Se z = e x k = k, tem-se que essa soma se tora uma covolução discreta: P Z (z ) = P X (k)p Y ( k) (3.3.8) k 3.4 Problemas Geeralizados para Várias v.a. s cotíuas Um caso mais complexo e geral e dos problemas de fuções de variáveis aleatórias é o caso em que se tem duas v.a. que depedem de outras duas v.a.. Seja X e Y variáveis aleatórias com p.d.f cojuta f XY (x; y) e duas fuções difereciáveis g(x, y) e h(x, y). Duas ovas variáveis aleatórias são defiidas: V = g(x, Y) e W = h(x; Y). Desejamos calcular a PDF cojuta F VW (v, w) ou a p.d.f cojuta f VW (v, w) de V e W.

34 34 maish sharma Um caso de aplicação disso é, por exemplo, dada a p.d.f cojuta f XY (x, y) de um eveto ocorrer o plao em coordeadas cartesiaas, qual a p.d.f em coordeadas polates f RΘ (r, θ) de ocorrer o mesmo eveto? Da mesma maeira como as seções ateriores, estamos iteressados o eveto {V v, W w} = {(X, Y) C vw }. Ode: Da defiição de PDF: C vw = {(x, y) : g(x, y) v, h(x, y) w} P[V v, W w] = F VW (v, w) = f XY (x, y)dxdy (3.4.1) (x,y) C vw De maeira mais geeralizada, poderíamos ter k v.a. que são fuções de outras k v.a. Seja as seguites relações etre as variáveis: Y 1 = g 1 (X 1,..., X k ) Y 2 = g 2 (X 1,..., X k ). Y k = g k (X 1,..., X k ) (3.4.2) Ode (X 1,..., X k ) tem p.d.f. cojuta da forma: f X1,X 2,...,X k (x 1, x 2,..., x k ) Normalmete o objetivo é determiar a p.d.f.: f Y1,...,Y k (y 1,..., y k ) Já que g i (...) são ormalmete cohecidas. O processo tem 3 etapas: 1. Obter fuções iversas: X 1 = h 1 (Y 1,..., Y k ) X 2 = h 2 (Y 1,..., Y k ). X k = h k (Y 1,..., Y k ) (3.4.3) 2. Obter Jacobiao: D y = x 1 x 1 y 1 x 2 x 2 y 1. x k y 1 y 2... x 1 y k x 2 y k y x k y... 2 x k y k (3.4.4) Ode as derivadas parciais são: x i y j = y {h j i (y 1,..., y k )} J(y 1,..., y k ) = detd y = detdy T (3.4.5)

35 ele-48 siais e sistemas aleatórios v8 35 Lembrado que: J(y 1,..., y k ) = 1 J(x 1,..., x k ) (3.4.6) 3. Obter p.d.f utilizado a fórmula: f Y1,Y 2,...Y k (y 1, y 2,..., y k ) = f X1,X 2,...,X k Ode a p.d.f existe para y 1, y 2,...y k. h 1 (y 1, y 2,..., y k ) h 2 (y 1, y 2,..., y k ). h k (y 1, y 2,..., y k ) J(y 1,..., y k ) (3.4.7) A dedução deste método ão vem ao caso para essa apostila. Mas pode ser ecotrada em livros de Probabilidade e Estatística. Example 34 f X1,X 2 (x 1, x 2 ) = 2 para 0 < x 1 < x 2 < 1 Defiimos as relações: y 1 = x 1 x 2 y 2 = x 2 (3.4.8) 1. Iversas: x 1 = y 1 y 2 ; x 2 = y 2 (3.4.9) 2. Jacobiao: D y = [ y 2 y ] (3.4.10) J = y 2 = y 2, pois y 2 é por defiição sempre ão egativo. 3. p.d.f.: f Y1,Y 2 (y 1, y 2 ) = 2y 2 0 < y 1 < 1 0 < y 2 < 1 (3.4.11) Example 35 São dadas duas fuções: E a probabilidade cojuta: v = g(x, y) = 3x + 5y w = h(x, y) = x + 2y f XY (x, y) = 1 2π e 1 2(x 2 +y 2 ) Qual a p.d.f cojuta das variáveis V = g(x, Y) e W = h(x, Y)? Primeiro passo, ecotra-se as iversas: x = φ(v, w) = 2v 5w y = η(v, w) = v + 3w

36 36 maish sharma Assim, calcula-se as derivadas parciais: E o Jacobiao: D y = φ v = 2 φ w = 5 η v = 1 η w = 3 [ ] J = 1 Logo, utilizado a fórmula 3.4.7: f VW (v, w) = 1 2π e 1 2 [(2v 5w)2 +( v+3w) 2 ] Ou seja, a trasformação levou de uma Gaussiaa ão correlacioada para uma Gaussiaa correlacioada. 3.5 Exercícios Os exercícios deste capítulo são: 3.4, 3.13, 3.29 do livro " Probability ad radom processes with applicatios to sigal processig", Hery Stark.

37 4 Esperaça e Estimação 4.1 Valor Esperado de uma Variável Aleatória Muitas vezes desejamos resumir algumas propriedades de uma v.a. em algus úmeros. Por exemplo, é útil cohecermos as médias ou esperaças de uma v.a. Posteriormete, defiiremos o termo mometos que está itimamete ligado a uma gama de médias de uma v.a. O coceito de média de um cojuto de úmeros é muito corriqueiro, como por exemplo, a média de uma turma de estudates ou a média de altura de criaças de uma certa idade. Em geral, para um cojuto de amostras (realizações) {x i } de uma v.a. X, a média calculada é calculada como: X = µ s = 1 N N x i (4.1.1) i=1 A média pode ser vista como um cetro de massa deste cojuto de úmeros. De maeira mais precisa, ela é o úmero que está mais perto simultaeamete de todos os úmeros do cojuto. Matematicamete, a média é o valor de z que miimiza a distâcia quadrática D 2 de todos os potos, dada pela equação: D 2 N i=1 (z x i ) 2 (4.1.2) Para verificar este resultado, basta derivar a equação em relação a z e igualar a zero. Observe que este cálculo da média todos os úmeros possuem o mesmo peso o cálculo. Em muitos casos, desejaremos dar mais valor para us do que outro, e para isso é feita uma média poderada. Posteriormete, veremos que a esperaça de uma v.a. é uma espécie de média poderada. Vale observar que a média ão os dá uma oção de o quão espalhados os úmeros estão da média. Por exemplo, os cojutos { 3; 2; 1; 0; 1; 2; 3} e { 0.15; 0.10; 0.05; 0; 0.05; 0.10; 0.15} possuem a mesma média, porém, o primeiro cojuto possui úmeros

38 38 maish sharma muito mais espalhados do que o segudo. Para um cojuto, uma média que pode ser usada como uma medida de espalhameto é o Desvio Padrão calculado, defiido como: σ x = [ 1 N N i=1 (x i µ s ) 2 ] 1/2 (4.1.3) Quato maior o Desvio Padrão, mais espalhados tedem a ser os úmeros daquele cojuto. Vale observar que a média calculada µ s ão é a média real da v.a. X, pois ela varia de acordo com a realização. Ela em si também é uma variável aleatória cujo valor depede de N realizações de X. Por isso que o seu subscrito é s: ela é amostrada (em iglês, sampled) de um cojuto (do iglês, set). Logo, ela é somete uma estimativa da média real para N grade: X = 1 N N i x i = i=1 N N x i i N = x i P(X = x i ) (4.1.4) i=1 i=1 Observe que este cálculo utiliza o coceito de probabilidade por frequêcia. Defiimos, etão, o valor esperado ou média para uma v.a. discreta X, que pode assumir os valores x i, com PMF P X (x i ) = P[X = x i ]; i = 1; 2; 3;..., como: µ X = X = E[X] x i P[X = x i ] (4.1.5) i De maeira aáloga, para o caso cotíuo de uma v.a. X com p.d.f f X (x), defiimos valor esperado ou média, caso exista, como: µ X = E[X] x f X (x)dx (4.1.6) Os símbolos µ x, E[X], E[X] e X podem, em geral, ser usados de maeira equivalete. O operador E[X] é chamado de esperaça ou expectativa de X. O resultado é a média de fato da v.a. X. Cosideremos agora uma v.a. Y que é fução de X, ou seja, Y = g(x). Neste caso, ão precisamos ecessariamete cohecer f Y (y) para calcular E[Y], devido ao seguite resultado (Teorema): E[Y] = y f Y (y)dy = g(x) f X (x)dx. (4.1.7) A dedução formal deste teorema ão vem ao caso e exige cohecimeto de itegração de Lebesgue. Porém, é possível verificar a validade dessa equação de maeira iformal, partido de que, se Y = g(x), etão para qualquer y j, os evetos: x (r) j {y j < Y y j + y j } = {x (k) j k=1 r j < X x (k) j + x (k) j } (4.1.8) Ode r j é o úmero de raízes reais da equação y j g(x) = 0, e são as raízes.

39 ele-48 siais e sistemas aleatórios v8 39 Aplicado a defiição de E[Y] e o fato de que os evetos do lado direito da equação são disjutos e aalisado os ídices dos somatórios, é possível chegar o resultado da equação Porém, esta ão é uma dedução formal, apeas uma forma iformal de mostrar a razoabilidade deste resultado. No caso especial em que X é uma v.a. discreta, o resultado aálogo é: E[Y] = g(x i )P X (x i ). (4.1.9) i Example 36 Seja X : N(µ, σ 2 ). O valor esperado de X é dado por: E[X] = Fazedo: z = (x µ)/σ, tem-se que: E[X] = σ 2π ( ( 1 x σ 2π exp 1 ( ) )) x µ 2 dx 2 σ ( ) ze z2 dz + µ e 1 2 z2 dz 2π O primeiro termo é zero, pois o itegrado é uma fução ímpar. O segudo termo é µ, pois a seguda itegral etre parêteses é ada mais que F Z ( ) para Z : N(0, 1). Assim: E[X] = µ Ou seja, de fato o parâmetro µ em uma distribuição N(µ, σ 2 ) é a média (valor esperado), como dito a Seção 2.4. Example 37 Seja X uma v.a. de Poisso com parâmetro a > 0. Etão: E[X] = E[X] = a k=1 k e a k! ak k=0 e a (k 1)! ak 1 E[X] = a e a 1 i! ai = a e a e a i=0 E[X] = a Ou seja, em uma Poisso, a média é igual ao próprio parâmetro. A esperaça é um operador liear. Disso, ós podemos rapidamete obter o importate resultado para qualquer X: E [ N g i (X) i=1 ] = N E[g i (X)] (4.1.10) i=1 Se uma variável Z é defiida como fução das v.a. X e Y, isto é, Z = g(x, Y), a sua média pode ser calculada por: E[Z] = z f Z (z)dz = g(x, y) f XY (x, y)dxdy (4.1.11)

40 40 maish sharma Da mesma forma que a equação 4.1.7, a demostração deste resultado ão vem ao caso, mas pode ser compreedido de maeira semelhate ao caso de Y = g(x). Essa equação pode ser usada para calcular por exemplo E[X] quado Z = X: E[X] = = = x f XY (x, y)dxdy [ ] x f XY (x, y)dy dx x f X (x)dx Usado este formato chegamos o resultado: (4.1.12) [ E[Z] = 1 x exp 2πσ 2 E[X + Y] = (x + y) f XY (x, y)dxdy = E[X] + E[Y] (4.1.13) Este resultado pode ser estedido para N v.a. s X 1, X 2,..., X N : E [ N i=1 X i ] = N E[X i ] (4.1.14) i=1 Observe que ão é ecessário que as variáveis aleatórias sejam idepedetes para que este resultado seja verdadeiro. Example 38 Seja g(x,y) = xy. Calcule E[Z] se Z = g(x, Y) e: f XY (x, y) = 1 [ 2πσ 2 exp 1 ] 2σ 2 ((x a)2 + (y b) 2 ) Aplicado a equação , e abrido f XY em um produto, tem-se que: 1 (x a)2 2σ2 ] dx 1 [ y exp 2πσ 2 1 (y b)2 2σ2 ] dy (4.1.15) Como vimos em um exemplo aterior, o parâmetro µ é a média de N(µ, σ 2 ), ou seja, as itegrais resultam em a e b respectivamete, pois elas são os cálculos das médias de duas ormais. Assim: E[Z] = ab No caso em que W = X + Y teríamos que: E[W] = E[X + Y] = E[X] + E[Y] = a + b 4.2 Esperaça Codicioal Em muitas situações práticas, estamos iteressados em médias de um determiado subcojuto de uma população. Por exemplo, qual a expectativa de vida das pessoas que já tem mais de 70 aos, ou qual a média dos aluos aprovados em determiada classe. Esse tipo de esperaça fazem parte do que se chama Esperaça Codicioal. Elas estão iteressadas em apeas um subgrupo da população. Por exemplo, imagiemos que uma turma teha tido como

41 ele-48 siais e sistemas aleatórios v8 41 otas: 40, 45, 60, 65, 65, 75, 80, 90, 95, 100. A média dessa turma foi 71, 5. Cosiderado que a média para ser aprovado é 65, temos que a média dos aluos aprovados foi de 81, 4. Defiimos etão a Esperaça Codicioal de X dado que o eveto B ocorreu como: E[X B] x f X B (x B)dx, o caso de X cotíuo. E[X B] x i P X B (x i B), o caso de X discreto i (4.2.1) Example 39 Cosideremos o caso de uma v.a. cotíua X e o eveto B = {X a}. Tem-se que: 0, x < a F X B (x X a) = F X (x) F x (a), x a 1 F X (a) Assim, derivado em relação a x: Assim: 0, x < a f X B (x X a) = f X (x) x a E[X X a] = 1 F X (a), a f x X (x) 1 F X (a) dx Cosiderado que x se distribui uiformemete de [0; 100] e que a = 65, tem-se que: E[X X 65] = x dx = = 82, 5 Esse caso pode represetar a média de aluos aprovados em uma classe. Cosideremos agora o caso em que temos duas v.a. X e Y que possuem uma relação estatística etre si. No caso de X e Y serem v.a. discretas com PMF cojuta P XY (x i, y i ), tem-se que a Esperaça Codicioal de Y dado que X = x i, deotada por E[Y X = x i ] é dada por: E[Y X = x i ] y j P Y X (y j x i ) (4.2.2) j Podemos derivar uma fórmula útil para o cálculo da Esperaça E[Y] em termos das Esperaças Codicioais de Y dado X = x. Assim: E[Y] = j y j P Y (y j ) = j y j i P XY (x i, y j ) ] = i [ j y j P Y X (y j x i ) P X (x i ) = i E[Y X = x i ]P X (x i ). (4.2.3) E[Y] = E[Y X = x i ]P X (x i ). i

42 42 maish sharma Desse resultado, é possível observar que E[Y X] é também uma v.a. aleatória. Para cada valor x i que a v.a. X assume, tem-se que E[Y X] também assume um certo valor. Isso será discutido a próxima subseção. Para o caso cotíuo, cohecemos que (do Capítulo 2) a p.d.f de uma v.a. Y dado X = x é dada por: f Y X (y x) = f XY(x, y) f X (x) Sedo X e Y v.a. cotíuas com p.d.f cojuta f XY (x, y). Defie-se que a Esperaça Codicioal de Y dado que X = x é dada por: Como temos que: E[Y X = x] = E[Y] = y f Y X (y x)dy (4.2.4) y f XY (x, y)dxdy Chegamos a seguite fórmula para o cálculo de E[Y]: E[Y] = = = E[Y] = y f XY (x, y)dxdy [ f X (x) y f Y X (y x)dy E[Y X = x] f X (x)dx. E[Y X = x] f X (x)dx ] dx (4.2.5) Esperaça Codicioal como uma v.a. Cosideremos o caso específico o qual Y = g(x), ode X é uma v.a. discreta, temos que: Poderíamos etão escrever: E[Y] = g(x i )P X (x i ) = E[g(X)] i E[Y] = E[Y X = x i ] P X [x i ] = E[E[Y X]] (4.2.6) i É importate otar que E[Y X = x i ] é um úmero como g(x i ) também é. Mas tem-se que E[Y X] é uma fução da v.a. X, e, por causa disso, também é uma v.a.. Além disso, tem-se que para dado x i, E[Y X = x i ] = g(x i ). Example 40 Cosidere um sistema de comuicação o qual o atraso de uma mesagem, em milissegudos, é dado pela v.a. Y e o caal de comuicação é represetado pela v.a. X. X pode assumir os valores {1; 2; 3; 4} de maeira aleatória. Tem-se que: P X (k) = 1/4, k = 1,..., 4. Cohecemos as esperaças codicioais: E[Y X = 1] = 500, E[Y X = 2] = 300, E[Y X = 3] = 200 e E[Y X = 4] = 100. Etão, a v.a. g(x) é defiida como g(x) = E[Y X].

43 ele-48 siais e sistemas aleatórios v , parax = 1; P X (1) = 1/4 300, parax = 2; P X (2) = 1/4 g(x) = 200, parax = 3; P X (3) = 1/4 100, parax = 4; P X (4) = 1/4 Calculamos a esperaça E[Y]: E[Y] = E[g(X)] = = 275 No caso cotíuo tem-se que o resultado aálogo é: E[Y] = E[Y X = x] f X (x)dx (4.2.7) Resultado que também pode ser visto como E[Y] = E [E[Y X]], ode a esperaça extera é feita em relação a X, equato a itera é feita em relação a Y. Por fim, temos o caso mais complexo, ode Z = g(x, Y). Tem-se que E[Z X, Y] é uma fução das v.a. X e Y, logo também é uma fução das v.a. X e Y. Neste caso, temos o seguite resultado: E[Z] E[Z] = = E[E[Z X, Y]] z f Z XY (z x, y) f XY (x, y)dx dydz (4.2.8) No caso, a esperaça itera é tomada em relação a Z, e a esperaça itera é tomada em relação a X e Y. Por fim, fializamos essa seção eumerado algumas propriedades da Esperaça Codicioal: 1. E[Y] = E [E[Y X]]; 2. Se X e Y são idepedetes, E[Y X] = E[Y]; 3. E[Z X] = E[E[Z X, Y] X]. Faremos a prova da terceira propriedade: E[Z X = x] = = = z f Z X (z x)dz z f Z X,Y (z x, y) f Y X (y x)dzdy f Y X (y x)dy = E[E[Z X, Y] X = x]. z f Z X,Y (z x, y)dz (4.2.9) 4.3 Mometos Apesar de a média ajudar a resumir o comportameto de uma variável aleatória, ela soziha ão cosegue dar muitas iformações. Vimos a seção aterior um exemplo ode dois cojutos tem a mesma média, porém com desvio padrões diferetes. Esses úmeros que os ajudam a prever/compreeder/resumir o comportameto

44 44 maish sharma de uma variável aleatória como µ X, σ 2 X, E[X2 ] são chamados de Mometos. Mometos são uma forma de defiir uma v.a.. Em geral, uma v.a. possui muitos mometos de várias ordes. E, em certas codições, veremos que é possível, partido dos mometos, recostruir completamete o comportameto de uma v.a., isso é, obter sua p.d.f partido de todos os mometos. Nas seguites defiições, cosideraremos que os mometos existem. Defiimos o r-ésimo mometo de X como: ξ r E[X r ] = x r f X (x)dx; r = 0, 1, 2, 3,... (4.3.1) Se X é uma v.a. discreta, o r-ésimo mometo pode ser calculado da PMF: ξ r E[x r ] = xi r P X(x i ) (4.3.2) i Esta defiição implica que ξ 0 = 1 e ξ 1 = µ, isto é, a própria média. O r-ésimo mometo cetral de X é defiido como: m r E[(x µ x ) r ]; r = 0, 1, 2, 3,... (4.3.3) Para variáveis discretas a defiição de m r é: m r (x i µ x ) r P(x i ) (4.3.4) i O mometo cetral mais usado é m 2, que é chamado de Variâcia, e é deotado por σ 2 ou aida Var[X]. Estas defiições implicam que m 0 = 1, m 1 = 0 e que m 2 = σ 2. Uma fórmula que relacioa a variâcia com E[X 2 ] e µ é obtida: m 2 = σ 2 = E[(X µ x ) 2 ] = E[X 2 ] E[2µ x X] + E[µ 2 x] Para qualquer costate c: E[cX] = ce[x] e E[c] = c. Logo: σ 2 = E[X 2 ] µ 2 (4.3.5) É comum ver também a otação: E[X r ] = X r No caso acima acima m 2, ξ 2 e µ são relacioados. Esta relação pode ser feita etre mometos e suas versões cetrais utilizado a seguite expasão poliomial: (X µ x ) r = r i=0 ( ) r ( 1) i µ i i xx r i (4.3.6) Assim, aplicado a esperaça os dois lados da equação acima obtém-se uma relação etre mometos e mometos cetrais: m r = r i=0 ( ) r ( 1) i µ i i xξ r i (4.3.7) Example 41 Vamos calcular ξ 2 para X, uma v.a. biomial. Por defiição: P X (k) = ( ) p k q k k

45 ele-48 siais e sistemas aleatórios v8 45 Assim: ξ 2 = ( ) k 2 p k q k k k=0 ξ 2 = p 2 ( 1) + p ξ 2 = 2 p 2 + pq Os cálculos foram suprimidos e podem ser feitos como exercício. Agora, vamos calcular ξ 1 de X: ξ 1 = Calculamos etão a variâcia: k k=0 ( k ξ 1 = p = µ ) p k q k Var[X] = ξ 2 µ 2 = 2 p 2 + pq 2 p 2 Var[X] = pq Esta é a variâcia de uma distribuição biomial. Ela é máxima quado p = q = 0, 5. Example 42 Calcularemos m 2 para X : N(0, σ 2 ). Como µ = 0, tem-se que m 2 = ξ 2, e: m 2 = 1 x 2 e 1 2 (x/σ)2 dx 2πσ 2 Essa itegral pode ser resolvida com uma mudaça de variável y = x/σ e utilizado itegração por partes. O resultado é: m 2 = σ 2 Assim, a variâcia de uma v.a. Gaussiaa é de fato σ Mometos Cojutos Supoha que temos duas v.a. X e Y e ós gostaríamos de saber o quão é possível fazer uma previsão liear de uma delas cohecedo a outra. Isto é, cohecedo X, como podemos estimar liearmete o valor de Y. Num caso extremo, quado X e Y são idepedetes, cohecer X ão os ajuda em ada a prever Y. Por outro lado, se Y = ax + B, temos que observar X os iforma imediatamete o valor de Y. Porém, em muitas situações, a relação ão é ehum dos dois extremos. Deseja-se etão, de alguma maeira, medir o quão relacioadas duas v.a. aleatórias estão. Para isso, defie-se os mometos cojutos. Mais precisamete, o mometo, estaremos preocupados com os mometos cojutos de seguda ordem, que serão defiidos em seguida. Em suma, gostaríamos de aalisar o quão próximo de uma depedêcia liear duas v.a. tem etre si. Dadas duas v.a. s X e Y, a relação etre ambas pode ser:

46 46 maish sharma de idepedêcia X é irrelevate para Y. determiística, como por exemplo Y = ax + b X defie Y completamete. Nehuma das opções acima, e sim algo etre as duas. Um método de medida de capacidade de previsão é o mometo cojuto ξ ij, defiido como: ξ ij E[X i Y j ] = ξ ij E[X i Y j ] = l x i y j f XY (x, y)dxdy, o caso cotíuo. x i y j P XY (x l, y m ), o caso discreto. m (4.3.8) A ordem deste mometo é i + j. Para uma dada ordem, há mais de uma combiação de i e j, havedo assim vários mometos com esta ordem. O mometo cojuto cetral de ordem (i + j) é defiido como: m ij E[(X X) i (Y Y) j ] (4.3.9) Assim, os mometos de seguda ordem são: ξ 02 = E[Y 2 ] ξ 20 = E[X 2 ] = E[XY] ξ 11 m 02 = E[(Y Y) 2 ] m 20 = E[(X X) 2 ] m 11 = E[(X X)(Y Y)] = E[XY] XY Cov[X, Y], (4.3.10) (4.3.11) Ode o mometo m 11 = Cov[X, Y] é a covariâcia etre X e Y. E o mometo ξ 11 é chamado as vezes de Correlação. A medida de capacidade de previsão e, às vezes, a de depedêcia estatística é o Coeficiete de Correlação (ou aida, somete Correlação) ρ, costate adimesioal defiida como: ρ m 11 m20 m 02, (4.3.12) Tem-se que seu módulo ρ 1. No caso particular, quado ρ = 1, pode-se mostrar que: [ ] 2 m11 (x X) (y Ȳ) = 0, (4.3.13) m 20 Para x, y, exceto talvez ode f XY (x, y) = 0. Isto é, quado ρ = 1: Y = m 11 m 20 (X X) + Ȳ A relação etre Y e X é fução liear como a equação Y = ax + b.

47 ele-48 siais e sistemas aleatórios v8 47 Um lembrete importate é que correlação ão implica em causalidade. Quado ρ = 0, dizemos que X e Y são descorrelacioados (ou v.a. descorrelacioadas). Duas propriedades importates de v.a. s descorrelacioadas são: 1. A variâcia da soma é a soma das variâcias: σ 2 X+Y = σ2 X + σ2 Y (4.3.14) 2. Se X e Y são idepedetes, elas são descorrelacioadas (o cotrário ão é ecessariamete verdade). A prova de ambas podem servir como exercício. Uma dica para seguda prova é que basta mostrar que E[XY] = E[X]E[Y] para duas variáveis idepedetes. Example 43 Seja X e Y duas v.a. discretas com PMF P XY (x, y) dada por: P( 1, 0) = 0; P(0, 0) = 1/3; P(1, 0) = 0 P( 1, 1) = 1/3; P(0, 1) = 0; P(1, 1) = 1/3 X e Y ão são idepedetes, pois P XY (0, 1) = 0 = P X (0)P Y (1) = = 2 9 Tem-se que E[X] = 0, logo: Cov[X, Y] = E[XY] = ( 1)(1)(1/3) + (1)(1)(1/3) = 0 Ou seja, X e Y ão são correlacioadas e em são idepedetes. Existe um caso especial em que ρ = 0 implica idepedêcia e será discutido em seguida Variáveis Gaussiaas Cojutas Dizemos que duas v.a. são Gaussiaas Cojutas (ou Jutamete Gaussiaas, ou aida, Jutamete Normais), se sua p.d.f cojuta é: 1 f XY (x, y) = 2πσ X σ Y 1 ρ 2 ( { ( ) 2 ( ) }) exp 1 x X 2(1 ρ 2 ) σ x + y Ȳ 2 σ y 2ρ(x X)(y Ȳ) σ X σ Y (4.3.15) Esta p.d.f cojuta possui 5 parâmetros: σ X, σ Y, ρ, X, Ȳ Se ρ = 0, etão: f XY (x, y) = f X (x) f Y (y) com: f X (x) = ( 1 exp 1 2πσ 2 x 2 ( ) ) x 2 X σ X

48 48 maish sharma e: f Y (y) = ( 1 exp 1 ( ) ) 2 y Ȳ 2πσy 2 2 σ Y Figura 4.1: f XY (x, y) para ρ = 0 Figura 4.2: f XY (x, y) para ρ = 0.5 Assim, se duas variáveis jutamete Gaussiaas são descorrelacioadas, elas são idepedetes. Este é o caso especial dito o fial da subseção aterior. A idepedêcia estatística resulta em desidades margiais também idepedetes. Além disso, as desidades margiais de duas Variáveis Gaussiaas Cojutas também são sempre desidades Normais, idepedetemete de ρ. Porém, a volta ão é verdade. Se f X (x) e f Y (y) são desidades gaussiaas, ada garate que uma desidade cojuta etre X e Y ecessariamete será gaussiaa. Muitas vezes é iteressate saber o plao as regiões ode f XY (x, y) = cte, isto é, uma costate. No caso de Variáveis Gaussiaas Cojutas, temos que estes potos são costates quado o expoete é costate: ( x X σ X ) 2 2ρ (x X)(y Ȳ) σ X σ Y + ( ) 2 y Ȳ = c 2 Essa é a equação de uma elipse com cetro em ( X, Ȳ). Quado ρ = 0, os eixos da elipse estão alihados com os eixos x e y. Os comprimetos dos semi-eixos são cσ X e cσ Y. Se ρ = 0, e σ X = σ Y, etão a elipse se degeera em uma circuferêcia. Outro caso especial é quado σ X = σ Y = σ. Neste caso, quado ρ > 0, os semi-eixos da elipse são rotacioados em 45º o setido ati-horário. Se ρ < 0, os eixos são rotacioados em 135º. Aida este caso de variâcias iguais, coforme ρ ±1, o semieixo maior tede a crescer idefiidamete, e a elipse se degeera em uma reta. y = x para (ρ 1) e y = x para (ρ 1). σ Y 4.4 Desigualdades de Chebyshev e Schwarz Desigualdade de Chebyshev Fucioa como um limite superior para a probabilidade de quato uma v.a. X pode desviar do seu valor médio X. Seja X uma v.a qualquer com média X e variâcia fiita σ 2. Etão, para δ 0, o seguite é verdadeiro: Figura 4.3: f XY (x, y) para ρ = 1 P [ X X δ] σ2 δ 2 (4.4.1) A dedução é imediata: σ 2 = (x X) 2 f X (x)dx x X δ (x X) 2 f X (x)dx σ 2 δ 2 x X δ fx (x)dx = δ 2 P[ X X δ]

49 ele-48 siais e sistemas aleatórios v8 49 σ 2 P[ X X δ] δ2 Do resultado, imediatamete segue: P[ X X < δ] 1 σ2 δ 2 (4.4.2) Esta seguda forma vem diretamete da defiição axiomática da probabilidade. Em palavras, a equação equivale a dizer que a probabilidade de X divergir de X por um valor δ é meor ou igual a variâcia de X dividida por δ 2. Pode ser útil expressar δ em fução de σ através de alguma relação δ kσ, com k sedo uma costate qualquer positiva. Neste caso teríamos: P[ X X kσ] 1 k 2 P[ X X kσ] 1 1 k 2 (4.4.3) Para variáveis que assumem só valores ão egativos, i.e, f (x) = 0, para x < 0, podemos escrever: P[X δ] E[X] δ (4.4.4) Diferete do primeiro resultado de Chebyshev, esta desigualdade depede apeas da média de X. Esta equação serve como limite superior para a probabilidade da variável aleatória assumir um valor maior que um dado valor δ. A prova deste resultado também é imediata: E[X] = 0 x f X (x)dx δ x f X (x)dx δ f X (x)dx δ E[X] δp[x δ] Example 44 Um fabricate de resistor fabrica resistores com resistêcia média de 1000 ohms. Porém, os resistores possuem uma variâcia muito grade, porém, descohecida. Os resistores com resistêcia acima de 1500 ohms devem ser descartados. Qual a maior fração possível de resistores que deverão ser descartados? A resistêcia dos resistores é uma v.a. X, com média X = Como a perguta é do tipo qual a maior possibilidade/fração possível de elemetos que superam determiado valor e como X só assume valores positivos (ão há resistêcia egativa), é sugestivo utilizar a equação Assim, com δ = 1500: P[X 1500] 1000 = 0, Ou seja, idepedetemete da distribuição da v.a. X, a maior fração possível a ser descartada é 67% dos resistores. Não mais que isso.

50 50 maish sharma Desigualdade de Schwarz Já os deparamos ateriormete com a forma probabilística da Desigualdade de Schwarz (a equação ): (Cov(X, Y)) 2 E[(X X) 2 ]E[(Y Y) 2 ] Cuja igualdade ocorria quado Y é fução liear de X. Existe uma forma mais geral da Desigualdade de Schwarz. Cosidere duas fuções ordiárias, isto é, ão aleatórias, h e g, ão ecessariamete reais. Defie-se a orma de h, se existir, como sedo: ( 1/2 h h(x) dx) 2 (4.4.5) Da mesma maeira, defie-se g. O produto itero etre h e g, deotado por < h, g > ou (h, g), ou aida, (g, h), como sedo: < h, g > h(x)g (x)dx = (h, g) = (g, h) (4.4.6) Ode g é a fução complexa cojugada de g. Se g é real, etão g = g. Ou seja, o caso real: < h, g >= Fialmete, a desigualdade de Schwarz diz que: h(x)g(x)dx (4.4.7) < h, g > h g (4.4.8) com igualdade somete o caso em que as fuções são proporcioais, isto é, se h(x) = cg(x). No caso em que h e g são fuções reais de v.a. reais, isto é, h(x), g(x), etão a Desigualdade de Schwarz cotiua válida para as seguites defiições modificadas de orma e produto itero: < h, g >= E obtemos: ( h 2 ) h(x) 2 dx = E[h 2 (X)] (4.4.9) h(x)g(x) f X (x)dx = E[h(X)g(X)] (4.4.10) E[h(X)g(X)] (E[h 2 (X)]E[g 2 (X)]) 1/2 (4.4.11) Que evolve o caso citado o iício da subseção. 4.5 Fução Geradora de Mometos A Fução Geradora de Mometos, se existir, de uma v.a. X, é defiida como: Θ X (t) E[exp(tX)] = e tx f X (x)dx (4.5.1)

51 ele-48 siais e sistemas aleatórios v8 51 Ode t é uma variável complexa. É possível ecotrar a otação θ(t) também. Para variáveis discretas, ós podemos defiir utilizado a PDF, resultado em: Θ(t) = e tx i P X (x i ) (4.5.2) Uma possível iterpretação: a fução geradora de mometos é a trasformada de Laplace 1 bilateral de f X (x), exceto por uma mudaça de sial o expoete. Normalmete é possível saber f X (x) a partir de Θ(t) e vice versa, pois existe uma fórmula de iversão. A relação iversa é: 1 A Trasformada de Laplace (uilateral) de uma fução f (t) é calculada como F(s) = 0 e st f (t)dt e a Trasformada de Fourier de uma fução f (t) é calculada como F(w) = e jwt f (t)dt. f X (x) = 1 γ+jt lim e xt Θ(t)dt (4.5.3) 2πj T γ jt Que é a iversa da trasformada de Laplace bilateral de Θ(t). As pricipais razões de se usar Θ(t) são: 1. Facilita o cálculo dos mometos de X 2. Pode ser usada para estimar f X (x) a partir de medidas experimetais dos mometos. 3. Pode ser usada para resolver problemas como soma de v.a. 4. É um importate istrumeto aalítico que pode ser usado para demostrar resultados básicos, como o Teorema do Limite Cetral (TLC). Esta fução tem este ome pois a partir dela é fácil calcular os mometos da variável aleatória em questão. Isto é observado através da série de Taylor de exp(x) em toro de x = 0, que é: e tx = 1 + tx + (tx) (tx) +... (4.5.4) 2!! Logo, calculado a esperaça de ambos os lados, temos: E[e tx ] = Θ(t) = 1 + tµ + t2 ξ t ξ +... (4.5.5) 2!! Existe a possibilidade de algus mometos ão existirem. Neste caso, Θ(t) também ão existirá. Mas, se Θ(t) existe, para obter o k- ésimo mometo basta difereciar Θ(x) k vezes e avaliar a esperaça: ξ k = Θ (k) (t = 0); k = 0; 1; 2;... (4.5.6) Lembrado que estas relações valem somete se os os mometos existirem. O camiho cotrário também pode ser utilizado: partir dos mometos de uma v.a. é possível chegar a sua p.d.f. Por exemplo, se tivermos amostras X i da v.a., podemos estimar os mometos ξ i via: ˆ ξ r = ˆ Θ r = 1 }{{} #amostras xi r (4.5.7) i=1

52 52 maish sharma ˆ ξ r é chamado Estimador de Mometos e é uma v.a. que depede de. Apesar de ser uma v.a., sua variâcia tede a zero quado se tora suficietemete grade, de maeira que se aproxima de ξ r (que ão é uma v.a.). Temos assim os primeiros termos da Série de Taylor da fução geradora de mometos, resultado a aproximação ˆΘ(t). A trasformada de Laplace iversa desta aproximação forecerá etão uma aproximação da p.d.f de X, como mostra a equação abaixo: fˆ X (x) = 1 γ+jt lim e xt ˆΘ(t)dt (4.5.8) 2πj T γ jt Resolvedo a itegral obtemos uma aproximação para f X (x). Example 45 Seja X uma v.a. biomial com parâmetros ; p; q. Etão: Disso, podemos obter: θ(t) = θ(t) = ( ) e tk p k q k k k=0 k=0 ( k ) [e t p] k q k θ(t) = (pe t + q) θ (1) (0) = (pe 0 + q) 1 pe 0 = p = µ θ (2) (0) = {pe t (pe t + q) 1 + ( 1)p 2 e 2t (pe t + q) 2 } t=0 Assim: θ (2) (0) = pq + 2 p 2 = pq + µ 2 Var[X] = pq No caso para duas v.a. X e Y, a Fução Geradora de Mometos Θ XY (t 1, t 2 ) é defiida por: Θ XY (t 1, t 2 ) = E[e (t 1X+t 2 Y)] (4.5.9) No caso cotíuo: Θ XY (t 1, t 2 ) = exp(t 1 x + t 2 y) f XY (x, y)dxdy (4.5.10) No caso discreto se usariam somatórios o lugar das itegrais. De maeira aáloga ao caso de uma variável, pode-se expadir Θ XY em Série de Potêcias: Θ XY (t 1, t 2 ) = i=0 j=0 t i 1 tj 2 i!j! ξ ij (4.5.11)

53 ele-48 siais e sistemas aleatórios v8 53 E os mometos podem ser obtidos pelas derivadas parciais aplicadas em (t 1, t 2 ) = (0, 0): [ ] ξ l = Θ (l,) XY (0, 0) = l+ Θ XY (t 1, t 2 ) t1 l t 2 Para um caso geeralizado: Θ(t 1, t 2,..., t N ) = Θ(t 1, t 2,..., t N ) = E[exp( k 1 =0 k 2 =0... k N =0 t k 1 1 k 1! N i=1 t 1 =t 2 =0 (4.5.12) t i X i )] (4.5.13) tkn... N k N! Xk 1 1 Xk Xk N N (4.5.14) 4.6 Limitate de Cheroff É um limite superior sobre a probabilidade restate, i.e, P[X a]. Utilizado o fato que u(x a) exp(t(x a)), t > 0, temos o seguite: P[X a] = = a f X (x)dx f X (x)u(x a)dx f X (x) exp(t(x a))dx = exp( at)θ X (t) (4.6.1) ode u(c) é a fução degrau e a última liha foi obtida utilizado a relação etre f X (x) e a fução geradora de mometos Θ X (t). Assim, a desigualdade é: P[X a] e at Θ X (t) (4.6.2) Para v.a. discretas a desigualdade é idêtica à equação A demostração também é aáloga. Figura 4.4: Iterpretação gráfica do limitate de Cheroff O limitate é mais justo, o setido de mais apertado, quado se otimiza o lado direito para o meor valor com t. Isto é, ao miimizarmos o lado direito em fução de t, temos o meor valor possível para o limitate, sedo assim uma restrição maior sobre P[X a]. Este é o Limitate de Cheroff.

54 54 maish sharma Example 46 Seja X uma v.a. de Poisso com parâmetro a = 2 > 0. Calculemos o Limitate de Cheroff para k = 5 > a, P[X k]. Tem-se que a Fução Geradora de Mometos é: Θ X (t) = e a[et 1] O cálculo da Fução pode ser feito como exercício. Assim: Fazedo: e tk Θ X (t) = e a e [aet kt] d dt [e tk Θ X (t)] = 0 Ecotra-se que o míimo acotece em: t = l(k/a) Assim, o Limitate de Cheroff para o caso é: P[X 5] e 2 exp[5 5l(5/2)] P[X 5] 0, Fução Característica Se trocarmos a equação o parâmetro t por jω, ode j 1, obtemos a Fução Característica de uma v.a. X, defiida por: Φ X (ω) E[exp(jωx)] = f X (x)e jωx dx (4.7.1) Obs.: Equivale a Θ X (t = jω). Além disso, defie-se também, ω = 2π f. Exceto por uma mudaça de sial o expoete, essa fução é a Trasformada de Fourier de f X (x). Para uma v.a. discreta ós podemos defiir Φ X (ω) em termos da PMF: Φ X (ω) E[exp(jωx)] = e jωx P X (x i ) (4.7.2) i A relação etre a fução característica e a fução geradora de mometos é a mesma que há etre a Trasformada de Fourier e a Trasformada de Laplace: a primeira é igual a seguda, restrita ao círculo complexo uitário (ou seja, é a Trasformada de Laplace com s = jω). A fução característica tem propriedades semelhates à fução geradora de mometos. É utilizada para resolver algus problemas que poderiam ser facilmete resolvidos o domíio de ω (que faz aalogia ao domíio da frequêcia). Por exemplo, vimos que a p.d.f da soma de v.a. idepedetes evolve a covolução das p.d.f s idividuais. Assim, se Z = X 1 + X X N, ode X i, i = 1; 2;...; N são v.a. idepedetes, tem-se que a p.d.f de Z é dada por: f Z (z) = f X1 (z) f X2 (z)... f XN (z) (4.7.3)

55 ele-48 siais e sistemas aleatórios v8 55 O cálculo das covoluções seria muito trabalhoso. Mas, é sabido que a Trasformada de Fourier das Covoluções é igual ao produto das Trasformadas de Fourier idividuais. Assim, usado a relação iversa da Trasformada de Fourier ou utilizado uma tabela, ecotramos a p.d.f de Z. A relação iversa da Trasformada de Fourier: f Z (z) = 1 Φ Z (ω)e jωz dω (4.7.4) 2π Example 47 Seja X i ; i = 1; 2;...; N uma sequêcia de v.a. i.i.d. (idepedetes e ideticamete distribuídas) com X : N(0, 1). Calcular a p.d.f de: Como foi dito, tem-se que: Z = N X i i=1 f Z (z) = f X1 (z) f X2 (z)... f XN (z) Da propriedade das Trasformadas de Fourier sobre covolução e produto: Φ Z (ω) = Φ X1 (ω) Φ X2 (ω)... Φ XN (ω) Como X i são i.i.d., tem-se que Φ X (ω) = Φ X1 (ω) =... = Φ XN (ω) Calcula-se: Φ X (ω) = 1 2π e 1 2 x2 e jωx dx Completado quadrados o expoete e percebedo que a itegral se resume a uma Gaussiaa, tem-se que: Logo: Φ X (ω) = e ω2 2 Φ Z (ω) = e 1 2 ω2 Usado a relação iversa da Trasformada de Fourier (eq ): f Z (z) = 1 2π e 1 2 (z2 /) Ou seja, é uma Gaussiaa de variâcia e média zero. Da mesma forma que a fução geradora de mometos, podemos calcular os mometos pela fução característica via difereciação. Expadido exp(jωx) em uma série de potêcias e calculado sua esperaça, chegamos que: Ode Φ X (ω) = E[exp(jωx)] = =0 (jω) ξ (4.7.5)!

56 56 maish sharma ξ = 1 j Φ() X (ω = 0) Sedo Φ () X é a -ésima derivada de Φ com relação a ω. Vale mecioar que há fuções características cojutas. defiidas como: Φ X1...X N (ω 1,..., ω N ) = E [ exp ( j N i=1 ω i X i )] E são (4.7.6) Example 48 Calcule os 4 primeiros mometos de Y = siθ, sedo Θ uiformemete distribuída em [0; 2π]. Tem-se que: E[e jωy ] = e jωy f Y (y)dy E[e jωy ] = 2π 0 e jωseθ dθ = J 0 (ω) Ode J 0 (ω) é a Fução de Bessel de Primeiro Tipo de Ordem Zero. A expasão em série de J 0 é: ( ω ) 2 1 ( ω ) 4 J 0 (ω) = !2! 2 Assim, os mometos ímpares são ulos, logo ξ 1 = ξ 3 = 0. Usado a fórmula para ξ i, tem-se que: ξ 2 = 1/2 e ξ 4 = 3/8 A figura 4.5 resume a relação etre a fução geradora de mometos, a fução característica e a obteção da p.d.f de uma variável aleatória a partir de um cojuto de N realizações. Figura 4.5: Diagrama de relações etre a fução geradora de mometos, a fução característica e a desidade de uma variável aleatória.

57 ele-48 siais e sistemas aleatórios v Exercícios Os exercícios deste capítulo são: 4.3, 4.11, 4.12, 4.13, 4.18, 4.23, 4.26, 4.28, 4.33, 4.36, do livro " Probability ad radom processes with applicatios to sigal processig", Hery Stark.

58

59 5 Vetores aleatórios e estimação de parâmetros A otação matemática deste capítulo é a seguite: Um vetor ão aleatório é escrito como x. Uma matriz ão aleatória é escrita como X. Um vetor ou matriz aleatórios são escritos como X, o cotexto defiido o tipo. 5.1 Defiições Às vezes faz setido agrupar v.a s em vetores, pois existe alguma relação etre elas. Exemplos: Notas de aluos, quatidade de chuva em diferetes potos da cidade, pressão de combustível, etc... Isto gera o vetor colua aleatório X ( 1) = [X 1 X 2 X ] T, com PDF F X (x). Por defiição: Defiido: F X (x) P[X 1 x 1, X 2 x 2,..., X x ] (5.1.1) {X x} {X 1 x 1, X 2 x 2,..., X x } (5.1.2) Temos simplesmete: Além disso: F X (x) P[X x] (5.1.3) F X ( ) = 1 F X () = 0 (5.1.4) A -ésima derivada parcial resulta em: f X (x) como defiido ateriormete a seção 2. F X (x) x 1 x 2... x (5.1.5)

60 60 maish sharma Itegrado: F X (x) = Ou, compactamete: x1 F X (x) = x... f X (ξ)dξ 1...dξ (5.1.6) x f X (ξ)dξ (5.1.7) De forma geral, cosiderado evetos B, B R, com fiito, temos: Distribuição codicioal: P[B] = x B f X (x)dx (5.1.8) F X B (x B) P[X x B] = Os evetos podem ser: P[B i ] > 0 Evetos possíveis Ω = k i=1 B i Evetos exaustivos B i B j =, i = j Evetos disjutos P[X x, B] P[B] (5.1.9) Cosiderado k evetos B i disjutos e exaustivos com P[B i ] > 0, B i, temos: F X (x) = A p.d.f codicioal é dada por: k F X Bi (x B i ) P[B i ] (5.1.10) i=1 Além disso: f X B (x B) F X B (x B) x 1 x 2... x (5.1.11) f X (x) = k f X Bi (x B i ) P[B i ] (5.1.12) i=1 Podemos defiir também distribuição cojuta (etre vetores): desidades cojutas: F XY (x,y) = P[X x, Y y], (5.1.13) f XY (x,y) = (+m) F XY (x,y) x 1... x y 1... y m (5.1.14) e desidades margiais (assumido que Y tem dimesão m): f X (x) = f XY (x,y)dy 1 dy m (5.1.15) }{{} m vezes Da mesma maeira, podemos elimiar uma das dimesões de X. X = [x 1, x 2,, x a 1, x a+1,, x ] T (5.1.16)

61 ele-48 siais e sistemas aleatórios v8 61 resultado a distribuição margial: f X (x ) = 5.2 Vetores Esperados e matriz de covariâcia f X (x)dx a (5.1.17) O valor esperado de um vetor aleatório colua X = [x 1,..., x ] T é um vetor µ X = [µ 1 µ 2 µ N ] T, também escrito como X, ode: µ i... x i f X (x 1, x 2,..., x )dx 1 dx 2...dx (5.2.1) Alterativamete, a distribuição margial de x i pode ser escrita como: f Xi (x i ) = f X (x)dx 1 dx i 1 dx i+1 dx (5.2.2) }{{} ão iclui dx i e o valor médio de x i pode ser obtido via: µ i = x i f Xi (x i )dx i (5.2.3) A matriz de covariâcia K XX (ou autocovariâcia) associada ao vetor aleatório real X é o valor esperado do produto (X µ)(x µ) T : K XX E com elemetos K ij dados por: [ (X µ)(x µ) T] (5.2.4) Em particular, K ii σ 2 i. Assim: K ij E[(x i µ i )(x j µ j )] = K ji (5.2.5) σ k 1 K XX =.... σ 2 i.... (5.2.6) k 1... σ 2 Se X for um vetor real, todos K ij serão reais e K XX será simétrica. A matriz de correlação R XX (ou autocorrelação) é defiida como: R XX E[X X T ] (5.2.7) A sua relação com a matriz de covariâcia é: K XX = R XX µ µ T (5.2.8) Dois vetores -dimesioais são descorrelacioados se: E[XY T ] = µ X µ T Y (5.2.9) Se E[XY T ] = 0, X e Y são ortogoais. Isto implica que E[X i Y j ] = 0, i, j 1. Logo, o produto itero abaixo também é ulo. 1 Isto quer dizer que X e Y são ortogoais a média, mas podem ão ser ortogoais o setido vetorial

62 62 maish sharma E[X T Y] = 0 (5.2.10) Podemos também defiir matrizes de correlação e covariâcia cruzadas R XY e K XY (ão ecessariamete iguais a R YX e K YX ) R XY E[X Y T ] (5.2.11) [ K XY E (X µ X )(Y µ Y ) T] (5.2.12) Se R XY = µ X µ T Y, etão X e Y são descorrelacioados K XY = 0. Se X e Y são idepedetes X e Y são descorrelacioados. Se f XY (x, y) = f X (x) f Y (y), etão X e Y são idepedetes. Figura 5.1: Relação etre correlação e idepedêcia estatística 5.3 Propriedades de Matrizes de covariâcia Para estudar as propriedades, revisaremos um pouco de matemática. Forma quadrática: A forma quadrática associada a uma matriz M é a fução q : Z R, ode Z é o espaço vetorial dos vetores colua com dimesão igual ao úmero de lihas de M, tal que: q(z) z T M z (5.3.1) a imposição sobre a dimesão de Z é feita para que a operação de multiplicação acima esteja bem defiida. A matriz M é semidefiida positiva se z T Mz 0, z. Se z T Mz > 0, z = 0, M é defiida positiva. A matriz de covariâcia K XX é sempre pelo meos semidefiida positiva para todo z, pois: 0 E{[z T (X µ)] 2 } = z T K XX z (5.3.2) Autovalores, autovetores, rotações: Os autovalores de uma matriz, M, são os úmeros λ para os quais a solução de MΦ = λφ possui uma solução ão trivial. Para cada autovalor existe um autovetor associado: Φ = [φ 1 φ 2 φ ] T (5.3.3) 1 Por coveção os autovetores são ormalizados, i.e., Φ T Φ = Φ 2 =

63 ele-48 siais e sistemas aleatórios v8 63 λ é um autovalor de M se e somete se det(m λi) = 0 Se M tem dimesão, pode haver o máximo autovalores distitos. Vale lembrar que podem existir autovalores iguais. Duas matrizes A e B são similares se existe uma matriz Π x com det(π) = 0, tal que: Π 1 A Π = B (5.3.4) Uma matriz M é similar a uma matriz diagoal se, e somete se, M possui autovetores liearmete idepedetes. Uma matriz real e simétrica M com autovalores λ 1, λ 2,..., λ possui autovetores mutuamete ortogoais. Cosequetemete se uma matriz M real simétrica possui autovalores λ 1, λ 2,..., λ, etão ela é similar a uma matriz diagoal Λ dada por: através de alguma trasformação: λ λ Λ λ (5.3.5) U 1 MU = Λ, (5.3.6) ode U é uma matriz cujas coluas são os autovetores ordeados, i.e., U = [Φ 1, Φ 2,..., Φ ]. Além disso, pode-se provar que U T = U 1, de forma que U 1 MU = U T MU. A matriz U é do tipo uitária e pode ser iterpretada como um operador de rotação sobre um espaço Euclidiao -ário. A rotação matém o módulo de vetores e distâcia relativa etre potos. Por exemplo, dado x (x T x) 1/2, e y = Ux, etão y = x. Se Φ 1,, Φ são os autovetores ortogoais da matriz real simétrica M, o sistema de equação abaixo é verdadeiro: M Φ 1 = λ 1 Φ 1. M U = U Λ (5.3.7) M Φ = λ Φ Uma matriz simétrica M é defiida positiva se e somete se z T Mz > 0, z A coclusão é que como a matriz de covariâcia K XX é uma matriz real simétrica, ela pode ser diagoalizada através da trasformação via U, com coluas que são os autovetores de K XX. Além disso, por ser semidefiida positiva os autovalores correspodetes são ão-egativos. Example 49 Um vetor aleatório X = [x 1, x 2, x 3 ] T tem covariâcia dada por: K XX = (5.3.8) 1 0 2

64 64 maish sharma Objetivo: projetar uma trasformação ão trivial de X para Y tal que os compoetes de Y sejam descorrelacioados. 1 o passo - Obter autovalores: det(k XX λi) = 0 (5.3.9) 2 λ λ 0 = (2 λ) 3 2(2 λ) = 0 (5.3.10) λ 2 o passo - Obter autovetores: λ 1 = 2, λ 2 = 2 2, λ 3 = (K XX λ i I)Φ i = 0 (5.3.11) a c = b λ 1 = 2 : b = 0, a = 0 Φ 1 = (0, 1/ 2, 1/ 2) T (5.3.12) c a 2 + b 2 + c 2 = 1 λ 2 = a 2a b + c = 0 2 : b = 0, a + 2b = c a + Φ 2 = (1/ 2, 1/2, 1/2) T (5.3.13) 2c = 0 λ 3 = : 1 a 2a b + c = b = 0, a 2b = 0 2 c a 2c = 0 Φ 3 = (1/ 2, 1/2, 1/2) T (5.3.14) 3 o passo - Obter trasformação: 0 1/ 2 1/ 2 U = 1/ 2 1/2 1/2 1/ = U T (5.3.15) 2 1/2 1/2 4 o passo - Obter ovas variáveis Y = AX, A = U 1 = U T (multiplicado pela direita) (5.3.16) Y = UX = U X 1 X 2 X 3 Y 1 = 1 (X X 3 ) Y 2 = 1 X X X 3 Y 3 = 1 2 X X X 3 (5.3.17) Qual é a covariâcia? K YY = U 1 K XX U = (5.3.18) Recohecimeto de Padrões Opcioal (cotém pequea revisão de matrizes).

65 ele-48 siais e sistemas aleatórios v Regra Gaussiaa Multidimesioal Para uma v.a. x, a regra Gaussiaa é (p.d.f) [ f x (x) = 1 σ 2π exp 1 2 ( ) ] x µ 2. (5.5.1) σ Para um vetor X = [X 1,, X ] T com compoetes X i idepedetes, a p.d.f é: f X (x) = f Xi (x i ) = i=1 [ 1 (2π) /2 exp 1 σ 1... σ 2 i=1 ( ) ] xi µ 2 i, (5.5.2) ode σ i e µ i são as variâcias e médias correspodetes de cada dimesão. Represetação alterativa compacta, que vale também para termos depedetes: ode: f X (x) = [ 1 (2π) /2 exp 1 ] det(k XX ) (x µ)t Kxx 1 (x µ), (5.5.3) σ σ 2 0 σ K XX = e K 1 XX = 0 σ σ σ 2 (5.5.4) A matriz K XX tem este formato pois X i são idepedetes, i.e., E[(X i µ i ) 2 ] σi 2 e E[(X i µ i )(X j µ j )] = 0 para i = j. O que acoteceria com a fução f X (x) se K XX ão for ecessariamete diagoal e for defiida positiva? Será que aida seria uma p.d.f, i.e., f X (x) 0 e f X(x)dx = 1? Pode-se provar que, se X for um vetor real, as codições ecessárias serão satisfeitas. Chamamos f X (x) com este formato de regra Gaussiaa Multidimesioal, i.e., todos os compoetes de X são Gaussiaos e pode haver correlação etre elas. Se A for uma trasformação ão sigular, qual é a distribuição de um vetor Y obtido através de Y AX? A distribuição idividual de cada Y i é Gaussiaa pelo fato de ser a soma poderada de variáveis Gaussiaas. As médias e correlações podem ser obtidas pelas seguites equações: µ Y = A µ X e K YY = A K XX A T. (5.5.5) Example 50 O vetor Gaussiao com média zero X = [X 1, X 2 ] T tem matriz de covariâcia dada por: [ ] 3 1 K XX =, Y = D X = [y 1, y 2 ] T (5.5.6) 1 3 σ i

66 66 maish sharma Defiimos uma trasformação do vetor X para Y como Y = D X. Ecotre D tal que os compoetes de Y sejam estatisticamete idepedetes (o que é diferete de serem somete descorrelacioados) e com variâcia uitária. [ ] 1 0 K YY = = DK XX D T = 0 1 [ a c ] [ ] [ b 3 1 a d 1 3 b ] c d (5.5.7) Há quatro equações e quatro variáveis a serem descobertas. Este procedimeto permitiria gerar v.a. correlacioadas a partir de v.a. ão correlacioadas por exemplo. Por outro lado, para qualquer vetor aleatório ormal X média zero (para facilitar) com matriz de covariâcia K XX defiida positiva, etão há uma matriz C ão sigular tal que a trasformação Y = C 1 X gera um vetor Y com compoetes estatisticamete idepedetes. Isto é possível pois são ecessários o máximo v.a. s para se gerar um vetor aleatório com dimesão. Além disso, para uma matriz real simétrica defiida positiva P (como a matriz K XX ), há uma matriz V tal que V T PV = I, o que permite a diagoalização de K XX. 5.6 Fuções Características de Vetores Aleatórios Para uma variável aleatória X, a fução característica é dada por Φ X (w) E[exp (jwx)], ode w é o argumeto da fução característica. Para um vetor aleatório real X = [X 1,, X ] T a extesão da defiição acima é: Φ X (w) E[exp (jw T X)], (5.6.1) ode w = (w 1,, w ) T é o argumeto de Φ x (w) e j = 1. Podemos também defiir a fução característica de vetores aleatórios através da seguite itegral: Φ X (w) = f X (x) exp (jw T x)dx (itegral dimesioal) (5.6.2) Para um vetor com variáveis aleatórias discretas temos a seguite defiição: Φ X (w) = exp (j(w 1 x i1 + + w x i )) P[x 1 = x i1,..., x = x i ] i 1 i (5.6.3) Assim, como o caso escalar, a itegral é a trasformada de Fourier, exceto por uma mudaça de sial. Para obtermos a p.d.f a partir da fução característica basta usar a Trasformada de Fourier iversa com a mudaça de sial: f X (x) = 1 (2π) Φ X (w) exp ( jwx)dw (itegral dimesioal) (5.6.4)

67 ele-48 siais e sistemas aleatórios v8 67 A fução característica é muito útil para calcular mometos cojutos, como mostra o exemplo a seguir: Example 51 Defiimos o vetor aleatório X (X 1, X 2, X 3 ) T e o vetor W (w 1, w 2, w 3 ) T. Quato vale E[X 1 X 2 X 3 ]? Fução característica: Φ X (w 1, w 2, w 3 ) = Aalisado a derivada parcial da fução característica o poto w 1 = 0, w 2 = 0, w 3 = 0 obtemos a esperaça desejada: [ 1 j 3 ] Φ x (w) w 1 w 2 w 3 w 1 =w 2 =w 3 =0 f x (x 1, x 2, x 3 ) exp (j(w 1 x 1 + w 2 x 2 + w 3 x 3 ))dx 1 dx 2 dx 3 (5.6.5) = E[X 1 X 2 X 3 ] x 1 x 2 x 3 f x (x) exp (0)dx 1 dx 2 dx 3 (5.6.6) Qualquer mometo pode ser calculado (se existir) pelo método do exemplo aterior. Geericamete, os mometos cojutos podem ser obtidos pela seguite equação: E[X k Xk ] = j (k k ) [ ] (k k ) φ X (w 1, w 2,..., w ) w k wk w 1 =...=w =0 (5.6.7) Esta possibilidade está relacioada com a formulação da fução característica como um somatório. Podemos escrevê-la da seguite forma: E [ [ ] exp(jw T X) = E exp(j i=1 w i x i ) ] = E [ exp(jw i x i ) i=1 ] (5.6.8) a: Expadido os termos as suas séries correspodetes chegamos φ X (w) = k 1 =0... k =0 E[X k Xk ] (jw 1) k 1 k 1!... (jw ) k, (5.6.9) k! que explicita os termos (mometos cojutos) desejados. Observações importates: 1. φ X (w) φ X (0) = 1; 2. φ X (w) = φ X( w); 3. Todas as fuções características de subcojutos de X podem ser obtidos de φ X (w). Por exemplo, para X = [X 1, X 2, X 3 ] com φ X (w 1, w 2, w 3 ), temos: φ X1 X 2 (w 1, w 2 ) = φ X (w 1, w 2, 0) (5.6.10)

68 68 maish sharma φ X1 X 3 (w 1, w 3 ) = φ X (w 1, 0, w 3 ) (5.6.11) φ X1 (w 1 ) = φ X (w 1, 0, 0) (5.6.12) Fuções características ajudam a resolver diversos problemas. Um problema de importâcia real e ecotrado com frequêcia é a obteção da p.d.f de uma v.a. obtida pela soma de outras v.a. s com p.d.f s cohecidas. Um caso disto é para o vetor X = (X 1,..., X ) T com v.a s idepedetes, com p.d.f s margiais f xi (x i ), que gera uma ova v.a. Z através da soma Z = i=1 X i. Uma forma de obter a p.d.f de Z é pela covolução: o que é complicado. Por outro lado: f Z (z) = f X1 (x 1 )... f X (x ) (5.6.13) φ X (w 1,..., w ) = E[exp(jw T X)] (5.6.14) fazedo w = [w, w, w,..., w] obtemos uma fução característica uidimesioal: {}}{ φ(w,..., w) = E[exp[(jw (x x ))] = (5.6.15) =z = E[ i=1 exp(jwx i )] = i=1 E[exp(jwx i )] = i=1 φ xi (w) = φ z (w) TF 1 f Z (z) (5.6.16) Algus destes passos só são possíveis devido a idepedêcia das v.a. s X i e pela defiição de que Z é simplesmete a soma aritmética dos termos de X Fução Característica da Regra Gaussiaa O objetivo desta seção é obter a fução característica de um vetor aleatório Gaussiao. Relembrado, qualquer matriz real simétrica e defiida positiva P pode ser fatorada em P = C C T e P 1 = D D T, ode C e D são ão sigulares. Além disso, para um vetor X real, a sua matriz de covariâcia K XX é defiida positiva. Logo, K XX (cujos autovalores são positivos) pode ser fatorada como visto acima. A fução característica de X é, pela defiição: 1 [ φ X (w) = (2π) /2 [det(k XX )] 1/2 exp 1 ] 2 (x µ)t KXX 1 (x µ) exp(jw T x)dx (5.6.17) Defiimos a trasformação Z D T (X µ X ), o que tem como cosequêcia que X = (D T ) 1 Z + µ X, chegamos em: z T z = (x µ X ) T DD }{{ T } (x µ X ) (5.6.18) KXX 1

69 ele-48 siais e sistemas aleatórios v8 69 O jacobiao desta trasformação é det(d T ) = det(d). Substituido em φ X (w), chegamos em: φ X (w) = 1 det(d X ) exp(jw T µ X ) ( (2π) /2 [det(k XX ) 1/2 exp 1 ) ( ) ] 2 zt z exp jw T (D T ) 1 z dz, (5.6.19) ode D X é o jacobiao com relação a X. Por isso a fórmula ele aparece o deomiador em vez de o umerador. Podemos completar o itegrado usado (completado os quadrados): origial termo adicioado { ( }}{ exp 1 ) ({}}{ 2 (zt z 2jw(D T ) 1 z) = exp 1 ) 2 wt (D T ) 1 (D) 1 w (5.6.20) Pode-se mostrar que det(d) 1 = [det(k XX )] 1/2 de forma que a expressão simplifica em: ( φ X (w) = exp jw T µ X 1 ) 2 wt K XX w 1 ( (2π) /2 exp 1 2 ( exp 1 2 z jd 1 w (5.6.21) A itegral é o produto de p.d.f s ormais idêticas uidimesioais, cujo resultado é (2π) 2. Logo, a fução característica resultate é: ( φ X (w) = exp jw T µ X 1 ) 2 wt K XX w que também tem o formato Gaussiao. (5.6.22) z jd 1 w 2) dz 2) 5.7 Estimação de Parâmetros Em algumas situações é ecessário estimar µ X e σ 2 ou µ X e K XX, i.e., realizar estimação de parâmetros. Por exemplo, se quisermos medir o peso de um úico compoete com peso real θ, poderíamos medir vezes o mesmo compoete, observado valores x i corrompidos por erros de medição, isto é, x i = θ + ξ i. Uma estimativa razoável para θ seria: θ = 1 x i. (5.7.1) i=1 O valor de θ depede obviamete das realizações de x i. A estimativa θ pode ser vista como a realização de uma v.a. especial pois seu resultado depede da realização das observações e está relacioada com a distribuição f X (x) (ou P X (x), o caso discreto). A estimativa θ é uma realização da média amostral Θ 1 i=1 X i. Este estimador é utilizado para estimar E[X] frequetemete. O estimador Θ é uma fução do vetor observado X = (X 1, X 2,..., X ) T, mas ão é uma fução de θ. Podemos classificar estimadores de acordo com as características abaixo, ão mutuamete exclusivas:

70 70 maish sharma O estimador é ão tedecioso somete se E[ Θ] = θ. A tedêcia (bias) de um estimador é: E[ Θ] θ. (5.7.2) Um estimador é do tipo liear se ele é uma fução liear do vetor observado, i.e., Θ = b T X, ode b é um vetor colua que ão depede de X. Um estimador é cosistete se: lim P[ Θ θ > ɛ] = 0, ɛ > 0, (5.7.3) i.e., o estimador coverge em probabilidade para o valor de fato. Um estimador é ão tedecioso de míima variâcia se: E[( θ θ) 2 ] E[( θ θ) 2 ], outro estimador θ e E[ θ] = E[ θ ] = θ. (5.7.4) Um estimador é MMSE (miimum mea square error) se: E[( Θ θ) 2 ] E[( Θ θ) 2 ], outro estimador Θ. (5.7.5) Isto é, etre todos os estimadores possíveis, Θ é aquele que tem o meor erro quadrático médio. Cabe agora ao leitor, como reflexão dessas propriedades, formular métricas para avaliar uma estimativa e aalisar como as propriedades do estimador vistas toram a estimativa melhor sob essas métricas. Estimação de E[X]: Seja X uma v.a. com p.d.f f X (x) e variâcia fiita σ 2 X. Desejamos um estimador ão tedecioso e cosistete para µ X = E[X] a partir de observações X i obtidas de forma idepedete, i.e., f Xi (x i ) = f X (x), x i. O estimador amostral para a média é: Θ 1 Este estimador é ão tedecioso pois: E[ Θ] = E [ 1 ] X i = 1 i=1 X i. (5.7.6) i=1 E[X i ] = 1 µ X = µ X (5.7.7) i=1 A prova de que este estimador é cosistete utiliza o limitate de Chebyshev para Θ, que é P[ Θ µ > ɛ] Var[ Θ], ɛ > 0. A ɛ 2

71 ele-48 siais e sistemas aleatórios v8 71 expressão para Var[ Θ] é: Var[ Θ] = E [( [ 1 = E 1 2 i ) X i i=1 X 2 i i ] 2 µ X i =j X i X j + µ 2 X 2µ X i ] 1 X i = 1 2 (σ2 X + µ2 X ) ( 1)µ2 X + µ2 X 2µ2 X = σ2 X + µ2 X + µ2 X µ2 X 2 + µ2 X 2µ2 X = σ2 X Substituido o limitate de Chebyshev, temos: (5.7.8) P[ Θ µ > ɛ] σ2 ɛ 2 (5.7.9) Este valor obviamete tede a zero quado. Logo, ˆΘ é um estimador cosistete. Nesta demostração foi utilizado o fato de que E[X i X j ] vale E[X i ]E[X j ] = µ 2 X se i = j e vale σ2 X + µ2 X se i = j. Estimação de Var[X]: Nas mesmas codições ateriores, o estimador ão tedecioso e cosistete para Var[X] é: σ 2 X = Θ 1 1 i=1 (X i µ) 2 (5.7.10) ode µ X 1 i=1 X i é o estimador do item aterior.. Note que, embora haja observações, o divisor é 1. Este estimador de fato é ão tedecioso pois: E[ Θ ] = 1 1 E ( j=1 ) 2 X j X i 1 i=1 = 1 [ ] 1 E[Xi 2] + E[ µ2 ] 2E[X i µ X ] i=1 ( ) = 1 1 E[Xi 2 2 ] + E 1 X j 2 i=1 i=1 j=1 j=1 [ ( ) = 1 (σ 2 X µ2 x) + 2 E[X i X j ] 2 i=1 j=1 ( ) = 1 (σ2 X + µ2 X ) E[X i X j ] i=1 j=1 X i i=1 = 1 (σ2 X + µ2 X ) 1 ( ) (σx µ2 X ) + ( 1)µ2 X = 1 ( ) σx µ2 X σ2 X µ2 X ( 1)µ2 X j=1 = 1 1 σ2 X = σ2 X. (5.7.11) A prova de cosistêcia vem da demostração de que Var[ Θ ] = E[X i X j ] ]

72 72 maish sharma E[( Θ σ 2 ) 2 ] 1 m 4, ode m 4 E[(X µ) 4 ]. limitate de Chebyshev, chegamos a: Novamete, pelo P[ Θ σ 2 > ɛ] Var[ Θ] ɛ 2 cujo limite é 0 quado. m4 ɛ 2, (5.7.12) 5.8 Estimação de médias vetoriais e matrizes de covariâcia Seja X (X 1, X 2,..., X p ) T um vetor aleatório de dimesão p com p.d.f f X (x). Tomamos observações de X, idepedetes e igualmete distribuídas (i.i.d), podemos estimar: 1. µ X E[X] = (µ 1, µ 2,..., µ p ) T, ode µ j = E[X j ] com j = 1, 2,..., p 2. K XX E[(X µ X )(X µ X ) T ] Estimação de µ X : Defiimos o estimador: 2 Esse euciado é uma cosequêcia direta do Teorema do Limite Cetral. Além disso, existe um valor prático de, a depeder da literatura adotada, a partir do qual já se cosidera Θ como Gaussiao. Além disso, existem distribuições Gaussiaas modificadas para valores pequeos de, cohecidas como t-studet. 3 Note que K XX é uma matriz aleatória Θ 1 X i (5.8.1) i=1 Cosequetemete: Θ j = 1 i=1 X j,i, que já mostramos ser cosistete e ão tedecioso para µ j e assim também para µ X. Quado X é Gaussiao, Θ também é. Mesmo quado X ão é ormal, Θ tede a ser Gaussiao quado. 2 Estimação da matriz de covariâcia K XX : Se a média µ X é cohecida, o estimador: Θ 1 i=1 (X i µ X )(X i µ X ) T (5.8.2) é ão tedecioso para K XX. Etretato, se utilizarmos a média de amostras µ, o estimador cosistete e ão tedecioso é 3 : K XX = Θ 1 1 i=1 (X i µ X )(X i µ X ) T (5.8.3) Deixamos ao aluo a prova das características deste estimador. Quado X é ormal, K XX obedece uma distribuição complicada. 5.9 Estimador de Máxima Verossimilhaça Se a p.d.f da v.a X ou do vetor aleatório X é cohecida, pode-se usar o método de máxima verossimilhaça para estimar os valores se µ, σ e K XX. Através deste método obtemos estimadores que podem ser iterpretados como estimadores "ótimos"de acordo com algus critérios que demostraremos a seguir. Cosidere por exemplo uma v.a. de Beroulli que tem PMF P X (k) = p k (1 p) 1 k, odek {0, 1}. Desejamos estimar p através do estimador p. Sedo Y = i=1 X, o úmero de vezes que que X = 1 após

73 ele-48 siais e sistemas aleatórios v8 73 realizações de X. Tedo sido observado um úmero K1 qualquer de sucessos, a probabilidade de essa observação ter ocorrido, em fução do parâmetro a estimar p, é: P[Y = K 1, p] = ( K 1 ) p K 1(1 p) K 1 (5.9.1) Uma forma de estimar p é ecotrar o valor de p que maximiza a fução acima. A solução pode ser obtida pela derivada da PMF em fução de p e ecotrar a relação etre p e K 1 que maximiza a fução acima: dp[y = K 1, p] dp = ( K 1 ) p K1 1 (1 p) K1 1 [K 1 (1 p) p( K 1 )] }{{} = 0 (5.9.2) critério de otimização Há três soluções: p = 0; p = 1; e p = K 1. Os dois primeiros valores resultam em míimos da PMF de y. Logo, o estimador ótimo é: p = k 1 = i=1 X i (5.9.3) que é o resultado ituitivo. O fato de cohecer a distribuição de Y ajudou a descobrir a solução. Poderíamos obter um resultado semelhate através da fução de verossimilhaça (M.V ou MLE em iglês), mas a forma da p.d.f de X deve ser cohecida. A fução de verossimilhaça L(θ) de um cojuto de variáveis aleatórias X 1, X 2,, X é a p.d.f cojuta: L(θ) = f x1,x 2,...,x (x 1, x 2,..., x ; θ), (5.9.4) parametrizada por θ. Se, para uma realização X = (x 1, x 2,..., x ), θ (x 1, x 2,..., x ) é o valor de θ que maximiza L(θ), etão θ (x 1,..., x ) é a estimativa M.V de θ (um úmero) e Θ = θ (X 1,..., X ) é o estimador M.V. (v.a) de θ. Para o caso em que as variáveis x i são observações idepedetes, podemos escrever L(θ) = i=1 f x(x i ; θ). No caso do exemplo aterior, teríamos: L(θ) = L(p) = i=1 p x i(1 p) 1 x i = p x i(1 p) x i (5.9.5) Novamete, basta derivar e igualar a zero para chegarmos o mesmo resultado aterior. Vale ressaltar que esse caso ão precisamos saber ou os preocuparmos com a distribuição de Y. Nem sempre L(θ) é difereciável. O valor de θ que maximiza L(θ) vai maximizar qualquer g(l(θ)), se g( ) for uma fução mootôica crescete, como por exemplo g( ) = log( ). A utilização do logaritmo trasforma produtos em somas. Assim, se as v.a s são i.i.d, L(θ) = i=1 f x(x i ), teríamos log[l(θ)] = i=1 log[ f x(x i )], o que pode ser útil para simplificar

74 74 maish sharma a obteção do estimador M.V.. Isto acotece por exemplo o caso Gaussiao ode a p.d.f é uma fução expoecial: log(a exp(x)) = x + log(a) Este método pode ser utilizado para resolver problemas com múltiplos parâmetros. Neste caso, θ pode ser um vetor. Example 52 Estimativa de parâmetro µ X de distribuição Gaussiaa: Observamos realizações de X, que são x 1, x 2, x. A fução de Verossimilhaça é: L( ˆµ X ) = ( ) ( 1 exp 1 2πσ 2 2σ 2 i=1 para realizações idepedetes. Utilizado log[l( µ)] obtemos a seguite expressão: log[l( ˆµ X )] = 2 log[2πσ2 ] 1 2σ 2 i=1 (x i µ) 2 ), (5.9.6) (x i µ) 2 (5.9.7) Para ecotrar o máximo em fução de µ, derivamos e igualamos a zero. Isolado o parâmetro, obtemos µ X : log[l( µ)] ˆµ = 1 σ 2 i=1 x i µ = 0 ˆµ = 1 x i (5.9.8) i=1 Assim, o estimador M.V. é a média amostral. Utilizado o mesmo procedimeto para a variâcia σ 2 X utilizado log[l(σ X)] σ X, obteríamos: σ X 2 = 1 i=1 (x i µ) 2 (5.9.9) que sabemos ser tedecioso. Logo, pode haver desvatages a utilização deste tipo de estimadores Estimação Liear de Parâmetros Vetoriais Muitas vezes desejamos estimar o valor de variáveis aleatórias a etrada de um sistema, mas só podemos observar a sua saída. Além disso, as observações são corrompidas por ruído. Esta situação é comum por exemplo em radares, aálises sismológicas, etc. Um modelo útil estas situações é o seguite: ode: θ(τ) h(t, τ) }{{} y(t) (5.10.1) +(t) θ(τ) é o que desejamos saber, y(t) é observação, h(t, τ) é a resposta ao impulso de característica do sistema, e (t) é o ruído ou erro itroduzido por uma fote extera.

75 ele-48 siais e sistemas aleatórios v8 75 Este sistema pode ser descrito matematicamete como: Na forma discreta teríamos y(t) = (t) + h(t, τ)θ(τ)dτ (5.10.2) T Y = HΘ + N sistema liear, (5.10.3) ode N tem média 0. Perguta: é possível obter uma boa estimativa de Θ através de uma fução liear em Y (estimador LS)?? Isto é: Θ = Relembrado algumas defiições }{{} B Y (5.10.4) ão depede de Y Derivada de uma campo escalar por um vetor (fução que relacioa um úmero a partir de um vetor): dq(x) dx ( ) q q q T =,,..., (5.10.5) x 1 x 2 x Derivada de forma quadráticas: Sedo A uma matriz real simétrica e x um vetor 1 qualquer com q(x) x T A x (forma quadrática), etão: dq(x) dx = 2A x, como se fosse uma relação de escalares ax 2. Prova-se usado q(x) = i=1 j=1 x i a ij x j. Derivada de produto escalar de dois vetores a T x = y, (5.10.6) dy dx = a (5.10.7) Para q y T A x, q x = AT y. (5.10.8) Termiada a recapitulação, retoramos ao problema. Assumido que os erros N i são estatisticamete idepedetes, a matriz de autocorrelação é K NN E[N N T ] = σn 2 I. Todos os ruídos tem por hipótese a mesma variâcia σn 2. Podemos defiir o escalar S como sedo a soma dos quadrados da difereça etre Y e H θ, i.e.: S (Y H Θ) T (Y H Θ) = Y HΘ 2. (5.10.9) Um critério aceitável para a escolha de Θ é ecotrar aquele que miimiza S. Expadido a expressão aterior temos: S = Y T Y + Θ T (H T H)Θ Θ T H T Y Y T HΘ ( )

76 76 maish sharma Usado as defiições ateriores chegamos a: S Θ = 0 + 2(HT H)Θ H T Y H T Y. ( ) Assumido que (H T H) possui uma iversa chegamos, igualado a zero e isolado Θ, ao estimador: Θ = (H T H) 1 H T Y ( ) ou seja: Θ = B Y com B = (H T H) 1 H T. ( ) Por que ão usar simplesmete B = H 1? O motivo é que pode ser que H ão seja iversível. A matriz B como defiido é a iversa geeralizada de H e serve como iversa de H para os ossos propósitos. Caso H possua uma iversa, B = H 1. A matriz H pode também ão ser quadrada. Example 53 Nos é iformado que: Qual é o estimador (LS) de Θ? 6, 2 = 3Θ = 4Θ = Θ + 3 ( ) Y = H Θ + N y = [ ] T H = [3 4 1] T Θ = θ 1 3 [ ] B = [3 4 1] [ ] = ( ) Logo: θ = B y = 2 ( ) 5.11 Estimação de p.d.fs Relembrado o que foi apresetado o Capítulo 4, a média e o desvio padrão são exemplos de mometos, e que, a partir dos mometos de uma variável aleatória, é possível obter sua p.d.f por meio da trasformada iversa de Fourier aplicada à fução característica. Sabe-se também que, para uma v.a. Y qualquer, o estimador da média é ão tedecioso e cosistete. Logo, sedo Y = X r, obtémse um estimador ão tedecioso e cosistete para o r-ésimo mometo de X. Desse modo, é possível obter uma estimativa da desidade de probabilidade de uma variável aleatória a partir dos mometos estimados. Apesar de, formalmete, esse método resultar em um estimador

77 ele-48 siais e sistemas aleatórios v8 77 para a desidade de probabilidade, a relação geralmete é complicada demais para ser represetada diretamete a partir dos dados empíricos, sedo usadas como itermediário a fução característica. A figura a seguir resume esse procecsso. Figura 5.2: Esquema para estimação de uma p.d.f Exercícios Os exercícios deste capítulo são: 5.5, 5.7, 5.9, 5.10, 5.15, 5.16, 5.17, 5.21, 5.26, do livro " Probability ad radom processes with applicatios to sigal processig", Hery Stark.