Vetor de Variáveis Aleatórias

Transcrição

1 Vetor de Variáveis Aleatórias Luis Henrique Assumpção Lolis 14 de abril de 2014 Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 1

2 Conteúdo 1 Vetor de Variáveis Aleatórias 2 Função de Várias V.A. s 3 Valor esperado / matriz de correlação e de covariância 4 Vetores Juntamente Gaussianos 5 Estimação de V.A.s Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 2

3 Sumário 1 Vetor de Variáveis Aleatórias 2 Função de Várias V.A. s 3 Valor esperado / matriz de correlação e de covariância 4 Vetores Juntamente Gaussianos 5 Estimação de V.A.s Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 3

4 Vetor de Variáveis Aleatórias Um vetor de variáveis aleatórias é um elemento de n dimensões onde cada coordenada desse elemento é uma variável aleatória. X = X 1 X 2. X n = [X 1, X 2,..., X n ] T Também representado por X = (X 1, X 2,..., X n ) Um vetor ponto específico desse vetor aleatório, é representado por x = (x 1, x 2,..., x n ), onde x i corresponde ao valor de X i Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 4

5 Ex: Amostras de Áudio O resultado ω de um experimento aleatório é um sinal de áudio X(t). Fazemos com que X k = X(kT ) seja a amostra do sinal tomada no instante kt. Um codec de MP3 processa o audio em blocos de n amostras X = (X 1, X 2,..., X n ). X é um vetor aleatório. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 5

6 Eventos e probabilidades X = (X 1, X 2,..., X n ) tem uma região n-dimensional R n. Um evento A representa: A = {X 1 A 1 } {X 2 A 2 }... {X n A n } O evento A ocorre quando todos os eventos {X k A k } ocorrem juntamente. Então a probabilidade de um evento fica: P [A] = P [X A] = P [{X 1 A 1 } {X 2 A 2 }... {X n A n }] P [X 1 A 1, X 2 A 2,..., X n A n ] Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 6

7 Distribuições Conjuntas F X (X) F X1,X 2,...,X n (x 1, x 2,..., x n ) = P [X 1 x 1, X 2 x 2,..., X n x n ] Distribuições marginais: A f.d.a. conjunta para X 1,..., X n 1 é dada por F X1,X 2,...,X n (x 1, x 2,..., x n 1, ) A f.d.a. conjunta de X 1 e X 2 é dada por F X1,X 2,...,X n (x 1, x 2,,..., ) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 7

8 Função de massa de probabilidade conjunta P X(X) P X1,X 2,...,X n (x 1, x 2,..., x n) = P [X 1 = x 1, X 2 = x 2,..., X n = x n] Probabilidade de um evento: f.m.p marginal: f.m.p condicional: P [X A] = x A... P X1,X 2,...,X n (x 1, x 2,..., x n) p j(x j) = P [X j = x j] = P X1,X 2,...,X n (x 1, x 2,..., x n) x 1 x j+1 x n x j 1 p Xn (X n x 1,..., X n 1) = px 1,...,X n (x 1,..., x n) p X1,...,X n 1 (x 1,..., x n 1) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 8

9 Ex: Chegadas em um switch de pacotes A fmp conjunta de X = (X 1, X 2, X 3 ), encontre P [X 1 > X 3 ]. Os pacotes chegam para cada entrada como uma distribuição de Bernoulli com p = 1/2. O número total de pacotes segue uma distribuição binomial com a seguinte f mp: p N (n) = ( 3 n ) 1 2 3, com 0 n 3 Dado N = n o número de pacotes chegando para cada caminho fica: p X1,X 2,X 3 (i, j, k i + j + k = n) = { n! 1 i!j!k! 3 n para i + j + k = n, i 0, j 0, k 0 0 fora A fdp conjunta fica: ( ) 3n 1 p x(i, j, k) = p x(i, j, k n) para 0 n Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 9

10 Função de densidade de probabilidade conjunta P [X A] = f.d.a conjunta: x1 x A... p X1,...,X n (x 1,..., x n)dx 1... dx n F x (X) = F X1,...,X n (x 1,..., x n ) =... f.d.p. marginal: f.d.p condicional: xn p X1,...,X n (x 1,..., x n)dx 1... dx n f X1 (x 1 ) =... p X1,X 2,...,X n (x 1, x 2,..., x n)dx 2... dx n f Xn (X n x 1,..., X n 1 ) = f X 1,...,X n (x 1,..., x n ) f X1,...,X n 1 (x 1,..., x n 1 ) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 10

11 Ex: Sequência multiplicativa Considere X 1 uniforme de [0, 1], X 2 uniforme de [0, X 1 ] e X 3 uniforme de [0, X 2 ]. Encontre a a fdp conjunta de X e a fdp marginal de X 3. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 11

12 Independência A noção de independência se expande a n variáveis. Sendo que a probabilidade do intervalo de n coordenadas é igual ao produto das probabilidades de cada um dos n intervalos para as n distribuições de uma variável (cada variável sendo a distribuição marginal de cada uma das n dimensões da f.d.p conjunta) F X1,...,X n (x 1,..., x n ) = F X1... F Xn (x n ) p X1,...,X n (x 1,..., x n ) = p X1... p Xn (x n ) f X1,...,X n (x 1,..., x n ) = f X1... f Xn (x n ) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 12

14 Uma função de várias V.A. s Z = g(x 1, X 2,..., X n ) A f.d.a de Z é o evento equivalente {Z z}, R z = {x : g(x) z} F Z (z) = P [X R z ] =... p X1,...,X n (x 1,..., x n)dx 1... dx n x R z Em outras palavras, encontrar os valores que são os limites em X que correspondam a g 1 (z). Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 14

15 Máximo e mínimo de V.A s W = max(x 1, X 2,..., X n ) e Z = min(x 1, X 2,..., X n ) e X i variáveis aleatórias independentes. O máximo de X 1, X 2,..., X n é menor ou igual a x se cada X i é menor que x: F W (w) = P [max(x 1, X 2,..., X n ) w] = P [X 1 w]p [X 2 w]... P [X n w] = (F X (w)) n O mínimo de X 1, X 2,..., X n é maior ou igual a x se cada X i é maior que x: 1 F Z (z) = P [min(x 1, X 2,..., X n ) > z] = P [X 1 > z]p [X 2 > z]... P [X n > z] = (1 F X (z)) n F Z (z) = 1 (1 F X (z)) n Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 15

16 Exemplo: Confiabilidade de sistemas redundantes Considere um sistema contendo n subsistemas independentes redundantes. Cada subsistema tem uma duração de vida distribuída exponencialmente com um parâmetro λ. O sistema funciona contanto que ao menos um subsistema esteja funcionando. Encontre o f.d.a do tempo de vida do sistema. W = max(x 1, X 2,..., X n ) F W (w) = (F X (w)) n = (1 e λw ) n = n ( ) n [ 1 (n k) e kλw] k k=0 Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 16

17 Transformações de vetores aleatórios Z 1 = g 1 (X), Z 2 = g 2 (X),..., Z n = g n (X) F Z1,...,Z n (z 1,..., z n ) = P [g 1 (X) z 1,..., g n (X) z n ] F Z1,...,Z n (z 1,..., z n ) = x :g k (x ) z k f X1,...,X n (x 1,..., x n)dx 1... dx n Ex: Encontre a fdp conjunta da seguinte transformada: Z 1 = g 1 (X 1 ) = a 1 X 1 + b 1 Z 2 = g 2 (X 2 ) = a 2 X 2 + b 2 Z 3 = g 3 (X 3 ) = a 3 X 3 + b 3. Z n = g n (X n ) = a n X n + b n Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 17

18 fdp de transformações genéricas 1 o o caso bidimensional: V = g 1 (X, Y ) e W = g 2 (X, Y ) Assumindo que v(x, y) e w(x, y) são inversíveis: x = h 1 (v, w) e y = h 2 (v, w) (ex: troca e volta de base de coordenadas) g k (x + dx, y) g k (x, y) + x g k (x, y)dx k = 1, 2 A mesma coisa para intervalos em y f X,Y (x, y)dxdy = f V,W (v, w)dp dp é a área do paralelograma. f V,W (v, w) = f X,Y (h 1 (v, w), h 2 (v, w)) dp dxdy Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 18

19 fdp de transformações genéricas Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 19

20 O jacobiano O fator de esticamento e o divisor dp/dxdy são o mesmo parâmetro: v v x y dp dxdy = J(x, y) = 1 J(v, w) J(x, y) = det w x x v J(v, w) = det f V,W (v, w) = f X,Y (h 1 (v, w), h 2 (v, w)) J(x, y) =f X,Y (h 1 (v, w), h 2 (v, w)) J(v, w) y v w y x w y w Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 20

21 fdp de transformações genéricas Para vetores Z 1 = g 1 (X), Z 2 = g 2 (X),..., Z n = g n (X) Assumindo que g 1 (x),..., g n (x) são inversíveis. x 1 = h 1 (x),..., x n = h n (x) f Z1,...,Z n (z 1,..., z n ) = f X 1,...,X n (h 1 (z),..., h n (z)) J(x 1,..., x n ) =f X1,...,X n (h 1 (z),..., h n (z)) J(z 1,..., z n ) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 21

22 O jacobiano para funções de vetores J(x 1,..., x n ) = g 1 g 1 x 1 x n det.. g n g n x 1 x n f Z (z) = f X(x) det A Ex: soma de V.A.s x=a 1 z J(z 1,..., z n ) = h 1 z 1 det. h n z 1 = f X(A 1 z) det A h 1 z n. h n z n Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 22

23 Revisão de operações matriciais Multiplicação: [AB] i,j = A i,1 B 1,j +A i,2 B 2,j + +A i,n B n,j = n r=1 A i,rb r,j Determinante (2X2 e 3X3): a b c d = ad bc a b c d e f g h i = a e f h i b d f g i + c d e g h = aei + bfg + cdh ceg bdi afh. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 23

24 Revisão de operações matriciais Inversa (2X2 e 3X3): [ ] 1 [ ] [ ] a b A 1 = = 1 d b c d det(a) = 1 d b c a ad bc c a 1 T a b c A B C A 1 = d e f = 1 det(a) D E F = g h k G H K A D G 1 det(a) B E H C F K A = (ek fh) D = (bk ch) G = (bf ce) B = (dk fg) E = (ak cg) H = (af cd) C = (dh eg) F = (ah bg) K = (ae bd) Transposta: (A T ) ij = A ji Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 24

26 Valor esperado de vetores aleatórios E[Z] = g(x 1, x 2,..., x n)p x(x 1, x 2,..., x n)dx 1 dx 2... dx n g(x 1, x 2,..., x n)p x(x 1, x 2,..., x n) x 1 x n X juntamente contínuo X discreto Um g(x) interessante é a soma de das funções de X: E[g 1 (X) + g 2 (X) + + g n (X)] = E[g 1 (X)] + + E[g n (X)] Outro exemplo importante é quando g(x) é o produto de n funções individuais de X par X 1,..., X n variáveis independentes: E[g 1 (X 1 )g 2 (X 2 )... g n (X n )] = E[g 1 (X 1 )]E[g 2 (X 2 )]... E[g n (Xn)] Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 26

27 Vetor Médio m x = E[X] = E X 1 X 2. X n E[X 1 ] E[X 2 ]. E[X n ] Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 27

28 Matriz de Correlação R x = E E[X1 2] E[X 1X 2 ]... E[X 1 X n ] E[X 2 X 1 ] E[X2 2]... E[X 2X n ] E[X n X 1 ] E[X n X 2 ]... E[Xn] 2 Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 28

29 Matriz de Covariância K x = E[(X 1 m 1) 2 ] E[(X 1 M 1)(X 2 M 2)]... E[(X 1 M 1)(X n m n)] E[(X 2 M 2)(X 1 M 1)] E[(X 2 M 2) 2 ]... E[(X 2 M 2)(X n m n)] E E[(X n m n)(x 1 M 1)] E[(X n m n)(x 2 M 2)]... E[(X n m n) 2 ] Ex: Vetor conjuntamente gaussiano Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 29

31 Vetores Juntamente Gaussianos No lugar de um valor de correlação para a normal bivariada temos uma matriz de correlação combinando as variáveis X i duas a duas. Os items da f.d.p conjunta são vetores coluna. A expressão fica da seguinte forma: f X (x) f (X1,X 2,...,X n)(x 1, x 2,..., x n) = exp { 1 2 (x m)t K 1 (x m) } Onde x e m são vetores coluna (2π) n/2 K 1/2 O operador (.) T significa a transposta do vetor ou matriz e. o determinante da matriz. A operação é uma multiplicação de um vetor linha (x m) T de tamanho n por uma matriz inversa da matriz de covariância K 1 de tamanho n n e o resultado multiplicado pelo vetor coluna (x m) de tamanho n. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 31

32 Vetores Juntamente Gaussianos f X (x) f (X1,X 2,...,X n)(x 1, x 2,..., x n) = exp { 1 2 (x m)t K 1 (x m) } x = x 1 x 2. x n, m = m 1 m 2. m n = (2π) n/2 K 1/2 E[X 1 ] E[X 2 ]. E[X n ] Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 32

33 Vetores Juntamente Gaussianos K = Var(X 1 ) Cov(X, X )... Cov(X, X ) Cov(X, X ) Var(X 2 )... Cov(X, X ).... Cov(X, X )... Var(X n ) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 33

34 Ilustração aplicando a normal bivariada O vetor de médias e a matriz de covariância ficam da seguinte forma: [ ] [ m1 σ m =, e K = 2 ] 1 ρσ 1 σ 2 m 2 ρσ 1 σ 2 σ2 2 O determinante da matriz de covariância fica: det(k) = σ 2 1 σ2 2 (ρσ 1σ 2 ) 2 = σ 2 1 σ2 2 (1 ρ2 ) A inversa da matriz de covariância fica: [ ] σ 2 2 ρ X,Y σ 1σ 2 K 1 ρ X,Y σ 1σ 2 σ 2 1 = σ1 2σ2 2 (1 ρ2 X,Y ) = [ σ 2 1 ρ X,Y σ 1 ] 1 σ 1 2 ρ X,Y σ 1 1 σ 1 2 σ 2 2 (1 ρ 2 X,Y ) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 34

35 Ilustração aplicando a normal bivariada (x m) T K 1 (x m) [ σ 2 1 ρσ 1 1 σ 1 2 ρσ 1 1 σ 1 2 σ 2 2 = [ x m 1 y m 2 ] (1 ρ 2 ) ( ) x 2 ( ) ( m1 x m1 y m2 2ρ σ = 1 σ 1 σ 2 (1 ρ 2 ) ) + Conectando os resultados obtidos: 1 p xy (X, Y ) = 2πσ 1 σ 2 1 ρ 2 { ( 1 (x µ1 ) 2 exp 2(1 ρ 2 ) σ1 2 + (y µ 2) 2 σ2 2 ] [ ] x m1 y m 2 ( ) y 2 m2 σ 2 2ρ(x µ )} 1)(y µ 2 ) σ 1 σ 2 Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 35

37 Os tipos de estimação Estimação dos parâmetros de uma ou mais variáveis. Frequências relativas probabilidade de eventos. Médias de amostras esperança e outros momentos (variância, etc) Estimação de uma variável inacessível X através de uma variável acessível Y. X: Sinal enviado em um canal de comunicação. Y : Sinal recebido. X: Valor futuro. Y : Valor presente. Estimadores Máximo à posteriori - (MAP - Maximum a posteriori) Máxima verossimilhança - (ML - Maximum likehood) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 37

38 Estimador do máximo à posteriori Qual o valor da entrada x que maximiza P [X = x Y = y]? P [X = x Y = y] = maxp [X = x Y = y] x P [Y = y X = x]p [X = x] P [Y = y] (Bayes) Conhecendo P [Y = y X = x], P [X = x] e P [Y = y], podemos testar para cada y, que valor de x maxima P [X = x Y = y] Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 38

39 Estimador de máxima verossimilhança As vezes não sabemos P [X = x], então pegamos o máximo do outro elemento da equação: maxp [Y = y X = x] x Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 39

40 Estimadores de V.A. contínua MAP: ML: max x max x p x (X = x Y = y) p y (Y = y X = x) Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 40

41 Testes de MAP e ML é variáveis juntamente gaussianas A condicional de X dado Y é dada por: { ( 1 exp 2(1 ρ 2 )σ 2 x ρ σ ) } 2 x (y µ y ) µ x x σ y p x (x y) = 2πσ 2 x (1 ρ 2 ) Maximado pelo valor de x para o qual o exponente é zero. Então: ˆXMAP = ρ σ x (y µ y ) + µ x σ y Já a condicional de Y dado X é dada por: { ( 1 exp 2(1 ρ 2 )σ 2 y ρ σ ) } 2 y (x µ x ) µ x y σ x p y (y x) = 2πσy(1 2 ρ 2 ) Maximado pelo valor de x para o qual o exponente é zero. Então: ˆXML = σ x ρσ y (y µ y ) + µ x Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 41

42 Estimador de Erro Quadrático Mínimo Quando se lê um Y, sendo que X = g(y ) e o erro na estimação de g(y ) é zero, é definido que o custo associado é zero, c(x g(y )) = 0 Agora quando se tem um erro (quando por exemplo não temos o total controle da função g(y )), podemos calcular o valor esperado do erro, quando X g(y ): e = E[(X g(y )) 2 ] Definir o valor a que minimiza o erro: min a E[(X a) 2 ] = E[X 2 ] 2aE[X] + a 2 Tirando a derivada em relação a a e resolvendo para zero: a = E[X] Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 42

43 Estimador de Erro Quadrático Mínimo Linear Se X é estimado de uma função linear g(y ) = ay + b: min a,b E[(X ay b)2 ], (a) O mínimo em relação a b fica: Substituindo em (a) fica: b = E[X ay ] = E[X] ae[y ] min a E[{(X E[X]) a(y E[Y ])} 2 ], derivando em a, 0 = d da E[{(X E[X]) a(y E[Y ])}2 ] 2(Cov(X, Y ) a Var(Y )) O melhor coeficiente en a fica: a = Cov(X, Y ) σ x = ρ x,y Var(Y ) σ y Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 43

44 Estimador de Erro Quadrático Mínimo Linear O estimador de mínimo erro médio quadrático médio mmse minimum mean square error linear estimator: ˆX = a Y + b Y E[Y ] = ρ x,y σ x + E[X] σ y Se X e Y não são correlatos, a melhor estimativa de X é a média E[X]. Se são totalmente correlatos, ρ ± 1, então a melhor estimativa é ±σ x (Y E[Y ])/σ y + E[Y ]. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 44

45 Estimador de Erro Quadrático Mínimo Normalmente o estimador de X que minimiza o Erro Quadrático Médio um a função não linear de Y : minimizee[(x g(y )) 2 ] g(.) O problema é resolvido usando esperança condicional: E[(X g(y )) 2 ] = E[E[(X g(y )) 2 Y ]] = E[(X g(y )) 2 Y = y]f u (Y )dy g(y) é uma constante para a esperança condicional. g(y) que minimiza a esperança condicional: g (y) = E[X Y = y], chamada de curva de regressão. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 45

46 Estimador de Erro Quadrático Mínimo O erro médio quadrático do melhor estimador fica: e = E[(X g (Y )) 2 ] = E[(X E[X y]) 2 Y = y]f y (Y )dy R = Var[X Y = y]f y (Y )dy R n Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 46

47 Exemplos Comparação MSE mínimo e o MSE linear. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 47

48 Exemplo - MSE e MSE linear da normal bivariada E[X Y = y] = E[X] + ρ x,y σ x σ y (Y E[Y ]) Idênticos os MSE e MSE linear, então o erro quadrático mínimo de V.A.s gaussianas é linear. Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 48