Filtragem Adaptativa

Transcrição

1 Charles Casimiro Cavalcante Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Programa de Pós-Graduação em Engenharia de Teleinformática Universidade Federal do Ceará UFC charles

2 Filtros adaptativos, os quais têm como meta transformar os sinais portadores de informação em versões limpas ou melhoradas, ajustam suas características de acordo com os sinais encontrados. Eles formam os exemplos mais simples de algoritmos no campo de aprendizado de máquinas. Philip A. Regalia, 2005 IEEE Control Systems Magazine, Agosto de 2005

3 Conteúdo do curso 1 Introdução 2 Revisão de Processos Estocásticos 3 Filtragem Linear Ótima 4 Algoritmos Recursivos no Tempo 5 Método dos Mínimos Quadrados 6 Estruturas Alternativas de 7 Tópicos Avançados

4 Parte III Estatísticas de Segunda Ordem

5 Introdução geral Processos estocásticos discretos Sinal discreto x(n): seqüencia de números indexada por um argumento n Z. Constitui um sinal aleatório na medida em que, para um dado n = n 0 pré-estabelecido, existe alguma incerteza sobre o valor x(n 0 ), ou seja, x(n 0 ) é uma variável aleatória. S A 1 A 2 x : número associado a um i determinado evento A 3 A 4

6 Introdução geral - cont. Processo estocástico Conjunto das possíveis realizações de um dado sinal aleatório S s 1 x1( t) x2( t) x1( t k ) 0 x2( t k ) 0 s 2 s n... xn( t)... x ( t ) n k 0 t k t

7 Introdução geral - cont. Caracterização Como caracterizar x(n 0 )? 1 função de densidade de probabilidade (pdf): p X0 (x 0 ) 2 função de distribuição (cumulativa) de probabilidade: F X0 (x 0 ) [ ] x 1 x K p X 1,,X }{{} K (x 1,,x K ) intervalo de realização do processo p ( x, x ) X1, X x 1 x 2

8 Introdução geral - cont. Estacionaridade Propriedades estatísticas se preservam com translação no tempo p XL,,X K (x L,,x K ) = p XL+n0,,X K+n0 (x L+n0,,x K+n0 ) (22) Ergodicidade Comportamento estatístico é idêntico ao comportamento temporal p X (i) (x (i)) i = p Xj (x j ) j (23)

9 Funções de correlação Correlação Seja um vetor de v.a. x = [ x 1 x 2 x N ], temos que a correlação entre dois elementos, i e j, como r ij = {x i x j } = = x i x j p x(x) dx x i x jp xi,x j (x i,x j ) dx i dx j (24) De uma maneira mais intuitiva, a correlação pode ser definida como a medida de relação entre as duas variáveis aleatórias. Note ainda que a mesma pode assumir valores positivos ou negativos.

10 Funções de correlação - cont. Matrix de correlação Podemos unificar uma notação para avaliar todos os pares de variáveis na correlação. Desta forma, definimos a matriz de correlação definida como R x = { xx H} { x 1 2 } {x 1 x 2 } {x 1x N } {x 2 x 1 = } { x 2 2 } {x 2 x N } {x N x 1 } {x Nx 2 } { x N 2 } N N (25)

11 Funções de correlação - cont. Matrix de correlação - cont. Se escrevermos o vetor x = (x r ) e imaginária (x i ), temos { xx H} = Desta forma, denotamos = [ xr x i ] {[ xr x i explicitando suas partes real ] [ x H r x H i ] } [ {xr x H r } {x r x H i } {x i x H r } {x i x H i } ] (26) {x r x H r } = {x ix H i } = RE x {x i x H r } = {x rx H i } = RO x (27) em que E e O denotam as partes par (even) e ímpar (odd).

12 Funções de correlação - cont. Matrix de correlação - cont. Propriedades de R x 1 É uma matriz simétrica: R x = R H x 2 É uma matriz semi-definida positiva a H R x a 0 (28) para qualquer vetor N-dimensional a 0. Na prática, geralmente R x é definida positiva para qualquer vetor N-dimensional a 0 3 Todos os autovalores de R x são reais e não-negativos (positivos se R x for definida positiva). Além disso, os autovetores de R x são reais e podem sempre ser escolhidos tal que sejam mutuamente ortogonais. 4 R x = 2R E x + j2r O x

13 Funções de correlação - cont. Matrix de correlação - cont. Propriedades de R x (cont.) 5 É uma matriz Toeplitz 6 A correlação indica quanto um sinal tem haver com outro 7 Quanto mais lento for o processo, maior a correlação 8 Uma correlação positiva indica que o crescimento (decrescimento) de uma v.a implica em crescimento (decrescimento) da outra e uma correlação negativa indica que o crescimento (decrescimento) de uma v.a. implica no decrescimento (crescimento) da outra

14 Funções de correlação - cont. Coeficiente de Rayleigh Seja v(n) um ruído branco, ou seja, R v = σv 2 I. Seja então um sinal qualquer s(n) = x(n) }{{} sinal de interesse + v(n) }{{} ruído branco } {{ } independentes Se passarmos a seqüência s(n) por um filtro teremos então a seguinte saída w = [ w 0 w 1... w N 1 ], y(n) = w H x(n) + w H v(n)

15 Funções de correlação - cont. Coeficiente de Rayleigh - cont. Temos então: Potência interesse SNR saída = Potência ruído = {wh x(n)x H w(n)} {w H v(n)v H w(n)} = wh R x w w H R v w = wh R x w w H σ 2 viw (29) Então, escreve-se w H R x w w H w } {{ } coeficiente de Rayleigh 1 σ 2 v (30)

16 Funções de correlação - cont. Covariâncias e momentos conjuntos Relembrando: momentos centrados são definidos de maneira similar aos momentos usuais, apenas a média é envolvida no cálculo da esperança. Definimos então a matriz de covariância de x como e os elementos C x = { (x µ x )(x µ x ) H} (31) c ij = { (x i µ i )(x j µ j ) H} (32) da matriz C x de dimensão N N, são chamados de covariâncias e eles são os momentos centrados correspondentes às correlações r ij.

17 Funções de correlação - cont. Covariâncias e momentos conjuntos - cont. A matriz de covariância C x possui as mesmas propriedades de simetria que a matriz de correlação R x. Usando as propriedades do operador esperança, é fácil mostrar que R x = C x µ x µ H x (33) Se o vetor de médias for µ x = 0, as matrizes de correlação e covariância são as mesmas

18 Funções de correlação - cont. Covariâncias e momentos conjuntos - cont. Para esperanças conjuntas, ou seja, envolvendo mais de uma variável aleatória, podemos definir a matriz de correlação cruzada R xy = { xy H} (34) e a matriz de covariância cruzada C xy = { (x µ x )(y µ y ) H} (35) Note que as dimensões dos vetores x e y podem ser diferentes. Assim, as matriz de correlação e covariância cruzadas não são necessariamente quadradas e são, em geral, não-simétricas. Entretanto, de suas definições segue que: R xy = R H yx C xy = C H yx (36)

19 Funções de correlação - cont. Covariâncias e momentos conjuntos - cont. Quando temos uma soma de dois vetores x e y, temos as seguintes relações: 1 Correlação 2 Covariância R x+y = R x + R xy + R yx + R y (37) C x+y = C x + C xy + C yx + C y (38) Vale relembrar que: Variáveis ortogonais implica em correlação zero (R xy = 0) Variáveis descorrelacionadas implica em covariância zero, (C xy = 0) Então, temos 1 R x+y = R x + R y para x e y ortogonais 2 C x+y = C x + C y para x e y descorrelacionados

20 Transformações tempo-freqüência Transformação tempo-freqüência diz respeito à transformada de Fourier quando estudamos sinais determinísticos A transformação requer o conhecimento da função do sinal a ser avaliada na freqüência S(ω) = F{s(t)} = s(t)exp( jωt) dt (39) Pergunta: como fazer no caso de sinais aleatórios? Não se conhece os valores do sinal com precisão e a integral pode não existir. Resposta: definir de outra forma a transformada de Fourier de um processo aleatório

21 Transformações tempo-freqüência - cont. Classificação de processos estocásticos 1 Estacionários no sentido estrito (SSS) TODAS as estatísticas (momentos) são independentes do tempo, ou seja, p X(t) [x(t)] = p X(t) (x) 2 Estacionários no sentido amplo (WSS) Apenas as estatísticas de primeira e segunda ordem (média e correlação) são independentes do tempo, ou seja, E {X(t)} = µ E { (X(t) µ) 2} = σ 2 x

22 Transformações tempo-freqüência - cont. Função de densidade espectral Definição Para a classe de processos estocásticos WSS definimos a função de densidade espectral como a transformada de Fourier da correlação na forma S x (ω) = F{r x (τ)} = r x (τ)exp( jωτ) dτ (40) A função de densidade espectral de potência é um indicador da distribuição da potência do sinal como uma função da freqüência.

23 Transformações tempo-freqüência - cont. Função de densidade espectral - cont. Pode-se ainda calcular a correlação a partir da função de densidade espectral, uma vez que a transformada de Fourier é única, como r x (τ) = F 1 {S x (ω)} = 1 2π S x (ω)exp(jωτ) dω (41) NOTA: Valem ressaltar que τ significa a diferença entre os tempos que os processos WSS requerem como parâmetro para caracterizar a correlação. Neste caso, seria o equivalente à diferença entre as amostras i e j que temos na correlação definida na Equação (24)

24 Transformações tempo-freqüência - cont. Função de densidade espectral - cont. Propriedades 1 O valor médio quadrático de um processo WSS é dado por E{X 2 (t)} = r x (0) = 1 2π S x (ω) dω (42) 2 A densidade espectral de potência de um processo WSS é sempre não-negativa S x (ω) 0 para todo ω (43)

25 Transformações tempo-freqüência - cont. Função de densidade espectral - cont. Propriedades - cont. 3 A densidade espectral de potência de um processo WSS real é uma função par de ω S x (ω) = S x ( ω) (44) 4 O valor da densidade espectral de potência em ω = 0 é S x (0) = r x (τ) dτ (45)

26 Momentos de ordem superior São estatísticas de ordem superior a 2 Descrevem o comportamento estatístico dos dados com alguma informação a mais São importante por portarem informação da fase dos dados O momento de ordem 3 recebe o nome de obliquidade (skewness em inglês) e mede a assimetria da distribuição O momento de ordem 4 recebe o nome de kurtosis e é denotada por K Podemos também classificar as distribuições através da kurtosis 1 Para K = 0: distribuição mesocúrtica (gaussiana) 2 Para K > 0: distribuição leptocúrtica (super-gaussiana) 3 Para K < 0: distribuição platicurtica (sub-gaussiana)

27 Momentos de ordem superior - cont. Funções característica Primeira função característica Importante C( ω) C(ω) p X (x) exp(jωx) dx (46) p X (x) exp( jωx) dx C( ω) = F{p X (x)} (transformada de Fourier de p X (x))

28 Momentos de ordem superior - cont. Funções característica - cont. Importante - cont. Notação P X (ω) = F{p X (x)} = = {exp( jωx)} p X (x) exp( jωx) dx Assim p X (x) = 1 2π P X (ω) exp(jωx) dω

29 Momentos de ordem superior - cont. Funções característica - cont. Primeira função característica - Variáveis discretas P X (w) = Pr{X = x i } exp ( jωx i ) i= = {exp( jωx)}

30 Momentos de ordem superior - cont. Funções característica - cont. Propriedades P X (ω) 1 P X (ω) 1 Prova: 2 P X (0) = 1 P X(ω) = p X(x) exp( jωx) dx p X(x) exp( jωx) dx = desigualdade de Schwartz p X(x) dx

31 Momentos de ordem superior - cont. Funções característica - cont. Função geradora de momentos P X (ω) = {exp( jωx)} ( jωx) k exp( jωx) = k! k= { } ( jω) k X k {exp( jωx)} = k! {exp( jωx)} = P X (ω) = k= k= (Série de Taylor em torno de X = 0) k= ( jω) k {X k} k! }{{} µ k ( jω) k µ k k!

32 Momentos de ordem superior - cont. Funções característica - cont. Função geradora de momentos - cont. Ainda Logo k=0 P X (ω) = d k P X (ω) dw k k=0 d k P X (ω) dω k ωk ω=0 k! = 1 ω=0 k! ωk k=0 µ k ( j) k = dk P X (ω) dw k µ k ( j) k ωk k! ω=0

33 Momentos de ordem superior - cont. Funções característica - cont. Exemplo Sejam X e Y v.a.s independentes com p X (x) e p Y (y) conhecidas. Se Z = X + Y, p Z (z) =? Solução P Z(ω) = {exp( jωz)} = {exp[ jω(x + Y )]} exp( jωx) exp( jωy ) p X,Y (x, y) dx dy exp( jωx) p X(x) dx } {{ } {exp( jωx)} P Z(ω) = P X(ω) P Y (ω) p Z(z) = p X(x) p Y (y) exp( jωy ) p Y (y) dy } {{ } {exp( jωy )}

34 Momentos de ordem superior - cont. Funções característica - cont. Segunda função característica Ψ(ω) = ln[p X (ω)] (47) Importante A segunda função característica é também chamada de função geradora de cumulantes Os cumulantes são de extrema importância na caracterização estatística de uma v.a.

35 Momentos de ordem superior - cont. Cumulantes História Os cumulantes foram inicialmente introduzidos pelo astrônomo, contador, matemático e estaticista dinamarquês Thorvald N. Thiele ( ) que os denominou semi-invariantes. O termo cumulante surgiu pela primeira vez em 1931 no artigo The Derivation of the Pattern Formulæ of Two-Way Partitions from Those of Simpler Patterns, Proceedings of the London Mathematical Society, Series 2, vol. 33, pp , publicado pelo geneticista e estaticista Sir Ronald Fisher e o estaticista John Wishart, epônimo da distribuição de Wishart. O historiador Stephen Stigler comenta que o termo cumulante foi sugerido a Fisher numa carta de Harold Hotelling. Em um outro artigo publicado em 1929, Fisher chamou-os de funções de momentos cumulativos.

36 Momentos de ordem superior - cont. Cumulantes - cont. Definição O cumulante de ordem k é definido como κ k = k Ψ(ω) ω k (48)

37 Momentos de ordem superior - cont. Cumulantes - cont. Propriedades dos cumulantes 1 Invariância e equivariância κ 1 (Y + α) = κ 1 (Y ) + α κ k (Y + α) = κ k (Y ) para α uma constante qualquer. 2 Homogeneidade (ou multilinearidade) κ k (αy ) = α k κ k (Y ) 3 Aditividade κ k (X + Y ) = κ k (X) + κ k (Y ) se X e Y são v.a.s independentes

38 Momentos de ordem superior - cont. Cumulantes - cont. Cumulantes e momentos Os cumulantes são relacionados com os momentos através da seguinte recursão: k 1 ( k 1 κ k = µ k i 1 i=1 ) κ i µ k i (49)

39 Momentos de ordem superior - cont. Cumulantes - cont. Cumulantes e momentos - cont. Desta forma, o k ésimo momento é um polinômio de grau k dos k primeiros cumulantes, dados, para o caso em que k = 6, na seguinte forma: µ 1 = κ 1 µ 2 = κ 2 + κ 2 1 µ 3 = κ 3 + 3κ 2 κ 1 + κ 3 1 µ 4 = κ 4 + 4κ 3 κ 1 + 3κ κ 2 κ κ 4 1 µ 5 = κ 5 + 5κ 4 κ κ 3 κ κ 3 κ κ2 2 κ κ 2 κ 3 1 µ 6 = κ 6 + 6κ 5 κ κ 4 κ κ 4 κ κ κ 3 κ 2 κ κ 3 κ κ κ2 2 κ κ 2κ κ6 1.

40 Processos Aleatórios Classificação Em geral, podemos escrever a descrição de um modelo de entrada e saída de um modelo estocástico como valor atual da saída do modelo + combinação linear dos valores passados da saída do modelo = combinação linear dos valores presente e passados da entrada do modelo Os processos que obedecem o comportamento acima são ditos processos lineares. (50)

41 Processos Aleatórios Classificação - cont. A estrutura do filtro linear que processará os dados, é determinada pela maneira que as duas combinações lineares indicadas na Eq. (50) são formuladas. Podemos então identificar três tipos usuais de modelos estocásticos lineares: 1 Modelo auto-regressivo (AR) - no qual não são utilizadas valores passados da entrada. 2 Modelo moving average (MA) - no qual não são usados valores passados da saída. Também chamado de modelo de média móvel. 3 Modelo ARMA - junção dos modelos AR e MA.

42 Processos Aleatórios Modelo auto-regressivo (AR) Dizemos que uma série temporal x(n),x(n 1),...,x(n M) representa uma realização de um processo AR de ordem M se ela satisfaz a equação diferença seguinte: x(n) + a 1 x(n 1) + + a M x(n M) = v(n) (51) em que a 1,...,a M são chamados parâmetros AR e v(n) é um processo de ruído branco.

43 Processos Aleatórios Modelo auto-regressivo (AR) - cont. É mais simples enxergar o motivo de tal processo se chamar AR se escrevermos a Eq. (51) da seguinte forma: x(n) = b 1 x(n 1) + b 2 x(n 2) + + b M x(n M) + v(n) (52) em que b k = a k. Desta maneira vê-se facilmente que o instante atual do processo, ou seja x(n) é igual a uma combinação dos valores passados do processo mais um termo de erro v(n).

44 Processos Aleatórios Modelo auto-regressivo (AR) - cont : ;< =96><776 4? x(n) x(n 1) x(n 2) x(n M) z 1 z z 1 a 1 a 2 a M Σ Σ... Σ v(n) : ;< 9@ A ;6 B9:C>6 Figure: Analisador de processo AR

45 Processos Aleatórios Modelo auto-regressivo (AR) - cont. DEFGHIJ KL IPQKF RIJSNF v(n) + Σ - DEFGHIJ KL MIFNLGGF DO z 1 x(n) Σ a 1 x(n 1) z 1 Σ a 2 x(n 2) a M z 1 x(n M) Figure: Gerador de processo AR

46 Processos Aleatórios Modelo média móvel (MA) Em um modelo de média móvel (MA, moving average), o sistema é um filtro apenas com zeros e com ruído branco como entrada. O processo resultante x(n) produzido é então dado pela seguinte equação diferença x(n) = v(n) + b 1 v(n 1) + b 2 v(n 2) b K v(n K) (53) em que b 1,...,b K são constantes chamadas de parâmetros MA e v(n) é um processo de ruído branco de média zero e variância σ 2 v.

47 Processos Aleatórios Modelo média móvel (MA) - cont. A Equação (53), representa uma versão escalar de um produto interno. Com isso, podemos representá-la como: x(n) = K b i v(n i) = vb T (54) i=0 em que v = [ v(n) v(n 1)... v(n K) ] e b = [ 1 b 1 b 2... b K ]. A ordem do processo MA é dada por K. O termo média móvel surge pois constrói-se uma estimativa do processo x a partir de uma média ponderada das amostras do processo v.

48 Processos Aleatórios Modelo média móvel (MA) - cont. TU VWXYZ [\ Y]í [V ^YZ_`V v(n) v(n 1) v(n 2) v(n K) z 1 z z 1 b 1 b 2 b K Σ Σ... Σ x(n) TU VWXYZ [\ ayv`\wwv b T Figure: Modelo gerador de um processo de média móvel.

49 Processos Aleatórios Modelo auto-regressivo-média móvel (ARMA) Para gerar um modelo auto-regressivo-média móvel, utilizando um processo de ruído branco como entrada, temos a seguinte equação diferença x(n) + a 1 x(n 1) a M x(n M) = v(n) + b 1 v(n 1) +b 2 v(n 2) b K v(n K) em que a 1,...,a M e b 1,...,b K são os parâmetros ARMA. (55) A ordem do modelo ARMA é dada por (M,K).

50 Processos Aleatórios Modelo auto-regressivo-média móvel (ARMA) - cont. cdefghi jk hpqje rhisme cdefghi jk lhemkffe cnoc + v(n) Σ - z 1 b 0 Σ x(n) Σ a 1 b 1 Σ z 1 Σ a 2 b 2 Σ b K z 1 a M Figure: Modelo gerador de um processo ARMA de ordem (M, K), supondo M > K.

51 Processos Aleatórios Modelagem de sinais Modelos: ARMA, AR e MA Filtragem linear de um processo do tipo ruído branco, também chamado de processo inovação B( z) A( z) v( n ) x( n) processo descorrelacionado S X (ω) = B(z) A(z) z=e jω

52 Processos Aleatórios Modelagem de sinais - cont. M K x(n) = a i x(n i) + b j v(n j) i=1 j=0 ARMA (56) AR b j = 0 para j > 0 (autorregressivo) MA a i = 0 para i > 0 (média móvel)

53 Processos Aleatórios Modelagem de sinais - cont. Modelo AR x(n) = v(n) + M a i x(n i) (57) Os a i ótimos são obtidos como uma solução de um sistema de equações lineares i=1 Caso específico: AR(1): x(n) = v(n) + ax(n 1) v( n ) x( n) a O modelo AR(1) é também um processo markoviano sinal com memória 1

54 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) r X (0) = { x 2 (n) } = { v 2 (n) + 2 a v(n) x(n 1) + a 2 x 2 (n 1) } Daí resulta = σ 2 v + 2a 0 {v(n) x(n 1)} + a 2 r X (0) = σ 2 v + a 2 r X (0) (58) r X (0) = σ2 v 1 a 2 (59)

55 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) - cont. r X (1) = {x(n)x(n 1)} Daí, temos = {[v(n) + ax(n 1)][v(n 1) + ax(n 2)]} = { ax(n 1)v(n 1) + a 2 x(n 1)x(n 2) } = { a[v(n 1) + ax(n 2)] v(n 1) + a 2 x(n 1)x(n 2) } = aσ 2 v + a2 {x(n 1)x(n 2)} = aσ 2 v + a 2 r X (1) r X (1)[1 a 2 ] = aσ 2 v r X (1) = a r X (0) (60) (61)

56 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) - cont. Pode-se mostrar por recursividade que as seguintes relações são válida r X (i) = a i r X (0) (62) r X (i) = a r X (i 1) Assim, temos que a MAC (ordem 2) de um processo AR(1) é dada como σv 2 a σ 2 v R x = (1 a 2 ) (1 a 2 ) a σv 2 σ 2 (63) v (1 a 2 ) (1 a 2 )

57 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) - cont. Calcular λ 1 e λ 2 (autovalores) det(r x λi) = 0 ( ) σ 2 2 ( ) v a σ a 2 λ v 1 a 2 = a2 σ 4 v σ 4 v (1 a 2 ) 2 2 λσ 2 v (1 a 2 ) + λ2 (1 a 2 ) 2 = σv 4 (1 a 2 ) 2 (1 a2 ) 2λ (1 a 2 ) + λ2 = λ 2 2λ σ 2 v σ 2 v (1 a 2 ) + σ4 v (1 a 2 ) = 0 = (1 a 2 ) λ 2 2σ 2 v λ + σ4 v = 0 (64)

58 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) - cont. Calcular λ 1 e λ 2 (autovalores) - cont. λ 1,2 = 2σ2 v ± 4σ 4 v 4σ4 v (1 a2 ) 2 (1 a 2 ) Então, teremos = 2σ2 v ± 2aσ 2 v 2(1 a 2 ) λ 1 = λ 2 = σ2 v (1 a) σ2 v (1 + a) (65)

59 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) - cont. Assim, a MAC de um processo AR(1) tem como autovalores λ 1 = σ2 v (1 a) e λ 2 = σ2 v (1 + a) (66) E então, podemos definir o número de condicionamento ou espalhamento da matriz, dado por No caso do processo AR(1): (R x ) = 1+a 1 a (R x ) = λ max λ min (67)

60 Processos Aleatórios Modelagem de sinais - cont. MAC de um processo AR(1) - cont. Informações fornecidas por (R x ) O menor autovalor fica confinado entre σ 2 v e σ2 v 2 O maior autovalor vai de σ 2 v a infinito O número (R x ) = λmax λ min exprime quão plano é S X (ω) ou quão descorrelacionado é x(n), ou ainda quão próximo R x está de uma matriz diagonal 1 (R x ) = 1 S X (ω) plano 2 (R x ) = 1 x(n) é branco 3 (R x ) S X (ω) é colorido 4 (R x ) x(n) tem correlação