Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 05 / Detecção Binária Baseada em

Transcrição

1 Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 05 / Detecção Binária Baseada em Múltiplas Observações e Detecção com Múltiplas Hipóteses Prof. Eduardo Simas (eduardo.simas@ufba.br) Programa de Pós-Graduação em Engenharia Elétrica/PPGEE Universidade Federal da Bahia ENGA83 - Semestre Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

2 Conteúdo 1 Detecção Baseada em Múltiplas Observações Introdução Ruído Branco Filtro Casado Redes Neurais 2 Detecção em Múltiplas Hipóteses Introdução Critério de Bayes Discriminantes Lineares Redes Neurais Análise dos Resultados Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

3 Parte I Detecção Baseada em Múltiplas Observações Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

4 Introdução A detecção baseada em múltiplas observações se aplicam sempre que as hipóteses do problema estão associadas a sinais temporais (y[k]) de duração finita. Neste caso, são realizadas N observações da saída y[k] que é considerada como a soma de uma forma de onda conhecida s[k] com o ruído n[k]: y[k] = s[k] + n[k], para 0 k T Considerando as hipóteses H 1 e H 0 : H 1 : H 0 : y[k] = s 1 [k] + n[k] y[k] = s 0 [k] + n[k] Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

5 Exemplo - Sistema de Radar Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

6 Introdução - Regra de Decisão MAP Considerando que: - as formas de onda s 1 [k] e s 0 [k] são conhecidas (determinísticas) e, - a variável observada é y = [y(1), y(2),..., y(n)] T. Pode-se chegar à regra de decisão MAP para o problema: f y/h1 (Y/H 1 ) f y/h0 (Y/H 0 ) H 1 H 0 P 0 P 1 Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

7 Ruído Branco Gaussiano Def.: Um processo aleatório N(t) é um ruído branco Gaussiano se: - N(t) é WSS; - E{N(t)} = 0; - Para qualquer instante t 1, t 2,..., t N, N(t 1 ), N(t 2 ),..., N(t N ) são variáveis aleatórias Gaussianas mutuamente independentes. Características de N(t): - Função de autocorrelação: R N (τ) = N 0 δ(τ), < τ < 2 - Densidade espectral de potência: S N (f ) = N 0 2, < f < - Potência: P N = E{N 2 (t)]} = Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

8 Ruído Branco de Banda Limitada O ruído branco conforme definido anteriormente não exite fisicamente. Porém, em muitos casos práticos de sistemas de comunicação o ruído pode ser aproximado por um ruído branco de banda limitada, ou seja: - S N (f ) = N 0 2, B < f, - S N (f ) = 0, B > f, - P N = E{N 2 (t)]} = N 0 B. Na prática, se B (largura de banda do ruído N(t)) é muito maior que 1/T (sendo T a duração de s i [k]) pode-se tratar N(t) como sendo um ruído branco. Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

9 Filtro Casado Considerando que o ruído do problema de detecção a partir de múltiplas observações é branco e gaussiano as discribuições condicionais f y/h1 (Y/H 1 ) e f y/h0 (Y/H 0 ) são gaussianas de médias: - E{Y/H 1 )} = s 1 [k] - E{Y/H 0 )} = s 0 [k] E variância: σ 2 = N 0 B. Deste modo a regra MAP pode ser modificada para: m y[k]s 1 [k] k=1 m k=1 ( y[k]s 0 [k] H 1 H 0 σ 2 P0 ) ln + 1 P 1 2 m (s1[k] 2 s0[k]) 2 k=1 Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

10 Filtro Casado Da equação anterior percebe-se que o processo de decisão linear ótimo consiste em: S1,k Yk Correlacionadores + - Comparação com o patamar > H1 < H0 S0,k Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

11 Se algum dos parâmetros acima for desconhecido o patamar ótimo pode ser estimado diretamente dos dados a partir de uma análise a partir da curva ROC. Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29 Filtro Casado Para a escolha do patamar ótimo pode-se utilizar a variável auxiliar: m Z = y[k](s1[k] 2 s0[k]). 2 k=1 Sendo: - f Z H1 gaussiana de média µ 1 e variância σ 2 ; - f Z H0 gaussiana de média µ 0 e variância σ 2 ; Pode-se chegar ao patamar ótimo: λ = µ 0 + µ σ2 ( P0 ) ln µ 0 + µ 1 P 1

12 Filtro Casado com Ruído Colorido Quando o ruído não é branco, não pode-se considerar que suas observações são independentes e então a teoria dos filtros casados não pode ser diretamente aplicada. Este problema pode ser parcialmente solucionado se for utilizada uma transformação de branqueamento W do ruído como pré-processamento para o filtro casado: 1/(E1) 0,5 H1 Evento W + - Comparação c/ patamar Classificação 1/(E2) 0,5 H2 Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

13 Redes Neurais É possível realizar a detecção baseada em múltiplas observações a partir de uma rede neural? A rede neural é um mapeador universal e muito utilizada para classificação baseada em uma única observação. Como considerar a estrutura temporal do sinal na entrada da rede? E se todo o sinal temporal observado fosse armazenado e utilizado para alimentar o classificador neural? Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

14 Redes Neurais Neste caso pode-se utilizar um modelo de rede neural com atrasos temporais na entrada: Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

15 Parte II O Problema de Detecção em Múltiplas Hipóteses Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

16 Introdução Em diversos problemas práticos é necessário realizar a decisão entre mais que duas hipóteses. Os classificadores estudados até aqui são dedicados ao problema de decisão binária (entre duas hipóteses), mas podem ser estendidos para o caso de múltiplas hipóteses. Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

17 Critério de Bayes De modo semelhante ao caso binário, pode-se chegar o critério de Bayes a partir da definição dos custos C ij (de escolher a hipótese i quando a hipótese j é a verdadeira) e das probabilidades a priori P i. O risco R pode ser definido como: R = M 1 i=0 M 1 j=0 P j C ij Z i p r Hj (R H j )dr Desenvolvendo a expressão acima e minimizando o risco chega-se à seguinte regra de decisão para M=3 (3 hipóteses): P 1 (C 01 C 11 )Λ 1 (R) H 1 ou H 2 H 0 ou H 2 P 0 (C 10 C 00 ) + P 2 (C 12 C 02 )Λ 2 (R) P 2 (C 02 C 22 )Λ 2 (R) H 2 ou H 1 H 0 ou H 1 P 0 (C 20 C 00 ) + P 1 (C 21 C 01 )Λ 1 (R) P 2 (C 12 C 22 )Λ 2 (R) H 2 ou H 0 H 1 ou H 0 P 0 (C 20 C 10 ) + P 1 (C 21 C 11 )Λ 1 (R) Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

18 Critério de Bayes Sendo as razões de semelhança definidas por: Λ 1 (R) = p r H 1 (R H 1 ) p r H0 (R H 0 ) Λ 2 (R) = p r H 2 (R H 2 ) p r H0 (R H 0 ) O problema é reduzido à escolha das partições num espaço de dimensão M-1 (que neste caso é representado por Λ 1 Λ 2 ), conforme ilustrado na figura: Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

19 Discriminantes Lineares Considerando um problema prático de decisão entre múltiplas hipóteses, pode não haver o conhecimento da probabilidades ou dos custos (necessários para a utilização do critério de Bayes). Neste caso pode-se utilizar a análise de discriminantes, que opera diretamente nos dados disponíveis para encontrar as superfícies de separação entre as classes. O discriminante linear de Fisher pode ser estendido para o caso de múltiplas hipóteses através de diferentes formulações, que ao final, de algum modo maximizam a separação inter classe e minimizam a separação intra classe. Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

20 Discriminantes Lineares Parece natural utilizar diversos classificadores de duas classes para: - separar a classe C i de todas as classes C j com j i. - separar as classes C i e C j duas a duas. Essa abordagem leva à regiões ambíguas no espaço de observações: Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

21 Discriminante Linear de Fisher Deve-se então utilizar um discriminador que considere, ao mesmo tempo, as informações de todas as classes envolvidas no problema. Considerando o critério: onde: S B = M i=1 J F (a) = at S B a a T S W a n i n (m i m)(m i m) e S W = M i=1 n i n Σ i sendo: n i, m i e Σ i, respectivamente o número de elementos, a média e a variância amostrais para os sinais da classe i; m a média amostral (considerando os sinais de todas as classes). Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

22 Discriminante Linear de Fisher Para maximizar J F (a) deve-se buscar por um conjunto de vetores a i ortogonais. Pode-se provar que a solução é encontrada através da decomposição em autovetores: S 1 W S BA = AΛ sendo A = [a1 T,..., am 1 T ] e Λ uma matriz diagonal com os autovalores. O número máximo de autovetores é M 1 (sendo M o número de classes do problema). Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

23 Discriminante Linear de Fisher Assim como no caso da classificação entre duas hipóteses, o discriminante de Fisher fornece apenas as direções de projeção ótimas (no sentido da máxima separação inter classes e mínimo espalhamento intra classe). Deste modo, cada direção encontrada é ótima para a detecção de uma das classes. Ainda é preciso escolher em cada direção a i o patamar de corte mais adequado para o problema. Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

24 Redes Neurais Considerando classificadores neurais, a utilização no caso de M classes pode ser feita considerando: - Uma rede neural com M neurônios na camada de saída (cada um especialista na identificação de uma classe). A saída alvo do neurônio i é 1 para a hipótese H i e -1 para as demais. Na operação da rede, a hipótese vencedora é aquela associada ao neurônio de maior amplitude na saída. - M redes neurais (cada uma especialista na identificação de uma classe). A saída alvo da rede i é 1 para a hipótese H i e -1 para as demais. Na operação do classificador, a hipótese vencedora é aquela associada à rede neural de maior amplitude na saída Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

25 Análise dos Resultados Num problema de classificação em M classes devem ser consideradas: - as probabilidades de deteção das classes i: p(y i, H i ); - as diversas probabilidades de erro p(y j, H i ) associadas à identificação de exemplos da classe i como pertencendo à classe j (sendo i j). Para análise e comparação dos resultados obtidos por um classificador, pode-se utilizar a Matriz de Confusão: MC = p(y 1, H 1 ) p(y 2, H 1 )... p(y M, H 1 ) p(y 1, H 2 ) p(y 2, H 2 )... p(y M, H 2 ).... p(y 1, H M ) p(y 2, H M )... p(y M, H M ) Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

26 Análise dos Resultados Observa-se que a diagonal principal da matriz de confusão é composta pelas probabilidades de detecção. O somatório dos elementos de cada linha é igual a 1, pois para a linha M i temos: p(y j, H i ) = 1 j=1 Uma boa estimativa da eficiência global (considerando todas as classes) pode ser obtida a partir da média geométrica 1 das probabilidades de detecção (eficiências): ( M ) 1/M Ef Med = p(y i, H i ) i=1 1 Porque não usar a média aritmética? Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

27 Análise dos Resultados - Exemplo Considerando-se que para um mesmo problema de classificação (em 3 classes) foram utilizados dois classificadores, cujos resultados estão expressos abaixo em função das matrizes de confusão: MC 1 = 0, 90 0, 03 0, 07 0, 05 0, 94 0, 01 0, 01 0, 01 0, 98 MC 2 = Comparando os discriminadores qual deles: a- é mais eficiente? 0, 98 0, , 08 0, 80 0, 12 0, 02 0, 03 0, 95 b- apresenta maior probabilidade de detecção para a classe 1? c- apresenta menor confusão (erro) entre as classes 1 e 2? Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

28 Análise dos Resultados - Exemplo (Resolução) Comparando os discriminadores qual deles MC 1 = 0, 90 0, 03 0, 07 0, 05 0, 94 0, 01 0, 01 0, 01 0, 98 MC 2 = 0, 98 0, , 08 0, 80 0, 12 0, 02 0, 03 0, 95 a- é mais eficiente? Calculando-se as eficiências médias: Discriminador 1: Ef Med = (0, 90 0, 94 0, 98) 1/3 = 0, 939 Discriminador 2: Ef Med = (0, 98 0, 80 0, 95) 1/3 = 0, 907 b- apresenta maior probabilidade de detecção para a classe 1? Discriminador 1:p(y 1, H 1 ) = 0, 90 Discriminador 2:p(y 1, H 1 ) = 0, 98 Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

29 Análise dos Resultados - Exemplo (Resolução) Comparando os discriminadores qual deles MC 1 = 0, 90 0, 03 0, 07 0, 05 0, 94 0, 01 0, 01 0, 01 0, 98 MC 2 = 0, 98 0, , 08 0, 80 0, 12 0, 02 0, 03 0, 95 a- é mais eficiente? Calculando-se as eficiências médias: Discriminador 1: Ef Med = (0, 90 0, 94 0, 98) 1/3 = 0, 939 Discriminador 2: Ef Med = (0, 98 0, 80 0, 95) 1/3 = 0, 907 b- apresenta maior probabilidade de detecção para a classe 1? Discriminador 1:p(y 1, H 1 ) = 0, 90 Discriminador 2:p(y 1, H 1 ) = 0, 98 c- apresenta menor confusão (erro) entre as classes 1 e 2? Discriminador 1:p(y 2, H 1 ) + p(y 1, H 2 ) = 0, , 05 = 0, 08 Discriminador 2:p(y 2, H 1 ) + p(y 1, H 2 ) = 0, , 08 = 0, 10 Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

30 Análise dos Resultados - Exemplo (Resolução) Comparando os discriminadores qual deles MC 1 = 0, 90 0, 03 0, 07 0, 05 0, 94 0, 01 0, 01 0, 01 0, 98 MC 2 = 0, 98 0, , 08 0, 80 0, 12 0, 02 0, 03 0, 95 a- é mais eficiente? Calculando-se as eficiências médias: Discriminador 1: Ef Med = (0, 90 0, 94 0, 98) 1/3 = 0, 939 Discriminador 2: Ef Med = (0, 98 0, 80 0, 95) 1/3 = 0, 907 b- apresenta maior probabilidade de detecção para a classe 1? Discriminador 1:p(y 1, H 1 ) = 0, 90 Discriminador 2:p(y 1, H 1 ) = 0, 98 c- apresenta menor confusão (erro) entre as classes 1 e 2? Discriminador 1:p(y 2, H 1 ) + p(y 1, H 2 ) = 0, , 05 = 0, 08 Discriminador 2:p(y 2, H 1 ) + p(y 1, H 2 ) = 0, , 08 = 0, 10 Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29

31 Exercícios de Fixação Os exercícios listados abaixo do livro: Random Signals: Detection Estimation and Data Analysis de Shanmugan e Breipohl devem ser resolvidos e entregues no dia 19/04. Neste dia, alunos serão sorteados para resolverem alguns destes exercícios para a turma. 01 Exercícios de Fixação do Cap. 06 (a partir da página 374): 6.14, 6.15, 6.18, Prof. Eduardo Simas (PPGEE/UFBA) Aula 05-Detecção: mult. observ. e M-classes ENGA83 - Semestre / 29