Processamento Digital de Voz

Transcrição

1 Processamento Digital de Voz Carlos Alexandre Mello 1

2 Introdução A Natureza do Som O som é uma vibração que se propaga através do ar (através das moléculas de ar) que passa a vibração para frente até nossos ouvidos Mesmo princípio de uma pedra jogada em um lago: o distúrbio provocado faz com que a água forme ondas concêntricas em todas as direções até que a amplitude das ondas seja tão pequena que elas não possam ser vistas Um som pode representar um sinal de voz ou não 2

3 Introdução A Natureza do Som Sons consistem de variações na pressão do ar ao longo do tempo em frequências que podemos ouvir Voz consiste de um subconjunto de sons que podem ser gerados pelo ser humano Podemos plotar o sinal de voz como uma forma de onda 3

4 Introdução A Natureza do Som Forma de onda Podemos observar valores positivos e negativos ao longo do tempo porque a radiação de voz da boca faz com que a pressão do ar seja temporariamente maior ou menor que a pressão do ar do ambiente 4

5 Introdução A Natureza do Som Espectrograma 5

6 Introdução Sinal de Voz Propósito da Voz: Comunicação Caracterização do potencial de comunicação da voz: Teoria da Informação (Shannon) Voz representada em termos de informação Sinal Onda acústica (sinal carregando a informação) Forma mais utilizada na prática Informação se transforma em onda acústica 6

7 Introdução Sinal de Voz A Informação gerada no cérebro é convertida em um conjunto de sinais neurais os quais controlam o mecanismo articulatório As articulações movem-se em resposta a estes sinais neurais para desempenhar uma sequência de gestos os quais resultam em uma forma de onda acústica que contém a informação da mensagem original 7

8 Introdução Estudo da Voz A informação que é comunicada através do sinal de voz é discreta, ou seja, pode ser representada como uma concatenação de um conjunto finito de símbolos fonemas Alfabeto fonético Para a língua inglesa, existem 42 fonemas Um estudo feito, definiu 34 fonemas para o português 8

9 Fonemas do Português 9

10 Introdução Processamento de Sinais Fonte de Informação Homem Medida ou Observação Forma de Onda Representação Transformação Utilização da Informação Processamento de Sinais Homem ou Máquina 10

11 Processamento Digital de Voz Representação de Sinais de Voz Representação em Forma de Onda Preocupada com a preservação da forma de onda do sinal analógico através de um processo de amostragem e quantização Representação de Sinais de Voz Representação Paramétrica Parâmetros de Excitação Relativo a fonte do sinal de voz Teorema da Amostragem Preocupada com a representação do sinal de voz como a saída de um modelo para produção de voz Modelo do sinal de voz Parâmetros do Trato Vocal Relativo a sons de voz individuais 11

12 Processamento Digital de Voz Aplicações Aplicações Transmissão e Armazenamento Digital Síntese de Voz Identificação e Verificação do Interlocutor Reconhecimento da Fala Ajuda a Deficientes Melhoria na qualidade do sinal 12

13 Processo de Produção da Voz Trato Vocal 13

14 Processo de Produção da Voz Trato Vocal: Começa na abertura entre as cordas vocais (ou glótis) e termina nos lábios Consiste da Faringe (conexão do esôfago com a boca) e da Boca ou cavidade oral Tem cerca de 17cm em média em um homem Trato Nasal Começa no velum e vai até as Narinas 14

15 Processo de Produção da Voz A fonte de energia para a produção de voz vem do sistema sub-glotal composto pelos pulmões, brônquios e traquéia A voz é simplesmente a onda acústica que é radiada do sistema quando o ar é expelido dos pulmões e o fluxo de ar resultante é perturbado pela contração em algum lugar do trato vocal 15

16 Processo de Produção da Voz Tipos de Sons: Audíveis Produzido forçando o ar através da glótis com a tensão das cordas vocais ajustadas tal que elas vibrem em uma oscilação vibratória /U/ Fricativos (ou inaudíveis) Gerados através da formação de uma contração no trato vocal (geralmente na boca) e forçando o ar através dela /CH/, /SH/ 16

17 Processo de Produção da Voz Tipos de Sons: Explosivos São formados fazendo um fechamento completo, formando uma pressão atrás do fechamento e liberando repentinamente Should we chase t/s/ 17

18 Teoria Acústica da Produção de Voz Ondas de som são criadas por vibração e propagadas no ar ou em outro meio por vibrações de partículas do meio Uma teoria acústica detalhada deve considerar os efeitos de: Variação de tempo da forma do trato vocal Perdas devido a condução de calor Suavidade das paredes do trato vocal Radiação dos sons no lábios Casamento nasal Casamento nariz e faringe para produzir sons nasais Excitação do som no trato vocal 18

19 Percepção da Voz Sons chegam aos nossos ouvidos como variações na pressão do ar Podemos ouvir vibrações na faixa de, aproximadamente, 20Hz a 20kHz O sistema auditivo transforma a pressão do ar em sinais neurais estimulando o processo de percepção no cérebro Além disso, o sistema auditivo é responsável por manter o equilíbrio físico do corpo O sistema auditivo é o complemento do trato vocal 19

20 Sistema Auditivo Localização Quando escutamos um som, percebemos ele vindo de alguma localização no espaço fora de nossas cabeças Isto é conhecido como Localização Nossa habilidade de localizar um som depende da diferença no som que chega em cada um de nossos ouvidos Posição dos ouvidos Diferentes distâncias da fonte 20

21 Sistema Auditivo Localização Com fins de localização, somos mais sensíveis a sons na faixa de 800Hz Nossos ouvidos são cerca de 100 vezes menos sensível a posição do que nosso sistema visual, mas podemos ouvir sons atrás de nossa cabeça 21

22 Sistema Auditivo Localização Se uma fonte de som não está ao nosso lado, leva mais tempo para o som alcançar o ouvido que está do outro lado 22

23 Sistema Auditivo Localização Em outras palavras, quando um som começa, um ouvido escuta antes do outro Enquanto o som continua, as vibrações de ar vão chegar em um ouvido fora de fase em relação ao outro Diferença de Fase Interaural Pode demorar cerca de 600 microssegundos para o som atingir o ouvido mais distante 23

24 Sistema Auditivo Localização Da mesma forma, a cabeça também bloqueia o caminho direto da fonte do som até o ouvido oposto Diferença de Intensidade Interaural Um som na frente à esquerda cria a mesma diferença interaural (tanto de fase quanto de intensidade) que um som à mesma distância vindo de trás à esquerda Dificulta a localização 24

25 Psicoacústica O ouvido responde a uma larga, mas limitada, faixa de amplitudes de som Abaixo de um certo valor, o som pode não ser percebido Acima de um certo valor, pode causar danos aos ouvidos 25

26 Psicoacústica A resolução temporal de nosso sistema auditivo é crucial para a percepção da voz Sons breves devem ser separados por diversos milissegundos para serem distinguidos Mas, para fins de percepção, uma diferença da ordem de 17 milissegundos é necessária 26

27 Processamento Digital de Sinais Discretização do sinal de voz x(t) Sinal contínuo Amostrador Teorema da amostragem x(n)=x (nt) Amostrador: Sinal discreto no Tempo Quantizador: Sinal discreto na Amplitude a Quantizador Sequência de amostras x (n) 27

28 Quantização x(n) c (n) Quantizador Q[ ] Decodificador ^ x(n) Codificador c(n) = Passo de Quantização ^ x (n) Se c (n) = c(n): Não houve erros na transmissão: ^ ^ x (n) = x(n) 28

29 Quantização Quantização Instantânea ^x(n)=( /2)sign(c(n)) + c(n) sign(c(n))= +1, se o 1o. Bit de c(n)=0-1, se o 1o. Bit de c(n)=1 ^ X4 ^ X3 ^ X2 X^ x x x ^ X ^ X-1 ^ X-2 ^ X-3 x x x Entrada-Saída Característica do X Quantizador de 3-bits 29

30 Quantização Quantização Uniforme ^x(n)=( /2)sign(c(n)) + c(n) sign(c(n))= +1, se o 1o. Bit de c(n)=0-1, se o 1o. Bit de c(n)=1 X^ X variação pico-a-pico Mid-riser 30

31 Quantização Uniforme O quantizador mid-riser é conveniente quando temos o número de níveis uma potência de 2 O mid-riser possui o mesmo número de níveis positivos e negativos que estão simetricamente posicionados em relação a origem O quantizador mid-tread possui um nível negativo a mais que positivo 31

32 Quantização Quantização Uniforme ^x(n)= c(n) X^ X variação pico-a-pico Mid-tread 32

33 Quantização Uniforme O quantizador mid-tread possui o zero (000) no meio da escala O quantizador mid-riser não possui o nível zero. Pode-se ter desde a codificação direta a escolhas que tentem manter equilibrada a potência utilizada entre os bits da amostra em relação a origem, etc 33

34 Quantização Companding Instantâneo Companding = Compress + Expand O logaritmo da entrada é quantizado ao invés da própria entrada y(n) = ln x(n) Inverso: x(n) = exp[y(n)]sgn[x(n)] Dessa maneira, pode-se mostrar que o nível sinalruído é independente da variância do sinal Problema: pequenas amplitudes (x[n] 0) 34

35 Quantização Companding Instantâneo x(n) LOG SIGN [ ] y(n) Q [ ] sign[x(n)] Codificador Codificador c(n) c(n) Decodificador y(n) ^ EXP [ ] ^ sign[x(n)] Decodificador x(n) ^ X ^x(n) 35

36 Quantização Quantização Adaptativa Desejamos fazer a quantidade de degraus suficientemente grande para termos uma varredura pico-a-pico do sinal Mais níveis de quantização Por outro lado, queremos ter menos degraus para termos uma menor codificação Menor quantidade de bits Dilema! Solução: Quantização adaptativa... 36

37 Quantização Quantização Adaptativa 37

38 Técnicas Temporais para Processamento de Voz O propósito do processamento digital pode ser: Saber se determinado sinal corresponde a um sinal de voz ou não Classificar uma seção de um sinal de voz como: voz audível (voiced speech) voz inaudível (unvoiced speech) silêncio ou ruído de fundo Redução de ruído 38

39 Processamento de Voz Redução de ruído Exemplo: filtro de Hanning [y, fs] = wavread('casa1.wav'); b = fir1(98, 31/80, hanning(99)); filt_sp=filter(b,1,y); f = 0:8000/(127):8000; subplot(2,1,1) spect=fft(y, 256); plot(f, abs(spect(1:128)))/max(abs(spect(1:128))); xlabel ('frequencia'); subplot(2,1,2); filt_spect=fft(filt_sp, 256); plot(f, abs(filt_spect(1:128))/max(abs(filt_spect(1:128)))); wavwrite (filt_sp, fs, 'casa1_firfilt.wav'); 39

40 Processamento de Voz Redução de ruído Exemplo: filtro de Hanning Sinal original 40

41 Processamento de Voz Redução de ruído Exemplo: filtro de Hanning Sinal filtrado 41

42 Técnicas Temporais para Processamento de Voz Envolvem a forma de onda do sinal diretamente (em contraste com métodos do domínio da frequência) São simples de implementar São ricas em informação Técnicas mais difundidas: Energia do Sinal Magnitude do Sinal Taxa de passagem pelo Zero Função de auto-correlação 42

43 Técnicas Temporais para Processamento de Voz As propriedades do sinal de voz variam com o tempo a excitação muda entre a voz audível e não audível a amplitude do sinal varia há uma variação significativa da frequência fundamental para a voz audível Essas propriedades são nitidamente observáveis na forma de onda 43

44 Técnicas Temporais para Processamento de Voz A maioria dos sistemas de processamento de voz assume que as propriedades da fala mudam relativamente devagar com o tempo Não há variações bruscas num fonema ou entre fonemas Pode-se utilizar métodos de processamento em tempo curto (short-time), nos quais analisam-se amostras de curta duração do sinal Cada segmento curto de voz é visto como um som estável com propriedades fixas Às vezes, esses segmentos se sobrepõem 44

45 Técnicas Temporais para Processamento de Voz Essas amostras de curta duração são geralmente chamadas de moldura de análise (analysis frames) O resultado da análise de uma moldura pode ser um número ou um conjunto de números A sequência gerada pode ser tomada como uma nova representação no tempo do sinal original 45

46 Técnicas Temporais para Processamento de Voz É geralmente assumido que o sinal de voz foi limitado em faixa e que foi amostrado em taxa não inferior a taxa de Nyquist (pelo menos amostras/segundo) É também considerado que o sinal foi quantizado e que o erro de quantização é desprezível 46

47 Técnicas Temporais para Processamento de Voz Σ T[x(m)] w(n-m) Qn = m= - Janela 47

48 Técnicas Temporais Energia de Tempo Curto A voz audível apresenta amplitude maior que a voz inaudível ou o silêncio (ruído de fundo) A energia de curta duração de um sinal provê uma representação conveniente que reflete as variações de amplitude 48

49 Técnicas Temporais Energia de Tempo Curto A energia de um sinal discreto no tempo pode ser definida como: E = Σ m= - x 2 [m] Em relação à equação de Qn, temos: T[ ] = quadrado w(n) = 1, 0 n N - 1 = 0, caso contrário 49

50 Técnicas Temporais Energia de Tempo Curto A energia de tempo curto de um sinal pode ser definida como: En = Σ m= - [x(m).w(n-m)] 2 Esta equação pode ser escrita como: En é um número, não uma função! En = Σ m= - x 2 (m). h(n-m) h(n) = w 2 (n) 50

51 Técnicas Temporais Energia de Tempo Curto Observe que En é um número não uma função Se a janela for muito longa e constante em amplitude, En varia muito pouco em relação ao tempo Essa janela seria equivalente a um filtro de passabaixa de banda (muito) estreita Uma janela estreita demais não consegue produzir uma função suave de energia 51

52 Técnicas Temporais Energia de Tempo Curto Se a janela for muito estreita, não proverá medições suficientes para produzir uma função de energia suave Se a janela for da ordem de vários picos do sinal, En não vai refletir as variações do sinal Este conflito é de grande importância na representação em tempo curto de sinais de voz 52

53 Energia de Curta-Duração Desta maneira o tamanho da janela varia desde: 20 amostras para uma voz aguda de mulher ou criança. 250 amostras para uma voz grave de homem. Na prática, para uma frequência de amostragem do sinal de 10 khz, deve-se utilizar uma janela da ordem de 100<N<200 amostras (10 ms < t < 20 ms) 53

54 Técnicas Temporais Energia de Tempo Curto A maior significância de En está em conseguir distinguir entre segmentos com voz audível e voz inaudível Os valores de En são significativamente maiores para sinais audíveis En Pode ser usada para determinar o tempo onde um sinal audível torna-se inaudível e viceversa Se o sinal for de boa qualidade pode-se distinguir a voz do silêncio 54

55 Técnicas Temporais Magnitude de Tempo Curto O cálculo da energia é muito sensível a níveis altos de sinal (devido a potenciação na computação de E n ) Uma maneira de aliviar este problema é utilizar-se uma função de magnitude média: =Σ Mn m= - Aritmética mais simples x(m) w(n-m) Menor capacidade de diferenciação entre voz audível e voz inaudível 55

56 Técnicas Temporais Passagem pelo Zero em Tempo Curto Diz-se que houve uma passagem pelo zero quando duas amostras sucessivas possuem sinais diferentes A taxa com que há a passagem pelo zero é apenas uma medida do conteúdo de frequência do sinal Este fato é particularmente verdadeiro para sinais faixa-estreita 56

57 Técnicas Temporais Passagem pelo Zero em Tempo Curto Cada ciclo de uma senóide possui duas passagens pelo zero Senóide: 2 passagens pelo zero Os sinais de voz são sinais faixa-larga e portanto a interpretação da taxa média de passagem pelo zero é menos precisa Estimativas grosseiras das propriedades espectrais podem ser obtidas baseadas na taxa de passagem pelo zero média em tempo curto 57

58 Técnicas Temporais Passagem pelo Zero em Tempo Curto Pode-se definir: Zn = Σ sgn[x(m)] - sgn[x(m-1)] w(n-m) m=- onde: sgn[x(m)] = 1 x(n) 0-1 x(n)< 0 e w(n) = 1/(2N) 0 n N-1 = 0 caso contrário Sinais iguais: sgn(x) - sgn(x) = 0 Sinais diferentes: sgn(x) - sgn(x) = 2 N no denominador funciona como uma normalização 58

59 Técnicas Temporais Passagem pelo Zero em Tempo Curto A maior parte da energia para sinais de voz não audíveis é de alta-frequência Altas frequências implicam uma taxa alta de passagem pelo zero Baixas frequências implicam numa taxa baixa de passagem pelo zero 59

60 Técnicas Temporais Passagem pelo Zero em Tempo Curto Assim, há uma correlação forte entre taxa de passagem pelo zero e a distribuição de energia com a frequência Se a taxa de passagem pelo zero é alta, o sinal é inaudível; do contrário, o sinal é audível A taxa média de passagem pelo zero em tempo curto é de: 49 vezes por 10 ms para sinais não-audíveis. 14 vezes por 10 ms para sinais audíveis. 60

61 Técnicas Temporais Passagem pelo Zero em Tempo Curto Há uma sobreposição das distribuições de sinais audíveis e não-audíveis de forma que esta divisão não pode ser tomada somente com a informação da taxa de passagem pelo zero Dificulta a decisão entre voz audível e inaudível A taxa de passagem pelo zero é fortemente afetada por: sinal de rede elétrica (60 Hz) qualquer ruído no processo de digitalização 61

62 Técnicas Temporais Autocorrelação em Tempo Curto A autocorrelação de um sinal discreto no tempo, x(n), é dada por: Se o sinal é periódico com período de P amostras, então: Φ(k) = Φ(k + P) 62

63 Técnicas Temporais Autocorrelação em Tempo Curto A função de autocorrelação para tempo curto é definida como: Usada para estimativa do Pitch Frequência fundamental 63

64 Discriminação Voz/Silêncio O problema de ruído de fundo é de grande importância no reconhecimento de voz É essencial saber onde cada palavra inicia e termina A separação Voz/Silêncio não é simples exceto no caso de gravações de alta-fidelidade em câmaras de gravação Em gravações com alta relação sinal/ruído os sons da voz de menor intensidade são mais fortes que o ruído de fundo 64

65 Discriminação Voz/Silêncio Em geral é difícil encontrar o início e fim de uma palavra se há: Fricativos fracos (weak fricatives) /f/, /th/, /h/ Consoantes explosivas fracas (weak plosive bursts) /p/, /t/, /k/ Sons nasais no fim da palavra Fricativos Audíveis (voiced fricatives) que se tornam mudos no fim da palavra Distorções de sons vocálicos no fim de palavras 65

66 Análise Cepstral O nome cepstrum vem do inverso da primeira metade da palavra spectrum (espectro) e plota a amplitude de um sinal versus sua quefrência (que seria o inverso da frequência) Essa técnica é útil para separar componentes de um sinal complexo formado por diversos simultâneos, mas diferentes elementos combinados 66

67 Análise Cepstral O cepstrum é gerado pela transformada de Fourier do logaritmo da transformada de Fourier % cepstrum C=fft(log(abs(fft(x))+eps)); 67

68 Análise Cepstral Aplicações: Estimativa de frequência fundamental Frequência estimada: Hz 68

69 Análise Cepstral Aplicações: Análise de ruído Sinais: sp04: Sinal original sp04 train SNR 5dB sp04 train SNR 0dB Base Noizeus 69

70 Análise Cepstral Aplicações: Análise de ruído Sinal original 70

71 Análise Cepstral Aplicações: Análise de ruído Sinal SNR 5dB 71

72 Análise Cepstral Aplicações: Análise de ruído Sinal SNR 0dB 72

73 Análise Cepstral Aplicações: Estimativa do envelope espectral 73

74 Escala Mel Escala perceptual de tons Criada a partir de experimentos psicoacústicos Hertz -> Mel Mel -> Hertz 74

75 Escala Mel Como referência, definiu-se a frequência de 1 KHz, com potência 40 db acima do limiar mínimo de audição do ouvido humano, como 1000 mels Os outros valores subjetivos foram obtidos através de experimentos, onde foi observado que a escala em Hz e a escala em Mel são aproximadamente linear abaixo e logarítmica acima dos 1000Hz Logo, a escala Mel faz com que as faixas de frequência sejam posicionadas em uma escala logarítmica, a qual se aproxima da resposta do sistema auditivo humano. 75

76 MFCC Mel Frequency Cepstral Coefficients 76

77 MFCC Mel Frequency Cepstral Coefficients Sinal Original 77

78 MFCC Mel Frequency Cepstral Coefficients Sinal SNR 0dB 78

79 MFCC Mel Frequency Cepstral Coefficients Sinal Original 79

80 MFCC Mel Frequency Cepstral Coefficients Sinal SNR 0dB 80

81 MFCC Mel Frequency Cepstral Coefficients Sinal Original Sinal SNR 0dB Primeira linha de coeficientes 81

82 MFCC Mel Frequency Cepstral Coefficients Sinal Original Sinal SNR 0dB Segunda linha de coeficientes 82

83 Processamento Digital de Voz Referências: Digital Processing of Speech Signals, L.R.Rabiner e R.W.Schafer, Prentice-Hall, 1978 Applied Speech and Audio Processing with MatLab Examples, I.McLoughlin, Cambridge Press,