Classificação de Padrões

Transcrição

1 Classfcação de Padrões Introdução Classfcadores Paramétrcos Classfcadores Sem-paramétrcos Redução da Dmensonaldade Teste de Sgnfcânca Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz

2 Classfcação de Padrões Objetvo: Classfcar objetos (ou padrões) em categoras (ou classes) Extração de característcas Classfcador Observação Vetor Característca Classe Tpos de Problemas:. Drgdo: Classes são conhecdas à pror, e amostras de dados de cada classe estão dsponíves.. Não Drgdo: Classes (e/ou número de classes) não são conhecdas a pror, e devem ser nferdas a partr dos dados Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz

3 Fundamentos da Probabldade Função massa de probabldade dscreta (PMF): P(ω ) Função densdade de probabldade contínua (PDF): p(x) Valor Esperado: E(x) E ( ω ) P = ( x) p dx = ( x) xp( x) = dx Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 3

4 Dstânca Kullback-Lebler Pode ser utlzada para calcular a dstânca entre duas dstrbuções de probabldade, P(z), and Q (z). D ( P Q) P( Z ) Faz uso da desgualdade log x x. P ( Z ) ( ) ( Z ) ( Z ) ( ) P = log Q Z Conhecda como entropa relatva na teora da nformação. A dvergênca de P(z) e Q (z) é a soma smétrca. ( ) ( Z ) Q Z Q Z log P( Z ) = Q Z = P P ( P Q) + D( Q P) D 0 ( ) P( Z ) Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 4

5 Teorema de Bayes Defne: {ω} um conjunto de M classes mutuamente exclusvas P(ω) probabldade à pror da classe ω p(x ω) PDF para vetor característca x na classe ω P(ω x) probabldade à posteror de ω dado x Da regra de Bayes: Onde p M P ( ω x) ( x) = p( x ω ) P( ω ) = p ( x ω ) P( ω ) p( x) Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 5

6 Teora da decsão de Bayes A probabldade de fazer um erro dado x é: P(error x) = - P(ω x) se decdr decde a classe ω Para mnmzar P(error x) (e P(error)): Escolha ω se P(ω x) > P(ω j x) j Para um problema com duas classes esta regra de decsão sgnfca: p( x ω ) P( ω) p( x ω ) P( ω ) Escolha ω se > ; ou se ao contráro ω p( x) p x Esta regra pode ser expressa como uma razão de verossmlhança: Escolha ω se p ( x ω ) > P( ω ) ;ou se ao contráro p x ω escolha ω ( ) P ( ) ( ω ) Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 6

7 Rsco Bayes Defne uma função custo λ j e o rsco condconal R(ω x): λ j é o costume de classfcar x com ω quando na realdade é ω j ; R(ω x) é o rsco de classfcar x como classe ω. Rsco Bayes é o mínmo rsco que pode ser obtdo : Escolha ω se R(ω x) <R(ω j x) j = Rsco Bayes corresponde á mínma P(error x) quando Todos os erros tem gual custo (λ j =, = j) Não exste custo tdo como correto (λ =0) R R ( ω ) = ( ) x λj P ω j x ( ω x) P( ω x) = P ( ω x) = M j= ( ) j j Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 7

8 Funções Descrmnantes Formulação alternatva a regra de decsão de Bayes. Defne uma função dscrmnante, g (x), para cada classe ω. Escolhe ω se g (x) >g j (x) j = Funções produzem resultados de classfcação dêntcos: g(x) = P(ω x) = p(x ω )P(ω ) = log p(x ω ) + log P(ω ) A escolha de uma função nfluênca os custos computaconas. Funções descrmnantes partconam o espaço de característcas em regões de decsão, separadas por contornos de decsão Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 8

9 Estmação da Densdade Usada para estmar a PDF p(x ω ) Métodos Paramétrcos: Suponha uma forma funconal especfca para a PDF. Otmze os parâmetros da PDF com os dados. Métodos Não-paramétrcos: Determne a forma da PDF a partr dos dados. Aumente o tamanho do conjunto de parâmetros com a quantdade de dados. Métodos Semparamétrcos: Use uma classe geral de formas funconas para a PDF. Pode varar o conjunto de parâmetros ndependentemente a partr dos dados. Use métodos não drgdos para estmar os parâmetros Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 9

10 Classfcadores Paramétrcos Dstrbuções Gaussanas Estmação de parâmetros de Máxma Verossmlhança (ML) Gaussanas Multvaráveís Classfcadores de Gaussanas Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 0

11 Dstrbuções Gaussanas PDF s Gaussanas são razoáves quando o vetor característcas pode ser vsto como uma perturbação em torno da referênca. Procedmentos smples para o modelo de estmatva de parâmetros. Classfcação freqüentemente se reduz a smples dstâncas métrcas. Dstrbuções Gaussanas são também chamadas de Normal Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz

12 Dstrbuções Gaussanas: Uma Dmensão PDF s Gaussanas a uma dmensão podem ser expressas como: ( x µ ) σ ( ) ( ) p x = e ~ N µ, σ πσ A PDF é centrada em torno da méda ( x) xp( x) µ = E = dx O espalhamento da PDF é determnado pela sua varânca ( ) ) E ( x µ ) p( x) σ = x µ dx Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz

13 Estmação de Máxma Verossmlhança de Parâmetros Estmação de máxma verossmlhança de parâmetros determna um estmado θˆ para o parâmetro maxmzando a verossmlhança L(θ) a partr da observação dos dados X = {x,...,x n } ˆ θ = argmax L θ ( θ ) Supondo dados ndependentes, dentcamente dstrbuídos. L n n x = ( θ ) = p( X θ ) = p( x,..., x θ ) = p( θ ) Soluções ML podem freqüentemente ser obtdas va a dervada. θ L θ ( ) = 0 Para dstrbuções Gaussanas log L(θ) é fácl de resolver Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 3

14 Estmação ML para Gaussana: Uma dmensão O estmado de máxma verossmlhança para µ é dado por: L n ( µ ) = p( x µ ) = ( x µ ) n σ = e = πσ log L = n σ ( µ ) ( x µ ) log πσ log L µ ( µ ) = σ ( ) x = 0 µ ˆµ = n x O estmado de máxma verossmlhança para σ é dado por: σˆ = ( x ˆ µ ) n Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 4

15 Estmação ML para Gaussana: Uma dmensão [s] Duração (000 declarações, 00 pessoas falando) ( ˆ µ 0ms, ˆ σ 40ms) Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 5

16 Estmação ML: Dstrbuções Alternatvas [s] Duração: Dstrbução Gama Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 6

17 Estmação ML: Dstrbuções Alternatvas [s] Log Duração: Dstrbução Normal Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 7

18 Dstrbuções Gaussanas: Múltplas Dmensões A PDF multdmensonal Gaussana pode ser expressa como: p ( x) = ( π ) t ( x µ ) ( x µ ) ( ) e ~ N µ, d d é o número de dmensões x = {x,...,x d } é o vetor de entrada µ = E(x) = {µ,..., µ d } é o vetor médo Σ= E((x - µ)(x -µ)t) é a matrz covarânca com elementos σj, nversa Σ-, e determnante Σ σj = σj = E((x -µ )(x j - µ j )) = E(x x j ) - µ µ j Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 8

19 Dstrbuções Gaussanas: Propredades multdmensonas Se as th e j th dmensões são estatstcamente ou lnearmente ndependentes então E(x x j )= E(x )E(x j ) e σ j =0. Se todas as dmensões são estatstcamente ou lnearmente ndependentes, então σ j =0 = j e Σ tem elementos não nulos somente na dagonal. Se a densdade é Gaussana e Σ é uma matrz dagonal, então as dmensões são estatstcamente ndependentes e: p d ( x) = p( ) = x p ( x ) ( ) ~ N µ, σ σ = σ Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 9

20 Matrz Covarânca Dagonal: Σ = σ I 3-Dmensonal PDF PDF Contorno Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 0

21 Matrz Covarânca Geral:σ j 0 3-Dmensonal PDF PDF Contorno Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz

22 Matrz Covarânca Dagonal:σ j = 0 j 3-Dmensonal PDF PDF Contorno Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz

23 Estmação ML Multvarável Os estmados ML para os parâmetros θ = {θ,...,θ l } são determnados pela maxmzação da verossmlhança conjunta L(θ) de um conjunto de dados..d. X = {x,..., x n } L θˆ Para determnar resolvemos θ L(θ) = 0, ou θ log L(θ) = 0 Os estmados ML de e Σ são: ( θ ) = p( X θ ) = p( x,..., x θ ) = p( x θ ) θ =,..., θ n θ l n = ˆµ = n x ˆ = x x µ n ( ˆ µ )( ˆ ) t Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 3

24 Classfcador Gaussano Multvarável p(x) ~ N(µ, ) Requer um vetor médo µ, e uma matrz de covarânca Σ para cada uma das M classes {ω,,ω M }. As funções descrmnantes de erro mínmo são da forma: g g ( x) = log P( ω x) = log p( x ω ) + log P( ω ) t t ( x) = ( x µ ) ( x µ ) log π log + log P( ω ) d Em mutas stuações a classfcação pode ser reduzda a uma smples dstânca métrca Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 4

25 Classfcador Gaussano: Σ = σ I Cada classe tem a mesma estrutura de covarânca: dmensões estatstcamente ndependente com σ. As funções dscrmnantes equvalentes são: g x µ ( x) = + log P( ω ) σ Se cada classe é gualmente provável, este é um classfcador de dstanca mínma, uma forma de casamento do formato. As funções dscrmnantes são substtuídas pela segunte expressão lnear: g t ( x) = w x + ω0 onde w µ t = e w = µ µ log P( ω ) σ σ Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 5

26 Classfcador Gaussano: Σ =σ I Para dstrbuções com uma estrutura de covarânca comum as regões de decsão são hperplanos Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 6

27 Classfcador Gaussano: Σ =Σ Cada classe tem a mesma estrutura de covarânca Σ. As funções dscrmnantes equvalentes são: g t ( x) = ( x µ ) ( x µ ) + log P( ω ) Se cada classe é gualmente provável, a regra de decsão de mínmo erro é dstânca quadrátca de Mahalanobs. As funções dscrmnantes permanecem expressões lneares: g t ( x) = µ x + ω0 onde w = µ ω t µ 0 = µ + ( ) log P ω Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 7

28 Classfcador Gaussano: Σ Arbtráro Cada classe tem uma estrutura dstnta para a covarânca a Σ A funções dscrmnantes equvalentes são: g t ( x) = ( x µ ) ( x µ ) log + log P( ω ) As funções dscrmnantes são nerentemente quadrátcas: g t t ( x) = x W x + w x + ω0 onde W = w = µ ω t µ 0 = log + ( ) log P ω Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 8

29 Classfcador Gaussano: Σ Arbtráro Para dstrbuções com estrutura de covarânca arbtrára as regões de decsão são defndas por hper esferas Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 9

30 3 Classfcação de Classes (Atal & Rabner, 976) Dstngue entre slênco sons sonoros e surdos. Usa 5 característcas: Contagem de cruzamento pelo Zero, Log da energa, Prmero coefcente de auto-correlação normalzado, Prmero coefcente predtor e, Erro de predção normalzado. Classfcador Gaussano Multvarável, estmação ML. Decsão pela dstânca quadrátca de Mahalanobs. Trenado por quatro pessoas ( sentenças / pessoa), testado em pessoas ( sentença / pessoa) Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 30

31 Estmação de parâmetros Máxmo a Posteror O procedmento Bayesano supõe que a forma da PDF p(x θ) é conhecda, mas o valor de θ não é conhecdo Conhecmento de θ este contdo em: Uma PDF ncal à pror p(θ) Um conjunto de dados..d. X = {x,...,x n } A PDF desejada para x é da forma ( x X ) = p( x, θ X ) dθ = p( x θ ) p( θ X ) dθ p O valor a posteror θˆ que maxmza p(θ X) é chamado estmado máxmo a posteror (MAP) de θ p ( θ X ) ( X θ ) p( θ ) p( X ) n p = = α p θ = ( x θ ) p( ) Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 3

32 Estmação Gaussana MAP: Uma Dmensão Para uma dstrbução Gaussana com méda desconhecda µ: p(x X) ~N(µ,σ) p(µ) ~ N Estmados MAP de µ e x são dados por: p n µ ~ N( µ, n σ n ) = ( X ) = α p( x µ ) p( µ ) ( x X ) p( x µ ) p( µ X ) dµ p = ~ N( µ σ + σ ) n, n ( ) µ 0,σ 0 Onde µ = nσ 0 σ ˆ µ + µ n 0 nσ 0 + σ nσ 0 + σ Quando n aumenta, p(µ X) converge para µ, e p(x X) converge para o estmado ML ~N( µˆ,σ). σ n σ 0σ = n σ + σ Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 3

33 Referêncas Huang, Acero, and Hon, Spoken Language Processng, Prentce- Hall, 00. Duda, Hart and Stork, Pattern Classfcaton, John Wley & Sons, 00. Atal and Rabner, A Pattern Recognton Approach to Voced- Unvoced-Slence Classfcaton wth Applcatons to Speech Recognton, IEEE Trans ASSP, 4(3), Sstema de Reconhecmento de Voz Teora Acústca da Produção de Voz 33