Caracterização prosódica das disfluências e suas implicações para o processamento de fala. Helena Moniz FLUL/CLUL L2F/INESC-ID

Transcrição

1 Caracterização prosódica das disfluências e suas implicações para o processamento de fala Helena Moniz /CLUL L2F/INESC-ID 1 Resenha do trabalho Conceitos prosódicos Sistemas de anotação prosódica Diferenciação de estruturas linguísticas por mecanismos prosódicos Prosódia e processamento automático de língua natural Área de aplicação: as disfluências Caracterização segmental e prosódica das disfluências Natureza fluente/disfluente Teste perceptivo e CART Conclusões 2 1

2 Juízos de valor obre oradores: fundamentos prosódicos? Conceitos prosódicos Prosódia: estudo das sequências que vão da palavra à frase (nível suprassegmental) ritmo e entoação da língua Prosódia constituída por 3 propriedades/traços: duração (medida em milissegundos) intensidade (medida em decibéis, corresponde à energia de um som) acento (proeminência de uma palavra em relação às adjacentes) 2

3 Organização prosódica diferentes propostas de hierarquização de constituintes prosódicos, mas um princípio comum: a sequência fónica é constituída por proeminências distintas. enunciado sintagma entoacional sintagma fonológico palavra prosódica sílaba línguas podem ter uma organização fonológica diferente (Japonês vs Português). Conceitos prosódicos: melodias das línguas Línguas tonais distinção entre significados de palavras contrastes gramaticais Chinês standard, Cantonês, Thai, etc. Línguas entoacionais distinção entre tipos frásicos distinções pragmáticas e discursivas expressão de emoções 3

4 Configuração de diferentes significados Informação nova/já dada fraseamento e desambiguação sintáctica mecanismos discursivos funções pragmáticas emoções Contorno entoacional, localização e tipo de tom, amplitude e gama de variação de F0, velocidade de fala ToBI (Tones and Break Indices) 4

5 ToBI Sistema de anotação de tons (Tones) e índices de rupturas (Break Indices) inicialmente usado para descrever o inglês americano depressa passou a ser generalizado. 4 fiadas: ortografia tons índices de rupturas miscelânea (efeitos paralinguísticos, disfluências e comentários) ToBI Eventos tonais H (high) e L (low) monotonais ou bitonais acentos tonais e tons de constituinte ou de fronteira. Índices de ruptura níveis de relação entre as palavras: da co-articulação máxima ou ruptura 0 a níveis de disjunção 4 (e.g., fim de enunciado). 5

6 Exemplo de declarativa neutra 11 Exemplo de interrogativa global

7 Melodia(s) das declarativas: o modelo Autores Melodia das declarativas neutras Melodia das declarativas com foco marcado Martins (86) Viana (87) A-M-B alto, médio e baixo no final A* B Cruz-Ferreira (83; 98) Baixo-descendente Falé (95) H* HL* L% Vigário (95; 98) H HL* L% Ou L*H HL * L% Frota (91; 98; 00; 02; prelo) (H) HL* L% (H) H*L L% Ou H*L!HL* L% 13 Melodias das globais Autores Melodia das globais neutras Melodia das globais com foco marcado Martins (86) Viana (87) Final ascendente A* BA última acentuada com o traço [F0 +elevado] Mata (90; 92) Falé (95) Cruz-Ferreira (98) Baixo-descendente ou Baixo-ascendente H* HL* H% Baixo-ascendente Frota (91; 98; 00; 02; prelo) (H) HL* LH% L*H LH% Ou L*H HL% (quando só existe uma palavra prosódica) 14 7

8 Melodias e interpretação de significados Interrogativa global vs concordância-continuação Por que razão devem os engenheiros importar-se com a prosódia? E. Shriberg (2008) Crescente interesse nas áreas do processamento automático síntese de fala reconhecimento de fala sistemas de diálogo Mas a sua análise ainda não está difundida na comunidade 8

9 Extracção de pistas prosódicas E. Shriberg (2008) Software público (Praat e snack) Extracção de F0 e energia do áudio (pistas a serem pósprocessadas) interpolação para retirar efeitos de micro-prosódia normalização de F0 e energia Alinhamento de F0 e energia com as palavras e os fones reconhecidos automaticamente Áreas de aplicação: detecção de frases e pontuação Detecção de frases faladas /enunciados para tarefas de pontuação (Batista, 2008; 2009): extracção de informação, tradução automática, sumariação extractiva Computação realizada com pistas prosódicas e lexicais combinadas prosódicas ( F0, duração, energia) modeladas, e.g., com árvores de decisão; lexicais (n-gramas de palavras e marcas de pontuação) modelos de língua; combinação através, e.g., modelos de máxima entropia 9

10 Motivação para o estudo de disfluências no português europeu Área de aplicação que não estava descrita linguisticamente para o português Controvérsia: erros vs mecanismos linguísticos fluentes Padrões regulares em diferentes línguas Caracterização importante para diferentes áreas: Linguística, ASRU, TTS, Diálogos e Agentes Conversacionais, etc. Tipologia de Shriberg (1994) e Eklund (2004): Pausas preenchidas nasceu um homem novo <aam> o que é que vocês acham disto que ouviram (maexe30s_14.wav) Alongamentos disfluentes <e=> ainda uma que essa por acaso foi quase igual em todos (pdexe9s_007_008.wav) Repetições uma imagem que representasse <as diferentes> as diferentes classes sociais (maexe30s_44.wav) Fragmentações os produtos lá <fabri-> fabricados mais importantes é os charutos rum café e frutos (axexe30s_10.wav) 10

11 Tipologia de Shriberg (1994) e Eklund (2004): Substituições provavelmente <poderás> poderá ter essa simbologia (maexe30s_101.wav) Apagamentos as noites de Cuba são muito mexidas <são> até é chamada Cuba a rainha do som (axexe_9.wav) Inserções (repetição e inserção) que estão <no museu> no museu nacional de arte antiga (maexe30s_9.wav) Marcadores de edição esta cobra <que une que vai que não é que une> que vai depois (maexe30s_87.wav) Modelo de auto-monitorização de Levelt (1983; 1989) O falante monitoriza o seu próprio discurso e o dos seus interlocutores: Concepção da mensagem pretendida (clarificação ou correcção da mensagem); Estruturação formal da mensagem (coesão e coerência); Erros lexicais (selecção lexical); Erros sintácticos ou morfológicos (concordâncias); Erros fonológicos (selecção de fones, comutação de sílabas); Inadequação à situação comunicativa (contexto apropriado, estatuto social dos interlocutores). 11

12 Modelo de auto-monitorização de Levelt (1983; 1989) Como e quando interrompe o seu discurso: Regra Geral de Interrupção o falante interrompe o discurso assim que detecta um erro, não respeitando fronteiras de palavra. As auto-correcções podem ser explícitas (são produzidas) e nãoexplícitas (não chegam a ser produzidas). Uso de marcadores de edição e de pausas preenchidas, para sinalizar que vai ser feita uma correcção. Modelo de auto-monitorização de Levelt (1983; 1989) A forma como o corrige (restrições linguísticas várias): Boa formação de constituintes (são respeitados e reconstituídos): seguem as regras das estruturas coordenadas. Convenção da identidade da palavra e/ou a convenção da categoria da palavra (ex. manter a preposição e introduzir uma outra palavra). Marcação prosódica (diferença de valores da frequência fundamental, amplitude e duração) dos constituintes que são erros, semanticamente motivada. 12

13 Estrutura de uma sequência disfluente Shriberg (1994) Corpora CPE-FACES (Mata, 1999) apresentações orais no 3º ciclo 2h de fala espontânea e preparada (4 alunos e 1 professora) anotação manual de disfluências (Shriberg, 1994; Eklund, 2004), anotação morfo-sintáctica e prosódica LECTRA (Trancoso et al. 2008) aulas universitárias 10h de fala preparada e espontânea (5 professores) anotação manual de disfluências (Shriberg, 1994; Eklund, 2004), anotação morfo-sintáctica e prosódica 26 13

14 Análise de frequência das disfluências % de disfluências 13,24% (1569 disfluências e palavras) no corpus do básico 7,0% professora do básico (341 em 4530 palavras) 3,16% no já tratado do universitário (273 em 8636 palavras) Valores estão de acordo com os reportados na literatura: intervalo de 5% a 10% em diálogos humanos (Shriberg, 2001) média de 6% (Fox Tree, 1995) em diferentes aplicações Alongamentos, pausas preenchidas e repetições são mais frequentes. Frequência no corpus do básico Categoria Sequência complexa Isolada ou mesma categoria Alongamentos 497/31,68% 288/45,93% Repetições 485/30,91% 94/14,99% Pausas Preenchidas 274/17,46% 198/31,58% Substituições 177/11,28% 23/3,67% Apagamentos 112/7,14% 24/3,83% Marcadores de edição 20/1,28% 0/0% Inserções 4/0,25% 0/0% Total 1569/100% 627/100% 14

15 Frequência por falante e situação Frequência superior de disfluências na situação preparada: evidência para uma maior monitorização e adaptação por parte do falante à situação específica. Classificação de Shriberg: falantes como repeaters vs deleters. falantes são mais repetidores. Professora produz mais pausas preenchidas do que os alunos, mas com maior controlo na sua distribuição; repetições com inserções, como estratégia pedagógica de reforço. Caracterização linguística 5 formas distintas <anotação ortográfica> uma vogal central alongada: <aa> <ee> um murmúrio nasal: <mm> combinação de ambas: <aam> <eem> Qualidade da vogal central: ] ou [ 6: ] (mais frequente) Alguns falantes usam consistentemente [ 1: ] em vez de ] / [ 6: ] Outros ambas, por vezes no mesmo enunciado Contrariamente ao observado para outras línguas não se comportam como palavras plenas não estão sujeitas à mesma variação contextual O mesmo parece acontecer com os alongamentos 15

16 Pausas preenchidas: tipologias de línguas Inventário extraído de Clark & Fox Tree (2002) Pausas preenchidas e alongamentos (isolados) Aluno Professora Funções distintas como afirmam Clark & Fox Tree (2002) e Eklund (2004)? Acústica e funcionalmente similares, como sugerem os dados? <mm> - categoria separada ou recurso linguístico ao serviço do prolongamento de pausas preenchidas e alongamentos? 16

17 Distribuição contextual de pausas preenchidas e alongamentos (Dis)FLs Constit.s Oração Frase aam 7,5% 15,0% 77,5% aa 30,3% 25,7% 44,0% mm 7,7% 92,3% 0% Alonga/.s 34,2% 56,5% 9,3% Padrões temporais Diferenças significativas (ANOVA: p<001): entre aa e aam entre alongamentos e mm, mas não entre mm e aam, sendo que este último par permite ganhar mais tempo do que os restantes. (Dis) Fluência s aam Pausas Silenc. Antes 800 ms Duração das (Dis)FLs 655 ms Pausas Silenc. Após 616 ms Pausas silenciosas antes e depois com comportamento similar ao verificado para estes pares. aa mm 603 ms 651 ms 378 ms 585 ms 166 ms 744 ms Alonga/s 416 ms 392 ms 277 ms 17

18 Teste perceptivo 35 Teste perceptivo

19 Teste perceptivo 30 estímulos Classificação manual de momentos de facilidade de expressão (fluência/disfluência, H. Riggenbach ed., 2000) numa escala de 5 níveis por 3 anotadores independentes 95% de concordância 40 participantes 20 engenheiros e 20 professores de português 5 vezes cada estímulo 37 Resultados do teste perceptivo % (Dis)fluency Ratings PRL PRLs FP FPs SUB DEL FRAG REP Varia REPs Categories 38 19

20 Resultados do teste perceptivo Concordância de 80% com os juízos dos anotadores Participantes rejeitam todas as sequências com disfluências complexas Participantes preferem alongamentos e pausas preenchidas Alongamentos julgados fluentes: ocorrem em conjunções coordenativas ou completivas não perturbam o contorno global de F0 Pausas preenchidas julgadas fluentes: têm contorno estacionário ocorrem em fronteiras de sintagmas entoacionais comportam-se como parentéticas não perturbam o contono global de F0 39 CART Objectivo: quais as pistas linguísticas mais salientes quando se classificam todos os tipos ditos de disfluências como fluentes ou disfluentes? 40 20

21 CART Resultados apontam 2 pistas: índices de ruptura e contono de F0 Eventos produzidos numa fronteira 3/4 são considerados fluentes vs. eventos dentro de um constituinte Eventos com contornos estacionários ou ascendentes vs descendente 41 Conclusões Resultados apontam para padrões regulares na produção das disfluências (fraseamento e contorno de F0). Fraseamento prosódico (rupturas 3 e 4) é crucial para realizar uma tarefa de avaliação de níveis de fluência/disfluência. Contorno estacionário ou ascendente também influencia a classificação vs. descendente e com efeitos glotais. Características são salientes tanto no teste perceptivo quanto na CART

22 Contribuições para uma definição de fluência A fala espontânea é de facto regulada, estruturada, organizada e hierarquizada em função do todo discursivo (Mata, 1999). A produção consciente dos fenómenos (dis)fluentes envolve condicionantes linguísticas (contextualização, localização, padrões temporais e funções). As categorias não são todas disfluentes e podem mesmo contribuir para o planeamento on-line dos enunciados. A fluência pode ser entendida, também, como: a propriedade e mestria no uso e integração de disfluências no todo discursivo. Trabalho futuro Em função da aplicação ou domínio saber como tratar as disfluências, e.g., Extrair as que não contribuem para a frase pretendida pelo falante em aplicaões como ASR Modelar em sistemas de síntese de fala as que são consideradas benéficas para o discurso, por conferirem naturalidade discursiva Descrever aprofundadamente todos os tipos de disfluências 22

23 Reflexão Somos diariamente cirurgiões da mensagem que ouvimos e/ou produzimos, sem nunca atendermos realmente a todos os contornos que podem estar contemplados na mera produção e na percepção de uma (dis)fluência. Referências seleccionadas Beckman, M. (2003). The meaning of intonational structure. Proc. of ICPhS. Barcelona. Blaauw, E. (1995). On the perceptual classification of spontaneous and read speech. Utrecht: Led. Bolinger, D. (1986). Intonation and its parts: melody in spoken English. Stanford: Stanford University Press. Clark, H. (2002). Speaking in time. Speech Communication, 36, Cruz-Ferreira (1998). Intonation in European Portuguese. In Hirst, D & A. Di Cristo (eds.). Intonation systems. Cambridge: Cambridge University Press, Cruz-Ferreira (1983). Non-native comprehension of intonation patterns in Portuguese and in English. Dissertação de Doutoramento. University of Manchester. Falé, I. (2006). Categorical perception of intonation contrasts in European Portuguese. In ICPhS. Falé, I. (2005). Percepção e reconhecimento da informação entoacional em Português Europeu. Dissertação de Doutoramento. Universidade de Lisboa. Falé, I. (1995). Fragemnto da prosódia do Português Europeu: as estruturas coordenadas. Dissertação de Mestrado. Universidade de Lisboa. Frota, S. (no prelo). The intonation of European Portuguese. In Jun, Sun-Ah (ed.). Prosodic Typology II: the Phonology and Intonation of Phrasing. Oxford University Press. Frota, S. (2002). Nuclear falls and rises in European Portuguese: a phonological analysis of declarative and question intonation. Probus, 14, Frota, S. (2000) Prosody and focus in European Portuguese. Phonological phrasing and intonation. New York: Garland Publishing. Frota, S. (1998). Prosody and Focus in European Portuguese. Dissertação de Doutoramento. Universidade de Lisboa. Frota, S. (1991). Para a Prosódia da Frase: Quantificador, Advérbio e Marcação Prosódica. Tese de Mestrado. Universidade de Lisboa. 23

24 Referências seleccionadas Hirschberg, J. (2003). "Pragmatics and Intonation. Handbook of Pragmatics, L. Horn & G. Ward (eds), Blackwell. Ladd, R. (1996). Intonational phonology. Cambridge: Cambridge University Press. Martins, F. (1986). Entoação e organização do enunciado. Dissertação de Mestrado. Universidade de Lisboa. Mata, I. (1999). Para o estudo da entoação em fala espontânea e preparada em Português Europeu. Metodologia, resultados e implicações didácticas. Dissertação de Doutoramento. Universidade de Lisboa. Mata, I. (1992). Questão da entoação e interrogação em Português. «Isso é uma pergunta?». In Pereira, I., Mata, I. & M. Freitas. Estudos em prosódia. Lisboa: Edições Colibri, Mata, I. (1990). Questões de entoação e interrogação em Português. «Isso é uma pergunta?». Dissertação de Mestrado. Universidade de Lisboa. Mateus et al. (2003). Gramática da Língua Portuguesa. Lisboa: Editorial Caminho. Nespor & Vogel (1986). Prosodic phonology. Dordrecht: Foris publications. Ostendorf et al (2008). Viana, M. C. (1987). Para a síntese da entoação do Português. Dissertação de Carreira de Investigação. Universidade de Lisboa. Vigário, M. (1995). Aspectos da prosódia do Português Europeu. Estruturas com advérbios de exclusão e negação frásica. Dissertação de Mestrado. Universidade do Minho. 24