Oral-Phon - um corpus do Português Europeu foneticamente transcrito. Manual de utilizador. Junho de 2012

Transcrição

1 Oral-Phon - um corpus do Português Europeu foneticamente transcrito Manual de utilizador Junho de 2012

2 Índice: 1. Objetivo deste manual 3 2. Organização do manual 4 3. Corp-Oral Enquadramento e objetivos Criação/constituição geral e interna detalhada Consultar Obter, abrir e alterar Oral-Phon Enquadramento e objetivos Criação/Constituição geral e interna detalhada Obter, abrir e alterar Ligações e referências 24 2

3 1. Objetivo deste manual O objetivo deste documento é descrever detalhadamente os produtos do projeto Oral-Phon de modo a facilitar o seu uso e manipulação. Este manual pode também ser usado em certa medida como um manual de criação de corpora orais visto que descreve todos os passos da sua criação: escolha dos falantes, recolha dos dados, tratamento dos dados/anotação, disponibilização. O Corp-Oral/Oral-Phon é um recurso linguístico que está livremente disponível para fins científicos, é um produto aberto e não pode ser usado na criação de nenhum produto comercial. Está registado no IGAC como propriedade intelectual do Instituto de Linguística Teórica e Computacional e pode ser alterado e redistribuído desde que, dando conhecimento da sua autoria e para fins não comerciais. 3

4 2. Organização do manual O projeto Oral-Phon surgiu na sequência do projeto Corp-Oral. Deste modo, para conhecer o Oral-Phon é necessário conhecer o Corp-Oral. O manual está assim dividido em duas grandes partes: - Corp-Oral - Oral-Phon Para cada um destes projetos, falaremos de: - Enquadramento e objetivos Nesta secção falar-se-á da motivação para a criação do projeto, dos seus antecedentes relevantes e dos seus objetivos. - Criação/Constituição geral e interna detalhada Esta secção será o núcleo da informação sobre cada projeto e conterá detalhes da constituição do corpus, das metodologias usadas, dos resultados obtidos e dos critérios aplicados na realização de cada tarefa. - Consultar, obter, abrir e alterar Aqui apresentar-se-ão todos os modos de que estão disponíveis os produtos dos projetos para consulta e uma breve descrição dessas plataformas, assim como os procedimentos necessários para ter acesso a elas e como os dados podem ser explorados e visualizados a partir delas. Explicar-se-á também como se pode fazer o download, abrir e manipular os ficheiros do projeto, mostrando alguns exemplos de como estes dados podem ser explorados. Para esta secção será importante ter lido primeiro as duas secções anteriores, visto que aquilo que se pode fazer com os dados está diretamente relacionado com a sua construção, constituição e meio de disponibilização. Apresentaremos todas as ligações úteis e referências citadas no documento e sempre que conveniente, este manual remeterá para outros documentos disponíveis na página de recursos do projeto Oral-Phon no site do ILTEC em: ou para ligações externas. 4

5 3. Corp-Oral 3.1 Enquadramento e objetivos Na senda de uma série de corpora nacionais, considerou-se que seria importante que existisse um para o Português que fosse de acesso livre e que, mesmo não sendo tão grande como outros já existentes, fosse acompanhado de documentação que facilitasse a sua consulta e manipulação. Daí nasceu o projeto Corp-Oral, que decorreu no ILTEC entre 2005 e 2008 com financiamento da Fundação para a Ciência e Tecnologia (FCT) e que consistiu na criação de um corpus de fala espontânea em Português Europeu. Uma das grandes vantagens deste corpus é que é de acesso completamente gratuito assim como todas as aplicações usadas na sua constituição, o que faz com que, havendo interesse no seu uso, seja bastante fácil obter todos os meios necessários. 3.2 Criação/constituição geral e interna detalhada O corpus foi criado do zero e desenhado para servir como corpus de treino para sistemas de reconhecimento de fala, no entanto, a sua estrutura e constituição permitem uma grande flexibilidade e, consequentemente, uma grande diversidade de usos de que falaremos ao longo deste documento. O corpus é constituído por 56 gravações com durações variáveis, num total de 50 horas, das quais 30 estão transcritas ortograficamente. De seguida, falar-se-á mais detalhadamente das características destes dados Falantes e contexto de interação As gravações consistem em diálogos entre falantes do português europeu, nascidos e criados na área da Grande Lisboa, com idades compreendidas entre os 12 e os 74 anos, encontrando- -se a maioria na faixa dos anos. Estes falantes apresentam vários graus de habilitações académicas e profissões e as relações entre os informantes que participam em cada um dos diálogos são variadas, existindo desde relações muito próximas (casais, pais/filhos, irmãos) até relações mais distantes (desconhecidos) passando por várias relações formais e semiformais (professores/alunos, colegas de trabalho). Todos os falantes autorizaram a divulgação das gravações para fins científicos e desde que identificados apenas por um código alfanumérico. As gravações foram todas feitas em ambiente semicontrolado, excetuando a gravação Nº1 (gravação de teste), que passa por vários ambientes. Isto significa que, na sua maioria, foram feitas em salas fechadas sem fontes de ruído, mas não em câmaras anecóicas ou cabines à prova de som. Considerámos que um ambiente natural e um certo nível de ruído seria desejável de modo a não tornar os dados demasiado artificiais. Aos participantes foram dadas poucas indicações. O tema da conversa e duração da mesma era livre, ficando ao seu critério interromper a gravação quando quisessem terminar. A maioria das gravações são situações normais de diálogo, no entanto, existem algumas com contextos específicos (sessões de explicações, interação entre adversários em jogos de computador, etc.) 5

6 3.2.2 Aspetos técnicos Os microfones usados foram os microfones de pescoço Beyerdynamic Opus Estes microfones são bastante sensíveis e a sua correta colocação é essencial para a qualidade das gravações, logo não deve ser colocado diretamente debaixo do nariz do falante, nem necessita de estar mesmo junto à boca. São microfones condensadores omnidirecionais que se encontram na ponta de um suporte flexível que permite o ajustamento perfeito da sua posição. Fig. 1 - Beyerdynamic Opus Para recolher, a partir de fala natural, dados que permitam análise acústica, estes microfones são os ideais visto que têm uma frequência de resposta de 20-20,000 Hz, capturando todos os fenómenos relevantes num nível normal de fala (aprox. 60 db) e que, sendo omnidirecionais também não sofrem do efeito de proximidade. Também foram escolhidos por serem bastante discretos e confortáveis de modo a que, na medida do possível, não influenciassem o falante. As gravações foram feitas com um gravador Marantz PMD670. Um gravador com memória flash cujas especificações é possível consultar em: Fig. 2 - Marantz PMD670 6

7 As gravações foram feitas usando PCM de 16 bits, com uma sampling rate de 44 khz, formato WAV, e têm durações entre 9 e 96 minutos (que correspondem à capacidade máxima do cartão do gravador). As gravações foram feitas em stereo com cada um dos informantes num dos canais de modo a facilitar na altura da análise e transcrição dos dados. Os falantes foram dispostos na sala de modo a que estivessem suficientemente longe para que não houvesse sobreposição dos canais mas suficientemente perto de modo a não ser desconfortável. Não se conseguiu contudo, evitar que em alguns casos houvesse bastante sobreposição de modo a que o espetro de um falante fosse bastante claro no do outro Aspetos linguísticos Como dissemos anteriormente, o Corp-Oral consiste de 50 horas de gravações de diálogos entre falantes do português da área da Grande Lisboa, de diversas idades, formações e relações entre si, o que o torna também usável para estudos sociolinguísticos. Trinta dessas horas estão transcritas ortograficamente. De seguida apresentamos as normas de transcrição e outras informações relevantes para quem deseje usar o corpus: a. A transcrição ortográfica foi realizada com o Elan [1]. Cada ficheiro é constituído por cinco fiadas de transcrição, uma ortográfica e uma prosódica por falante, e ainda uma para barulhos de fundo; b. As normas de transcrição ortográfica adotadas seguem em grande parte as usadas no C- ORAL-ROM [2]; c. A transcrição ortográfica é feita em texto corrido o que implica a ausência de qualquer tipo de sinal de pontuação; d. Todos os números são escritos por extenso; e. Todo o texto foi escrito em minúsculas, excluindo nomes próprios e siglas. Acrónimos, de modo a permitir a normal acentuação, são iniciados com letra maiúscula mas continuados com minúscula; Ex.: EDP mas Unesco f. A transcrição ortográfica é de natureza formal, não se representando, por exemplo, truncações comuns como tar para estar ; g. Repetições são transcritas tantas vezes quantas ocorrerem; h. Produções gramaticalmente desviantes, por exemplo muita quando não é uma questão de concordância são transcritas precedidas de <~>; Ex.: O som estava ~muita alto i. Palavras truncadas e interrupções discursivas são assinaladas com o sinal <&>; Ex.: Transpor& (para transporte ) 7

8 j. Disfluências, como pausas preenchidas e hesitações, são assinaladas com <*eh>; k. Informação paralinguística (só existe na fiada da transcrição ortográfica) é marcada com o código hhh [!= fenómeno], em que fenómeno pode ser: riso, respiração, tipos de voz, vários tipos de barulhos voluntários ou involuntários produzidos com o trato vocal, etc. l. Informação linguística relevante é marcada com hhh [fenómeno -] texto a que se refere [- fenómeno] como a informação paralinguística mas indicando fenómenos de natureza diferente, como, por exemplo, língua estrangeira para palavras estrangeiras produzidas com segmentos do português e fonética estrangeira para palavras estrangeiras produzidas com segmentos considerados estranhos ao inventário fonológico do português. Também são assinaladas do mesmo modo produções em discurso direto (disc. dir.); m. Discurso ininteligível é marcado com <x>, tantos x s quantos o transcritor(a) pensa ouvir; n. A etiqueta yyy [!= barulho de fundo] só é usada na fiada de sons de fundo e barulho de fundo pode descrever o som, se identificável; yyy [!= gravação] é usado se houver algum tipo de corte ou ruído oriundo da gravação e não do ambiente; o. Comentários generalizados têm a seguinte forma: hhh [comentário -] texto a que se refere [- comentário]. Este tipo de comentário foi utilizado muito frequentemente para marcação de piadas linguísticas e jogos de palavras: Ex.: Pacheco -> peixe seco p. A anotação das fronteiras prosódicas (feita só na fiada da anotação prosódica) foi feita usando os critérios definidos em Evaluation of Consensus on the Annotation of Prosodic Breaks in the Romance Corpus of Spontaneous Speech "C-ORAL-ROM" (Moneglia, et al.) [3]. O conceito de fronteira prosódica é definido da seguinte forma: Conceito: Fronteira Prosódica Definição: Variação prosódica percetivamente relevante no contínuo discursivo, de forma a causar o processamento do contínuo discursivo em unidades discretas. Conceito: Fronteira Prosódica Final (terminal), representada por // Definição: Dada uma ou mais unidades prosódicas, uma fronteira prosódica é considerada terminal se um falante da língua lhe atribuir a qualidade de ser conclusiva daquela sequência discursiva. Conceito: Fronteira Prosódica Não-Final (não-terminal), representada por / Definição: Dada uma ou mais unidades prosódicas, uma fronteira prosódica é considerada não terminal se um falante da língua lhe atribuir a qualidade de não ser conclusiva daquela sequência discursiva. De modo lato, isto corresponde aproximadamente a uma estruturação textual do discurso, isto é, fronteiras não finais correspondem a vírgulas e fronteiras finais a pontos finais, de exclamação ou de interrogação. 8

9 Este é então o aspeto final de um ficheiro de transcrição deste corpus: Fig. 3 - Snapshot de um ficheiro de transcrição do Corp-Oral Uma das vantagens do uso do Elan para efetuar este tipo de trabalho é que este programa possibilita inúmeras formas de exportação dos dados. Por exemplo, no formato de texto interlinear: Fig. 4 - Texto de transcrição do Elan, exportado para o formato de texto interlinear 9

10 As fiadas identificadas com REV são fiadas de transcrição ortográfica revista, no entanto, nos ficheiros disponíveis, a marca REV foi eliminada uma vez que as únicas fiadas disponibilizadas foram as revistas. A marcação [NOVO TÓPICO] indica mudança de tema na conversa e FPI e FPII representam os dois falantes, sendo que o alinhamento do texto indica a posição temporal do discurso, isto é, se a transcrição dos dois falantes estiver alinhada verticalmente corresponde a fala sobreposta Consultar Os produtos do projeto Corp-Oral estão disponíveis para consulta de dois modos: Spock A consulta do corpus pode ser feita online através do Spock [4] uma aplicação open source criada por Maarten Janssen que contém as transcrições ortográficas e gravações. Esta aplicação permite ver as ocorrências de fragmentos linguísticos, palavras ou sequências de palavras em contexto e ouvir o som que lhes corresponde, como mostra a seguinte imagem: Fig. 5 - Screenshot do Spock com os resultados de uma busca por <dois> O Spock tem sido usado frequentemente para recolha de dados para estudos linguísticos, sociolinguísticos e pragmáticos, como por exemplo, para estudo do uso das formas de tratamento em português, estudos de análise da conversação, como por exemplo, gestão de turnos, ou sintáticos, como por exemplo, para o estudo de fenómenos de queísmo. 1 Tendo sido criada entre 2005 e 2008, a transcrição ortográfica adotou ainda as normas pré-acordo, devendo tal ser tido em conta aquando da pesquisa e leitura do corpus. 10

11 Também tem sido usado como dicionário de pronúncia de recurso, visto tal não existir para o português. As gravações contidas no Spock foram processadas para redução da taxa de amostragem de modo a torná-las mais leves e assim agilizar a aplicação, isto faz com que a sua qualidade seja demasiado baixa para alguns tipos de uso, por exemplo, para análise acústica. Por este motivo, criou-se também uma modalidade de download (ver 3.4). Para mais informação sobre o Spock ler o artigo de Janssen e Freitas de 2008 [5] Many Eyes O Many Eyes [6] é uma iniciativa da IBM e consiste num recurso de geração de visualização de dados. Qualquer utilizador pode fazer upload de um conjunto de dados, que podem ser dados textuais ou numéricos e esse conjunto de dados fica disponível para quem desejar usá-los. É possível escolher qual o conjunto de dados que se quer usar e qual o tipo de visualização, o que resulta numa grande quantidade de informação apresentada de uma maneira visualmente atrativa e facilmente interpretável. Seguem-se dois exemplos de visualizações possíveis: Fig. 6 - Tag Cloud do Corp-Oral, com as ocorrências mais frequentes em fonte maior. 11

12 Fig. 7 - Word Tree do Corp-Oral com as ocorrências de muito bom. Para visualizar os dados do Corp-Oral no Many Eyes basta selecionar Data sets no canto superior direito e escrever Portuguese Corpus, e depois na lista de resultados selecionar Spoken Portuguese Corpus clicar em Visualize e escolher o tipo de visualização e os parâmetros desejados. 3.4 Obter, abrir e alterar Para cada gravação transcrita do corpus existe um ficheiro.eaf (formato proprietário do Elan) com o mesmo nome. O download integral do corpus (ficheiros de transcrição + gravações de 44kHz) pode ser feito a partir do browser do Isle Metadata Initiative do Max Planck Institute for Psycholinguistics que é, como descrito na sua página: The ISLE Meta Data Initiative (IMDI) is a proposed metadata standard to describe multi-media and multi-modal language resources. The standard provides interoperability for browsable and searchable corpus structures and resource descriptions with help of specific tools. ( Na prática, o IMDI é um repositório de dados linguísticos com uma série de ferramentas integradas [7] que permitem desde a criação dos dados e metadados, upload e criação da estrutura do corpus (relações de dependência entre os ficheiros) e até vários tipos de pesquisa dentro do corpus. Tem também uma ferramenta de gestão integrada que permite criar grupos de utilizadores e estabelecer permissões de acesso. Por exigência da plataforma, os metadados estão 12

13 completamente acessíveis, mas mediante pedido para é criada uma password e username de acesso que permite ao utilizador fazer download de todo o corpus. É necessário notar que esta necessidade de pedido de acesso serve apenas para que o ILTEC possa manter algum tipo de registo dos acessos e principalmente, para que possa ter algum feedback sobre a qualidade dos dados e tipos de usos que estão a ser feitos deles e o seu fornecimento é gratuito para fins científicos. Na página de entrada do IMDI [8] poderá encontrar no lado esquerdo do ecrã uma lista dos recursos que estão disponíveis nesta plataforma, entre eles, encontrará um nó com o nome Corp-Oral. Deste modo já poderá ver a estrutura e ficheiros que a plataforma contém, no entanto, para fazer download, terá que fazer login com os dados que lhe serão fornecidos e então, poderá, fazendo clique com o botão direito do rato no nó que lhe interessa selecionar a opção download. Se fizer clique no nó mãe (de nome Corp-Oral) fará download de tudo. Da mesma maneira que o download, puderá efetuar outras ações sobre o corpus, como procurar no conteúdo das anotações ou nos metadados. Na pesquisa nos metadados, pode, por exemplo, procurar female e obterá como resultado todas as gravações que têm pelo menos um falante do sexo feminino. Na pesquisa no conteúdo das anotações, é necessário que diga ao seu browser para permitir pop-ups da página, pois abrirá uma aplicação chamada Trova que, consoante o nó onde tenha clicado para abrir a aplicação, lhe permitirá fazer buscas nesse nó e nos que estão abaixo permitindo-lhe definir vários parâmetros e até exportar os resultados. Em vez disto, pode optar por fazer o download e usar o Elan localmente, o que lhe permitirá abrir os ficheiros de transcrição com o som respetivo e também fazer uma série de buscas, incluindo buscas em múltiplos ficheiros. Para além disso, o Elan permite abrir os ficheiros de transcrição e alterá-los, o que não será possível no Browser do IMDI. Aconselhamos a exploração da página das ferramentas disponíveis nesta plataforma, assim como a leitura dos seus manuais. Lá poderá encontrar uma lista de todas as ferramentas que o MPI possui para a criação, tratamento, arquivo e gestão de corpora, todas elas grátis e frequentemente atualizadas, e ainda manuais online e em PDF para todas elas. 4. Oral-Phon 4.1 Enquadramento e objetivos O Oral-phon foi criado como um projeto de seguimento do Corp-Oral, partindo dos produtos deste e acrescentando-lhes informação e, consequentemente, possibilidades. Este projeto decorreu no ILTEC de março de 2010 a junho de 2012 e foi financiado pela Fundação para a Ciência e Tecnologia sob a referência PTDC/CLE-LIN/103537/2008. Na conclusão do Corp-Oral, a avaliação feita pela FCT não só foi bastante positiva como sugeria uma continuação do projeto. Na sequência desta sugestão e por ainda se considerar que era possível acrescentar bastante informação relevante ao corpus, surgiu o Oral-Phon que tinha os seguintes objetivos: - Adaptação do etiquetador Brill às especificidades do corpus e etiquetagem da porção do corpus que se encontra transcrita ortograficamente; 13

14 - Realização de quatro horas de transcrição fonética estreita, larga, divisão em sílabas com marcação de sílaba tónica e lematização; - Melhoramento do Spock no sentido de expandir as suas possibilidades de busca de acordo com os melhoramentos feitos no corpus e acrescentar novas funcionalidades - Disponibilização do corpus melhorado, de toda a documentação e de todos os subprodutos do projeto. 4.2 Criação/constituição geral e interna detalhada Transcrição fonética estreita O programa escolhido para fazer a transcrição fonética estreita foi o Praat [9], não só por ser grátis, mas também porque apresenta uma ótima interoperabilidade com o Elan e é extremamente flexível, possuindo até uma linguagem de scripting própria muito simples que lhe confere inúmeras possibilidades. Para efetuar esta tarefa foi necessário preparar os produtos do projeto anterior. O primeiro passo necessário foi exportar os ficheiros do Elan para o formato do Praat, o que é bastante simples, visto que pode ser feito usando os menus do Elan. Foram feitas duas exportações para cada ficheiro, pois as transcrições foram feitas em stereo e, para a transcrição fonética seria mais importante ter os canais separados de modo a reduzir a interferência entre canais e, consequentemente, permitir às transcritoras que se concentrassem num canal de canal de cada vez. Assim, exportou-se as fiadas de cada falante para um ficheiro.textgrid diferente e cada gravação foi processada, usando o Audacity [10], outro programa grátis, para separação dos canais, passando a haver dois ficheiros mono em vez do stereo inicial. Deste processo saíram então quatro ficheiros para cada gravação, um.textgrid um Wav para cada participante no diálogo. De seguida foi necessário resolver a questão da segmentação da transcrição. Na passagem do Elan ao Praat colocam-se dois problemas: I. Como já dissemos, no Elan as transcrições estavam segmentadas em unidades discursivas, correspondendo, de modo lato, a turnos de fala. No entanto, no Praat seria desejável ter um segmentação mais fina. II. No Elan, o espetro do áudio, menos detalhado que no Praat, não permite que se identifiquem fronteiras de modo tão exato, por isso, seria de esperar que fosse preciso ajustar as fronteiras de início e fim das sequências exportadas. Quanto à primeira questão, esta divisão em unidades menores não seria estritamente necessária logo no passo da transcrição fonética, mas seria útil tê-la por dois motivos: a. permitiria às transcritoras ter um intervalo menor de referência, sabendo quantas fronteiras e o tipo delas existiriam num determinado espaço de tempo, o que facilitaria o seu reconhecimento visual imediato, podendo começar por encontrar essas fronteiras entre palavras e depois então dividir essas palavras nos segmentos que as compunham. b. alinhando as palavras com o primeiro e último segmento que as compunha, seria possível, usando o procedimento desenvolvido no projeto criar as outras fiadas alinhadas perfeitamente com elas, poupando assim um futuro trabalho de alinhamento manual. 14

15 No que diz respeito à segunda questão, do mesmo modo que ter os segmentos permitiria ter fronteiras exatas para as palavras, ter as palavras permitiu que se pudesse ajustar as fronteiras das unidades maiores que foram importadas do Elan. Em dados desta natureza isto é extremamente relevante, até porque o Praat permite exportar conjuntos som/anotação com base nos intervalos existentes e, assim, o resultado dessa exportação coincidiria perfeitamente com o som, em todas as fiadas. Esta tarefa de segmentação em palavras foi feita usando um script, que, partindo da fiada da transcrição ortográfica, criava uma nova fiada, substituindo todos os espaços em branco dentro de uma sequência, por fronteiras do Praat. Isto resultava numa fiada em que, para cada sequência da transcrição ortográfica, existiam, noutra fiada, tantas fronteiras quantas as palavras dessa sequência, delimitando intervalos de igual duração, preenchidos com as palavras correspondentes. Esta fiada era importada para o ficheiro a trabalhar e as transcritoras só precisavam assim de arrastar as fronteiras criadas automaticamente para a sua posição correta. Toda a transcrição fonética foi feita manualmente, e, para além das articulações principais e secundárias, cabia também às transcritoras anotar: (i) alongamentos (ii) desvozeamentos (iii) aspirações (iv) outros sons produzidos com o trato vocal, desde que existisse um símbolo IPA para eles (cliques, por exemplo) Para além do desafio que representa a tarefa em si, estabelecer os critérios para este tipo de trabalho é também extremamente trabalhoso. Apresentamos em seguida alguns critérios aplicados que já deixam antever o tipo de fenómenos que se pode observar no corpus: 1. A fiada da transcrição fonética estreita foi preenchida somente com símbolos do Alfabeto Fonético Internacional. Por outro lado, todos os símbolos foram usados, mesmo aqueles que não são considerados tradicionalmente parte do inventário fonológico do português. 2. Os sons que resultam de momentos de riso ou que decorrem de processos fisiológicos como a respiração ou a limpeza do trato vocal, não foram transcritos. 3. A anotação respeitou prioritariamente a produção do falante e não convenções pré- -estabelecidas. Por exemplo, o diacrítico de nasalização foi colocado por cima de todos os segmentos que apresentem o traço nasal e até omitido em certas situações em que seria esperado. 4. Vogais e fricativas que apresentassem alterações durante a sua produção eram consideradas como um só segmento, a menos que fosse claramente possível distinguir dois segmentos diferentes. 5. Os seguintes valores de referência foram usados para identificar ausência ou presença de alongamento: < 200ms sem marca de alongamento Ex.: [i] > 200ms uma marca de alongamento Ex.: [i:] > 400ms duas marcas de alongamento Ex.: [i::] 15

16 6. Os sons correspondentes a hesitações vocais, pausas preenchidas e marcas de concordância também foram transcritos. 7. Diacríticos: a. o mesmo segmento pode apresentar mais do que um diacrítico b. por norma os diacríticos foram colocados na sua posição típica, a menos que se justificasse que surgissem noutra posição, por exemplo, por existir mais do que um c. o diacrítico de ligação só foi usado nos casos em que ambos os segmentos pertenciam à mesma palavra e não foi possível definir uma fronteira entre eles d. sempre que um diacrítico representava a alteração na qualidade de um segmento, usava-se preferencialmente o símbolo IPA do novo segmento em vez do diacrítico. Por exemplo, um [ʒ] desvozeado representa-se com [ ] em vez de [ʒ ]. e. sempre que possível usou-se diacríticos para representar qualidades de voz, nos casos em que não havia um diacrítico, usou-se a fiada das observações. (Nota: Esta fiada só está disponível nos ficheiros para download, não é visualizável no Spock). 8. nos casos em que se encontrou reverberação, a fronteira do segmento foi colocada no fim da produção do falante e não no fim da reverberação. 9. na fiada das observações pode usar-se texto livre, no entanto, a observação devia ser o mais sucinta e objetiva possível e tentou-se sempre colocar o máximo de informação na fiada dos segmentos, uma vez que, para efeitos de análise e processamento a fiada das observações é inconsequente. 10. na fiada das palavras: a. sempre um segmento pertencesse a duas palavras, a fronteira da palavra era colocada a meio do segmento b. quando não foi possível identificar nenhum segmento de uma palavra existente na transcrição ortográfica, essa palavra foi colocada entre [ ] Como se pode perceber, esta transcrição é bastante detalhada e, por isso, muito interessante para observação do discurso espontâneo. Permite identificar, por exemplo, processos extremos de redução, vários fenómenos de coarticulação e articulações secundárias e até a produção de segmentos tradicionalmente não considerados como fazendo parte do inventário fonológico do português, o que faz com que seja um recurso muito valioso para realização de estudos fonéticos e fonológicos Etiquetagem Uma das tarefas consideradas imperativas nesta continuação do projeto, foi a etiquetagem do mesmo, já pensada desde o projeto anterior. Esta informação seria essencial para criar novas possibilidades de busca na aplicação de disponibilização do corpus. A etiquetagem foi feita usando o etiquetador Brill para o português. É um etiquetador gratuito que pode ser treinado para trabalhar com várias línguas. Foram criados no ILTEC dicionários de Português para uso no Brill que permitiram usar este etiquetador. A versão Windows do Brill encontra-se disponível para download na página de recursos do projeto, assim como o dicionário [11], um manual para instalação e uso do etiquetador [12] e a lista de etiquetas usadas no seu treino [13]. 16

17 Este etiquetador foi treinado com recurso a um corpus de português escrito, o que à partida se considerava que fosse levantar bastantes problemas quando fosse usado para o texto de transcrição, no entanto, depois de feitas algumas adaptações necessárias, como a criação de etiquetas para fenómenos específicos, os resultados foram bastante positivos. Esta tarefa colocou vários desafios técnicos que se considera importante destacar. Como dissemos anteriormente, o corpus original foi transcrito com recurso ao Elan e, por isso, foi necessário exportar os ficheiros do Elan para o formato.textgrid do Praat, seriam portanto os ficheiros do Praat a ser etiquetados. O etiquetador Brill é bastante antigo e não vem acompanhado de manual, pelo que foi necessário fazer vários tipos de experiências com as suas definições e com formatos e codificações dos ficheiros de anotação de modo a não só, ter os melhores resultados mas também de modo a que fosse possível reimportá-los à posteriori. Apresentamos aqui algumas dessas experiências e resultados, estando as conclusões tiradas delas indiretamente expressas no manual disponível. Um dos problemas que pode surgir no uso do Brill relaciona-se com a codificação dos ficheiros. Por norma, os ficheiros do Praat encontram-se em unicode, no entanto, nos ficheiros em unicode, o programa dá erros regulares que podem ser evitados em ANSI. Apresentamos em seguida uma linha de dois ficheiros etiquetados, um em UTF8 e outro em ANSI: Uni:*eh/Disfl es&/trunc estão/nfs sempre/adv tão/nfs contentes/nmp ANSI:*eh/Disfl es&/trunc estão/v3p sempre/adv tão/adv contentes/amp Como se pode ver, as palavras terminadas em <ão> (estão e tão), em unicode, são etiquetadas como Nfs (Nome feminino no singular), enquanto em ANSI são corretamente etiquetadas e, visto que o contexto de ocorrência é relevante para a etiqueta atribuída, isso acaba por influenciar a identificação de contentes que surge errada em unicode e correta em ANSI, visto que, estando precedido de um advérbio é fácil inferir um adjetivo. Para além destas questões, o próprio processo de etiquetar ficheiros do Praat não é uma tarefa linear. O texto a seguir mostra o cabeçalho e o conteúdo inicial de um destes ficheiros: File type = "ootextfile" Object class = "TextGrid" xmin = 0 xmax = tiers? <exists> size = 7 item [ ]: item [1]: class = "IntervalTier" name = "017_F04LEFT_Seg" xmin = 0 xmax = intervals: size = 4839 intervals [1]: 17

18 xmin = 0 xmax = text = " " De toda esta informação contida num ficheiro, a única que é relevante etiquetar é a contida nas aspas destacadas. Por outro lado, se forem adicionadas etiquetas no resto do texto, o documento torna-se ilegível para o Praat, não sendo possível a sua reimportação. Deste modo, foi necessário criar um processo de pré-processamento dos ficheiros de modo a eliminar todas as marcas, deixando só o texto, e, depois da etiquetagem um pósprocessamento que coloque as marcas removidas nos ficheiros etiquetados de modo a que estes possam ser lidos pelo Praat. Em suma, para etiquetar um ficheiro, são necessários os seguintes passos: a. Abrir o ficheiro.textgrid no Praat, selecionar a fiada que tem o texto que se deseja etiquetar e ir a Tier> Extract entire selected tier e fazer Save> Save as text file na janela de objetos no Praat. b. Correr o script op-textextract.pl. Para isto é necessário ter o Perl instalado. Para correr o script, em Windows, instalar o Strawberry Perl [14] é uma boa opção. O resultado disto é um ficheiro totalmente limpo de marcas, apenas com a lista de palavras a etiquetar, como a parte inicial da gravação 33LEFT que mostramos a seguir: 033LEFT: parede precisa duma limpeza não que eu não tenha c. Garantir que a codificação desse ficheiro é ANSI. Isto pode ser feito com um editor de texto simples, mas o PSPad [15] é uma boa escolha. Ir a Formatar > ANSI e guardar as alterações. d. Correr o Brill tendo o ficheiro como input. Para mais detalhes ver o manual do Brill na página de recursos do projeto. e. Correr o script op-textputback.pl tendo o ficheiro original e o ficheiro etiquetado como argumentos. f. Abrir o ficheiro de output no Praat, selecionar esse ficheiro e o ficheiro original e fazer merge ou append, conforme o caso, na janela dos objetos do Praat. Apesar de consistir de alguns passos, sendo que este processo está agora descrito e todos os meios para a sua execução acessíveis, ele torna-se bastante simples e eficaz. 18

19 4.2.3 Critérios de correção da etiquetagem Tentou-se, dentro do possível, manter os critérios apresentados no manual do etiquetador. No entanto, em alguns casos, optou-se por se desviar desses critérios tendo em vista os objetivos finais do corpus. Acrescentou-se também novas etiquetas para descrever alguns fenómenos anotados na transcrição ortográfica e deu-se um uso diferente a outras. Apresenta-se em seguida alguns critérios de correção da etiquetagem relevantes: NP Etiqueta para nomes próprios. Em nomes com elementos de ligação como Chico Buarque de Hollanda, todos os nomes são etiquetados com NP e os elementos de ligação com a sua categoria própria, preposição, neste caso. Isto vai contra os critérios usados no corpus de treino em que não existe etiqueta para os nomes próprios e estes são etiquetados usando critérios morfológicos. Trunc Etiqueta criada para marcar palavras truncadas, representadas na transcrição ortográfica com o símbolo <&> Disfl Foi usado para os elementos representados como <*eh> na transcrição ortográfica, isto é, pausas preenchidas, disfluências, hesitações, etc. Estas etiquetas não constam do dicionário que está disponível para download na página de recursos do projeto visto serem específicas do esquema de anotação do corpus, mas é possível adicionar e remover etiquetas indo ao ficheiro do léxico do etiquetador e alterando-o manualmente. I Esta etiqueta significa interjeição e, ao contrário das outras, faz parte do conjunto original de etiquetas. No entanto, o seu uso foi expandido. Para além de servir para interjeições propriamente ditas e bordões linguísticos, foi usada também para assinalar as onomatopeias, bastante frequentes no corpus. Para além disso, palavras como então, tipo e claro foram consideradas tanto como palavras plenas, pertencentes a categorias gramaticais, tanto como bordões linguísticos, recebendo nesse caso a etiquetada I. Ex.: Mas ele tipo/i ficou calado vs É do tipo/n do teu CARD e ORD No caso particular dos numerais, o Brill distingue dois: cardinais e ordinais. Essa distinção manteve-se, sendo todos os outros tipos (fraccionários, multiplicativos, etc.) considerados nomes. Nos cardinais, em particular, o género é omitido se a forma for invariável (três, mil). Se um dos seus elementos for variável, então o cardinal recebe marcação de género. Ex.: cem/card novecentos/cardm e novecentas/cardf Algumas distinções entre subclasses de palavras não são consideradas no conjunto de etiquetas de que o Brill dispõe. Essas distinções não foram por isso contempladas na etiquetagem do corpus. É o caso das distinções entre artigos definidos e indefinidos e entre determinantes e pronomes homónimos. Ex.: um/artms e o/artms Esse/DEMms livro e Este livro é melhor do que esse/demms 19

20 As formas oblíquas de pronomes comigo/contigo/consigo/connosco/convosco foram etiquetadas como pronomes (P) e não como contrações (EM+P) como estabelecido nos critérios do Brill. CODE Esta marca não é deixada pelo etiquetador mas sim pelo pré e pós-processamento. Este procedimento remove as etiquetas usadas para marcação de discurso ininteligível (x) e de fenómenos paralinguísticos e linguísticos (hhh) mas deixa as flags destas anotações que aparece assim indicada como código. Será importante dizer que todas as decisões tomadas em termos de critérios se prendem fundamentalmente com questões práticas decorrentes da finalidade e modo de disponibilização do corpus e não com tomadas de posição teóricas de qualquer natureza. O Brill permite também marcar elementos de locuções. Neste aspeto, é importante destacar o elemento enfático é que que foi o único que recebeu a etiqueta E.LOCn e apenas nas situações em que é efetivamente um elemento enfático, por nao se encaixar em nenhuma das outras categorias de locuções existentes. Na disponibilização este critério teve que ser revisto, pois o Spock, a aplicação online de disponibilização dos dados, foi remodelado para acomodar estes dados usando uma infraestrutura informática adaptada de um outro recurso aberto, ainda não disponível, chamado Corpus Wiki. Para disponibilizar estes dados na plataforma, é necessário interpretar as etiquetas do corpus, fornecendo ao sistema a informação de equivalência entre elas e as do etiquetador externo do CorpusWiki. Como consequência disto, e uma vez que, no momento, o tagset do CorpusWiki não possui uma etiqueta que possa ser aplicada em locuções, optou-se por, na tradução, decompor a locução nos elementos que a compõem, classificando todos os elementos isoladamente e mantendo o núcleo da locução a categoria gramatical da locução, mesmo que a categoria escolhida seja estranha a essa palavra: Ex.: se calhar = CSUB + V -> CSUB + ADV Nos ficheiros que não estão disponíveis no Brill, as locuções mantêm-se. De um modo geral, o Brill demonstrou nesta tarefa uma eficácia muito superior à esperada, tendo conta o seu treino em texto escrito. Os erros identificados prenderam-se essencialmente com a ocorrência de estruturas gramaticais estranhas ao português escrito e com a ocorrência frequente de bengalas linguísticas, interjeições inesperadas, onomatopeias, etc. Ao contrário das outras tarefas que foram executadas apenas na porção do corpus com transcrição fonética estreita, esta foi executada em todo o corpus transcrito ortograficamente. As transcrições etiquetadas podem ser obtidas na página de recursos do projeto Transcrição fonética larga e divisão silábica A transcrição fonética larga é uma transcrição normativa, criada para possibilitar buscas por referência à transcrição fonética, uma vez que a transcrição fonética estreita produz muitos resultados inesperados, não permitindo que quem não conheça o corpus aceda a ela com facilidade. 20

21 A transcrição fonética larga do corpus foi feita com recurso a meios automáticos e depois revista manualmente. O processo consistiu no uso da base de dados OSLIN [16] para recuperar as transcrições já nela contidas e na geração automática das restantes palavras. Este método permitiu também que se fizesse a divisão silábica das palavras assim como a sua lematização (de que se falará no próximo ponto). Apresentamos de seguida um conjunto de critérios aplicados na revisão da transcrição fonética larga 1. Existe um grupo de palavras que não tem acentuação. Nesse grupo constam: para, a (como preposição e artigo), com, de, ou, o, que, se, do, me, te, lhe, por, mas e em. 2. As sequências <ex> iniciais que se considera terem produções alternativas no português são transcritas como [ɐj ]. 3. Por uma questão de economia, a nasalidade em ditongos é assinalada apenas na vogal Ex.: mãe = [mɐ j] 4. Existe um grupo de itens que não têm transcrição fonética larga, por não serem palavras no sentido estrito: - interjeições não atestadas - disfluências <*eh> - truncamentos <&>, 4. Quanto aos estrangeirismos adotou-se dois tipos de transcrição, dependendo do modo como a forma é produzida: - Em caso de pronúncia estrangeira (isto é, contendo segmentos ou relações grafema/fonema não características do português), a palavra é transcrita como deveria ser produzida na língua de de acordo com as fontes [17 a 20]; - Se a pronúncia adaptada ao português a transcrição fonética é a da pronúncia portuguesa, quando atestada nas fontes [21]. 5. As formas desviantes, assinaladas na transcrição ortográfica com <~>, são transcritas na forma alvo: Ex.: ~muita (sem haver concordância) -> [mũj.tu] 6. Em contextos como <ej>, em que normalmente são apresentadas produções alternativas nas fontes, optou-se por usar consistentemente a transcrição com ditongo [ɐj]. 7. Quanto à silabificação, existem dois contextos problemáticos, para os quais se decidiu que: - Em contextos de CVGV como em meia, a silabificação é feita como CVG.V, isto é, [mɐj.ɐ]; - em contextos de CVCCV, como capsula, considerou-se que a primeira consoante do grupo consonântico não ocupa a posição de coda, mas sim a de ataque da sílaba seguinte, isto é [ka.psu.lɐ] em vez de [kap.su.lɐ]. 21

22 4.2.5 Lematização Tal como a transcrição fonética larga, o lema foi obtido de modo automático a partir da OSLIN. No entanto, sendo esta um recurso lexicográfico, alguns critérios de lematização tiveram que ser alterados de modo a responder a necessidades do uso do corpus. Por esse motivo, nem sempre aquilo que foi considerado o lema da palavra corresponde à forma de citação da mesma considerada tradicionalmente nos dicionários. A regra geral no que diz respeito aos lemas das seguintes classes é:: - verbos (o lema é a forma verbal no infinitivo) - nomes (o lema é o nome no masculino singular, a menos que só exista a forma feminina ou plural) - preposições (o lema é a própria preposição) - artigos e pronomes (lema é a forma masculina singular) A categoria dos pronomes é aquela em que os critérios foram repensados para servir o propósito do corpus. Tradicionalmente, o lema de um pronome é igual ao pronome, por exemplo, nos = nos. No entanto, na lematização do Oral-Phon, considerou-se que o lema de um pronome é a forma nominativa desse pronome, por exemplo: nos = nós. Esta escolha serve para permitir ao utilizador fazer buscas por todas as formas dos pronomes. Se seguíssemos o critério da base de dados, dada a arquitetura do Spock seria possível: a. fazer uma busca pela categoria pronome (que devolveria todos os pronomes, não só pessoais) b. fazer uma busca pela forma ortográfica do pronome c. fazer uma busca pelo lema do pronome (como, de acordo com os critérios forma ortográfica = lema, estas duas buscas devolveriam o mesmo resultado) Mas, seguindo o critério que aplicámos é possível: a. fazer uma busca pela categoria pronome b. fazer uma busca pela forma ortográfica do pronome c. fazer uma busca pelo lema do pronome (que não devolve os mesmos resultados que a busca pela forma ortográfica, uma vez que a ortografia passa a ser diferente do lema) 3. No caso das contrações, a palavra está dividida em dois lemas, assim como nas palavras compostas. Ex.: nisso = em + isso 4. As formas desviantes, tal como na transcrição fonética larga, apresentam o lema da forma alvo. 5. Os truncamentos não apresentam lema. 6. As disfluências apresentam um lema igual à forma gráfica que foi usada para as representar na transcrição ortográfica <*eh> 22

23 4.3 Obter, abrir, alterar Todos os dados deste projeto estão disponíveis para download. A porção do corpus que só consiste na transcrição ortográfica etiquetada está disponível para download direto na página de recursos do projeto. Estes ficheiros podem ser abertos e alterados usando o Praat. A porção do corpus que consiste em ficheiros completos, isto é, com transcrição ortográfica, transcrição fonética estreita e larga, divisão silábica e lematização podem ser obtidos por pedido para fabiola.santos@iltec.pt. Serão fornecidas credenciais de acesso ao IMDI onde se encontram armazenados todos os dados. Nesse local é possível fazer download não só dos ficheiros deste projeto, como dos ficheiros do projeto anterior. 23

24 5. Ligações e referências [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11][12][13] [14] [15] [16] [17] [18] [19] [20] [21] Grande Dicionário da Língua Portuguesa, Porto Editora 24

25 Equipas dos projetos: Corp-Oral Cordenadora: Professora Maria Helena Mira Mateus Consultores: Tiago Freitas Fernando Martins Fernanda Bacelar Maria do Céu Viana Bolseiros: Ricardo Filipe (até fim de 2007) Fabíola Santos (desde abril de 2007) Tarefeiras: Sílvia Barbosa Marta Alexandre Carla Viana Tânia Antunes Lis Gonçalves Cristina Morgado Marisa Cruz Oral-Phon Coordenadora: Professora Maria Helena Mira Mateus Consultores: Fernando Martins Maria do Céu Viana Maarten Janssen Investigadora: Fabíola Santos Bolseira: Lis Gonçalves Tarefeiras: Mariana Moldão Cristina Morgado 25