Aplicação de árvores de contexto probabilísticas para classificação de textos do Corpus Histórico do Português Tycho Brahe

Transcrição

1 Aplicação de árvores de contexto probabilísticas para classificação de textos do Corpus Histórico do Português Tycho Brahe Bruno Sette Camara de Oliveira, Denise Duarte Departamento de Estatística Universidade Federal de Minas Gerais Agradecemos o apoio da FAPEMIG na realização desse projeto. Introdução O Corpus Histórico do Português Tycho Brahe é um corpus eletrônico anotado, composto de textos em português escritos por autores nascidos entre 1435 e 1845 e está disponível para pesquisadores, gratuitamente, para fins acadêmicos e pedagógicos, por meio de ftp anônimo, em O Corpus é desenvolvido junto ao projeto temático Padrões Rítmicos, Fixação de Parâmetros & Mudança Lingüística. A modelagem dos textos é feita através de Árvores Probabilísticas de Contexto, que definem uma família de cadeias estocásticas de ordem infinita em um alfabeto finito. A idéia é que para cada passado, apenas um sufixo finito do passado (seqüência finita de símbolos), chamada de contexto, é suficiente para predizer o próximo símbolo. Esses sufixos podem ser representados por uma árvore enumerável completa de contextos finitos. Em uma árvore probabilística de sufixos existe uma probabilidade de transição associada a cada contexto. Definindo um alfabeto finito que codifique o ritmo das palavras dos textos podemos realizar a modelagem da árvore de contexto probabilística associada ao padrão rítmico do texto. Assim se torna possível comparar os textos de diversos autores e em diversas épocas de acordo com seu padrão rítmico. O alfabeto utilizado na modelagem é composto pelos estados {0, 1, 2, 3, 4} que correspondem ao tipo de sílaba fonética, conforme explicitado na tabela 1. Tabela 1 Codificação do alfabeto e seu significado fonético Código Significado 0 Sílaba fonética átona no meio ou final de palavras 1 Sílaba fonética tônica no meio ou final de palavras 2 Sílaba fonética átona no início de palavras 3 Sílaba fonética tônica no início de palavras 4 Final de frase Objetivo O objetivo desse trabalho é realizar a modelagem das árvores de contexto probabilísticas para os textos do Corpus Histórico do Português Tycho Brahe a fim de verificar possíveis diferenças rítmicas entre os textos disponíveis fazendo uma comparação das leis de 1

2 formação estimada dos mesmos. Com isso, desejamos fazer uma classificação dos textos de acordo com suas leis estimadas. Para isso precisamos utilizar diversos programas que realizam as transformações necessárias nos textos antes de realizar a modelagem dos mesmos. Dezesseis textos do Corpus Histórico do Português Tycho Brahe foram modernizados, ou seja, foram alterados para que fosse possível estabelecer um critério ortográfico e gramatical que permitisse codificar as palavras de acordo com a tonalidade de suas sílabas. Tabela 2 Descrição dos textos do Corpus Histórico do Português Tycho Brahe utilizados nas análises Código Ano Autor Título G Pero Magalhães de Gandavo História da Província de Santa Cruz P Fernão Mendes Pinto Perigrinação S Luis de Sousa A vida de Frei Bartolameu dos Mártires V Antônio Vieira Cartas V Antônio Vieira História do Futuro C Antônio das Chagas Cartas Espirituais B Manuel Bernardes Nova Floresta C Cavaleiro de Oliveira Fco Xavier Cartas A Matias Aires Reflexões sobre a Vaidade dos Homens C Antônio da Costa Cartas, Antônio da Costa A Marquesa de Alorna Cartas G J. B. da Silva L. de Almeida Garret Cartas, Almeida Garret G J. B. da Silva L. de Almeida Garret Teatro, Almeida Garret A Marquês da Fronteira e d Alorna Memórias do Marquês da Fronteira e d Alorna B Camilo Castelo Branco Maria Moisés O Ramalho Ortigão Cartas a Emília Metodologia O modelo de Árvores Probabilísticas de Contexto, também chamado de Cadeias de Alcance Variável Não Limitadas, foi introduzido por Rissanen (1983) e popularizado na literatura estatística por Bühlmann & Wyner (1999) no caso limitado e no caso não limitado por Ferrari & Wyner (2003). Nessa classe de modelos, para se decidir sobre o estado presente da cadeia, ao invés de se considerar todo o passado, considera-se apenas a parte do passado que é relevante, ou contexto, como foi chamado por Rissanen (1983). Uma árvore probabilística de contexto é uma classe de modelos de cadeia com memória de alcance variável que toma valores num espaço categórico finito, com uma estrutura parcimoniosa de probabilidades de transição. Dizemos que o processo é uma Árvore Probabilística de Contexto se as probabilidades de transição satisfazem à seguinte propriedade: ( X t xt X 0 x0,..., X t 1 xt 1) ( X t xt X t l xt l,..., X t 1 xt 1) 1 Onde l c x Dessa forma, pode-se concluir que o fato de a memória ser variável diminui o tamanho do modelo, ou seja, menos parâmetros devem ser estimados. Se o alcance da cadeia fosse fixo poderíamos estar estimando probabilidades que seriam iguais. O fato de o comprimento do 2

3 contexto ser variável explica o chamamos de memória variável no modelo de Árvores Probabilísticas de Contexto. O algoritmo G3L Galves, Galves, Garcia e Leonardi (2009) apresentaram o menor critério de maximização para a estimativa da árvore de contexto de uma cadeia de memória de variável a partir de uma amostra infinita. O critério escolhe a melhor classe de árvores e seleciona de maneira consistente a árvore de contexto probabilística gerando uma amostra. O estimador BIC para a árvore de contexto com a constante de penalização c> 0 é definido como: onde é a verossimilhança da árvore dada a amostra e df( ) denota o número de graus de liberdade do modelo correspondente à árvore de contexto. Resultados Após codificar o texto no alfabeto apresentado, utilizamos o programa BIC, desenvolvido em C, para modelar a árvore de sufixo probabilística para os textos modernizados. Dado nosso objetivo de verificar possíveis diferenças rítmicas entre os textos disponíveis, como todos os textos apresentaram uma árvore probabilística de contexto da mesma forma, com 11 folhas, procuramos então identificar diferenças nas probabilidades de transição. Percebe-se que aparentemente existe um determinado padrão rítmico ditado para a língua portuguesa escrita, ao observar a mesma estrutura na árvore probabilística de contexto modelada para os textos do Corpus Histórico. Figura 2: Árvore de contexto gerada pelo programa G3L para todos os 16 textos modernizados do Corpus Histórico do Português Tycho Brahe. 3

4 Aparentemente, existe diferença entre as probabilidades de transição apenas no contexto X -1 = 4. Como 4 significa final de frase, apenas é possível ir para os estados 2 ou 3, ou seja início de palavras com sílabas átonas ou tônicas. Como pode-se observar na tabela 3, dos 7 textos com data anterior ao ano de 1700 apenas 1 apresentou P(x 0 =2 X -1 =4)<0,6. Tabela 3 - Probabilidades de transição 4 2 para os textos com data anterior a 1700 Texto Ano Probabilidade de Transição 4-2 G ,62 P ,82 S ,65 V ,64 V ,6 C ,52 B ,66 Já para os 9 textos com data após 1700, como pode-se observar na tabela 4, apenas 1 dos 9 textos apresentou P(x 0 =2 X -1 =4)>0,6. Tabela 4 - Probabilidades de transição 4 2 para os textos com data superior a 1700 Texto Ano Probabilidade de Transição 4-2 C ,53 A ,67 C ,49 A ,53 G ,55 G ,44 A ,6 B ,55 O ,55 Isso significa que após 1700 existiu uma tendência a se iniciar frases de maneira forte, com sílabas tônicas, o que era uma conjectura linguística. Como foi observado apenas diferença nas probabilidades de transição desse contexto, buscamos encontrar um padrão de diferenciação dos textos de acordo com o rastro deixado pela constante de penalização, ou seja, pela assinatura da amostra. O gráfico 1 ilustra a assinatura das amostras para os textos do Corpus Histórico do Português Tycho Brahe. As cores identificam o século em que foi escrito o texto com o objetivo de se verificar algum padrão de diferenciação ao longo do tempo, o que não foi observado. Pôde-se verificar, por exemplo, que os textos C001 (Cartas, Cavaleiro de Oliveira Francisco Xavier 1702) e B005 (Maria Moisés, Camilo Castelo Branco 1826) são os que apresentaram menor constante de penalização para se obter um modelo independente, evidenciando que o passado não é tão importante quanto dos outros textos. Além disso, como as seqüências das constantes de penalização são diferentes para os textos, existem evidências de que os textos pertencem a árvores de contexto probabilísticas diferentes. 4

5 Gráfico 1 - Assinaturas das amostras para os textos analisados Considerações Finais Concluímos assim que alcançamos o objetivo que de propor um método de diferenciação dos textos ao encontrarmos evidências de que os textos não apresentam árvores de contexto probabilísticas iguais. Verificamos que: Existe um determinado padrão rítmico ditado para a língua portuguesa escrita, ao observar a mesma estrutura na árvore probabilística de contexto modelada para os textos do Corpus Histórico; Aparentemente, após o século XVII os autores começaram a iniciar as frases com mais força, ou seja, utilizando sílabas tônicas; Apesar de possuírem a mesma estrutura nas árvores probabilísticas de contexto, existe uma diferença entre os textos do Corpus Histórico analisados. No entanto, não foi possível observar nenhum padrão de mudança linguística ao longo do tempo. 5

6 Referências J. Rissanen. A universal data compression system. Information Theory, IEEE Transactions on, 29(5): , I. Csiszar and Z. Talata. Context tree estimation for not necessarily finite memory processes, via BIC and MDL. IEEE Trans. Inform. Theory, 52(3): , Cassandro, M., Collet, P., Duarte, D., Galves, A., and Garcia, J. (2005). Tied quantized chains and cross-linguistic estimation of the cut-points of the speech sonority. Galves, A., Garcia, J., Duarte, D. and Galves, C. (2002). Sonority as a basis for rhythmic class discrimination. Paper presented at Speech Prosody 2002, Aix-en-Provence (Disponível em etal.eps). Galves, A., Galves, C., Garcia, N. and Leonardi, F. Context tree selection and linguistic rhythm retrieval from written texts. ArXiv: v2, (Disponível em 6