Sistema automático de reconhecimento de pautas musicais manuscritas no INESC Porto

Transcrição

1 Faculdade de Engenharia da Universidade do Porto Mestrado Integrado em Engenharia Informática e Computação Sistema automático de reconhecimento de pautas musicais manuscritas no INESC Porto Relatório do Estágio Curricular da MIEIC 2006/2007 Guilherme Artur Conceição Capela Orientador na FEUP: Prof. Eurico Manuel Elias Morais Carrapatoso Orientador no INESC Porto: Prof. Jaime dos Santos Cardoso Setembro de 2007

2 Ao meu cão Afonsinho que nos deixou com muitas saudades ii

3 Resumo O presente relatório tem por objectivo apresentar e descrever de forma detalhada o projecto Sistema automático de reconhecimento de pautas musicais manuscritas, realizado no âmbito do estágio curricular de fim de curso, do Mestrado Integrado em Engenharia Informática e Computação, da Faculdade de Engenharia da Universidade do Porto. O projecto decorreu na Unidade de Telecomunicações e Multimédia do Instituto de Engenharia de Sistemas e Computadores do Porto, de 15 de Fevereiro a 14 de Agosto de Este projecto surge da necessidade de preservação da nossa herança musical recente, cujas obras musicais existem em grande parte somente como manuscritos originais ou fotocópias. Essa preservação envolve a digitalização destes trabalhos e consequente acessibilidade num formato que permita o armazenamento, navegação, análise, recuperação (retrieval), manipulação e publicação. O actual processo necessário para o reconhecimento de pautas musicais manuscritas é muito dispendioso em tempo, tendo de ser efectuado manualmente. A razão prende-se com a qualidade das soluções automáticas actuais neste campo, ainda longe do ideal. O reconhecimento musical óptico (Optical Music Recognition OMR) clássico está mais focado em pautas impressas, ou seja, regulares. Desenvolver uma técnica de OMR que possa, de forma (semi-)automática, representar uma pauta manuscrita em formato digital seria extremamente benéfico pois permitiria um acesso generalizado a partituras que nunca foram publicadas, e portanto de momento dificilmente acessíveis. Neste estágio pretendeu-se, como objectivo principal, integrar num sistema único tecnologia de OMR, facilitando a conversão mencionada e a representação das partituras em estilo hierárquico, utilizando para tal o formato MusicXML (Music Extended Markup Language). Esta representação estruturada permite o posterior acesso nas diversas vertentes acima enumeradas. Tal objectivo foi alcançado pela criação de uma aplicação web, através da qual se pode efectuar o reconhecimento, edição, armazenamento e pesquisa das pautas musicais. Nesta primeira fase do projecto começou-se por integrar uma solução de OMR existente, que posteriormente será substituída com as novas técnicas e algoritmos estudados nas restantes componentes do projecto, para reconhecer correctamente pautas manuscritas. No entanto o sistema desenvolvido permite que se incorpore um qualquer número de programas de OMR, cuja vantagem é a possibilidade de se seleccionar o OMR mais apropriado para a partitura em questão a ser reconhecida, uma vez que existem diversos tipos de notação musical desde as escritas mais antigas até ao standard actual. Com a realização deste projecto consegue-se responder aos objectivos enunciados, particularmente em relação à componente realizada neste estágio. Com a criação do sistema total, é possível preservar as obras musicais permitindo o reconhecimento óptico e o tratamento da informação de uma forma inovadora. É um sistema muito vantajoso pois permite realizar a tarefa de forma generalizada e livremente a partir de qualquer local com um PC (Personal Computer) com acesso à Internet, com qualquer sistema operativo. Não apenas é possível preservar as obras musicais antigas como também o seu reconhecimento é facilitado através de uma utilização simples, intuitiva e eficaz. iii

4 Agradecimentos Gostaria em primeiro lugar de agradecer a ambos os meus orientadores de estágio, Prof. Jaime dos Santos Cardoso no INESC Porto, e Prof. Eurico Manuel Elias Morais Carrapatoso na FEUP, pela confiança, apoio, disponibilidade, compreensão e enorme paciência que tiveram comigo durante todo o estágio. Mesmo nos momentos mais complicados e com as minhas falhas, o ambiente foi sempre positivo e contei com o apoio de ambos. Não podia deixar de agradecer também à minha colega de estágio, a Ana Maria Rebelo, pela amizade, conversas, boa companhia e paciência que teve comigo. Um agradecimento vai também para o Prof. Carlos Guedes da ESMAE pela confiança e apoio depositado em mim, para a realização do estágio neste projecto ao qual está associado. É também devido um agradecimento aos meus colegas na UTM que me receberam bem e estiveram sempre prontos a interromper os seus trabalhos e ajudar quando fosse necessário, e pelo bom ambiente criado. Um outro agradecimento um pouco anónimo vai para as pessoas que não conheço mas que me deram algumas ajudas valiosas no fórum do Ruby on Rails a troco de um simples obrigado. Durante este período de tempo que misturou um grande conjunto de emoções boas e más, gostaria também de agradecer a várias pessoas fora do estágio e do INESC Porto, que de uma ou outra forma me deram apoio ou simplesmente força durante esta fase da minha vida. Agradeço portanto em primeiro aos meus pais e à minha irmã por todo o apoio e muita, mas mesmo muita paciência que tiveram comigo. Um agradecimento especial vai para a minha tia Fátima A.T.I.A. Capela, que me conhece bem, compreende e apoia. E cujos conselhos me têm ajudado a pensar, decidir e actuar. Outro agradecimento especial vai para o meu grande primo Rui Barbosa por também ser um bom amigo para além de bom primo. Não podia deixar de mencionar os meus mentores musicais, o Hugo, a Liliana Rocha e o Paulo Barros, cujas ajudas, compreensão, conselhos e influências não têm preço. Próximo do fim, mas de grande importância, um grande obrigado aos meus amigos Filipe Coelho e João Pinto pela boa amizade e pelas ajudas preciosas durante toda esta aventura. Vamos ganhar! Também gostaria de agradecer ao meu bom amigo Ivo Rocha pela sua amizade insubstituível com a qual tenho o privilégio de contar há já muitos anos, e que há algum tempo me ajudou a abrir os olhos em relação à vida. E claro, ao meu amigo periquito, o Pequenino, que só é meu amigo e às outras pessoas morde. iv

5 Índice de Conteúdos 1 Introdução Apresentação do INESC Porto O Projecto SARPMM no INESC Porto Contexto e Motivação Objectivos Resultados Esperados Estudo e Desenvolvimento da Aplicação OMRSYS no Projecto SARPMM Organização e Temas Abordados no Presente Relatório Contribuições deste Projecto e Publicações Relacionadas Análise do Problema Conceitos Fundamentais Organização de uma Obra Musical Símbolos a Reconhecer Semântica Musical Descrição Geral Intervenientes Sistema Global Plano de Trabalhos do Estágio Revisão Tecnológica Estado da Arte Soluções Existentes ou Semelhantes Tecnologias Consideradas Base de Dados Aplicação de OMR Aplicação Web e Editor de Pautas Embutido Servidor Outras Ferramentas Usadas Especificação Visão Geral Características dos Utilizadores Requisitos Funcionais Aplicação Web Aplicação de OMR Editor de MusicXML Armazenamento Requisitos de Qualidade Eficiência Fiabilidade Manutenção Portabilidade Segurança Usabilidade v

6 4.5 Requisitos Tecnológicos Requisitos de Desenvolvimento Protótipo da Interface Desenvolvimento da Aplicação Visão Geral Decomposição Horizontal Decomposição Vertical Modelos de Dados Base de Dados do Armazenamento Aplicação Web Plugins e Gems Estruturação do Código Diagrama de Componentes Interface Gráfica Conclusões e Perspectivas de Trabalho Futuro Avaliação do Trabalho Desenvolvido Perspectivas Futuras Considerações Pessoais Referências e Bibliografia...91 ANEXO A: Acrónimos Utilizados...92 ANEXO B: Diagramas de Casos de Utilização...94 vi

7 Índice de Figuras Figura 1 - Uma das variações do logótipo do INESC Porto...1 Figura 2 - Organigrama do INESC Porto...2 Figura 3 - Hierarquia de Utilizadores...41 Figura 4 - Casos de Uso do Sistema Geral separado por pacotes...42 Figura 5 - Funcionamento do Ajax...59 Figura 6 - Arquitectura do Ruby on Rails...60 Figura 7 - Fluxograma da Aplicação Web...62 Figura 8 Protótipo da interface, mostrando a pesquisa nos conteúdos...63 Figura 9 - Diagrama de Actividades da Submissão de Pautas Musicais...64 Figura 10 - Decomposição Horizontal...66 Figura 11 - Diagrama da Base de Dados do Armazenamento...69 Figura 12 - Diagrama de classes do Model...74 Figura 13 - Diagrama de classes do Controller...76 Figura 14 - Diagrama de classes dos helpers do View...77 Figura 15 Diagrama de Componentes da Arquitectura Física...80 Figura 16 - Ecrã inicial após autenticação com um Utilizador Privilegiado...81 Figura 17 - Visualização dos dados de utilizador...81 Figura 18 - Validação de utilizadores...82 Figura 19 - Listagem de pautas musicais...83 Figura 20 - Submissão de pautas - Passo Figura 21 - Submissão de pautas - Passo Figura 22 - Submissão de pautas - Passo Figura 23 - Submissão de pautas - Passo Figura 24 - Submissão de pautas - Passo Figura 25 - Submissão de pautas - Passo 6 (editor, onde se pode concluir a submissão)...85 Figura 26 - Submissão de pautas - Passo 6 (edição de uma página)...85 Figura 27 - Pesquisa total...86 vii

8 Índice de Tabelas Tabela 1 Claves...10 Tabela 2 - Armadura de clave...10 Tabela 3 - Notas e pausas...11 Tabela 4 - Linhas de repetições...12 Tabela 5 - Fórmula de compasso...12 Tabela 6 - Articulações...12 Tabela 7 - Requisitos do Sistema...43 Tabela 8 - Requisitos da Gestão da Conta de Utilizador...45 Tabela 9 - Requisitos da Gestão de Utilizadores...46 Tabela 10 - Requisitos da Gestão de Pautas...46 Tabela 11 - Requisitos da Gestão de Autores...47 Tabela 12 - Requisitos da Gestão de Instrumentos...47 Tabela 13 - Requisitos da Gestão de Géneros Musicais...48 Tabela 14 - Gestão de Actualizações...48 Tabela 15 - Validação de Utilizadores...48 Tabela 16 - Validação de Pautas...49 Tabela 17 - Validação de Autores...49 Tabela 18 - Validação de Instrumentos...49 Tabela 19 - Requisitos do Motor de Pesquisa...50 Tabela 20 - Requisitos da Aplicação de OMR...51 Tabela 21 - Requisitos do Editor de MusicXML...55 Tabela 22 - Requisitos do Armazenamento...56 Tabela 23 - Descrição sumária das classes do diagrama da base de dados...69 Tabela 24 - Tabela users...71 Tabela 25 - Tabela works...72 Tabela 26 - Tabela authors...72 Tabela 27 - Tabela authors_works...72 Tabela 28 - Tabela musical_genres...72 Tabela 29 - Tabela sections...72 Tabela 30 - Tabela scores...72 Tabela 31 - Tabela instruments...72 Tabela 32 - Tabela instruments_sections...73 Tabela 33 - Tabela updates...73 viii

9 1 Introdução Nesta secção é inicialmente feita uma breve apresentação da instituição onde o estágio foi realizado. Após essa primeira apresentação descreve-se o projecto de estágio enunciando os objectivos do mesmo, distinguindo o projecto total em que o estágio se insere assim como a parte que foi abordada durante o estágio, numa segunda subsecção. Por fim, é descrito o modo como o presente documento se encontra organizado, com vista a colocar o leitor familiarizado com o mesmo para permitir uma leitura mais agradável. 1.1 Apresentação do INESC Porto 1 O INESC Porto 2 (Instituto de Engenharia de Sistemas e Computadores do Porto) é uma associação privada sem fins lucrativos declarada de utilidade pública, constituída em 18 de Dezembro de 1998, cujos associados fundadores são o INESC, a Universidade do Porto (UP) e a Faculdade de Engenharia da Universidade do Porto (FEUP). Em Junho de 2006, a Faculdade de Ciências da Universidade do Porto (FCUP) e o Instituto Politécnico do Porto (IPP) tornaram-se igualmente associados do INESC Porto. Uma das variações do logótipo da instituição pode ser observada na Figura 1. Figura 1 - Uma das variações do logótipo do INESC Porto Tendo origem no pólo do Porto do INESC, cuja criação ocorreu em Maio de 1985, o INESC Porto surge como o corolário de um processo de profunda reestruturação do INESC, que começou pela progressiva especialização local dos vários pólos e pela sua autonomização. Esse processo conduziu à constituição de um conjunto de novas instituições, ligadas centralmente ao INESC, o qual assume um papel de um centro de orientação estratégica e consolidação nacional. Em 2002, foi-lhe atribuído o estatuto de Laboratório Associado pela Fundação para a Ciência e Tecnologia para o quinquénio 2002/2006, após ter obtido a classificação de Excelente na última avaliação efectuada por peritos internacionais nomeados pelo Ministério da Ciência e Tecnologia. A missão do INESC Porto consiste em exercer uma interface entre o mundo académico e o mundo empresarial da indústria e dos serviços, bem como a administração pública, no âmbito das tecnologias de informação, telecomunicações e electrónica, dedicando-se a actividades de investigação científica e desenvolvimento tecnológico, transferência de tecnologia, consultoria e formação avançada. Neste enquadramento, o INESC Porto propõe-se a: 1 Esta secção é baseada de forma significativa no Manual de Acolhimento do INESC Porto

10 Levar a cabo a produção de ciência e de tecnologia capazes de competir a nível nacional e mundial; Colaborar na formação de recursos humanos de qualidade científica e técnica, motivados para apostar nas capacidades nacionais e na modernização do país; Contribuir para a evolução do sistema de ensino científico e tecnológico, modernizando-o e adaptando-o às necessidades do tecido económico e social; Contribuir, pela realização dos objectivos anteriores, para a construção de um Portugal moderno, de uma economia sólida e de uma sociedade de qualidade. A Sede Social localiza-se no Campus da FEUP, na Rua Dr. Roberto Frias, 378, Porto. No entanto, para além deste edifício, onde se encontra centralizada grande parte das Unidades, Departamento e Serviços, o INESC Porto tem ainda um pólo no Departamento de Física da FCUP, cuja localização fica na Rua do Campo Alegre, 687, Porto. Esta instituição conta actualmente com cerca de 300 colaboradores, desde contratados, a bolseiros, docentes e estagiários para realizar as suas actividades e divide-se em várias unidades, como pode ser visto no organigrama da Figura 2. Figura 2 - Organigrama do INESC Porto O presente estágio foi realizado na Unidade de Telecomunicações e Multimédia (UTM), cujo Coordenador de Unidade é o Prof. José Ruela. Pode ser consultado no organigrama da Figura 2, estando essa unidade realçada em relação às restantes. A UTM actua em áreas chave no âmbito das modernas redes e serviços de comunicação, em especial Processamento de Sinal e Imagem, Arquitecturas de Redes, Serviços de Telecomunicações, Microelectrónica, TV (Televisão) Digital e Multimédia. Conta actualmente com cerca de 95 colaboradores. 2

11 Os Objectivos Estratégicos da unidade são: Através da organização de grupos de I&D (Investigação e Desenvolvimento) na Unidade, realizar investigação básica e promover a formação avançada de recursos humanos, explorando nomeadamente financiamentos de programas de I&D europeus e nacionais; Participar em projectos europeus, que permitem a cooperação científica e técnica com empresas e centros de I&D de vanguarda, a actualização tecnológica permanente e o acompanhamento da actividade de organismos de normalização; Criar massa crítica nas principais áreas de intervenção da Unidade através de um conjunto de investigadores altamente qualificados e com competências diversificadas; Participar em projectos de I&D de grande dimensão e celebrar de contratos de desenvolvimento ou de consultoria que requerem o conhecimento e a capacidade de integração de várias tecnologias. Esta actividade tem sido realizada nomeadamente em parceria com operadores de redes e fornecedores de serviços de Telecomunicações, operadores de Televisão e fabricantes de sistemas de comunicação e de equipamento de teste. Os principais temas de investigação actualmente cobertos pela Unidade são: arquitecturas e protocolos de redes sem fios e móveis e de redes de banda larga, serviços de telecomunicações e aplicações multimédia distribuídas, processamento de áudio digital, análise e síntese de vídeo e imagem, sistemas integrados de televisão digital, teste e validação de sistemas de comunicação, teste e projecto de testabilidade de circuitos electrónicos, arquitecturas reconfiguráveis para processamento dedicado. 1.2 O Projecto SARPMM no INESC Porto O projecto Sistema automático de reconhecimento de pautas musicais manuscritas, daqui em diante referido por SARPMM, é um projecto de longo prazo, estruturado em diversos módulos mais pequenos. Nesta secção é apresentado o projecto global, em duas subsecções, explicando inicialmente o seu contexto e motivação, seguindo-se os objectivos do mesmo. Apenas na secção seguinte será dado ênfase à tarefa objecto do presente estágio Contexto e Motivação Neste projecto pretende-se desenvolver um Sistema automático de reconhecimento de pautas musicais manuscritas, sendo esta uma área onde as soluções actuais ainda se encontram muito aquém das expectativas. A notação musical nos dias de hoje é uma das linguagens internacionais mais vastamente reconhecida de sempre. Tem sido desenvolvida ao longo dos tempos com requisitos de consistência e precisão. Ler música é algo que qualquer pessoa pode aprender, e uma vez aprendido torna-se um processo natural que deixa de ser um esforço consciente, de certa forma como acontece com a leitura de palavras que aprendemos desde pequenos. No entanto, os métodos actuais de leitura de pautas musicais manuscritas por computadores ainda se encontram longe de serem perfeitos. A percepção de notação musical através do computador começou com o campo do reconhecimento musical óptico (Optical Musical Recognition - OMR), assim que os investigadores atacaram o problema do reconhecimento e interpretação dos símbolos da notação musical impressa a partir de uma imagem digitalizada. 3

12 Hoje em dia existem diversas soluções de software de OMR comercial, tais como o Capellascan, OmeR, PhotoScore, SharpEye, e SmartScore. Mais recentemente o interesse na percepção foi estendido a todos os componentes: a letra da música, melodia e outros símbolos, até mesmo a componentes multi-linguísticos manuscritos. Tem-se investido bastante na investigação durante as últimas décadas no desenvolvimento de sistemas capazes de reconhecer e interpretar o conteúdo de pautas musicais. O reconhecimento de notação musical através do computador, a sua interpretação e utilização entre várias aplicações levanta diversos desafios e questões em relação aos algoritmos apropriados, técnicas e métodos com os quais se possa reconhecer a notação musical automaticamente. Apesar da investigação em OMR ser contínua, com a disponibilização de vários sistemas OMR comerciais, ainda continua a ser escasso um desempenho satisfatório em termos de precisão e confiabilidade. Muito do trabalho existente fornece uma eficiência boa apenas quando são processadas folhas de música impressa e bastante regular, uma vez que o OMR clássico se encontra mais focado neste tipo de partituras. Mas essa eficiência é severamente comprometida quando se tratam de pautas manuscritas pois estas introduzem novas dificuldades, com a notação a variar de pessoa para pessoa, e possivelmente variando inclusive na mesma partitura, e com símbolos e linhas de pauta variando em tamanho, formas, intensidade, entre outros. Isto justifica a investigação em torno da definição de algoritmos de OMR robustos. O actual processo necessário para o reconhecimento dessas pautas é manual, e consequentemente muito dispendioso em recursos humanos e tempo. Em Portugal muitas das obras musicais escritas durante o século XX ainda existem somente como manuscritos originais ou como fotocópias. A preservação da nossa herança musical recente envolve a digitalização destes trabalhos e consequente acessibilidade num formato que permita navegação, análise e a pesquisa pelas características das pautas. Infelizmente, este objectivo ambicioso de possibilitar o acesso generalizado a pautas musicais manuscritas que nunca foram publicadas tem sido sucessivamente atrasado pelo software de reconhecimento de pautas musicais actual. O actual processo necessário para o reconhecimento de símbolos musicais manuscritos em pautas e colocá-los em relação com a estrutura musical é muito dispendioso em tempo, tendo de ser efectuado por via manual. Desenvolver uma técnica de OMR que possa, de forma semi-automática, representar uma pauta manuscrita num formato digital seria extremamente benéfico pois permitiria um acesso generalizado a partituras que nunca foram publicadas, e portanto de momento dificilmente acessíveis. Sendo Portugal um país onde escasseia uma tradição de publicação musical, a maioria dos trabalhos produzidos durante o último século ainda existem como manuscritos originais e são acedidos e/ou distribuídos como fotocópias. A codificação deste conjunto de trabalhos num formato digital em estilo hierárquico permite uma aprofundada manipulação da informação para publicação, motivos de análise computacional, catalogagem, armazenamento e recuperação de importantes características de todo o conjunto, assim como a extracção das várias partes das músicas. Ou seja, relativamente ao último ponto, se tivermos uma partitura manuscrita com vários instrumentos e a codificarmos no formato digital MusicXML, pode-se extrair facilmente apenas a parte de um desses instrumentos, sem ter de a escrever novamente. Essa mesma tarefa realizada por via manual é um processo extremamente moroso. No entanto, é bastante útil pois permite que se forneça a um músico apenas a partitura do seu instrumento ao invés de este ter de a interpretar por entre as restantes partituras da obra, que é algo que dificulta essa mesma leitura. 4

13 Tudo isto pode ser conseguido através de um sistema que permita efectuar o reconhecimento óptico, armazenar, pesquisar e navegar por entre as partituras, assim como descarregá-las em MusicXML ou nas imagens originais Objectivos O presente projecto é único em relação a várias características. Não só é dedicado ao reconhecimento da notação musical standard manuscrita (em oposição à notação musical mais antiga, como foi já alvo de outros projectos de OMR), e portanto envolvendo diferentes soluções técnicas, mas tem também como alvo a conversão (semi-)automática da pauta para o formato MusicXML através de um sistema online completo que integre todas as facilidades necessárias aos objectivos deste projecto num só local. O formato MusicXML pretende suportar intercâmbio entre notação musical, actuação, análise, e aplicações de recuperação. Com este formato é possível extrair partes de uma música e fornecer a cada músico que a irá interpretar, somente a sua parte para facilitar-lhe a leitura e desempenho. Desenvolver um procedimento para OMR que realize uma conversão (semi-)automática de uma pauta manuscrita para MusicXML traria diversas vantagens em relação ao acesso e preservação dessa pauta em forma digital: O MusicXML permite representar um manuscrito através das suas partes, secções, frases e motivos musicalmente relevantes, tornando portanto mais fácil o acesso às porções relevantes da pauta enquanto se navega pela mesma no monitor de um computador; A codificação MusicXML permite a recuperação de informação musical relevante para análise, e portanto facilitando a realização de certos tipos de análises computacionais num conjunto de pautas; A codificação MusicXML facilita a conversão de um manuscrito para MIDI (Musical Instrument Digital Interface) ou outros formatos de representação digital, tais como Humdrum ou MuseData, os quais permitem que se tenha uma pauta preservada em diversos formatos de acordo com a necessidade e propósito; Finalmente, a codificação MusicXML permite a conversão do manuscrito para publicação de música em qualidade standard utilizando software de notação musical tais como o Finale ou o Sibelius. Esta propriedade facilita a reedição dessa pauta e/ou a extracção de partes, e provém directamente da fonte do manuscrito. Um benefício adicional da conversão automática e armazenamento da pauta musical em MusicXML é a possibilidade de integrar a pauta manuscrita no formato MX. O MX é um formato multi-camada com base no XML (Extensible Markup Language) para representação de música integrando vários formatos por camada. O MX sincroniza essas várias camadas pertencendo a uma peça de música, por exemplo uma gravação áudio (e.g. em WAV) e a pauta da mesma peça (e.g. em MusicXML). O MX representa portanto uma peça integrando vários formatos de dados sincronizados entre si podendo conter notação, áudio e vídeo. Neste projecto pretende-se, como objectivo principal, integrar num sistema único tecnologia de OMR que facilite a conversão de pautas de música manuscritas para o formato digital e a sua representação em estilo hierárquico utilizando para tal o formato MusicXML. Ou seja, trata-se da criação de um sistema com o intuito de o disponibilizar online, através do qual se possa efectuar o reconhecimento, edição e armazenamento das pautas musicais manuscritas. Após esse reconhecimento pretende-se obter uma versão digital que seja facilmente gerida, editada, pesquisada, entre outros, a qual ficará imediatamente armazenada no arquivo mantido pelo sistema. 5

14 Este projecto deverá culminar na criação de uma base de dados de pautas manuscritas de música portuguesa do século XX e de um motor de busca online para acesso à mesma, integrados no sistema completo. Esta base de dados estará disponível para motivos de apreciação, publicação, educacionais e de musicologia, preservando portanto este conjunto de música de uma forma ainda não explorada. Em suma, este projecto é único em combinar música e tecnologias de informação de uma forma bastante coesa. O motor de busca por si só será inovador e poderá ter implicações positivas no futuro do OMR Resultados Esperados Para os objectivos enunciados, tem-se as seguintes expectativas: Uma base de dados portuguesa anotada, de pautas manuscritas de música portuguesa do século XX digitalizadas, contendo o original e a versão em MusicXML; Disponibilização de tecnologia de OMR que facilite a conversão de partituras manuscritas em notação musical standard para formato digital e a sua representação em estilo hierárquico; Um sistema computacional para digitalizar pautas musicais manuscritas, no formato MusicXML, tornando a tarefa mais rápida e menos trabalhosa; Motor de pesquisa online de pautas de música portuguesa do século XX; Permitir adicionar, visualizar e editar as pautas em MusicXML através do sistema, por via online; Aplicação web com tecnologia de reconhecimento de pautas musicais manuscritas integrando todas as partes enunciadas, criando uma solução completa, de acesso livre. Para a concretização deste sistema não se pretende reinventar a roda, mas sim utilizar soluções existentes, nomeadamente ao nível do OMR, integrando-as numa primeira fase e desenvolvendo apenas os módulos necessários. No entanto, em paralelo será feito um estudo em relação às técnicas, algoritmos e métodos do módulo de OMR. Após essa fase de integração e desenvolvimento dos módulos inexistentes é que serão usadas as técnicas e novos métodos de reconhecimento das pautas musicais estudados com vista a realizar um correcto reconhecimento das pautas musicais manuscritas, melhorando dessa forma o módulo de OMR integrado no sistema realizando um avanço importante nesta área. Desta forma é possível preservar todas essas obras musicais e permitir o tratamento da informação de uma forma ainda por explorar. Como as pautas impressas são de certa forma um caso particular, no qual a escrita é mais perfeita, estas serão igualmente reconhecidas. Pretende-se obter um sistema bastante completo, o que irá fomentar um grande avanço neste campo. 1.3 Estudo e Desenvolvimento da Aplicação OMRSYS no Projecto SARPMM A realização do projecto no seu todo abrangerá um espaço de tempo maior do que a duração do presente estágio curricular, no qual o projecto teve início, devido à sua grande dimensão e complexidade. Após ter sido inicialmente produzida toda a especificação e arquitectura do sistema, tentou-se avançar o mais possível no desenvolvimento, obtendo-se uma solução funcional, com boa qualidade e que permita demonstrar o funcionamento do sistema. Este protótipo foi desenvolvido integrando soluções existentes, complementado com a implementação dos módulos inexistentes para esta primeira fase do projecto. Pretende-se 6

15 desta forma obter um sistema funcional com vista a ser melhorado futuramente com a continuação do projecto. Desta forma, após o estudo e a especificação do sistema, desenvolveu-se uma aplicação web, o OMR System (daqui em diante será referido por OMRSYS), integrando os módulos existentes com os módulos implementados. O principal objectivo durante o estágio foi o de especificar todo o sistema e desenvolver a aplicação web e respectiva base de dados. Para efectuar o reconhecimento óptico foi usado um software de OMR livre já existente. Relativamente à edição das partituras em MusicXML no estágio, pretendeu-se permitir fazê-lo pelo menos de uma forma simples, que mais tarde no projecto será convertido num editor real. Assim como o motor de pesquisa também nesta fase inicial é ainda um motor simples que ainda não efectua pesquisas a nível da informação contida nas pautas em MusicXML. A aplicação foi desenvolvida seguindo o modelo iterativo e incremental. Em geral os objectivos para a aplicação web no presente estágio consistem em permitir: Adicionar partituras ao sistema, com reconhecimento e conversão para MusicXML integrados na aplicação web; Fazer toda a gestão da informação do sistema: utilizadores, partituras, autores, instrumentos, entre outros. E permitir a navegação por entre toda essa informação; Manter um arquivo de partituras navegável, guardando a sua forma original assim como a forma digital obtida através do reconhecimento óptico; Pesquisar por entre toda a informação no sistema; Editar as pautas submetidas assim como as existentes de forma textual, e uma vez que a sua visualização está dependente do editor, a visualização também é textual. 1.4 Organização e Temas Abordados no Presente Relatório O presente documento encontra-se dividido em sete capítulos que descrevem o projecto assim como a parte desenvolvida durante o estágio. E também por um conjunto de anexos com informação complementar que de uma forma ou outra ajudam a melhor compreender o problema e o trabalho realizado. Após este capítulo introdutório, no Capítulo 2, Análise do Problema, apresenta-se o problema em detalhe, num contexto geral. E no final é indicado o plano de trabalhos do estágio. No Capítulo 3, Revisão Tecnológica, analisa-se o estado da arte, fazendo uma análise crítica sobre as soluções existentes ou semelhantes, e suas lacunas. Segue-se também uma análise crítica sobre as possíveis tecnologias a usar na implementação do sistema. No Capítulo 4, Especificação, descreve-se os vários tipos de requisitos da solução a implementar. No Capítulo 5, Desenvolvimento da Aplicação, começa-se por justificar as tecnologias adoptadas. De seguida é efectuada uma descrição pormenorizada da solução desenvolvida, na qual se refere os vários aspectos e detalhes do modelo de dados e da interface. No Capítulo 6, Avaliação de Resultados, faz-se uma análise e discussão sobre os resultados obtidos. 7

16 No Capítulo 7, Conclusões e Perspectivas de Trabalho Futuro, tiram-se conclusões acerca do trabalho desenvolvido, perspectivas futuras e algumas considerações pessoais. 1.5 Contribuições deste Projecto e Publicações Relacionadas Resume-se de seguida as contribuições deste projecto para a preservação da nossa herança cultural e o acesso generalizado à mesma: Preenche a lacuna do reconhecimento óptico de pautas musicais manuscritas em notação standard; Não dá atenção apenas ao reconhecimento óptico, mas sim a uma solução de OMR completa e livre, disponível online, que inclui de uma forma integrada o armazenamento das obras musicais, facilidades de gestão de todo o arquivo e as facilidades necessárias para efectuar a submissão e reconhecimento das partituras; Guarda as pautas digitalizadas em MusicXML, um formato recente e em expansão; Permite a construção de todo um corpus, a sua preservação e estudo, e também a sua manipulação permitindo a extracção de partes, entre outros. O trabalho relacionado com este projecto resultou já na aceitação para publicação do artigo A Shortest Path Approach for Staff Line Detection, Ana Rebelo, Artur Capela, J. F. Pinto da Costa, C. Guedes, E. Carrapatoso, Jaime S. Cardoso, na International Conference on Automated Production of Cross Media Content for Multi-channel Distribution (AxMedis 2007) e na submissão para publicação do artigo Automatic Recognition System for Handwritten Music Scores, Artur Capela, E. Carrapatoso, Jaime S. Cardoso, na IASTED International Conference EuroIMSA

17 2 Análise do Problema Neste capítulo é feita a apresentação do problema num contexto global, dizendo quais são os pressupostos, o que se espera obter e os sub-problemas em que se pode desdobrar. São também apresentados alguns conceitos fundamentais para uma melhor compreensão do problema e do projecto. No final é apresentado o plano de trabalhos do estágio. 2.1 Conceitos Fundamentais Para melhor se compreender o âmbito do projecto em estudo, existe um conjunto de tópicos referentes às obras musicais, que são pertinentes apresentar. Cada um desses tópicos encontrase numa subsecção própria Organização de uma Obra Musical As partituras alvo deste projecto no geral estão organizadas da seguinte forma: encontram-se escritas com todas as partes, ou seja, todos os instrumentos numa só secção ao mesmo tempo. Podemos ter, por exemplo, uma peça escrita para piano, violino e violoncelo, e todas essas 3 partes estarem escritas na mesma folha de pauta em conjunto. No entanto, é possível que se tenha uma obra separada em várias secções, como é costume acontecer em alguns estilos de música. Ou seja, é possível ter uma pauta completa só para um dado instrumento e outra em separado para um outro instrumento dessa mesma peça, por exemplo. Por outras palavras, teríamos essa obra separada em 2 secções ao invés de se ter os instrumentos todos em conjunto numa só partitura. Devido a esta possibilidade, e com vista a tornar o sistema o mais flexível possível, é de todo o interesse que o mesmo permita submeter obras musicais com uma ou mais secções, cobrindo os vários casos possíveis Símbolos a Reconhecer O ideal para o sistema a desenvolver seria o reconhecimento de toda a notação musical, tal como um músico real reconheceria. E mesmo assim, em geral, um músico não reconhece todos os tipos de notação musical existente. A notação musical é largamente vasta, considerando todas as possibilidades existentes e as suas variações ao longo dos tempos. Conseguir ter um sistema a reconhecer todas as possibilidades, como um Ser Humano, seria algo extremamente complexo e talvez de momento impraticável. Algo desta complexidade requer estudos longos de vários anos, existindo inclusivé diversos investigadores nesta área a realizar trabalho há longos anos e ainda não existem soluções de OMR ideais. No entanto, mesmo sem considerar todas as variantes, o problema é já uma tarefa bastante complexa, principalmente considerando que se trata de notação manuscrita, o que traz uma série de dificuldades acrescidas devido às variações na notação de cada pessoa ao escrever os mesmos símbolos. Existe ainda o problema de que, considerando todas as possibilidades existentes, diversos símbolos podem ser confundidos entre si devido à sua semelhança, principalmente sendo manuscrito devido a linhas demasiado juntas ou separadas, entre outros problemas. Também, em certos casos, podem aparecer símbolos mais complexos na partitura, os quais se podem comparar a uma estrutura de dados no sentido de que são um todo mais 9

18 complexo e portanto complicado de reconhecer, como por exemplo as cifras de música de guitarra, que são um diagrama que representa as posições onde marcar as notas no instrumento. Devido aos problemas enunciados e aos objectivos deste sistema, é necessário fazer uma selecção mais específica do problema a resolver, ou seja, seleccionar quais os símbolos que deverão ser tratados pela aplicação de OMR do projecto. Em primeiro lugar esta aplicação irá reconhecer notação standard. Logo, variantes históricas de tipos de notação específica não serão tratados, assim como por exemplo, a notação de bateria, para a qual não existe sequer um standard global, aparecendo com diversas variações consoante os autores e publicações. As tablaturas também não serão reconhecidas, até porque é algo específico de certos instrumentos e não geral. Para além disso uma tablatura é um conceito diferente, não é uma partitura propriamente dita. Seria também complicado visto que se teria de reconhecer números e seria uma segunda pauta com número de linhas variável consoante o instrumento (e.g. 6 para guitarra e 4 ou 5 ou 6 para baixo) o que provavelmente traria confusão para o reconhecimento. O espaçamento entre as linhas também é geralmente variável. Essas notações não fazem parte do corpus que este projecto tem como objectivo preservar e reconhecer para armazenar em MusicXML. No entanto o sistema pode conter vários módulos de OMR para além do que é alvo de estudo neste projecto. Apresenta-se de seguida os símbolos a serem reconhecidos, agrupados em várias tabelas contendo imagens exemplificativas. É preciso ter também em conta que alguns têm mais do que uma forma, como é o caso de uma colcheia solitária ou se estiver agrupada com outra(s). Símbolo Exemplos Clave de Sol Clave de Dó Clave de Fá Tabela 1 Claves Símbolo Exemplos Nenhum Sustenidos Bemóis Tabela 2 - Armadura de clave 10

19 Símbolo Exemplos Símbolo Exemplos Semibreve Pausa de Fusa Pausa de Semibreve Semifusa Mínima Pausa de Semifusa Pausa de Mínima Figura com ponto(s) Semínima Nota com sustenido Pausa de Semínima Colcheia Nota com duplo sustenido Nota com bemol Pausa de Colcheia Nota com duplo bemol Semicolcheia Nota com bequadro Pausa de Semicolcheia Acordes Fusa Quiálteras Tabela 3 - Notas e pausas 11

20 Símbolos Exemplos Pauta Linhas e espaços suplementares Linha de compasso Linha de compasso dupla Barra final Marcas de repetição Chaves de volta Tremolo Simile Tabela 4 - Linhas de repetições Símbolos Exemplos Fórmula de compasso Tempo 4/4 Tempo 2/2 Tabela 5 - Fórmula de compasso Símbolos Exemplos Ligadura Legato Tabela 6 - Articulações Em relação às claves é necessário considerar também a sua posição relativamente às linhas de pauta. Com base nisso sabe-se então as notas de cada linha da pauta (ainda sem considerar a tonalidade) a partir da linha onde a clave começa, pois a mesma clave pode começar em linhas diferentes em certos casos. A armadura de clave representa a tonalidade da peça. O reconhecimento das tonalidades é fundamental pois, para além de ser necessário saber as notas que cada linha e espaço 12