PONTIFÍCIA UNIVERSIDADE CATÓLICA DO PARANÁ ESCOLA POLITÉCNICA ENGENHARIA DE COMPUTAÇÃO !!!! PROJETO FÍSICO REVISADO BEAT TRACKER CURITIBA 2014

Transcrição

1 PONTIFÍCIA UNIVERSIDADE CATÓLICA DO PARANÁ ESCOLA POLITÉCNICA ENGENHARIA DE COMPUTAÇÃO PROJETO FÍSICO REVISADO BEAT TRACKER CURITIBA 2014

2 PAULO RICARDO LOPES DE FARIA RONALD CAMPANARI PROJETO FÍSICO REVISADO BEAT TRACKER Projeto físico revisado realizado como requisito de avaliação parcial referente ao 1º Bimestre da disciplina de Projeto Final II, 10º Período, do curso de Engenharia de Computação da Pontifícia Universidade Católica do Paraná. Prof. Luiz Augusto Lima Orientador: Alessandro Koerich CURITIBA 2014

3 Sumário 1. Resumo 1 2. Introdução 2 3. Detalhamento do Projeto Core Audio Core MIDI 8 4. Algoritmo Sistema de arquivos Suavização Diferenciação Filtro Comb Midi Cronograma Teste e Validação Abertura dos arquivos de áudio com o Live Beat Tracker Conexão do Live Beat Tracker com o Ableton Live Mapear mensagens MIDI com o Ableton Live Funcionamento geral do sistema Riscos Latência Complexidade da Execução Musical Inabilidade de interpretação das mensagens MIDI pela DAW Conclusão Referências 24

4 1. Resumo Atualmente existem certas restrições técnicas relacionadas ao acompanhamento musical computadorizado em apresentações ao vivo. Tais restrições obrigam o músico a acompanhar o computador tirando parte de sua liberdade criativa durante a execução. O objetivo do projeto é reverter esse paradigma. O Beat Tracker é um software de áudio capaz de detectar o andamento em que um baterista toca em tempo real e enviar mensagens MIDI para uma DAW (Digital Audio Workstation). A DAW, por sua vez, pode utilizar o andamento em que o baterista toca e controlar samples em sincronia com a música, devolvendo a espontaneidade da execução. As tecnologias utilizadas no desenvolvimento serão os frameworks proprietários da Apple, Core Audio e Core MIDI. Um dos motivos da seleção de tais frameworks é a popularidade da plataforma Mac no acompanhamento musical computadorizado. A flexibilidade no momento da integração do software com as DAWs é outra grande vantagem da utilização do Core Audio e Core MIDI. 1

5 2. Introdução Atualmente a tecnologia se faz muito presente no mundo musical. Muitos artistas utilizam softwares de áudio durante apresentações ao vivo para complementar a execução dos músicos. Porém, quando isso acontece, os músicos têm de entrar em sincronia com o software, para que o andamento dos músicos e do software não entre em conflito. Hoje em dia, os músicos são obrigados a acompanhar um andamento prédefinido pelo software. Geralmente o baterista escuta em seu fone de ouvido o andamento da música através de um metrônomo e acompanha a batida. O problema é que o baterista fica preso a um tempo pré-definido, impossibilitando improvisos e tirando parte da espontaneidade da apresentação. A proposta do projeto é inverter tal paradigma, fazendo com que o software acompanhe os músicos e não o contrário. O objetivo é desenvolver um software que seja capaz de receber entradas de áudio provenientes dos instrumentos dos músicos em tempo real, detectar o andamento em que os músicos estão tocando e enviar mensagens de controle MIDI contendo o andamento detectado para uma DAW. O público-alvo do projeto será todo músico ou produtor musical que utiliza acompanhamento via software em concertos ao vivo. Trata-se de um projeto independente e a intenção é possivelmente montar uma startup baseada no produto do projeto. Na seção Problema, detalharemos o problema e salientaremos seus aspectos tecnológicos mais importantes. Partiremos do surgimento das DAWs. Explicaremos brevemente o fluxo de trabalho das DAWs e a vantagem da quantização na manipulação de áudio no contexto musical. Após isso, indicaremos os efeitos colaterais do uso do metrônomo e como é possível escapar de tais restrições no momento da gravação. Por fim, esclareceremos a dificuldade de transportar a solução atual do contexto estático da gravação para o contexto dinâmico da performance ao vivo. A seção seguinte, Estado da Arte, refere-se à analise efetuada sobre as atuais soluções para o problema e a indicação da melhor solução baseada na pesquisa efetuada pela equipe. Iniciaremos a seção discorrendo sobre os primórdios da extração de características musicais até chegarmos às avaliações oficiais dos algoritmos atuais. Após isso, discutiremos brevemente sobre duas implementações comerciais e suas vantagens e desvantagens. Na seção Detalhamento do Projeto descreveremos os frameworks que utilizaremos no desenvolvimento do Beat Tracker. Entraremos em mais detalhes especificamente sobre o Core Audio e Core MIDI, que serão as bibliotecas utilizadas na integração do software com o sistema operacional, dispositivos de áudio e as DAWs. 2

6 Em seguida, discorreremos sobre o Algoritmo. Ilustraremos a arquitetura do algoritmo através de um diagrama de fluxo de dados. Também relataremos o algoritmo que será utilizado para a detecção do andamento. Posteriormente nos referiremos à seção Teste e Validação, onde será descrita cada etapa de teste e os procedimentos de validação de cada uma delas. Além disso, discorreremos sobre as dependências de cada etapa e a integração geral do sistema. Na seção de Riscos serão listados os possíveis riscos e como podemos contornálos ou diminuir seus impactos no sistema como um todo. Descreveremos cada um deles em detalhe, indicando a particularidade de cada risco. Em seguida ilustraremos nosso Cronograma e como iremos subdividir as tarefas ao longo do tempo. Apontaremos as tarefas de maior prioridade e as dependências entre todas tarefas. Por fim, concederemos nossa Conclusão sobre o planejamento inicial do Beat Tracker, nossa visão sobre todo o processo e as consequências e contribuições que esperamos nascer deste projeto. 3

7 3. Detalhamento do Projeto Como apontado anteriormente nosso projeto se concentrará no baterista. Para adquirirmos os sons provenientes da execução do baterista em tempo real precisaremos de microfones e uma interface de áudio para converter os sons analógicos para um formato digital que, por fim, será utilizado pelo Beat Tracker em sua análise. Já que será necessário capturar o áudio da bateria através de uma interface, a utilizaremos também para reprodução do áudio capturado, além de qualquer acompanhamento digital. A figura abaixo ilustra o relacionamento geral entre os dispositivos utilizados no projeto. Tal configuração é bem próxima da configuração usualmente utilizada em concertos ao vivo. Figura 1 Esquema geral do Projeto O Beat Tracker funcionará como um software standalone, ou seja, não necessitará de outro software para executar seu processamento, porém deverá comunicar-se com uma DAW através de mensagens MIDI. Abaixo segue outra figura explicando de forma mais detalhada o fluxo de áudio tanto analógico quanto digital e as mensagens MIDI enviadas pelo Beat Tracker. Figura 2 Troca de Sinais e Mensagens 4

8 Os microfones funcionarão como o módulo de captação analógica. Serão posicionados 7 microfones em determinados elementos percussivos da bateria. Mais especificamente serão: 1 Microfone Shure SM57 para a caixa 1 Microfone Shure PG52 para o bumbo 3 Microfones Shure PG56, um para cada tom e um para o surdo 2 Microfones Shure PG81, um para o chimbau e um para o prato de ataque Cada um dos microfones será conectado à interface de áudio Focusrite Scarlett 18i20, que funcionará como o módulo de pré-amplificação dos microfones e conversão AD. A interface também se conectará a um par de monitores de áudio M3-6 da M-Audio. A interface se comunicará com um laptop MacBook Pro Retina através de uma conexão USB 2.0. O MacBook Pro Retina utilizará a plataforma Mac OS X Mavericks e será o anfitrião dos dois softwares utilizados no sistema; O Beat Tracker, o software que desenvolveremos durante nosso projeto, e a DAW Ableton Live 9, que receberá as mensagens MIDI do Beat Tracker e modificará seu andamento adequadamente. O Beat Tracker será desenvolvido utilizando a linguagem Objective C e o framework Cocoa (biblioteca de desenvolvimento nativa do Mac OS X). A razão de tal escolha é a performance e a grande popularidade da plataforma Mac no mundo musical. Para comunicarmos com a interface de áudio utilizaremos o framework Core Audio, que também possui acesso nativo a abstrações de hardware do próprio sistema operacional. Para comunicarmos com o Ableton Live, utilizaremos o framework Core MIDI, que está embutido dentro da própria biblioteca Core Audio. O Beat Tracker, na realidade, não se comunicará diretamente com a DAW. O Beat Tracker enviará mensagens MIDI para o sistema operacional, que, por sua vez, repassará essas mensagens para o Ableton Live. Como nossa proposta desde o início consistia no desenvolvimento de um software, nossas decisões se resumiam em uma plataforma alvo e um framework de desenvolvimento. Durante nossa pesquisa inicial, foi possível perceber a popularidade de certos ambientes, como o MATLAB e o Max/MSP. A vantagem destes ambientes é facilidade de desenvolvimento, porém sua desvantagem está na integração com as DAWs e performance. Como o objetivo deste projeto é a criação de um software com potencial comercial, optamos por desenvolver o Beat Tracker na plataforma mais popular no contexto musical atual, ou seja o sistema operacional Mac OS X. O Mac OS X oferece o framework Cocoa para desenvolvimento de aplicações nativas e os frameworks Core Audio e Core MIDI para a manipulação de áudio e 5

9 mensagens MIDI respectivamente. Ambos frameworks são poderosos e oferecem possibilidades bem interessantes Core Audio Core Audio é uma API de baixo nível para o uso em aplicações de áudio. Foi construída para lidar com múltiplos canais de áudio digital com alta taxa de bits de ponto flutuante e permitir acesso à dispositivos de áudio USB com baixa latência. O framework do Core Audio foi construído em módulos para facilitar a utilização de suas funcionalidades. Segue abaixo uma figura que ilustra essa característica [2][3]. Figura 3 Camadas em blocos A construção em módulos foi inspirada na própria disposição dos dispositivos físicos utilizados na época em que o gravações e reproduções de áudio eram efetuadas de forma analógica. A figura abaixo ilustra como se conectavam os módulos analógicos. 6

10 Figura 4 Funcionamento antigo de monitoramento de áudio Seguindo a analogia dos dispositivos analógicos o Core Audio foi modelado para emular cada um desses módulos. Segue abaixo uma ilustração do sistema digital equivalente implementado através do Core Audio. Figura 5 Funcionamento atual de monitoramento de áudio Os módulos do Core Audio podem ser categorizados em três níveis de abstração. O Beat Tracker irá utilizar módulos das duas camadas inferiores, mais especificamente o módulo Core MIDI, que é tão particular que é considerado como uma própria API dentro do Core Audio, o módulo Audio HAL, que se trata da camada de abstração de hardware e 7

11 será utilizado para realizar os acessos à interface de audio USB, e por fim, o módulo Audio Unit Services, que será o coração do Beat Tracker e é onde será implementado de fato os algoritmos de detecção de andamento. A figura abaixo representa os módulos do Core Audio classificados em categorias de acordo com seu nível de abstração Core MIDI Figura 6 Camadas distribuídas em níveis Core MIDI é o módulo do Core Audio construído para se trabalhar com o protocolo MIDI. Core Midi possibilita aplicações se comunicarem com dispositivos MIDI como teclados e guitarras. Sinais de dispositivos MIDI podem ser armazenados como dados MIDI ou utilizados para controlar um instrumento virtual. Aplicações também podem enviar mensagens MIDI para outros dispositivos, incluindo dispositivos virtuais que podem ser utilizados para a comunicação com outros softwares capazes de entender mensagens MIDI, inclusive, é assim que utilizaremos o Core MIDI no nosso projeto [4]. O Core MIDI usa abstrações para representar dispositivos MIDI e imitar conexões MIDI via cabos comuns (MIDI in, MIDI Out, MIDI Thru) e ainda assim prover entrada e saída de baixa latência. O Core MIDI se comunica com o MIDI Server, que é basicamente um processo à parte que executa como parte do sistema operacional. O Midi Server é quem, por sua vez, se comunica com os dispositivos MIDI, tanto reais quanto virtuais. A figura abaixo ilustra tal processo. 8

12 Figura 7 Comunicação do Core MIDI com o MIDI Server A vantagem desta abstração do Core Audio é que o MIDI Server pode ser utilizado para controlar uma DAW em outro computador utilizando conexões MIDI físicas. A aplicação não precisa se importar com drivers, ou se a conexão é USB, FireWire ou PCI, pois o sistema operacional cuida de tudo isso através do MIDI Server. Segue abaixo a ilustração desta abstração. Figura 8 Camadas da abstração do core MIDI 9

13 4. Algoritmo Embora o algoritmo que será utilizado envolva muitos cálculos, ele basicamente se resume em enfatizar os impulsos repentinos de som e encontrar o período fundamental em que esses impulsos aparecem. Isto é feito ao se dividir o sinal em faixas de frequência, extrair a envoltória destes sinais, diferenciar tais envoltórias para enfatizar mudanças repentinas no som, e passar os sinais processados por um banco de filtros comb e escolher o resultado de maior energia como o tempo da execução musical [1]. Figura 9 Diagrama de Fluxo de Dados do Algoritmo 10

14 4.1. Sistema de arquivos O sistema de arquivos será responsável por carregar os arquivos de áudio de cada elemento percussivo da bateria. Cada arquivo representará um microfone que estará acoplado na bateria para captar seu sinal de áudio Suavização Tendo o sinal no domínio do tempo, precisamos reduzi-lo em um formato em que possamos enxergar mudanças repentinas no som. Isto é feito ao se reduzir o sinal em sua envoltória, que pode ser imaginada como a tendência geral do som em sua amplitude. Basicamente, nós aplicamos um filtro passa-baixa nos sinais de entrada. Primeiramente nós aplicamos uma retificação de onda completa nos sinais para que o conteúdo em alta frequência seja diminuído e para que tenhamos que lidar somente com o lado positivo da envoltória que estamos buscando. Então, convoluímos cada sinal com a metade direita de uma janela de Hanning com uma duração de 400 milissegundos. Novamente convertemos o sinal para o domínio da frequência, executamos o cálculo e aplicamos a transformada inversa para voltarmos ao domínio do tempo Diferenciação Agora que temos a envoltória dos sinais, podemos simplesmente diferencia-los para acentuar suas mudanças bruscas de amplitude. As maiores mudanças devem corresponder a batidas, já que a batida é uma ênfase periódica no som. Os seis sinais são diferenciados no tempo e então passam por uma retificação de meia-onda, para que possamos ver somente crescimentos no som. Os sinais agora estão prontos para passarem pela análise de andamento Filtro Comb Esta etapa é a mais intensiva computacionalmente. Precisamos convoluir os sinais diferenciados com vários filtros comb para determinar qual deles produzem maior energia. Um filtro comb é basicamente uma série de impulsos que ocorrem periodicamente num andamento especificado. Ao convoluir-se um filtro comb de três impulsos com o sinal diferenciado deve-se produzir uma saída que tenha maior energia quando o andamento do filtro comb está perto de um múltiplo do andamento da música. Implementamos o filtro comb especificando andamentos que gostaríamos de encontrar e a resolução ou espaçamento entre eles. Isto estabeleceu um conjunto de filtros comb para convoluírmos com nossos sinais. A FFT de cada sinal é multiplicada pela FFT de cada filtro comb e a energia de cada um deles é tomada. Então as energias das faixas de frequência são somadas para que fiquemos com um vetor de energias de andamentos. Esta saída tem a forma de um pico no andamento fundamental da música 11

15 seguido por menores e mais largos picos nos valores múltiplos desse andamento. Por fim selecionamos o valor máximo dessas energias como o andamento fundamental da execução Midi Após extraído o andamento a próxima etapa é simplesmente converter o valor do andamento em uma mensagem MIDI e enviá-la para o sistema operacional para que o sistema possa repassar a mensagem MIDI para DAW. 12

16 5. Cronograma Nessa etapa do projeto não conseguimos executar o desenvolvimento do algoritmo de rastreamento de andamento, nos deixando com um mês de atraso no projeto. Tomaremos as medidas necessárias para que o projeto se ajuste ao novo cronograma e que seja finalizado em seu tempo definido. 13

17 6. Teste e Validação O teste consistirá no uso de arquivos representando as entradas da bateria. O sistema deve ser capaz de executar os arquivos e controlar a DAW através de mensagens MIDI. Durante o procedimento geral dos testes utilizaremos um Apple MacBook Pro Retina rodando o sistema operacional Mac OS X Mavericks e os softwares Beat Tracker e Ableton Live 9. Para que o sistema funcione por completo, as etapas abaixo deverão ser seguidas cronologicamente e, após cada uma realizada, serão feitos testes para comprovar o pleno funcionamento de cada etapa Abertura dos arquivos de áudio com o Live Beat Tracker 1) Executar o software Live Beat Tracker 2) Selecionar arquivos de áudio referentes às peças da bateria 14

18 3) Verificar se o Beat Tracker indica que os arquivos foram carregados Conexão do Live Beat Tracker com o Ableton Live 1) Certificar que o Live Beat Tracker está em execução 2) Executar o Ableton Live 3) Verificar se o software detecta a interface virtual MIDI criada pelo Live Beat Tracker 4) Configurar a entrada MIDI da interface virtual no Ableton Live 5) Verificar se o Ableton Live recebe corretamente sinais MIDI enviados pelo Beat Tracker. 15

19 A luz amarela indicada pela seta demonstra que o Ableton Live está recebendo os sinais MIDI 6.3. Mapear mensagens MIDI com o Ableton Live 1) Certificar que o Ableton Live está em execução 2) Selecionar o botão de mapeamento MIDI Os elementos da interface que suportam controle através de mensagens MIDI ficarão azuis 3) Selecionar o botão Play do Ableton Live 4) Selecionar à opção Start Beat Tracking no Live Beat Tracker 5) Certificar que o Ableton Live recebeu o mapeamento (mensagem de play) 6) Selecionar o botão de Stop do Ableton Live 16

20 7) Selecionar à opção Stop Beat Tracking no Live Beat Tracker 8) Certificar que o Ableton Live recebeu o mapeamento (mensagem de stop) 9) Selecionar andamento no Ableton Live 10) Variar o slider de controle de andamento do Live Beat Tracker 11) Certificar que o Ableton Live recebeu o mapeamento (mensagem definindo o andamento) 17

21 12) Selecionar valor mínimo do andamento no Ableton Live 13) Selecionar valor máximo do andamento no Ableton Live 14) Selecionar botão MIDI para desabilitar mapeamento 18

22 6.4. Funcionamento geral do sistema 1) Certificar que o software Live Beat Tracker está em execução e os arquivos estão carregados 2) Selecionar o Start Beat Tracking 3) Certificar que o áudio está sendo executado através do Live Beat Tracker e que o Ableton Live também iniciou sua execução 19

23 4) Variar slider de andamento do Live Beat Tracker 5) Certificar que Ableton Live variou seu andamento de acordo com o andamento selecionado no Live Beat Tracker 6) Selecionar à opção Stop Beat Tracking no Live Beat Tracker 7) Verificar que o Ableton Live parou sua execução 20

24 7. Riscos As três principais categorias de riscos que podem afetar o projeto são: a latência do sistema, a complexidade da execução musical e a inabilidade de interpretação das mensagens MIDI pela DAW. Cada risco é explicado em mais detalhes abaixo Latência Latência é o atraso temporal entre o momento de entrada e saída de um módulo do sistema. O sistema pode apresentar as seguintes latências: Latência da interface de áudio Latência do sistema operacional Latência do Beat Tracker Se a latência geral do sistema for muito alta o sistema deixa de funcionar em tempo-real e torna-se inutilizável. Probabilidade: Alta, devido a estarmos trabalhando com tempo-real. Impacto: Alto, Atraso causaria falta de sincronia entre músico e reprodução eletrônica. Severidade: Alta. Uma latência muito alta inviabilizaria totalmente o projeto. Ações para redução: Ajustar offsets na DAW e otimizar o máximo o algoritmo. Ações de contingência: Testes prévios com o protótipo ja funcionando para saber a real latência do algoritmo, para quando estiver finalizado termos coberto o máximo de latência possível Complexidade da Execução Musical O algoritmo pode não detectar o andamento em execuções muito complexas. Devido à complexidade do problema em geral, as chances deste risco tornar-se real são praticamente certas. Ou seja, pelo menos inicialmente, o software se limitaria ao rastreamento de andamentos mais simples. Probabilidade: Alta, já que não podemos restringir músicos a tocarem sempre execuções pouco complexas. Impacto: Alto, Atraso causaria falta de sincronia entre músico e reprodução eletrônica. Severidade: Alta. Um leitura incorreta do andamento inviabilizaria totalmente o projeto. Ações para redução: Visto que o algoritmo não esta detectando a execução, sendo esta muito complexa, diminuir um pouco o ritmo recolocaria o algoritmo em sintonia. Ações de contingência: Começar testes menos complexos assim que o sistema estiver pronto para receber as execuções, para consertarmos bem antes do Beat Tracker ser público. 21

25 7.3. Inabilidade de interpretação das mensagens MIDI pela DAW A DAW pode não conseguir interpretar corretamente as variações no andamento. Já foram efetuadas provas de conceito por pesquisadores utilizando a DAW Ableton Live, portanto, este risco existe, porém, é mínimo e definitivamente solucionável. Probabilidade: Baixa, já que existem soluções que utilizam desse recurso. Impacto: Alto, DAW não receberia informações do andamento. Severidade: Alta, Pois sem comunicação entre o software e a DAW o sistema se torna inútil. Ações para redução: Implementar à risca o protocolo de comunicação MIDI Ações de contingência: Testar comunicação MIDI entre o software e a DAW extensivamente, para se obter a certeza de que a comunicação funciona. 22

26 8. Conclusão A maior dificuldade foi na hora de fazer sincronização MIDI com a DAW, pois existe um protocolo de sincronização MIDI (MIDI clock), só que a resolução ficava baixa e variava muito. Existe claro uma dependência de um timer que não estava sendo muito preciso e variava também, consequentemente o BPM variava também. Foi feita uma conversão de escala para envio de mensagem, onde utilizamos uma mensagem maior (14 bits) para estabelecer esse pacote de comunicação. Para fazer isto foi feita uma divisão em duas mensagens de 7 bits, usando uma máscara AND para limpar os 7 a direita da mensagem, com os mais significativos e os 7 a esquerda da mensagem com os menos significativos. Com isso obteve-se uma resolução de 0,

27 9. Referências [1] CHENG, Kileen. Et al. A Beat Synchronization Project. Disponível em: < Acessado em: 30 Mai [2] Core Audio Overview. Disponível em: < documentation/musicaudio/conceptual/coreaudiooverview/coreaudiooverview.pdf>. Acessado em: 22 Abr [3] Core Audio Reference. Disponível em: < CACoreAudioReference/CACoreAudioReference.pdf>. Acessado em: 22 Abr [4] Core Midi Reference. Disponível em: < CACoreMIDIRef/CACoreMIDIRef.pdf>. Acessado em: 22 Abr [6] Learning Core Audio: A Hands-On Guide to Audio Programming for Mac and ios Sample. Disponível em: < pdf>. Acessado em: 22 Abr [7] ROBERT, What Does Rubato Mean? Playing Rubato. Disponível em: < Acessado em: 02 Abr [8] ROBERTSON, Andrew. B-Keeper. Disponível em: < Acessado em: 02 Abr [9] LARGE, Edward. InTime. Disponível em: < Acessado em: 03 Abr [10] DOWNIE, J. Stephen. MIREX 2013 Evaluation Results. Disponível em: < Acessado em: 10 Abr