Dispositivos Móveis como Instrumentos Musicais

Transcrição

1 Dispositivos Móveis como Instrumentos Musicais Roberto Piassi Passos Bodo Instituto de Matemática e Estatística Universidade de São Paulo 20 de Junho de 2012

2 História dos Instrumentos Musicais Órgão de tubos, séculos 6/7 (mais intensidade sonora) Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

3 História dos Instrumentos Musicais Sintetizadores, séculos 19/20 (novos timbres) Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

4 História dos Instrumentos Musicais Telharmonium, 1897 (fazer stream de áudio) Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

5 História dos Instrumentos Musicais Theremin, 1919 (novas interfaces) Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

6 História dos Instrumentos Musicais Pianola, final do século 19 (programação) Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

7 História dos Instrumentos Musicais Computador Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

8 História dos Instrumentos Musicais Dispositivos Móveis Imagem de Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

9 Classificação Tipo de instrumento? Eletrônico? Sim! Digital? Sim! Mas é de corda? De sopro? De percussão? De teclado? Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

10 Comparação Processamento? Em 1979, Fairlight CMI (Peter Gabriel, Herbie Hancock, Stevie Wonder, etc) foi construído com o processador Motorola 6800 de 8 bits e 1 MHz [1]. Memória? Em 1984, E-mu Emulator II (David Bowie, Dire Straits, Yes, etc) possuia 128kb de RAM [2]. Além da fácil mobilidade, esses dispositivos ainda possuem diversos sensores! Hum... está começando a ficar interessante! [1] [2] Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

11 Viabilidade As some of us have discovered very quickly, audio latency on Android is high. There have been some efforts showing that given the right software support, lower latencies are possible. The crucial point however is this: do we want to develop for a custom system? The answer, as far as I am concerned, is no. Victor Lazzarini - Department of Music - National University of Ireland, Maynooth Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

12 Viabilidade André Jucovsky Bianchi - Grupo de Computação Musical - IME-USP Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

13 MoMu MoMu: A Mobile Music Toolkit Autores: Nicholas J. Bryan, Jorge Herrera, Jieun Oh, Ge Wang Center for Computer Research in Music and Acoustics (CCRMA) - Stanford University Publicado na conferência NIME (New Interfaces for Musical Expression) em Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

14 MoMu toolkit com código aberto em C++ para iphone OS; foco em interação musical, ênfase em usabilidade; fornece acesso aos sensores como um servidor de recursos de única referência; ferramentas de áudio (FFT, filtros, etc); abstrações para paralelização e produção de telas. Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

15 MoAudio void < AudioCallback > (Float32 buffer, Uint32numFrames, void userdata) Encapsula o acesso à camada de áudio do iphone SDK (Remote I/O AudioUnit). Lida com entrada/saída, roteamento e computação de áudio em tempo real. Promente um canal de baixa latência e full-duplex. Concilia entre o alto-falante, o microfone onboard e um possível headset (com ou sem microfone). Possível utilização: entrada do microfone como bocal de instrumento de sopro. Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

16 MoTouch void < TouchCallback > (NSSet touchset, UIView view, conststd :: vector < UITouch > &touchvec, void userdata) Fornece acesso aos toques da tela (até 5 pontos de contato simultâneos). Podem ser obtidos em ordem cronológica, se necessário. Utiliza as classes UIResponder e UITouch. Possível utilização: mapear cada eixo em um parâmetro sonoro (intensidade, altura, timbre, etc) de forma contínua. Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

17 MoAccel void < AccelCallback > (doublex, doubley, doublez, void userdata) Fornece acesso ao acelerômetro de 3 eixos via polling ou por callback. Abstração do protocolo UIAccelerometerDelegate e da classe UIAccelerometer do SDK Possível utilização: os parâmetros podem ser utilizados em filtros adaptativos. Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

18 MoLocation/MoCompass void < LocationCallback > (CLLocation newloc, CLLocation oldloc, void userdata) void < CompassCallback > (CLHeading heading, void userdata) Encapsulamento do framework CoreLocation do ios. Fornece ao programador latitude, longitude, altitude, direção e velocidade. Possível utilização: ainda não explorada em instrumentos musicais. Porém... Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

19 Observações/Demonstração Temos mais possibilidades ainda com a utilização da rede e do sensor magnético, por exemplo. O toolkit foi implantado e avaliado pela MoPhO (Mobile Phone Orchestra) de Stanford. Vamos ver um vídeo de demonstração de 2:46? Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

20 Utilização/Aceitação Ainda Herbie Hancock, Lang Lang, etc. Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21

21 Dúvidas? Eu tenho uma dúvida! Quem acha que dispositivos móveis poderão ser utilizados como (ou até mesmo substituir) instrumentos musicais já conhecidos? Roberto Piassi Passos Bodo (IME-USP) Dispositivos Móveis como Instrumentos Musicais Junho / 21