Processamento de áudio em tempo real em dispositivos computacionais de alta disponibilidade e baixo custo

Tamanho: px

Começar a partir da página:

Download "Processamento de áudio em tempo real em dispositivos computacionais de alta disponibilidade e baixo custo"

Anderson Arruda Eger
5 Há anos
Visualizações:

1 Processamento de áudio em tempo real em dispositivos computacionais de alta disponibilidade e baixo custo André J. Bianchi 21/10/ / 33

2 1 Introdução 2 Metodologia 3 Arduino 4 GPU 5 Android 6 Conclusão 2 / 33

3 Proposta de pesquisa x(t) f s = 1 T ADC f s = 1 T x(n) y(n) y(t) DSP DAC Objetivo: Avaliação do desempenho de diferentes dispositivos computacionais para processamento de áudio em tempo real. 3 / 33

4 Metodologia desenvolvida Passos preliminares: Identificação de modelos computacionais. Escolha de dispositivos. Escolha de algoritmos de processamento em tempo real. Métricas e métodos para avaliação de desempenho. Experimentação: Entrada, saída e agendamento. Testes e resultados. Análise. 4 / 33

5 Identificação de modelos computacionais de interesse Critérios gerais: Baixo custo e alta disponibilidade. Licenças de uso. Expressão computacional. Critérios musicais : Entrada e saída de áudio. Sensores. Mobilidade. 5 / 33

6 Escolha de modelos computacionais e dispositivos Microcontroladores: Arduino. Processadores paralelos: Placas GPU. Dispositivos móveis: Sistema operacional Android. 6 / 33

7 Escolha de algoritmos de processamento em tempo real Transformada Rápida de Fourier (FFT): { Ek + e 2πi N k O k se k < N 2 X (k) = E k N + e 2πi N (k N 2 ) O 2 k N se k N 2 2 Convolução no domínio do tempo: w = x h w r = N 1 m=0 x m h r m W k = X k H k. Síntese aditiva: y(n) = K ( ) 2πfk n r k (n) sin, n 0. R k=1 Phase Vocoder: FFT + Síntese aditiva. 7 / 33

8 Métricas e métodos para avaliação de desempenho Parâmetros determinantes da complexidade computacional: Tamanho do bloco (período em amostras). Parâmetros específicos de cada algoritmo. Métricas de avaliação: Tempo de processamento de um bloco de amostras. Instância máxima viável em tempo real. 8 / 33

9 Introduc a o Metodologia Arduino GPU Android Conclusa o Arduino Microcontrolador Atmel AVR ATmega328P: CPU RISC, 16 MHz, 8 bits. 2 KB SRAM. Portas digitais com ADC e PWM. 9 / 33

10 Entrada e saída de áudio e agendamento (ATMega328P) Características gerais: ADC de 8 e 10 bits, até 80 KHz. PWM com 8 ou 16 bits. Agendamento por interrupção. Configurações dos testes: Entrada e saída de 8 bits. Frequência de operação: Hz. 10 / 33

11 Convolução no Arduino Tempo de sintese (ms) Tempo de sintese (ms) Convolucao no dominio do tempo (mult/div) Ordem do filtro Convolucao no dominio do tempo (bit-shifting var.) Ordem do filtro Tempo de sintese (ms) bloco de 32 amostras bloco de 64 amostras bloco de 128 amostras bloco de 256 amostras Convolucao no dominio do tempo (bit-shifting const.) Ordem do filtro 11 / 33

12 Síntese aditiva no Arduino bloco de 32 amostras bloco de 64 amostras bloco de 128 amostras Sintese Aditiva em Arduino (usando um loop) 5 Sintese Aditiva em Arduino (using inline code) 5 Tempo de sintese (ms) Numero de osciladores Tempo de sintese (ms) Numero de osciladores 12 / 33

13 FFT no Arduino (a 1953 Hz) FFT no Arduino (R=1953 Hz) Tempo de analise (ms) Tamanho do bloco de amostras fft usando sin() fft com consulta a tabela periodo teorico do ciclo DSP 13 / 33

14 Processamento de áudio em tempo real em Arduino Pontos importantes a serem observados: Configuração de relógios e pré-escalonadores. Escolha dos tipos (byte, unsigned long, int, float, etc). Uso de laços e condicionais. Consulta a variáveis e vetores. Restrição das instâncias dos algoritmos. 14 / 33

15 GPU: Graphics Processing Unit 15 / 33

16 Entrada, saída e agendamento na GPU Host GPU Host memory GPU memory INPUT Pd memcpy(dptr, hptr, n, hosttodevice) GPU cores Host memory Pd INPUT INPUT GPU memory INPUT GPU cores Time Host memory Pd Pd INPUT Host memory INPUT run_kernel(dptr, n) memcpy(hptr, dptr, n, devicetohost) Host memory OUTPUT Pd OUTPUT GPU memory XXXXXX GPU cores GPU memory OUTPUT GPU cores GPU memory OUTPUT GPU cores Entrada, saída e agendamento: Pure Data. Medição dos tempos de: Transferência de memória. Execução do programa. Total de ida e volta. 16 / 33

17 Modelos de placa e implementações GF100GL GTX275 GTX400 CUDA cores Memória RAM (MB) Banda de memória (GB/s) Implementações paralelas: Convolução. FFT (da API). Phase Vocoder (FFT + Síntese Aditiva). 17 / 33

18 Convolução na GPU 10 Tempo de convolucao - todas as placas 8 Duracao (s) ,37 0,74 1,48 2,97 Periodo do bloco (s) GTX275 GTX470 GF100GL restricao de tempo real 18 / 33

19 FFT na GPU 3 Tempo de roundtrip da FFT - GTX Duracao (s) ,37 0,74 1,48 2,97 Periodo do bloco (s) hospedeiro para dispositivo tempo de kernel dispositivo para hospedeiro roundtrip restricao de tempo real 3 Tempo de roundtrip da FFT - GTX470 3 Tempo de roundtrip da FFT - GF100GL Duracao (s) Duracao (s) ,37 0,74 1,48 2,97 Periodo do bloco (s) ,37 0,74 1,48 2,97 Periodo do bloco (s) 19 / 33

20 Síntese aditiva do Phase Vocoder na GPU 30 Tempo de sintese do PV - GTX Duracao (s) ,37 0,74 1,48 2,97 Periodo do bloco (s) 1. interpolacao cubica 2. interpolacao linear 3. consulta truncada 4. funcao seno 5. interpolacao de textura sem calculo restricao de tempo real Duracao (s) Tempo de sintese do PV - GTX470 Duracao (s) Tempo de sintese do PV - GF100GL ,37 0,74 1,48 2,97 Periodo do bloco (s)... 0,37 0,74 1,48 2,97 Periodo do bloco (s) 20 / 33

21 Processamento de áudio em tempo real em GPU Algumas conclusões: Modelos não profissionais podem valer a pena. Tempo de transferência e da FFT são similares. Cuidado com o uso de operações da GPU. 21 / 33

22 Processamento em tempo real em Android Kernel do Linux. Entrada de áudio: microfone, chamada, arquivo, rede, etc. Saída de áudio: 8 e 16 bits. Agendamento da API. 22 / 33

23 Aplicativo para Android e testes Cenário dos testes: Chamado com instruções. Envio dos resultados por aparelhos testados. 14 algoritmos em 2 fases. 23 / 33

24 FFT no Android (API 2) 180 Tempo de execucao da rotina DSP - Algoritmo FFT - API 2 (blocos maiores) Duration (ms) GT-I8150B XT320 LG-P698f (2) MK16i GT-P1000L MB860 Block size LG-P500h (1) GT-S5360L LG-P698f (1) GT-I9000B GT-S5360B Blade LG-P500h (2) Lenovo A750 GT-S5830i GT-I8530 R800i DSP period 24 / 33

25 FFT no Android (API 4) 180 Tempo de execucao da rotina DSP - Algoritmo FFT - API 4 (blocos maiores) Duration (ms) MZ607 Nexus 7 (1) GT-S7562 GT-I8190L GT-I9000B Nexus 4 Galaxy Nexus MB526 Transformer TF101 GT-I9300 (2) Block size GT-I9300 (3) LG-P990 ST25a Transformer Prime TF201 Nexus 7 (2) GT-I9300 (1) LT26i NB0026 DSP period 25 / 33

26 Convolução no Android (API 2) 250 Valor medio do tamanho maximo de bloco para convolucao em tempo real - API 2 Numero de amostras R800i GT-I8530 GT-S5830i Lenovo A750 LG-P500h (2) Blade GT-S5360B GT-I9000B LG-P698f (1) GT-S5360L LG-P500h (1) MB860 GT-P1000L MK16i LG-P698f (2) XT320 GT-I8150B 26 / 33

27 Convolução no Android (API 4) 250 Valor medio do tamanho maximo de bloco para convolucao em tempo real - API Numero de amostras NB0026 LT26i GT-I9300 (1) Nexus 7 (2) Transformer Prime TF201 ST25a LG-P990 GT-I9300 (3) GT-I9300 (2) Transformer TF101 MB526 Galaxy Nexus Nexus 4 GT-I9000B GT-I8190L GT-S7562 Nexus 7 (1) MZ / 33

28 Síntese aditiva no Android (API 2) 140 Valor medio do numero maximo de osciladores na Sintese Aditiva - API Numero de osciladores MB860 GT-P1000L MK16i LG-P698f (2) XT320 GT-I8150B Lenovo A750 LG-P500h (2) Blade GT-S5360B GT-I9000B LG-P698f (1) GT-S5360L LG-P500h (1) R800i GT-I8530 GT-S5830i Funcao sin() da API consulta truncada consulta c/ interpolacao linear consulta c/ interpolacao cubica 28 / 33

29 Síntese aditiva no Android (API 4) 140 Valor medio do numero maximo de osciladores na Sintese Aditiva - API Numero de osciladores Nexus 4 GT-I9000B GT-I8190L GT-S7562 Nexus 7 (1) MZ607 ST25a LG-P990 GT-I9300 (3) GT-I9300 (2) Transformer TF101 MB526 Galaxy Nexus NB0026 LT26i GT-I9300 (1) Nexus 7 (2) Transformer Prime TF201 Funcao sin() da API consulta truncada consulta c/ interpolacao linear consulta c/ interpolacao cubica 29 / 33

30 Processamento de áudio em tempo real em Android Pontos importantes a serem observados: Heterogeneidade de capacidade computacional. Versão da API influencia o desempenho. 30 / 33

31 Considerações finais A metodologia apresentada pode ser usada para avaliação de qualquer dispositivo computacional. Foram estudados modelos com possibilidades e restrições distintas. Foram evidenciadas as características e o desempenhode cada um para o processamento de áudio em tempo real. 31 / 33

32 Publicações e apresentações em congressos 2012: 2013: Bianchi (2012). Processamento de áudio em tempo real em sistemas Android. Terceiro Workshop em Música Ubíqua. Bianchi e Queiroz (2012a). Measuring the performance of realtime DSP using pure data and gpu. Proceedings of the International Computer Music Conference 2012, pp Bianchi e Queiroz (2012b). On the performance of real-time DSP on Android devices. Proceedings of the 9th Sound and Music Computing Conference, pp Bianchi e Queiroz (2013). Real time digital audio processing using Arduino. Proceedings of the Sound and Music Computing Conference 2013, pp Carvalho Jr, Rosan, Bianchi e Queiroz (2013). FFT benchmark on Android devices: Java versus JNI. Proceedings of the 14th Brazilian Symposium on Computer Music. (a ser publicado) 32 / 33

33 Fim! Obrigado pela atenção! Contato: Grupo de Computação Musical do IME/USP: Esta apresentação: 33 / 33

Documentos relacionados

Estudos de caso sobre processamento de áudio em tempo real em plataformas computacionais de alta disponibilidade e baixo custo

Estudos de caso sobre processamento de áudio em tempo real em plataformas computacionais de alta disponibilidade e baixo custo André J. Bianchi 8/5/213 Processamento de áudio em tempo real Algoritmos Arduino