Síntese granular de som Antonio Goulart Grupo de Computação Musical Instituto de Matemática e Estatística Universidade de São Paulo Artigos clássicos em computação musical Curtis Roads, 1978, CMJ - Granular synthesis of sound 20/03/2013 Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 1 / 25
Grãos Uma forma de onda modulada por um envelope curto (10 a 60ms) A idéia é juntar vários grãos de som para formar eventos acústicos maiores Analogia com dualidade partícula-onda da luz Constelações de unidades elementares de energia, limitadas no tempo e na frequência Combina informação no domínio do tempo com informação no domínio da frequência Início, duração, envelope, forma de onda Período da onda no grão, espectro da mesma Oposição as representações no nível da amostra, sem info no domínio da frequência Necessidade de muitos parâmetros Tipicamente, de 1000 a 6000 grãos por minuto Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 2 / 25
Beekman, 1616 / Gabor, 1947 Objetos vibrando cortam o fluido ao redor em corpúsculos que são projetados em todas as direções Quantum de som Qualquer som pode ser representado granularmente Helmholtz: audição bem representada por análise de Fourier Gabor: Fourier analysis is a timeless description in terms of exactly periodic waves of infine duration. On the other hand it is our most elementary experience that sound has a time pattern as well as a frequency pattern... A mathematical description is wanted which ab ovo takes acount of this duality. Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 3 / 25
A nova representação de Gabor Relaciona um sinal no domínio do tempo com um sinal no domínio da frequência Quantum acústico obtido mapeando energia de t em f Princípio da incerteza Ele nota que isso vai de acordo com os limites da audição do humano, que não é contínua, mas limitada por limiares de percepção Sugere que em uma janela curta no tempo (10-21 ms) a audição é capaz de registrar apenas uma sensação (um evento numa frequência específica) Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 4 / 25
Wiener concorda com Gabor...... e ambos discordam de Leibniz (XVIII), que dizia que tempo, espaço e matéria são infinatamente subdivisíveis Ele cita Planck : In light as in matter, there is a granular rather than a continuous texture. E observa que a física determinística de Newton vinha sendo suplantada pela mecânica estatística de Gibbs Mudança de paradigma ocorrendo pois as leis das magnitudes comuns não valem no intervalo das magnitudes muito pequenas. Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 5 / 25
Moles, informação e percepção Interessado em segmentar o espaço audível em pequenas unidades com o propósito de medir o conteúdo informacional de uma mensagem sonora Sistema auditivo divide pitch e loudness em quanta Então cada elemento sonoro pode ser representado por um quadrado elementar Estimou o poder do sistema em discernir pequenas diferenças em frequência e amplitude Because tresholds quantize the continua of pitch and loudness, the repertoire is limited to some 340000 elements Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 6 / 25
Moles, informação e percepção Elementos menores e mais densos no centro do domínio sonoro (audição mais precisa [accute]) Símbolos em uma mensagem sonora são combinações desses quadradinhos Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 7 / 25
Xenakis, grãos e composição Foi o primeiro a explicar uma teoria composicional para grãos sonoros Todo som é uma integração de grãos Todo som, inclusive variação musical contínua, é concebido a partir de uma montagem com uma quantidade maior de sons elementares adequadamente dispostos no tempo (sucessivos, sobrepostos) No ataque, corpo e decaimento de um som complexo, milhares de sons puros aparecem em curtos intervalos de tempo t Se considerarmos t bem pequeno porém invariável, podemos nos preocupar apenas com frequência e intensidade e ignorar todo o resto Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 8 / 25
Xenakis, screens e books Screens gerados e depois trabalhados via teoria de conjuntos Grãos são senóides com duração de 40ms e envelope retangular Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 9 / 25
Xenakis, 1959 Analogique A et B for string orchestra and tape Utilizou geradores analógicos e tape-splicing Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 10 / 25
A implementação de Roads 1974, UCSD Primeira implementação computacional Burroughs 6700 Music V 1981, MIT Ojetivos: Desenvolver código e trabalhar com um sistema de síntese granular Ajustar parâmetros de síntese para obter qualidade e flexibilidade no som Desenvolver controle em alto-nível para a síntese Experimentar aplicações da técnica em composições Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 11 / 25
A implementação de Roads Não tinha intenção de comprovar experimentalmente as teorias de Gabor e Wiener Grãos com duração e amplitude fixas A teoria de SG sugeria grãos de 10ms a 60 ms Green (1971) dizia que acuidade auditiva chegava a 2 ms para transientes/picos Depois de experimentos colocou um limite superior de 20ms Observou que 10ms era uma boa escolha (quanto menor a duração mais grãos precisam ser computados) Para preservar conteúdo semântico, 50ms (no mínimo o período da waveform no grão; 5s ainda se percebe pitch, difuso) Mas, envelope pode causar modulação, introduzindo parcial baixa Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 12 / 25
A implementação de Roads Envelope é um parâmetro importantíssimo para a síntese O envelope gaussiano proposto por Gabor não proporcionava uma amplitude efetiva O envelope retangular proposto por Xenakis produzia artefatos sonoros questionáveis Em busca de ataque e decaimento suaves, e um bom sustain: Janela de Tukey Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 13 / 25
A implementação de Roads Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 14 / 25
A implementação de Roads Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 15 / 25
A implementação de Roads Klang-1 Eventos: organização dos grãos em alto nível GS com densidade moderada requer quantidade enorme de dados Impossível compor determinando cada parâmetro Composição baseada em eventos Início e duração Forma de onda inicial e como ela muda Banda inicial e... Densidade inicial e... Amplitude inicial e... Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 16 / 25
Eventos Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 17 / 25
Waveform evoluindo Outro exemplo: modulação; tendência ficar noisy Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 18 / 25
A implementação de Roads Prototype (Automated GS) Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 19 / 25
Aplicações musicais SG possibilita a especificação precisa de eventos com timbre complexo Espectro pode variar desde um pitch único até nuvens complexas por todas as frequências Toda essa diversidade manipulando poucos parâmetros SG possibilita a realização do sonho de Varèse: Movimento das massas sonoras Planos que se alternam in the moving masses you would be conscious of their transmutation when they pass over certain layers, when they penetrate certain opacities, or are dilated into certain rarefactions Representação dos sons produzidos com SG por notação gráfica StudieII (partitura no próximo slide) Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 20 / 25
Stockhausen - Studie II Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 21 / 25
Possibilidades de extensão da síntese granular Granularizar arquivos de áudio Caixa e pratos Saxofone Efeitos Fazer um timbre evaporar Densidade inicial de 600 g/s, diminuindo até 1 g/s Banda inicial de 40 Hz a 13 KHz; centraliza em 200 Hz Construir um timbre (coalescência) Mutações entre timbres Time-stretching Pitch-shifting Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 22 / 25
Conclusões GS adiciona novas ferramentas na paleta musical (eletrônica adicionou cores) Interfaces em alto nível baseadas em eventos possibilitam a realização de sons complexos controlando poucos parâmetros Possibilidade da realização precisa de vários gestos representáveis por partituras gráficas Método granular começa como técnica para realização de sons puramente sintetizados e evolui para técnica de transformação de som também Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 23 / 25
Referências bibliográficas Curtis Roads - Granular synthesis of sounds (1978) Curtis Roads - Assynchronous granular synthesis (1991) Dennis Gabor - Acoustical quanta and the theory of hearing (1947) Norbert Wiener - Spatial-temporal continuity, quantum theory and music (1975) Abrahan Moles - Information theory and esthetic perception (1968) David Green - Temporal auditory acuity (1981) Iannis Xenakis - Formalized music (1971) Edgard Varèse - The liberation of sound (1966) Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 24 / 25
FIM Obrigado! Dúvidas? ag@ime.usp.br Computação Musical - IME/USP compmus.ime.usp.br Antonio Goulart (IME-USP) Síntese granular de som 20/03/2013 25 / 25