Ruby e JRuby em... Paralelos e Distribuídos. Felipe Barden Lucas Fialho Zawacki

Transcrição

1 Ruby e JRuby em... Paralelos e Distribuídos Felipe Barden Lucas Fialho Zawacki

2 Sobre o que vamos falar? A linguagem Ruby e suas aplicações em programação paralela e distribuída. A implementação de Ruby na JVM e sua integração com todas as possibilidades do Java, inclusive as vistas nessa disciplina.

3 Por quê? Linguagem popular para programação web, backend, administração de sistemas Linguagem de script e com baixa barreira de entrada e portável para vários ambientes Diversas bibliotecas disponíveis Somado às possibilidades do JRuby se torna bastante atraente para programação paralela

4 Ruby Da wikipedia: "Ruby is a dynamic, reflective, general-purpose object-oriented programming language that combines syntax inspired by Perl with Smalltalk-like features" Try Ruby!

5 Ruby e Threads?

6 Modelos de Threading Ruby roda dentro de uma máquina virtual Tem uma implementação própria de threads e faz o mapeamento para threads nativas (ou não) Qual modelo Ruby usa?

7 1 : N aka Green Threads Escalonadas "por fora" do SO com pouco overhead de criação e destruição

8 1 : 1 aka Native Threads Mapeadas diretamente para as threads do sistema operacional

9 N : M aka Híbrido Algumas green threads mapeadas para uma thread de sistema operacional.

10 Ruby e Concorrência? Então com Ruby 1.8 não existe concorrência entre threads, certo? Certo! E com Ruby 1.9 a implementação de threads híbridas permite esta concorrência, certo? Certo! Logo posso usar threads para aproveitar múltiplos cores e acelerar meus programas? Veja bem...

11 Não! Global Interpreter Lock... Um lock que impede que partes threadunsafe do código do interpretador sejam executadas concorrentemente Virtualmente impossível se aproveitar de arquiteturas multicore...

12 Programação multiprocessos Podemos usar o modelo Unix de fork Ou organizar a aplicação como diferentes scripts/classes que se comunicam de alguma forma Vamos falar rapidamente da segunda opção

13 Comunicação entre processos Good ol' sockets Drb: um RMI para Ruby Rinda: espaço de tuplas Redis: banco de dados chave-valor, armazenado em memória Filas: Beanstalked, RabbitMQ, ZeroMQ Webservices: SOAP, Restful, "no braço"

14 Drb Implementa chamada de métodos remotos de forma bastante similar ao RMI Não implementa um "registro" dos servidores Usa passagem de objetos por serialização, mas é possível usr referências remotas

15 Rinda Espaço de tuplas Permite chamadas bloqueantes e pode ser usado para sincronização de processos Pode ser usado como registro para o Drb Não possui persistência das tuplas

16 Ok mas eu queria threads :(

17 JRuby Implementação de Ruby dentro da JVM

18 JRuby Pode acessar código Java de forma transparente Permite compilação de Ruby para bytecode e uso de JIT compilation Permite o uso da maioria das bibliotecas escritas em Ruby

19 JRuby e Threads Sim! Modelo 1:1 usando as threads da JVM... sem Global Interpreter Lock Menos garantias sobre thread safety do que o interpretador Ruby normal Possíveis problemas com bibliotecas Ruby que não são thread safe Mais : com/jruby/jruby/wiki/concurrency-in-jruby

20 Sincronização Acesso às primitivas de sincronização existentes em Ruby, mais as primitivas existentes em Java Permite aplicar a o conceito de monitores à qualquer classe Ruby usando o pacote 'java/synchronize'

21 Código Exemplos de código podem ser encontrados em Exemplos de uso de Drb e Linda Implementação de Matriz x Vetor em Ruby (e JRuby) e em Java com threads Implementação de Matriz x Vetor distribuído em Ruby (e JRuby)

22 Comparação O algoritmo Matriz x Vetor foi rodado e cronometrado nos seguintes ambientes, para uma matrix 4000x4000 inteiros Ruby 1.8, Ruby 1.9, JRuby, Ruby 1.8 distribuído, JRuby distribuído e Java puro Foram usadas 1, 2 e 4 tarefas em um processador Intel CoreI3 M GHz rodando Ubuntu x86. Dois cores com HyperThreading

23 Resultado

24 Comentário De fato, Ruby 1.8 e 1.9 não conseguem fazer uso dos múltiplos cores da minha máquina e ficam com speedup próximo a 1 com múltiplas threads JRuby e Java fazem uso do paralelismo oferecido pela máquina e mostram o speedup e eficiência esperado para este problema. Entretanto o HyperThreading não é tão eficiente quanto um maior número de cores. De fato, para JRuby e Java a eficiência caiu pela metade com 4 tarefas. Para este problema, Ruby 1.9 e JRuby se mostram as implementações mais eficientes sequencialmente de Ruby (com 1.9 sendo levemente mais rápida).

25 Comentário A performance sequencial de Java para este problema se aproxima de 70x maior que as duas melhores implementações de Ruby. Ruby e JRuby implementados de forma distribuída tiveram um speedup muito pior do que a versão com threads. Isto pode se dever ao overhead de comunicação entre os processos, de criação dos diferentes processos sendo executados ou àlguma deficiência da implementação do código. Acreditamos que para algum problema maior, com menos necessidade de mover dados entre processos seja possível uma melhor eficiência.

26 Ruby X JRuby? Existe um nicho para as duas implementações JRuby é uma ótima adição ao ambiente da JVM, juntamente com outras linguagens como Jython, Clojure e Groovy Ruby 1.8 e 1.9 são as implementações mais comuns e presentes em diversos servidores. Permitem o uso de extensões escritas em C Paralelismo de threads presente de "verdade" em JRuby JRuby permite interoperabilidade com código Java A implementação clássica do interpretador Ruby (em C) evolui rapidamente (versão 1.9 se chama YARV) e JRuby não é a única alternativa, vide aqui

27 Referências Why is there no GIL in Java and Python needs it so bad? Sun JRuby Docs Concurrency in JRuby Concurrency is a Myth in Ruby Threads in Ruby The Great Ruby Shootout Ruby Implementations and Why Should We Should Care Tutorial Drb e Rinda Concurrent Programming With Ruby and Tuple Spaces JRuby and Java Code Examples Ruby and Rinda in the Real World

28 Obrigado! Perguntas? Felipe Barden Lucas Fialho Zawacki