RouterBricks: Exploiting Parallelism To Scale Software Routers

Transcrição

1 RouterBricks: Exploiting Parallelism To Scale Software Routers 22nd ACM Symposium on Operating Systems Principles October 11-14, 2009 Mihai Dobrescu, Norbert Egi, Katerina Argyraki, Byung-Gon Chun, Kevin Fall, Gianluca Iannaccone, Allan Knies, Maziar Manesh, Sylvia Ratnasamy

2 Sumário Introdução Princípios de design Paralelizando entre servidores Paralelizando dentro do servidor Avaliação de desempenho O roteador paralelo RB4 Conclusão

3 Introdução Problema: Redes ossificadas ; Desempenho x Flexibilidade; Objetivos distintos, muitas vezes excludentes; Duas abordagens: Adaptar hardware de alto desempenho e adicionar funcionalidades que aumentem sua programabilidade; Melhorar o desempenho dos roteadores baseados em software.

4 Introdução Roteadores por hardware: Throughput na casa dos Tbps e inflexiveis; Roteadores por software: Lentos (throughput inferior à 10Gbps; Facilmente programáveis; Baseados em harwdware commodity. RouterBricks: Arquitetura de roteador fortemente baseada no paralelismo (entre servidores e internamente nos servidores) e escalabilidade; Baseado no click.

5 Princípios de design Objetivos: Evolução das redes, tornando-as mais facilmente programáveis; Elaborar uma arquitetura de roteador baseado em hardware commodity; Paralelismo entre servidores: N portas full-duplex de taxa R bps. Paralelismo dentro dos servidores: Utilização das mais novas tecnologias de múltiplos núcleos.

6 Paralelizando entre servidores A funcionalidade de roteamento pode ser dividida em duas partes: processamento e encaminhamento dos pacotes. O encaminhamento dos pacotes pode acontecer de forma centralizada ou descentralizada. N*R

7 Paralelizando entre servidores Limitações: Links internos, ou seja, entre os servidores não podem ser maiores que R; Cada servidor tem um limite máximo de processamento (cr, onde c > 1); Número de portas físicas: 4-6 NICs (Network Interface Card), com 2-8 portas por NIC. Algoritmo de roteamento: Single-path (centralizado); Load-balance (descentralizado): VLB (Valiant Load Balancing); Direct VLB.

8 Paralelizando entre servidores Solução adotada: Versão modificada do Direct VLB: Garantia de 100% de throughput e fairness; Modificações: Mecanismo para evitar mudança de ordem nos pacotes; E uso de topologia fixa. e*r.

9 Paralelizando dentro do servidor Arquitetura utilizada: Hardware: 2 processadores core i7 8 núcleos, e duas NIC com duas portas de 10Gbps cada; Software: Linux , Click, driver linux ethernet 10G e VTune da Intel; Geração de tráfego: 24,6Gbps, devido a limitações do barramento PCI Express dos servidores.

10 Paralelizando dentro do servidor Evolução na arquitetura do processador: Servidores Xeon. Servidores Nehalem:

11 Paralelizando dentro do servidor Como distribuir o processamento dos pacotes e o acesso às NICs? (1) Cada fila é acessada por apenas um processador; (2) Cada pacote é processado por apenas um processador;

12 Paralelizando dentro do servidor Batch nos acessos de entrada e saída:

13 Avaliação de desempenho Três aplicações são utilizadas: Encaminhamento mínimo (1); Roteamento IP; Encriptação por pacote. Testes realizados para diferentes tamanhos de pacotes. (1)

14 Avaliação de desempenho Gargalos do sistema: São avaliadas diferentes partes do sistema, como: CPU - Barramento de memória - Sistema I/O e barramento PCIe; Detecção dos gargalos: Realizado o cálculo máximo teórico de cada subsistema e então comparado com medições realizadas. Conclusão: CPU é o gargalo em todos os três testes com pacotes de tamanho mínimo. NICs são o gargalo com tráfego real (Albilene).

15 Avaliação de desempenho Resultados obtidos: Tráfego real (Albilene): Encaminhamento mínimo: 24,6 Gbps; Roteamento IP: 24,6 Gbps. Pacotes de tamanho mínimo: Encaminhamento mínimo: 9,7 Gbps; Roteamento IP: 6,35 Gbps.

16 O roteador paralelo RB4 Protótipo construído: Quatro servidores Nehalem, interconectados por uma topologia full-mesh com roteamento Direct VLB; Desempenho obtido: Com pacotes de 64Bytes: 12Gbps (3Gbps por servidor); Com tráfego Albilene: 35Gbps. (Limitação pelos NICs). Latência: 47,6us 66,4us (24us por servidor, 2-3 servidores).

17 Conclusão RouterBricks é um roteador por software de alto desempenho e programável via Click. Bom desempenho e bem flexível. Mas apresenta problemas (além da questão do desempenho): Consumo; Ocupação de espaço físico.