Monitoração de Tráfego Par-a-Par em Tempo Real

Transcrição

1 Monitoração de Tráfego Par-a-Par em Tempo Real Tiago Alves Macambira Orientador: Dorgival Olavo Guedes Neto Co-Orientador: Wagner Meira Jr. Departamento de Ciência da Computação Universidade Federal de Minas Gerais Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

2 Era uma vez... Pré-Web Pesquisas sobre aspectos e baixo nível 80% do tráfego mera devido a FTP e SMTP Web mudança de paradigma % % 80% Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

3 Web no Divã Trabalhos de Caracterização Monitoração redução Caches, proxies, hierarquia de caches, proxies transparentes Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

4 ... e sejam feitas as redes P2P Nova Mudança de paradigma de tráfego Em 2000: 23% P2P 20% Web em % Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

5 Sistemas P2P Vários tipos de serviços Até ICQ é considerado P2P!!! Características marcantes troca de recursos entre nós similares conectividade (ou disponibilidade) instável e variável Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

6 P2P no divã Mais trabalhos de caracterização volume de tráfego identificação de tráfego P2P caracterização de buscas distribuição e popularidade de recursos disponibilidade Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

7 Monitoramento de P2P P2P ainda está em constante mudança Novos sistemas Novos estudos Monitoração ativa passiva Off-line ou em tempo real Com recuperação de estado Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

8 Monitoração ativa Problema grande consumo de recursos interferência protocolos fechados firewalls e NAT Não queremos ser intrusivos Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

9 Monitoração passiva Formas de captura por espelhamento por interceptação Vantagens não causa interferência todo tráfego pode ser monitorado pode ser usado com protocolos proprietários Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

10 Monitoração passiva Desvantagens sobrecarga nos equipamentos de rede velocidade de captura e análise horizonte de monitoração limitado Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

11 Sim mas... E dai? O que queremos? Ferramenta que viabilize a análise e a caracterização de tráfego de aplicações em tempo real, tendo como foco os aplicativos P2P de troca de arquivo. Como? Sistema de monitoração passiva de tráfego com recuperação de estado em tempo real Altas-velocidades? Usando software de código aberto? Sem gastar muito dinheiro? Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

12 Atividades Relacionadas Identificação de tráfego assinaturas NIDS Roteamento, NAT e filtragem de pacotes Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

13 Captura de Pacotes Necessário para monitoração passiva Etapas na captura de um pacote: 1. Recepção pela NIC 2. Recuperação pelo driver da NIC 3. Filtragem dos pacotes 4. Cópia do kernel-level para user-level 5. processamento do pacote pela aplicação Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

14 Captura em enlaces de alta-velocidade Problemas: Processador Barramento PCI Memória Discos rígidos Abordagens Processar parte do todo ou o todo de um parte Software genérico e hardware especializado Dividir para conquistar Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

15 Recuperação de estado O quê? Fluxos TCP Para quê mesmo? Recuperação de estado em tempo real Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

16 O Palantír Organização em camadas do Palantír Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

17 O Palantír Abordagens utilizadas Captura: PF RING remontagem de sessões: libnids Processamento do protocolo de aplicações: Kazaa edonkey Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

18 Avaliação de desempenho Perda de pacotes 3 máquinas 500Mbps 5 etapas 4 configurações PF RING Hyper-Threading Packet pooling no driver da Intel Pro/1000 (NAPI) Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

19 Avaliação de desempenho 1.6e e e e e+07 Número de pacotes transferidos com sucesso por etapa Conf. 1 Conf. 2 Conf. 3 Conf. 4 Pacotes Recebidos 1.1e+07 1e+07 9e+06 8e+06 7e+06 6e+06 5e+06 4e+06 3e+06 2e Etapa 4 5 Quantidade de pacotes capturados Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

20 Avaliação de desempenho PF RING realmente tem efeito: diferença entre a melhor configuração com PF RING e a pior sem PF RING: de 19,1% na primeira etapa de 83,8% na última etapa PF RING no pior caso: perda de 3,32% dos pacotes Degradação da captura não é abrupta Peculiaridades do Hyper-Threading Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

21 Sistemas P2P de troca de arquivo Redes monitoradas Kazaa edonkey Aspectos importantes (ou que influenciam no trabalho de monitoração) Identificação de recurso Modelos de transferência de arquivos Organização e localização de recursos na rede Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

22 Identificação de recursos Identificação vs. Localização URLs Identificadores desvinculados de localização Hashes Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

23 Modelos de Transferência Segmentado Fragmentado Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

24 Localização de recursos Etapas 1. Descoberta de recursos (busca) 2. Busca por fontes Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

25 Organização da rede Rede Centralizada Rede Descentralizada desestruturada Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

26 Organização da rede Descentralizada semi-estruturada Descentralizada estruturada Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

27 KaZaa Rede FastTrack Rede semi-estruturada - SuperNodes Protocolo proprietário Buscas: cifradas Downloads: HTTP Portos variável Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

28 KaZaa Transferência segmentada ContentHash, UUHash e UserNames Poluição (50%) Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

29 edonkey Rede Centralizada redes descentralizadas estruturadas auxiliares Protocolo proprietário binário, mesmo para buscas e para transferências Portos bem conhecidos Transferências Fragmentadas FileIDs, MD4 e UserIDs Localização de recursos em 5 etapas Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

30 Caracterização de tráfego 20 dias Rede P2P Kazaa Edonkey Intervalo 2004/10/ /10/18-28 Bytes transferidos Requisições Recursos únicos Sessões Usuários únicos Estatísticas gerais observadas Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

31 Distribuição de bytes transferidos por recursos 1e+10 Bytes Transferidos por Arquivo edonkey 1e+09 1e+08 1e+07 Bytes Transferidos 1e File Rank Distribuição de bytes transferidos por recurso. Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

32 Bytes transferidos vs. tamanho dos arquivos 1e+10 Tamanho Estimado do Arquivo x Bytes Transferidos por Arquivo edonkey x 1e+09 Tamanho Estimado do Arquivo x Bytes Transferidos por Arquivo KaZaa x 1e+09 1e+08 1e+08 1e+07 1e+07 Bytes Transferidos 1e Bytes Transferidos 1e e+06 1e+07 1e+08 1e+09 1e+10 Tamanho Estimado do Arquivo em bytes e+06 1e+07 1e+08 1e+09 Tamanho Estimado do Arquivo em bytes Correlação entre bytes transferidos e tamanho dos arquivos Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

33 Badwidth Savings 1e+10 Bytes Transferidos x Economia Possível por Arquivo edonkey x 1e+08 Bytes Transferidos x Economia Possível por Arquivo KaZaa x 1e+09 1e+07 1e+08 Economia Possível em bytes 1e+07 1e Economia Possível em bytes 1e e+06 1e+07 1e+08 1e+09 1e+10 Bytes Transferidos e+06 1e+07 1e+08 Bytes Transferidos Correlação entre bytes transferidos e os ganhos potenciais de economia em largura de banda Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

34 Tamanho dos arquivos 100 Distribuição Cumulativa dos Tamanhos dos Arquivos edonkey 100 Distribuição Cumulativa dos Tamanhos dos Arquivos KaZaa 90 Percentagem dos arquivos vistos Percentagem dos arquivos vistos Tamanho em Megabytes Tamanho em Megabytes Distribuição cumulativa dos tamanhos dos arquivos Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

35 Número de recursos solicitados por usuário 1000 Número de Arquivos Requisitados por Usuário edonkey 1000 Número de Arquivos Requisitados por Usuário KaZaa Número de arquivos requisitados Número de arquivos requisitados Usuário ordenado pelo número de arquivos requisitados Usuário ordenado pelo número de arquivos requisitados Distribuição do número de recursos solicitados por usuário Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

36 Localidade de referência inter-protocolo P2P Recursos Sig1 Sig2 Sig3 Recursos Bytes Comuns Comuns Kazaa % 12.63% Edonkey % 7.04% Localidade de referência entre o KaZaa e o edonkey Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

37 Conclusões e trabalhos futuros Sim! É possível fazer o que queríamos sem hardware especializado Trabalhos Futuros Melhorias de desempenho Outras redes Análise do tráfego de sinalização Construir um cache oportunístico Controle ou vigilância de tráfego Dinâmica dos fragmentos Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de

38 Fim Perguntas? Monitoração de Tráfego Par-a-Par em Tempo Real - Julho de