Botnet detection based on traffic behavior analysis and flow intervals

Universidade Estadual do Ceará - UECE Centro de Ciências e Tecnologia - CCT Mestrado Acadêmico em Ciência da Computação - MACC Tópicos em Redes de Computadores - 2014.2 Profs.: Dr. André Cardoso e Dr. Joaquim Celestino Aluno: Luiz Gonzaga Mota Barbosa Botnet detection based on traffic behavior analysis and flow intervals David Zhao, Issa Traore, Bassam Sayed, Sherif Saad, Ali Ghorbani, Dan Garant Fortaleza, 07 de Novembro de 2014

Agenda Introdução Trabalhos relacionados Modelo de análise de fluxos Avaliação experimental Detecção de novas botnets Conclusões

Agenda Introdução Botnets Arquiteturas de botnets Ciclo de vida de botnets Detecção de botnets Proposta Trabalhos relacionados Modelo de análise de fluxos Avaliação experimental Detecção de novas botnets Conclusões

Botnets Um conjunto de computadores conectados à Internet as quais foram comprometidas e estão sendo controladas por um invasor (o bot master) via softwares maliciosos chamados bots. (Rajab et al., 2006; Feily et al., 2009; Al-Duwairi and Al-Ebbini, 2010) DDoS; Disseminação de spam; Esquemas de click-fraud; Roubo de informações pessoais; Utilização de recursos computacionais (tarefas distribuídas).

Arquiteturas de botnets Um aspecto chave de qualquer botnet é a arquitetura de comunicação. Bots interagem através de canais de comunicação legítimos. Internet Relay Chat (IRC); Peer-to-peer (P2P); Baseadas em HTTP; Híbridos.

Internet Relay Chat (IRC) Prevaleceu até o começo dos anos 2000. Características: Após a infecção, o bot conecta-se a um servidor IRC específico sob o comando do bot master; Esse servidor de comando e controle (C&C) é utilizado para trocar informações e enviar comandos às máquinas infectadas. Desvantagens: Arquitetura centralizada desligando o servidor acaba a botnet; Fácil detecção análise das mensagens trocadas.

Peer-to-peer (P2P) Surgiu na metade dos anos 2000. Características: Cada bot age como cliente e servidor descentralização; Caso algum nó seja desligado, a rede continua a operar resiliência. Desvantagens: Alta latência na transmissão de C&C; Impacta na sincronização dos bots.

Baseadas em HTTP Método bastante utilizado mais recentemente. Características: Método mais furtivo mistura-se com o tráfego HTTP normal da rede; Pacotes, geralmente, encriptados evitar análise aprofundada de pacotes. Desvantagens: Arquitetura centralizada único ponto de falha; O comportamento centralizado pode ser explorado em sua detecção.

Ciclo de voda de botnets De acordo com Leonard et al. (2009), o ciclo de vida de uma botnet possui 4 fases: Formação: fase inicial onde o atacante explora vulnerabilidades conhecidas de seus alvos, infecta as máquinas vítimas e tenta executar/instalar novos malwares; C&C: a máquina vítima executa o código malicioso e se torna um bot e tenta estabelecer comunicação com o servidor de C&C; Ataque: o bot realiza ações maliciosas baseadas nas instruções recebidas; Pós-ataque: o bot recebe atualizações de seu código defesa e adição/melhoria de suas funcionalidades.

Detecção de botnets Muitas técnicas de detecção apoiam-se nas fases de formação ou ataque. Técnicas atuais são limitadas à detecção de botnets já conhecidas. Detectores buscam por assinaturas de ataques existentes comportamento das atividades maliciosas. Dificuldade em detectar botnets recém criadas ou que sofreram mudanças. Detecção baseada na análise de características de fluxo de rede. Comunicação durante todo o ciclo de vida detecção pode ocorrer em qualquer fase; Análise de fluxos é imune canais de comunicação criptografados; Detecção pode ser feita de forma mais rápida possível até durante da fase C&C ou de ataque.

Proposta Nesse trabalho é apresentada uma nova abordagem de detecção de atividade de botnets, baseada na análise do comportamento de tráfego através da classificação do comportamento do tráfego de rede utilizando aprendizagem de máquina. Fluxos são divididos em janelas de tempo; Extração de características; Aprendizagem de máquina classificação do tráfego em malicioso ou não-malicioso.

Trabalhos relacionados Masud et al. (2008): detecção de botnets P2P considerando o tráfego da botnet como uma stream de dados. Dados de tamanho infinito e aplicam-se ao conceito de flutuação¹ (drifting concept); É proposto um algoritmo de classificação de conjuntos multi-nível e multi-pedaços (multi-chunk, multilevel ensemble classification algorithm); São salvos classificadores em vez de dados históricos; Avaliação empírica mostrou que a proposta obteve uma melhor exatidão na detecção em relação às técnicas de classificação de stream de dados existentes. ¹Drifting concept: diz que as características estatísticas da variável em estudo, a qual o modelo está buscando prever, mudam ao longo do tempo de maneira inesperada. (Fonte: Wikipedia, link: http://en.wikipedia.org/wiki/concept_drift)

Trabalhos relacionados Gu et al. (2007) - BotHunter: sistema de detecção de botnets que correlaciona alarmes do IDS Snort e atividades de bots. Pressupõe que bots realizam atividades como: varreduras de portas, download de binários, C&C e varreduras externas; Monitora o tráfego, capturando as atividades acima e analisa seus payloads baseado em assinaturas do Snort e, em seguida, utiliza um módulo de correlação para medir a probabilidade de que um bot tenha infectado a rede; Desvantagens: Depende que o bot já tenha percorrido todas a fases do ciclo de vida; Ineficiente quanto a canais de C&C encriptados.

Trabalhos relacionados Gu et al. (2008b) - BotMiner: detecção baseada no comportamento grupal de bots individuais em uma botnet. Explora a uniformidade no comportamento de botnets; Agrupa comportamentos similares realizados simultaneamente por várias máquinas em uma rede; Correlaciona hospedeiros que apresentam características de rede e atividades maliciosas similares.

Trabalhos relacionados Yu et al. (2010): abordagem baseada na transformada de Fourier incremental discreta. Captura de fluxos de redes e extração de atributos dos fluxos; Os fluxos são agrupados e processados por uma transformada de Fourier para melhorar o desempenho; Fluxos similares a bots são marcados como suspeitos e testados contra uma técnica de detecção baseada em regra.

Trabalhos relacionados Zeidanloo e Rouhani (2012): abordagem baseada no monitoramento de características do tráfego de rede, similar ao BotMiner. Processo em três estágios: filtragem, detecção de atividade maliciosa e monitoramento de tráfego; Utiliza intervalos de 6h e agrupa os fluxos com comportamentos maliciosos similares; Sem muitas informações sobre diferentes intervalos de tempo e sobre a exatidão da abordagem.

Trabalhos relacionados As técnicas mencionadas até então requerem que já tenha ocorrido alguma atividade maliciosa antes que a detecção possa ocorrer. Não são compatíveis com detecção antecipada, durante a fase de C&C no ciclo de vida do bot. As estratégias de detecção de similaridades e agrupamento dependem da presença de múltiplos bots na rede monitorada. Não são confiáveis, ou não funcionam, em ambientes onde somente uma máquina infectada está presente na rede.

Trabalhos relacionados Giroire et al. (2009): foco da detecção de comunicações C&C nos hospedeiros finais. Hipótese: hospedeiros recrutados (bots) precisam manter contato com o bot master a fim de se manterem relevantes; Essas comunicações possuem regularidades temporais; O detector monitora o tráfego de saída de um dado usuário e identifica os destinos maliciosos visitados com alguma regularidade temporal; Endereços não maliciosos são mantidos em white lists.

Trabalhos relacionados Wurzinger et al. (2009): uma abordagem para detectar hospedeiros individuais em uma rede monitorada que sejam membros de uma botnet a través da observação e correlação de comandos e respostas em traces de rede. Identifica as respostas existentes nos traces e analisa os comandos correspondentes; Identifica padrões e agrupa atividades similares.

Trabalhos relacionados Livadas et al. (2006): abordagem de detecção de tŕafego C&C em redes IRC, baseada em fluxos utilizando vários classificadores para agrupar o comportamento dos fluxos. Resultados ruins; Porém, conseguiram mostrar que, de fato, existe diferença entre o comportamento de bots IRC e um chat normal e que é possível utilizar um classificador para separar fluxos nessas categorias.

Trabalhos relacionados Wang et al. (2006): abordagem de detecção de botnets baseadas em P2P através da observação da estabilidade dos fluxos de controle em intervalos iniciais de tempo de 10 minutos. Explora a propriedade de que os bots exibem comportamentos similares durante a busca por comandos e realizam essas atividades independente dos outros e de maneira frequente. Esse trabalho apresenta uma abordagem parecida com esta. Tenta aumentar as taxas de detecção através da introdução de novos atributos e a utilização de aprendizagem de máquina.

Agenda Introdução Trabalhos relacionados Modelo de análise de fluxos Análise de tráfego Visão geral Seleção de atributos Modelo de classificação Avaliação experimental Detecção de novas botnets Conclusões

Análise de tráfego Detecção de botnets era, predominantemente, baseada na análise de payloads em busca de assinaturas maliciosas. Tipicamente apresenta exatidão na identificação muito alta quando comparadas a outras abordagens. Porém possui diversas limitações, dentre elas: Envolvem operações computacionalmente custosas geralmente são mais lentas; Não são eficientes contra bots que encriptam sua comunicação; Possui algumas questões quanto à violação de privacidade.

Análise de tráfego Bots em uma botnet, tipicamente, demonstram uniformidade no comportamento de tráfego, apresentam comportamentos de comunicação únicos e que estes comportamentos podem ser caracterizados e classificados. Não depende do conteúdo dos pacotes imune a encriptação; Existe hardware especializado em extrair informações de tráfego com alto desempenho e sem prejudicar a rede significantemente. Tais sistemas, tipicamente, examinam o tráfego entre dois hospedeiros em sua totalidade bom para análise off-line, mas totalmente inviável para detecção on-line

Fluxo de rede Um fluxo é uma coleção de pacotes trocados entre dois endereços IP únicos que utiliza um par de portas e um protocolo da camada de aplicação. Um fluxo de rede entre dois hospedeiros pode durar desde alguns segundos até diversos dias, e, portanto, é desejável que a detecção de uma atividade maliciosa seja feita o quanto antes. Este trabalho apresenta uma técnica de análise de tráfego capaz de identificar atividades de botnets em tempo real através da análise de características de fluxos em janelas de tempo pequenas.

Visão geral A partir da característica de bots de uniformidade em suas comunicações, os autores tomam como hipótese que deve haver uma assinatura única para o comportamento do fluxo de um bot e, daí, podem ser detectados através dessa assinatura. Serão analisadas, especificamente, características de fluxo no tráfego de rede em uma janela de tempo T. Há duas observações quanto ao tamanho dessa janela de tempo: Janela muito pequena falha ao capturar características que surgem após um período mais longo perca de características flutuantes; Janela muito grande demora na decisão do classificador; Portanto, o tamanho da janela balanço entre exatidão e velocidade.

Visão geral - Classificação É computado um conjunto de atributos para cada janela de tempo, onde cada conjunto codifica informações relevantes sobre o comportamento do fluxo durante aquele período. Seleção de atributos tomou como base as observações feitas anteriormente e a intuição do grupo quanto às atividades de troca de mensagens em botnets.

Funcionamento A framework de detecção proposta consiste em duas fases: Treinamento: são repassados vetores de atributos de dados maliciosos e não-maliciosos conhecidos a fim de ensinar o detector como identificar essas duas classes; Detecção: observação ativa do tráfego de rede e classificação dos vetores de atributos gerados a partir do fluxo ativo. Uma vez que os vetores de atributos são classificados como maliciosos, o fluxo pode ser marcado como suspeito.

Seleção de atributos A seleção de atributos foi baseada no comportamento de vários protocolos conhecidos, bem como o comportamento de botnets conhecidas (Storm, Nugache e Waledac). Esse conhecimento ajuda na classificação pois captura características das torcas de pacotes iniciais e essa informação é utilizada em intervalos futuros daquele fluxo. A fim de tratar técnicas de evasão onde o bot injeta tráfego aleatório na rede: O número de fluxos gerados por um único endereço é comparado ao total de fluxos gerados naquele período; Também é mensurado a quantidade de conexões e reconexões feitas em um fluxo.

Seleção de atributos

Falsos positivos Alguns serviços não-maliciosos apresentam características de comportamento similares a de alguns bots. White lists de endereços conhecidos como não-maliciosos.

Modelo de classificação Técnicas de aprendizagem de máquina possibilitam que sistemas de detecção se adaptem rapidamente a malwares que mudam seu comportamento e a descoberta de padrões e propriedades únicas que possam ser exibidas por esses malwares. Foram selecionadas técnicas de classificação que apresentam as características: Alto desempenho alcançar os objetivos de detecção de tempo real; Alta exatidão na detecção.

Árvore de decisão Dentre as técnicas de classificação estudadas, foi escolhido o classificador baseado em uma árvore de decisões. Árvores de decisão utilizadas como modelo de previsão: Os nós representam uma classe; Nós intermediários representam testes feitos sobre os atributos de uma instância. Algoritmos automatizados que criam essas árvores tendem a criar uma quantidade de dados excedente a fim de capturar cenários muito específicos e complexos em um dado conjunto de treino. Utilização de algoritmos de poda a fim de diminuir o tamanho da árvore e reduzir sua complexidade.

Árvore de decisão Para qualquer algoritmo de poda, deve ser determinada a quantidade de erro introduzido no processo de decisão após cada estágio de poda a fim de decidir como cortar de tal forma a evitar o erro. e+1 E= N+m e quantidade de exemplos classificados de maneira errada em um dado nó; N quantidade de exemplos que seriam alcançados por aquele nó. m representa o conjunto de todos os exemplos.

Árvore de decisão O caminho de decisão aponta para uma amostra de tráfego maliciosa ou não-maliciosa. Cada nó representa um ponto de decisão, por exemplo: A raiz indica uma decisão quanto ao atributo FPS: Se for < 1,5 o atributo PX deverá ser o próximo a ser analisado.

Agenda Introdução Trabalhos relacionados Modelo de análise de fluxos Avaliação experimental Conjunto de dados Resultados da avaliação do modelo Detecção de novas botnets Conclusões

Conjunto de dados Existem dificuldades quanto à obtenção de dados relacionados a atividades maliciosas Existem dados coletados através de honeypots, porém estes não refletem a utilização de ambientes reais. Uma honeypot consiste de máquinas dedicadas à coleção de dados maliciosos através da simulação de máquinas vulneráveis em uma rede; Há pouca atividade de uma rede normal, com tráfego não malicioso.

Conjunto de dados Para avaliar o sistema foram gerados dois conjuntos de dados: Malicioso: obtidos co capítulo francês do projeto Honeypot, envolvendo as botnets Storm e Waledac. Não-malicisoso: composto por um tráfego gerado pelo Traffic Lab at Ericsson Research e o Lawrence Berkley National Laboratory. Uma honeypot consiste de máquinas dedicadas à coleção de dados maliciosos através da simulação de máquinas vulneráveis em uma rede; Há pouca atividade de uma rede normal, com tráfego não malicioso. Ao final, os dados foram mesclados.

Conjunto de dados

Resultados da avaliação do modelo A framework foi implementada em Java e utilizou a framework Weka para aprendizagem de máquina e o classificador REPTree. O programa extrai todas as informações de fluxo de um arquivo de pcap e, em seguida, extrai os vetores de atributos para serem utilizados na classificação. Cada vetor de atributos corresponde a uma janela de tempo de 300s. Para avaliar a exatidão na detecção foi utilizada uma técnica de validação 10fold Os dados foram particionados em 10 sub-conjuntos aleatórios, onde cada um foi utilizado para avaliação enquanto os outros 9 para treinamento Alta taxa de detecção (> 90%) : Esse resultado mostra que, de fato, existem características únicas da avaliação de botnets quando comparadas ao tráfego diário da rede.

Resultados da avaliação do modelo Buscou-se uma redução no conjunto de atributos através da aplicação de um algoritmo de avaliação de atributos de correlação baseado em best first search a fim de obter uma lista dos atributos que melhor discriminam os fluxos e melhorar a performance.

Resultados da avaliação do modelo O desempenho também foi avaliado quanto à variações do tamanho da janela de tempo.

Agenda Introdução Trabalhos relacionados Modelo de análise de fluxos Avaliação experimental Detecção de novas botnets Implementação do detector Novas botnets Avaliação da detecção de novas botnets Conclusões

Implementação do detector O algoritmo pode ser utilizado para detecção off-line, bem como, detecção em tempo real no ambiente de produção. Sistema web desenvolvido em Java e que utiliza o Google Web Toolkit (GWT) para a camada de apresentação.

Implementação do detector

Novas botnets O modelo foi testado quanto a detecção de botnets ainda desconhecidas. Weasel: botnet desenvolvida pelos autores em um trabalho anterior; botnet baseada em HTTP e utiliza uma comunicação completamente criptografada; pode ser utilizada para ataques de DDoS, spamming e computação distribuída; BlackEnergy: botnet projetada para realização de ataques de DoS; utiliza HTTP codificado em base64 para sua comunicação.

Avaliação da detecção de novas botnets O tráfego das botnets Weasel e BlackEnergy foram coletadas separadamente. Weasel: 80 MB de tráfego; comandos enviados a cada 4h; executado sobre um ambiente de um servidor Web público com firewall desabilitado; possui tráfego malicioso e não-malicioso; BlackEnergy: 19 MB de tráfego gerado por 3 bots controlados por um bot master; Nenhum dos dois tráfegos foi utilizado na fase de treinamento. E a janela de tempo utilizada foi de 300 s.

Avaliação da detecção de novas botnets A detecção da botnet Weasel resultou em uma taxa de falsos positivos muito elevada (82%). Esse tráfego foi gerado por aplicações não-maliciosas que possuem comportamentos similares ao da botnet. Esse resultado pode ser melhorado através da utilização de filtros adequados, como listas de IPs não -maliciosos (white list).

Conclusões Foi apresentada um modelo para uma framework de detecção de botnets baseado na análise de características de fluxo de rede e que não apoia-se na detecção de payloads de pacotes. Eficiente contra botnets que utilizam um canal de comunicação criptografado; Pode ser implantado em um ambiente de produção a fim de realizar a detecção em tempo real; Altas taxas de detecção e baixas taxas de falsos positivos/negativos; Capaz de detectar botnets recentemente criadas (novas); Resultados podem ser melhorados através da utilização de filtros como white lists de endereços IPs não-maliciosos.

Referência Zhao, D.; Traore, I.; Sayed, B.; Lu, W.; Saad, S.; Ghorbani, A.; Garant, D. Botnet detection based on traffic behavior analysis and flow intervals. Computers & Security. N. 39. P. 2-16. Elsevier. 2013.

Obrigado!