Apache Reliability: Mitigando os efeitos de memory leaks no httpd

Transcrição

1 Apache Reliability: Mitigando os efeitos de memory leaks no httpd Rivalino Matias Jr. PerformanceLab/UFSC K4B Consulting Porto Alegre Abril/2006

2 Apache Reliability: Mitigando os efeitos de memory leaks no httpd. AGENDA Software Reliability Memory leaks: causa e efeitos Aspectos Arquiteturais do Apache Web Server (httpd) Mitigando os efeitos de memory leaks no httpd Considerações Finais

3 Software Reliability Conceitos Básicos Confiabilidade é um dos atributos da qualidade de software, juntamente com segurança, disponibilidade, mantenabilidade, dentre outros; É definida como a probabilidade de um sistema executar a sua função, sem falhas, por um determinado tempo em um ambiente específicado; Ex. de métricas: MTTF, MTBF, MTTR, Taxa de falhas. Qual o MTBF do seu servidor httpd? Ele tem 99 ou 99,99% de disponibilidade?

4 Software Reliability Conceitos Básicos Disponibilidade e Classes de sistemas [GRAY 1991]: Tipo de Sistema Downtime Disponibilidade Classe (minutos/ano) (%) Não gerenciado Gerenciado Bem gerenciado ,9 3 Tolerante a Falhas 50 99,99 4 Alta disponibilidade 5 99,999 5 Altíssima disponibilidade 0,5 99, Ultra disponibilidade 0,05 99, do

5 Software Reliability Conceitos Básicos Dentre os principais inimigos da confiabilidade de um sistema computacional estão as falhas de software; Uma falha de software é causada por um defeito que pode ser criado durante o desenvolvimento ou operação do sistema; O memory leak (vazamento de memória) é um defeito de desenvolvimento (bug) que afeta milhares de programas, dentre eles o Apache web server; Este é um defeito de origem humana e normalmente causado por negligência ou imperícia na codificação.

6 Memory Leak O que é memory leak? Um bug que causa a não liberação de partes ou toda porção da memória alocada previamente por um processo; Em processos que executam por longos períodos de tempo, a degradação progressiva da memória causa perda de desempenho (ex. trashing) e até mesmo a falha do sistema; O problema se agrava em sistemas com limitações na quantidade de memória (ex. sistemas embarcados);

7 Memory Leak Ex. de código com memory leak (1) main(){ int x,y; for(;;){ scanf("%d%d",&x,&y); /* interface c/ usuário */ func(x,y); } } int func(int a, int b){ char *ptr1, *ptr2; ptr1=(char *)malloc(1024*a); ptr2=(char *)malloc(1024*b); if ( ptr1==null ptr2==null ){ return -1; }...; strcpy(ptr1,ptr2);...; free (ptr1); free (ptr2); }

8 Memory Leak Ex. de código com memory leak (2) main(){ int x,y; for(;;){ scanf("%d%d",&x,&y); /* considere x=0 */ func(x,y); } } int func(int a, int b){ char *ptr1, *ptr2; ptr1=(char *)malloc(1024*a); ptr2=(char *)malloc(1024*b); if ( ptr1==null ptr2==null ){ return -1; }...; strcpy(ptr1,ptr2);...; free (ptr1); free (ptr2); }

9 Memory Leak Ex. de ocorrência em sistema embarcado Cisco Catalyst Memory Leak: Document ID: (dez/2000) Vários produtos da linha Catalyst foram afetados; Conexões telnet p/ o switch, que falhem na autenticação ou que tenham sucesso mas que a sessão seja de curtíssima duração, fazem que o processo telnetd do switch não libere recursos de memória previamente alocados; Este memory leak pode causar a falha parcial ou total de forma que o switch tenha que ser desligado e reinicializado; memleakpub.shtml#summary

10 Apache Web Server Em Abril/1995 a primeira versão do Apache foi liberada, baseada no code base do NSCA httpd server v. 1.3; Esta release (v 0.7) incorporava muitos patches da comunidade para o código do NSCA, de onde surgiu seu nome: A PAtCHy httpd é um dos projetos da The Apache Software Foundation ( Atualmente ocupa o posto de Web Server mais usado na Internet (Netcraft, 2006).

11 Apache Web Server Utilização de Web Servers Apache Microsoft Sun NCSA Zeus Fonte: Netcraft Abril/2006 (

12 Apache Web Server Aspectos Arquiteturais ver. 1.3: Baseada em processos (Unix/Linux); Threads na plataforma Windows NT; ver. 2.0 (abril/2002): Introduz o modelo de processos MPM (Multi Processing Modules); Utiliza a system call sendfile(2) para envio e recebimento de conteúdo estático (html, gif, jpg, pdf,...); Suporta a system call mmap(2) para mapeamento de arquivos em memória;

13 Apache Web Server Aspectos Arquiteturais (cont.) MPMs (v. 2.0): Responsáveis por: Gerenciar as portas de comunicação, aceitar conexões, alocar threads/processos para atendimento das requisições; Possibilitam customizações específicas para cada plataforma de SO (ex. mpm_winnt); Alternativas: prefork, perchild, worker, threadpool, leader, beos, mpmt_os2, outros...; Os MPMs perchild, leader e threadpool são experimentais, portanto inadequados para ambientes de produção.

14 Apache Web Server Aspectos Arquiteturais (cont.) Dois exemplos de MPM prefork worker Pai Filho1 Filho2 Pai Filho3 Filhon Filho1 Filho2 Filho3 Filhon thr1... thrn thr1... thrn thr1... thrn thr1... thrn 7 Fórum Internacional Software Livre

15 Apache Web Server Aspectos Arquiteturais (cont.) Ver. 2.2 (Dez/2005): Entre os vários melhoramentos, as principais inovações voltadas para a confiabilidade são: funcionalidade graceful stop e MPM event; Usando graceful stop (apachectl k graceful stop) é possível encerrar o httpd sem o fechamento abrupto das conexões pendentes como ocorre nas versões anteriores; A diretiva GracefulShutDownTimeout foi introduzida para controlar o tempo de espera para o encerramento incondicional; httpd.conf: GracefulShutDownTimeout segundos (0-ilimitado)

16 Apache Web Server Aspectos Arquiteturais (cont.) Ver. 2.2 (Dez/2005): O MPM event é uma evolução do worker; Este tenta resolver o problema pelo keep alive do HTTP O objetivo é evitar que threads (workers) fiquem ociosas dedicadas apenas a um único socket em keep alive; Uma thread dedicada manipula tanto o socket de conexão (listening) quanto os demais sockets que estão no estado keep alive; Não está em nível de produção e não suporta vários módulos, como por exemplo mod_ssl.

17 Apache Web Server Aspectos Arquiteturais (cont.) Um único usuário pode gerar várias conexões persistentes RH 9, Mozilla 1.4.3, 6 conexões. [root@devel]# netstat -n Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED

18 Memory leak no httpd Estudo de caso de memory leak no httpd (1) Ambiente: Portal com conteúdo jornalístico e de entreterimento; Modelo de negócio baseado em venda de publicidade online (banners, teasers, etc.) Visibilidade nacional; Aproximadamente 1000 conexões HTTP simultâneas em horários de pico; Baseado em um server farm com 4 servidores web Apache (ver. 1.3);

19 Memory leak no httpd Estudo de caso de memory leak no httpd (2) Tráfego WAN: 98% HTTP (azul=saída)

20 Memory leak no httpd Estudo de caso de memory leak no httpd (3) Problema: Perda expressiva de receita devido à insatisfação dos anunciantes com o desempenho de entrega do Portal; Diagnóstico: Dentre as principais causas para a falta de desempenho, foi detectado o excessivo consumo de memória nos servidores web devido a um memory leak no httpd;

21 Memory leak no httpd Estudo de caso de memory leak no httpd (4) Exemplo de processos httpd c/ vazamento de memória PID USER PRI NI SIZE RSS SHARE STAT %CPU %MEM TIME COMMAND daemon M 2684 S :25 httpd daemon M 5144 S :04 httpd daemon M 4180 S :04 httpd daemon M ' 2092 S :04 httpd daemon M 844 S :07 httpd daemon M 2132 S :05 httpd daemon S :00 httpd daemon S :00 httpd OBS: MaxClients = 1000 => 1000*20M = ~21GB!

22 Memory leak no httpd Estudo de caso de memory leak no httpd (5) Efeito da degradação da memória no servidor Web... Sep 18 14:03:50 web1 kernel: Out of Memory: Killed process (httpd).... Consequência do memory leak

23 Memory leak no httpd Análise experimental do Apache Objetivo: Reproduzir os efeitos do memory leak observados em um ambiente de ISP; Identificar os principais fatores que causavam estes efeitos; Ambiente de Teste: Duração: 8 horas; Apache : MPM prefork (200 processos httpd); Red Hat Enterprise Linux AS 2.0 (kernel ); Páginas de aprox. 200 kilobytes e workload de 90% da capacidade suportada pelo servidor.

24 Memory leak no httpd Ambiente de Testes

25 Memory leak no httpd Teste (1) de Carga p/ setup do Workload

26 Memory leak no httpd Teste (1) de Carga p/ setup do Workload

27 Memory leak no httpd Consumo de memória conteúdo estatítico

28 Memory leak no httpd Comportamento do kernel (conteúdo estático)

29 Memory leak no httpd Consumo de memória conteúdo dinâmico (1)

30 Memory leak no httpd Consumo de memória conteúdo dinâmico (2)

31 Memory leak no httpd Comparação de MPMs: worker vs. prefork prefork 10 childs worker 5 child 2 thr Prefork 10 Childs Worker 5 Child 2 Thr Worker 2 worker Child 5 2 childs Thr 5 thr worker 1 childs 10thr Worker 1 Child 10 Thr

32 Memory leak no httpd Conclusões do Experimento Para ambientes com especificações similares: Existem fortes evidências de que o memory leak, naquele caso, está relacionado à geração de conteúdo dinâmico; Conteúdo estático, independente do tamanho, não apresentou problemas; O tamanho das páginas geradas dinamicamente influenciou nos efeitos do memory leak; Rotinas que monitoram a disponibilidade de memória podem gerar alarme falso de memory leak para os casos de conteúdo estático.

33 Memory leak no httpd Conclusões do Experimento cont... O melhor desempenho se deu para a MPM worker, com excessão da configuração com 1 worker executando todas as threads.

34 Mitigando os efeitos do memory leak Soluções atuais Devido a importância do problema o Apache oferece recursos para aumentar a sua confiabilidade frente a memory leaks; Também, no mercado já existem soluções voltadas para o monitoramento e contenção dos efeitos de vazamento de recursos em sistemas servidores; Ex. IBM Director xseries Software Rejuvenation Agent.

35 Apache em sites de Alto Tráfego Soluções atuais O Apache implementa diretivas (httpd.conf) que podem ser usadas para mitigar os efeitos de memory leaks: KeepAlive on off KeepAliveTimeout segundos MaxKeepAliveRequests quantidade RLimitMEM nr. de bytes max RLimitNPROC nr. proc. max

36 Apache em sites de Alto Tráfego Solução Alternativa em fase experimental Realiza o monitoramento e mitigação dos efeitos de memory leak no Apache; Implementada na forma de um Agente (daemon) para qualquer SO com kernel Linux; Monitora o consumo de memória individual dos processos httpd; Utiliza o conceito de graceful restart do Apache; Atualmente sendo implementado o suporte para a nova funcionalidade graceful stop.

37 Apache em sites de Alto Tráfego Solução Alternativa em fase experimental Cenário (E8) Sem o Agente

38 Apache em sites de Alto Tráfego Solução Alternativa em fase experimental Cenário (E8) Com Agente implementado

39 Apache em sites de Alto Tráfego Solução Alternativa em fase experimental Resultados no lado do cliente (browser)

40 Apache em sites de Alto Tráfego Solução Alternativa em fase experimental Cenário (2) Dobro de processos (Sem Agente)

41 Apache em sites de Alto Tráfego Solução Alternativa em fase experimental Cenário (2) Dobro de processos (c/ Agente)

42 Apache em sites de Alto Tráfego Conclusões Se possível utilize servidores separados para conteúdo estático e dinâmico. Módulos p/ conteúdo dinâmico (ex. mod_php, mod_cgi, outros) sempre são mais susceptíveis a memory leaks; Evite alarmes falso positivos monitorando os processos e não a memória disponível/ocupada; A versão 2.2 com MPM worker tem mostrado a melhor confiabilidade contra memory leaks atualmente.

43 Obrigado!