Apache em Sites de Alto Tráfego: Aspectos Internos de Performance/Escalabilidade

Transcrição

1 Apache em Sites de Alto Tráfego: Aspectos Internos de Performance/Escalabilidade Rivalino Matias Jr. PerformanceLab/UFSC - K4B Consulting Porto Alegre - Junho/2005

2 Apache em Sites de Alto Tráfego AGENDA Ecossistema Internet & Web; Desempenho do HTTP (1.0/1.1) O Apache Web Server Apache em sites de Alto Tráfego; Considerações Finais;

3 Introdução Internet & Web Em 1989 Tim Berners-Lee inventou a WWW, cujo propósito foi ter uma infra-estrutura padrão para o compartilhamento de informações; Desde então, a Web tem sido largamente usada para garantir independência de plataforma; Atualmente, a Web está no centro da infra-estrutura de TI das organizações; Um dos principais componentes desta infra-estrutura é o Web Server;

4 Ecossistema WEB Modelo de Comunicação: Client <-> Server; Cliente = Browser; Servidor = Web Server; As regras desta comunicação estão definidas no protocolo HTTP (L7); A formatação dos dados que trafegam entre Browser e Web Server é realizada pela linguagem HTML; Outros elementos já fazem parte deste Ecossistema (BD, AppServer, LB, outros).

5 Ecossistema Web Componentes / Arquiteturas (1) Usuários INFRAESTRUTURA 2-Tier Internet Link Web Server Dial-up, xdsl, FR,... HTTP

6 Ecossistema Web Componentes / Arquiteturas (2) Usuários INFRAESTRUTURA 2-Tier Internet Link Web Server Database Dial-up, xdsl, FR,... HTTP SQL

7 Ecossistema Web Componentes / Arquiteturas (3) Usuários INFRAESTRUTURA 3-Tier Internet Link Web Server App Server Database Dial-up, xdsl, FR,... HTTP SQL HTTP(S), (S)RMI, CORBA, outros

8 Ecossistema Web Componentes / Arquiteturas (4) Usuários INFRAESTRUTURA n-tier + HA Internet Link Dial-up, xdsl, FR,... Web Server Farm App Server Farm HTTP SQL HTTP(S), (S)RMI, CORBA, outros Database Farm

9 Performance na Web Entregar o conteúdo solicitado dentro de um tempo de resposta aceitável para a quantidade de clientes planejada; Aceitável => 15 seg. (Nielsen/Netratings); 12 seg. (Keynote Systems Inc.); A taxa de resposta (req/seg) é outra métrica interessante para avaliar o desempenho de servidores Web; Os objetivos do seu Web Site determinarão sua necessidade de performance/escalabilidade.

10 Performance na Web Tempo de resposta dos 10 maiores Web Sites de ecommerce do WSJ Rank WebSite Tempo de Resp. (seg.) 1 Eddie Bauer 9,26 2 Office Depot 10,07 3 Amazon 11,46 4 Wal Mart 14,64 5 Best Buy 14,96 6 JCPenny 15,21 7 Costco 15,80 8 Office Max 20,62 9 Target 23,27 10 Sears 23,45 Fonte: Keynote Systems performance indexes.

11 Performance na Web O que deve ser analisado? São diversos os fatores que influenciam na performance de um Web Site: Técnicos: Canal/Link de comunicação (bandwidth); Hardware (Processador, Memória, Discos, NIC,...) Software (SO, Web Server, CGI/SSI, BD, FW,... ) Conteúdo (Estático, Dinâmico, Imagens, Vídeo,...) Outros: Público-alvo, sazonalidade, foco do negócio, etc.

12 Performance com HTTP (1.0 / 1.1) A comunicação na Web é baseada no protocolo HTTP; Este segue um modelo client/server; Ambas as versões são baseadas no modelo client/server; Relacionado a performance, as principais melhorias introduzidas na versão 1.1 foram: Conexão Persistente; Pipelining.

13 Performance com HTTP (1.0 / 1.1) Sessão HTTP + TCP CLIENTE SYN (a) WEB SERVER SYN(b), ACK(SYN(a)) ACK(SYN (b)) Estabelecimento de Conexão TCP Sessão HTTP HTTP Request ACK (Req.) Response FIN(a) ACK ( Resp.+FIN(a) ) FIN(b) ACK(FIN(b)) Encerramento de Conexão TCP

14 Performance com HTTP (1.0 / 1.1) Acesso nas Versões 1.0 / 1.1 artigo.html Fig1.png Apache Web Server Sendo o mais popular Web Server da atualidade, o Apache httpd tem sido utilizado em diversas pesquisas científicas voltadas para a avaliação de performance em Web Servers. Neste sentido, este trabalho apresenta um estudo.. 12 M ain title Co lumn 1 Co lumn 2 Co lumn 3 logo.jpg Row 1 Row 2 Row 3 Row 4

15 Performance com HTTP (1.0 / 1.1) Anatomia de uma sessão HTTP: ver. 1.0 c/ acesso serializado Browser TCP SYN HTTP GET TCP FIN artigo.html Web Server TCP SYN HTTP GET logo.jpg TCP FIN TCP SYN HTTP GET Fig1.png TCP FIN

16 Anatomia de uma sessão HTTP: ver. 1.0 c/ conexões paralelas Performance com HTTP (1.0 / 1.1) Browser TCP SYN Web Server HTTP GET TCP FIN artigo.html S S logo.jpg Fig1.png F F

17 Performance com HTTP (1.0 / 1.1) Anatomia de uma sessão HTTP: ver. 1.1 c/ conexão persistente e requisições serializadas Browser TCP SYN HTTP GET HTTP GET artigo.html logo.jpg Web Server HTTP GET Fig1.png TCP FIN

18 Performance com HTTP (1.0 / 1.1) Anatomia de uma sessão HTTP: ver. 1.1 c/ conexão persistente e pipelining Browser TCP SYN HTTP GET artigo.html Web Server HTTP GET ( logo.jpg ) HTTP GET ( fig1.gif ) logo.jpg Fig1.png TCP FIN

19 Performance com HTTP (1.0 / 1.1) Outros exemplos... RH 9, Mozilla 1.4.3, [root@devel]# netstat -n Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED RH 9, Mozilla 1.4.3, após fechar o browser. [root@devel]# netstat -n Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp : :80 TIME_WAIT tcp : :80 TIME_WAIT RH 9, Mozilla 1.4.3, [root@devel]# netstat -n Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp : :80 ESTABLISHED

20 Performance com HTTP (1.0 / 1.1) Outros exemplos... RH 9, Mozilla 1.4.3, conexões. [root@devel]# netstat -n Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED tcp : :80 ESTABLISHED Windows 2000 Prof., IE 6, conexões. C:\>netstat -n Active Connections Proto Local Address Foreign Address State TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED

21 Performance com HTTP (1.0 / 1.1) Outros exemplos... Win2000 Prof., IE 6, C:\>netstat -n Active Connections Proto Local Address Foreign Address State TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED Win2000 Prof., Mozilla 1.4.3, C:\ netstat -n Active Connections Proto Local Address Foreign Address State TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED TCP : :80 ESTABLISHED

22 Apache Web Server Em Abril/1995 a primeira versão do Apache foi liberada, baseada no code base do NSCA httpd server v. 1.3; Esta release (v 0.7) incorporava muitos patches da comunidade para o código do NSCA, de onde surgiu seu nome: A PAtCHy HTTPD é um dos projetos da The Apache Software Foundation ( Atualmente ocupa o posto de Web Server mais usado na Internet (Netcraft, 2005).

23 Apache Web Server Utilização de Web Servers Apache Microsoft Sun NCSA Zeus Fonte: Netcraft Jun/2005 (

24 Apache Web Server Performance / Escalabilidade O projeto Apache ( httpd ) tradicionalmente priorizou os seguintes aspectos: Portabilidade; Segurança; Flexibilidade; Aderência aos padrões abertos; Até a versão 1.3, performance e escalabilidade não eram as principais prioridades do projeto; Apesar de ser o mais utilizado, o Apache não é o Web Server mais performático em termos de benchmarks!

25 Comparativo de Performance Req/seg. x Conexões simultâneas Apache Web Server Apache Fonte: ACME Labs. (

26 Apache Web Server Performance / Escalabilidade (cont.) Sobre Benchmarks, vale ressaltar: Benchmarks!= Real World Latência da rede vs. Capacidade do Web Server; Quantos sites você conhece tem um link WAN de 100Mbps? Devido ao número de componentes envolvidos, certamente estes resultados são distantes da sua realidade; Realize os seus próprios testes!!!

27 Apache Web Server Aspectos Arquiteturais ver. 1.3: Baseada em processos (Unix/Linux); Threads na plataforma Windows NT; ver. 2.0 (abril/2002): Introduz o modelo de processos MPM (Multi-Processing Modules); Utiliza a system call sendfile(2) para envio e recebimento de conteúdo estático (html, gif, jpg, pdf,...); Suporta a system call mmap(2) para mapeamento de arquivos em memória;

28 Apache Web Server Aspectos Arquiteturais (cont.) MPMs (v. 2.0): Responsáveis por: Gerenciar as portas de comunicação, aceitar conexões, alocar threads/processos para atendimento das requisições; Possibilitam customizações específicas para cada plataforma de SO (ex. mpm_winnt); Alternativas: prefork, perchild, worker, threadpool, leader, beos, mpmt_os2, outros...; Os MPMs perchild, leader e threadpool são experimentais, portanto inadequados para ambientes de produção.

29 Apache Web Server Aspectos Arquiteturais (cont.) Dois exemplos de MPM prefork worker Pai Pai Filho1 Filho2 Filho3 Filhon Filho1 Filho2 Filho3 Filhon thr1... thrn thr1... thrn thr1... thrn thr1... thrn

30 Apache Web Server Avaliação de Performance Benchmark realizado por de Andrew Ho ( Web Server: Dual PIII, 700MHz, 1 GB RAM, Solaris x86; Gerador de Carga: Configuração idêntica ao Web Server; Conteúdo estático: Arquivo de 1 KB. Instalação do httpd sem customizações (out-of-box); A cada 30 segundos o nível de concorrência foi incrementado em 1.

31 Apache Web Server Avaliação de Performance (cont.)

32 Apache Web Server Avaliação de Performance (cont.)

33 Apache Web Server Avaliação de Performance (cont.) Utilizando processor bind

34 Apache Web Server Avaliação de Performance (cont.) Benchmark realizado pelo IBM Linux Technology Center (LTC) Server: IBM xseries Netfinity 8500R CPU: (8) Pentium III-700MHz RAM: 9 GB Swap: 2 GB Red Hat 7.3 Web server: Apache httpd Gerador de carga: WPT 1.9.4

35 Apache Web Server Avaliação de Performance (cont.) Comparação do Apache 2.0 com Kernel 2.4 e 2.6

36 Apache Web Server Avaliação de Performance (cont.) Aspectos relativos ao conteúdo: Não se preocupe com conteúdo estático; As páginas dinâmicas são/serão o seu gargalo!!! Teste com conteúdo estático vs. dinâmico: Duração: 8 horas; Apache httpd: ; Red Hat Enterprise Linux AS 2.0 (kernel ); MPM prefork (200 processos httpd); Páginas de 196 Kbytes e Carga: 90%.

37 Apache Web Server Avaliação de Performance (cont.) Consumo de Memória (pág. estática) RAM (MBytes) Horas :00 1:00 1:58 2:58 3:58 4:58 5:58 6:58 7:58 Fonte: palestrante.

38 Apache Web Server Avaliação de Performance (cont.) Consumo de Memória (pág. dinâmica) 500 E E Horas 0:00 1:00 1:57 2:57 3:57 4:57 5:57 6:57 7:57 RAM (MBytes) Fonte: palestrante.

39 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego Qual arquitetura do Apache utilzar (1.3 ou 2.0)? httpd 2.0.x; Qual MPM (worker / prefork)? worker customizado (avalie preliminarmente); Qual versão do Kernel? 2.6.x; Com hardware SMP/SMT(HT), utilize os recursos de CPU affinity! Schedutils (taskset, chrt);

40 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego (cont.) Evite a qualquer custo o swapping: Limite o nr. de processos / threads por servidor; Utilize mais de um servidor escalando horizontalmente: DNS round robin; IP load balancer: LVS/IPVS, Red Hat Cluster Suite, Cisco Local Director, F5 BigIP, outros...; Avalie a utilização de um servidor especializado (ex. thttpd) para servir todo conteúdo estático (ex. imagens, zip, pdf, etc.);

41 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego (cont.) Planeje a infra-estrutura do seu servidor Apache, definindo os requisitos que devem ser atendidos: tempo de resposta, nr. de conexões simultâneas, perfil / caracterização do tráfego, etc. Não esqueça de ser generoso ao planejar sua capacidade de memória RAM; A seguir, algumas recomendações de configuração para o httpd.conf:

42 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego (cont.) Antes de tudo, compile o httpd como worker:./configure with-mpm=worker... No httpd.conf: Habilite o uso de mmap(2): EnableMMAP on MMapFile /usr/local/.../foto.jpg Habilite o uso de sendfile(2): EnableSendfile on Modifique o valor default do ListenBacklog: ex. ListenBacklog 5000

43 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego (cont.) Mais httpd.conf...: Evite o custo de criar e remover processos com frequência, definindo MinSpare=MaxClients e MaxSpare=0 worker: MinSpareThreads=MaxClients MaxSpareThreads=0 prefork: MinSpareServers=MaxClients MaxSpareServers=0 MaxRequestsPerChild=0

44 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego Exemplo de seção worker do httpd.conf # worker MPM <IfModule worker.c> ServerLimit 50 StartServers 50 MaxClients 500 MinSpareThreads 500 MaxSpareThreads 0 ThreadsPerChild 10 MaxRequestsPerChild 0 </IfModule>

45 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego Exemplo de seção prefork do httpd.conf # prefork MPM <IfModule prefork.c> ServerLimit 500 StartServers 500 MaxClients 500 MinSpareServers 500 MaxSpareServers 0 MaxRequestsPerChild 0 </IfModule>

46 Apache em sites de Alto Tráfego Apache em sites de Alto Tráfego (cont.) Mais httpd.conf...: Utilize Conexões persistentes/pipelining KeepAlive On MaxKeepAliveRequests 0 Em casos de memory leaks, programe a reinicialização periódica do httpd: killall -HUP httpd; (não recicla!) killall -9 httpd; httpd; (causa downtime) apachectl restart; (recicla c/zerodowntime!)

47 Apache em sites de Alto Tráfego Conclusões Você precisa entregar em 15 seg.? Avalie os requisitos de capacidade do seu site; Comece definindo suas necessidades em termos de taxa/tempo de resposta e nr. de conexões simultâneas; Use o log do Apache e outras medições para caracterizar a utilização do seu site; Hands-on!

48 Obrigado!