Oficina Escalabilidade e performance da infraestrutura Plone/Zope com CacheFU e Varnish

Transcrição

1 Consegi 2010 Oficina Escalabilidade e performance da infraestrutura Plone/Zope com CacheFU e Varnish Lucas Brasilino <brasilino@pgr.mpf.gov.br>

2 Sobre o instrutor Servidor do MPF, lotado na PGR; Integrante da equipe da Seção de Sistemas Operacionais; Consultor e Instrutor pela 4Linux Cursos de Apache e Squid Certificado LPIC-3 e LPIC-302 Pós-graduado em Administração de Redes Linux pela UFLA.

3 Sobre a oficina (aka alinhamento de espectativas) Foco em: Protocolo HTTP Componentes de uma infra escalável Customizações do S.O. Linux Infra Zope Aceleração HTTP via Varnish Produto CacheFU Não será abordado: Programação Zope/Python Criação de um Plone Site

4 Performance na Web (alguns poucos mandamentos) Minimizar o número de requisições HTTP Habilitar conexões persistentes Cuidado para não se consumir recursos Número de conexões abertas CPU / Memória Melhor seria usar pipelining :)

5 Performance na Web (alguns poucos mandamentos) Habilitar compressão em arquivos texto HTML CSS Javascript XML Usar figuras de tamanho apropriado Usar Caching Não há performance sem cache!!

6 Protocolo HTTP Hyper Text Transfer Protocol Baseado em requisições e respostas Stateless: requisições são independentes entre si Objetiva: Buscar um objeto Executar um código no servidor Duas versões em uso: HTTP 1.0 e 1.1

7 Uniform Resource Locator URL Tem como função endereçar todo e qualquer objeto na Web Pode ser entendido como uma 'chave' Pode ser manipulada durante toda a cadeia de requisição e resposta Por isto pode criar uma relação N para 1

8 Uniform Resource Locator URL Formato Geral: <scheme>://<scheme-specific-part>

9 Uniform Resource Locator URL Formato aplicado ao protocolo HTTP: host: nome do servidor/ip de onde se buscar o objeto port: porta TCP para conexão path: caminho no servidor a partir de um raiz onde localiza-se o objeto querystring: sequência pré-determinada de argumentos e valores.

10 Exemplos: Uniform Resource Locator URL

11 Protocolo HTTP Conexão TCP realizada pelo cliente: requisição / resposta

12 Protocolo HTTP Exemplo de requisição: URL: GET /files/arl_logo.gif HTTP/1.1 Host: arl.ginux.ufla.br User-Agent: BrasilinoBrowser/1.0 Accept: text/html, image/* Connection: close

13 Protocolo HTTP Formato de uma requisição: request line headers CRLF entity body

14 Protocolo HTTP request line: Método: GET, POST, HEAD, PUT, DELETE, TRACE, OPTIONS Parte path + query string da URL Versão do protocolo HTTP

15 Protocolo HTTP headers: Par nome : valor Lembrem-se de chave:dado :) Classificados em: Request headers: Aplicáveis apenas em requisições Response headers: Aplicáveis apenas em respostas General headers: Aplicáveis tanto em requisições quanto respostas Entity headers: Descreve o entity body

16 Protocolo HTTP Entity body Corpo da mensagem Em requisições, só estão presentes quando usado os métodos POST e PUT.

17 Protocolo HTTP Exemplo de resposta: HTTP/ OK Date: Sat, 14 Feb :35:05 GMT Server: Apache Last-Modified: Tue, 27 Nov :35:25 GMT ETag: "40d56-129f-43fef05453d40" Accept-Ranges: bytes Content-Length: 4767 Cache-Control: max-age= Expires: Sat, 28 Feb :35:05 GMT Connection: close Content-Type: image/gif GIF89a

18 Protocolo HTTP Formato de uma resposta: status line headers CRLF entity body

19 Protocolo HTTP status line: Versão do protocolo HTTP Status code Descrição textual do status code

20 Protocolo HTTP Código de respostas (status code) status code 1xx 2xx 3xx 4xx 5xx categoria de resposta Informação Sucesso Redirecionamento Erro do cliente Erro do servidor status code descrição textual 200 OK 206 Partial Content 301 Moved Permanently 302 Found 304 Not Modified 403 Forbidden 404 Not Found 500 Internal Server Error 503 Service Unaviable

21 Protocolo HTTP Instalem o HTTPFox :)

22 Protocolo HTTP Versão 1.0 Não suportam Virtual Hosts (header Host): Conexão não é persistente Apenas um funcionalidade de caching (header Expires): Obs: Na prática, os clientes e servidores suportam virtual hosts e conexão persistente.

23 Protocolo HTTP Versão 1.1 Introduz o conceito de Virtual Hosts Por padrão a conexão é persistente Suporta pipelining Introduz dois mecanismos de caching: Baseado em expiração Baseado em validação

24 Protocolo HTTP Conceitos em torno do Caching Objeto válido O objeto pode ser reutilizado e, portanto, armazenado em cache. Objeto inválido O objeto não pode ser reutilizada, ou seja, não pode ser armazenado em cache e deve ser descartado o quanto antes. TTL Tempo de vida em que o objeto é válido

25 Protocolo HTTP Expiração Ato do objeto válido tornar-se inválido Validação (ou revalidação) Ato de tornar um objeto expirado válido

26 Protocolo HTTP Modelo baseado em expiração Header Expires Define o tempo absoluto para expiração HTTP/ OK Server: Apache Content-Type: image/gif Date: Fri, 27 Feb :13:45 GMT Last-Modified: Wed, 07 Jun :50:30 GMT Expires: Sun, 17 Jan :14:07 GMT Connection: Keep-Alive

27 Protocolo HTTP Modelo baseado em expiração Header Cache-Control Define o tempo relativo para expiração HTTP/ OK Server: Apache Content-Type: image/gif Date: Fri, 27 Feb :13:45 GMT Cache-Control: max-age=3600, public Last-Modified: Wed, 07 Jun :50:30 GMT Connection: Keep-Alive

28 Protocolo HTTP Modelo baseado em expiração Vantagens: Diminui o número de requisições HTTP Diminui a latência Diminui a carga no servidor de origem Geralmente aplicado em: Conteúdos estáticos como figuras, CSS, documentos (PDF, ODT, ODP), código JavaScript, páginas HTML estáticas, etc.

29 Protocolo HTTP Modelo baseado em validação O servidor adiciona à resposta o header Last-Modified com a data de última modificação do objeto O cliente armazena a data informada pelo Last-Modified e a cada requisição ele inclui o header If-Modified-Since com esta data. Requisição condicional

30 Protocolo HTTP Modelo baseado em validação Se o objeto foi modificado: Siginifica que a condição é verdadeira O objeto no cliente é inválido A resposta conterá o status code 200 'OK' No corpo da resposta (entity body) estará presente o novo objeto, ou seja, o objeto será enviado novamente ao cliente Possivelmente será adicionado a nova data de modificação no header Last-Modified

31 Protocolo HTTP Modelo baseado em validação Se o objeto não foi modificado: Siginifica que a condição é falsa A resposta conterá o status code 304 'Not Modified' O objeto não precisará ser enviado O objeto foi revalidado

32 Protocolo HTTP Modelo baseado em validação Vantagens: Diminui a largura de banda necessária para transferir o objeto Diminui a latência Geralmente aplicado em: Informações onde há necessidade tempestiva de se acessar a última versão do objeto

33 Servidor Proxy/Cache Proxy/cache tradicional (forward proxy/cache)

34 Servidor Proxy/Cache Proxy/cache reverso (reverse proxy/cache)

35 Servidor Proxy/Cache Acelerador HTTP (HTTP accelerator)

36 Componentes de uma infra escalável Acelerador HTTP Balanceador Servidor de aplicação Banco de dados

37 Componentes de uma infra escalável

38 Customização da Pilha TCP/IP do Linux net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.ip_local_port_range = net.ipv4.tcp_fin_timeout = 5 net.core.rmem_max= net.core.wmem_max= net.ipv4.tcp_rmem= net.ipv4.tcp_wmem=

39 Customização da Pilha TCP/IP do Linux Adicionem esta configuração no /etc/sysctl.conf. Executem: sysctl -p No ambiente (shell) que executar um serviço aumente o número máximo de descritores: ulimit -HSn 16384

40 Infra Zope Modo tradicional de operação do Zope: Zope Datafs

41 Infra Zope Modo escalável de operação do Zope: Zope Zope Zope ZeoServer Datafs

42 Infra Zope Modo escalável de operação do Zope: Zope Zope Zope Datafs Datafs ZeoServer ZeoServer

43 Infra Zope Instalem a infra Zope a partir do buildout.cfg fornecido.

44 Varnish Acelerador HTTP Eficiente pois utiliza técnicas modernas de IPC e acesso ao conteúdo em cache Utiliza shared memory como IPC Utiliza memory mapped file para armazenar objetos É extremamente flexível, através de sua linguagem de configuração VCL Trata-se de um DSL Em minha opinião é sua característica matadora

45 Varnish Configuration Language VCL Sintaxe similar ao Perl e C Operadores: Atribuição: = Se a atribuição for a um atributo, usa-se o operador 'set' Comparação: ==,!= Boleano:!, &&, Regex: ~ Suporta blocos '{ }', testes com if mas não loops

46 Varnish Configuration Language VCL Exemplos set req.http.connection = close if (req.http.host!= " { } set req.http.host =

47 Varnish Configuration Language Subrotinas: vcl_recv VCL Chamada ao ser recebido a requisição do cliente vcl_pipe Chamada ao se entrar no modo pipe vcl_pass Chamada so se entrar no modo pass vcl_hash Chamada ao se procurar um objeto em cache

48 Varnish Configuration Language Subrotinas: vcl_hit; VCL Chamada quando o objeto é encontrado em cache vcl_miss Chamada quando o objeto não é encontrado em cache vcl_fetch Chamada após recebe objeto do backend vcl_deliver Chamada antes do objeto se entregue ao cliente

49 Varnish Configuration Language VCL Retorno das subrotinas: pipe Entra no modo pipe (passa para vcl_pipe) pass Entra no modo pass (passa para vcl_pass) lookup Procura objeto no cache (passa para vcl_hash) hash Passa para vcl_hi ou vcl_miss

50 Varnish Configuration Language VCL Retorno das subrotinas: deliver Passa para vcl_deliver A partir da versão 2.1 deve-se usar a palavrachave 'return': return(pass);

51 Varnish Configuration Language VCL Objetos: client server req bereq obj resp

52 Varnish Configuration Language VCL

53 Varnish Otimizações: thread_pools thread_pool_min thread_pool_max thread_pool_add_delay listen_depth lru_interval

54 Varnish Instalem e configurem o varnish

55 CacheFU É um produto para o Plone Cria políticas de caching Conjunto de headers HTTP (header set) Conjunto de objetos Plone/Zope a que se aplica um header set Remove do cache, via método PURGE, um objeto que foi modificado

56 CacheFu Instanciem o CacheFU e configurem políticas. Testem!!!

57 Consegi 2010 Dúvidas?!?!!? Obrigado!!!