Consumo e Gestão de Recursos em Cloud: técnicas reais por trás das abstrações. Alexandre Biancalana Qcon - Março 2016

Transcrição

1

2 Consumo e Gestão de Recursos em Cloud: técnicas reais por trás das abstrações Alexandre Biancalana Qcon - Março 2016

3 Antes do Cloud, em um DC perto de você Servidores Dedicados == Zero concorrência por recursos Recursos computacionais ociosos na maior parte do tempo Muito mais capacidade instantânea do que necessário == derperdício Crescimento depende de CAPEX, negociação, entrega, instalação

4 Oportunidade Abstração de toda a camada fisíca (Opaque to the application) Recursos disponíveis instantâneamente (Everything has an API) Sensação de Recursos Infinitos Capacidade Massiva de Recursos Computacionais Compartilhados Grande variação na quantidade de recursos provisionados (VMs, vcpus, Memória)

5 Are your servers PETS or CATTLE? PETS Nomes bonitos e singulares (brain.company.com) São únicos, conhecidos e cuidados Impacto percebido em caso de problemas Scale UP CATTLE Identificados por números (web001.company.com) Em caso de problemas são substituídos sem percepção (automaticamente) Automação de provisionamento e configurações Scale OUT

6 Overcommitment verb (used with object), overcommitted, overcommitting. 1. to commit more than is feasible Allocated Resource > Available Resource

7 Overcommitment Total Resource Allocated VM A VM B VM C Physical Host Physical Host Resource Available overcommit

8 VM A VM B VM C Overcommitment Total Resource Allocated VM A Total Resource Used VM B VM C Physical Host Total Physical Host Resource overcommit

9 CPU Overcommit VM A 1 2 VM B VM C 1 VM D 1 VM E VM F VM G CPU CPU 1 Physical Host CPU Cores

10 CPU Scheduling Hypervisor ESXi Scheduling Algorithms Relaxed Co-scheduling, aka Gang Scheduling Hyper-V There is a name??? KVM vcpu is like a thread Xen Credit Scheduler

11 Memory Overcommit Hypervisor Dedup Balloon Compress Swap Other ESXi TSP vmware-tools Hyper-V page combining dynamic memory - KVM KSM virtio balloon - Xen - xenballoond - DMC

12 Memory Deduplication VM A a b a c d b VM B d e f g Total Memory Allocated a b c d e f g Depois a a a b b b c c c c d d d e f g Antes Physical Host Memory

13 Memory Ballooning VM A a b a c g h i page cache drop page-out (swap) Ballon Driver Inflate a b c d e f Recovered Memory a b c d e f g Low Memory Condition Physical Host Memory h i

14 Memory Compression VM A a b a c g c g a a b b c-g Compressed Memory c Physical Host Memory g Uncompressed Memory

15 Memory Swapping VM A a b x c a b c Physical Host Disk a d e After Swapping b c d e f g Low Memory Condition Random OS Pages Physical Host Memory f g h h i i

16 Storage Thick x Thin Provisioning VM A VM B Thick Thin 50GB } used capacity { 50GB 20GB } provisioned capacity

17 Resource Pooling Permite a alocação recursos (cpu, memória) dentro de um pool de servidores Permite a reserva de recursos (isolamento de workloads) Possibilita controle do overcommit de recursos pelo Cliente Workload B Workload E Workload A Workload C Workload D Workload F

18 Resource Pooling Resource Pool A Total Resource Allocated VM A VM B VM C VM D VM E Resouce Pool Configured Limit

19 Conteção CPU Como identificar (*nix)? top ou vmstat Steal time is the percentage of time a virtual CPU waits for a real CPU while the hypervisor is servicing another virtual processor

20 Conteção CPU Como identificar (Windows)? contadores perfmon: VM Processor/CPU stolen time (ESXi) Hyper-V Hypervisor Virtual Processor\CPU Wait Time Per Dispatch\*

21 Conteção CPU Possíveis causas: Alto nível de CPU Overcommit, associado à alta utilização (Noisy Neighbors) Alto número de vcpus (ESXi) Limitação de Recursos no Hypervisor

22 Conteção CPU Oque pode ser feito? Dimensionar corretamente a quantidade de vcpus (ESXi) Aumentar o tamanho da instância (amzn, azure, gcp, openstack) Destruir/Reiniciar instância com sintoma (amzn, azure, gcp, openstack)

23 Conteção Memória Como identificar (*nix)? # vmware-toolbox-cmd stat balloon 990 MB # cat /proc/vmmemctl target: 1247 pages current: 174 pages

24 Conteção Memória Como identificar (Windows)? Contador perfmon: VM Memory/Memory Ballooned in MB (ESXi)

25 Conteção Memória Possíveis Causas: Alto nível de Memory Overcommit, associado à alta utilização (Noisy Neighbors) Resource Pool Subdimensionado (ESXi) Limitação de Recursos no Hypervisor

26 Conteção Memória Oque pode ser feito? Dimensionar corretamente Resource Pool (ESXi) Aumentar o tamanho da instância (amzn, azure, gcp, openstack) Destruir/Reiniciar instância com sintoma (amzn, azure, gcp, openstack)

27 E o que mais? Identifique seus componentes sensíveis a latência Tenha visão da percepção do usuário (tempo de resposta) Entenda seus picos e sazonalidades (prepare-se para eles) Reserve recursos onde for necessário (se possível) Instâncias maiores tendem a ter mais prioridade e compartilhar menos recursos Use imagens fornecidas pelo provedor Não desabilite os agentes

28 linkedin.com/in/biancalana