Apache Mesos para operar grandes sistemas e (micro)serviços. Diego de Oliveira Março de 2015

Transcrição

1 Apache Mesos para operar grandes sistemas e (micro)serviços Diego de Oliveira Março de 2015

2 Sobre mim Diego de Oliveira, desenvolvedor, pai, professor, viajante, motoqueiro...

3 Sobre o PagSeguro O PagSeguro é uma solução de intermediação de pagamentos através da internet e seus leitores de cartão. ADs/Devs/Qas/Webs/etc 300 Requisições por dia 22 milhões Codebase 1.5MLOC

4 Spoiler O servidor está morrendo...bem vindo novo servidor docker/docker-squash/docker-slim unikernel(clickos, Osv, MirageOS, etc)

5 DE VOLTA À LOUSA

6 O que já sabemos A alocação de recursos on premise tende ao desperdício, virtualização melhora, mas cobra seu preço em performance. Com 16 CPUs esse percentual poderia chegar à 1600%, o máximo utilizado em um ano foi 200%

7 O que já sabemos Sistemas monolíticos podem reduzir a performance do time, a confiança na entrega, a capacidade de experimentar, entre outros problemas. bash$> time mvn ###### a lot of real 6m10.058s user 9m29.628s sys 0m29.476s bash$> du -c -h ###### a lot of 3.5G total install -2TC logs **/target/. logs Tempo de build e espaço em disco Gráfico de dependências de entidades

8 O que já sabemos Entregas muito grande em sistemas 24x7 podem ser assustadoras. OpenSSL bugs, tamanho do projeto: linhas de código Bug na implentação de SSL do OSX Correção do Heartbleed

9 O que já sabemos Micros Serviços permite escalabilidade, domínio melhor definido, mas é necessário gerenciá-los. Estrela da morte Netflix Twitter

10 ONDE CHEGAMOS

11 Apache Mesos Program against your datacenter like it s a single pool of resources Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively. Apache Mesos é o n1 automatizado Acácio

12 Apache Mesos - Arquitetura Visão de implantação/operações

13 Apache Mesos - Disponibilidade Visão de implantação/operações Um único pool de servidores, sendo usado para executar várias tasks, melhor aproveitamento. Depois Antes Caso um servidor falhe, as tasks são migradas automaticamente para servidores saudáveis.

14 Apache Mesos - Frameworks Visão de implantação/operações Existem vários frameworks desenvolvidos, tanto para soluções conhecidas quando projetos de nicho.

15 Apache Mesos - Frameworks Marathon/Chronos Visão de implantação/operações/devs Descreva a necessidade da sua aplicação em um json, envie ao Marathon para executar um serviço persistente ou ao chronos caso seja um job agendado. A fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based schedules A cluster-wide init and control system for services in cgroups or Docker containers

16 Apache Mesos - Frameworks Marathon/Chronos Arquitetura de alta disponibilidade Sempre tenha mais de uma instância para garantir comportamento ininterrupto Isolamento via cgroups/docker/lxc

17 DEMO

18 Apache Mesos - Demo Instalação do mesos para testes bash$> curl -ssl sh bash$> export PATH=$PATH:$HOME/.minimesos/bin bash$> minimesos up --num-agents 6 Uma aplicação para testes bash$> echo ' package main import ( "io" "os" "net/http" ) func hello(w http.responsewriter, r *http.request) { io.writestring(w, "Hello world!") } func main() { port := os.args[1] http.handlefunc("/", hello) http.listenandserve(":" + port, nil) }' > sample.go bash$> go build sample.go

19 Apache Mesos - Demo Descrevendo o deploy bash$> export IP=`ip route get awk 'NR==1 {print $NF}'` bash$> echo " { \"id\": \"/sample\", \"instances\": 1, \"cmd\": \"chmod +x sample;./sample \$PORT0\", \"cpus\": 0.1, \"mem\": 100, \"disk\": 10, \"uris\": [ \" ] }" > sample.json Executando e escalando a aplicação bash$> python -m SimpleHTTPServer 9999 > /dev/null & bash$> export MARATHON= bash$> curl -s -X POST -H 'Content-type: application/json' -d@sample.json $MARATHON bash$> firefox > /dev/null & bash$> firefox > /dev/null & bash$> curl -s -X PUT -H 'Content-type: application/json' -d '{ "instances": 2 }' $MARATHON/sample bash$> minimesos destroy

20 RESULTADOS

21 Novas aplicações Nossa estrela da morte Os novos projetos, jobs, módulos, serviços ou micro serviços estão sendo publicado nesse ambiente. Melhor uso dos recursos, sem necessidade de spare frio.

22 Nível de Maturidade em Nuvem Sistema Operação Entrega Recurso Sua base de código é modular; é de fácil manutenção; falhas não se propagam em cascata; há delineamento claro dos domínios; está pouco acoplado; é fácil ter acesso aos logs; operações não é baba de sistemas; configurações de ACLs e acessos não demoram mais de uma semana; há troca de experiências entre Operações, implantação e desenvolvimento; fácil, não precisa de coordenação entre vários times; aprovação fácil, sem burocracia; novos códigos demoram menos de um mês para entrar em produção; é sempre tranquila demora menos de uma semana para adicionar um novo servidor/serviço; fácil fazer upgrade de hardware; um novo domínio demora menos de um mês; fácil adicionar espaço em disco

23 Nível de Maturidade em Nuvem Avalie os pontos de maturidade e observes os pontos que podem ser melhorados. Exemplo de nível de maturidade

24 PERGUNTAS?