Monday, August 6, 12

Transcrição

1

2 Gerência de Configurações em Cloud Puppet em ambientes IaaS José Augusto (Guto) Carvalho

3 whoami Consultor/SysAdmin (LPIC-3) na 4Linux.com.br 12 anos de experiência com tecnologias FOSS Blogueiro FOSS há 6 anos no site gutocarvalho.net Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/PR, CEF, MD/SIPAM, DETRAN/DF Há 2 anos trabalhando com Gerência de Configurações em Ambientes Virtualizados e Clouds Privadas em Brasília

4 Puppet em IaaS

5 Plano de Trabalho 35 minutos de apresentação 5 minutos de hand s on 5 minutos para perguntas

6 Agenda Gerência de Configurações/Infra como Código Puppet como solução de Gerência de Configurações Puppet Arquitetura, Funcionamento e Recursos Mão-na-Massa Perguntas

7 Cloud Computing

8 Cloud e seus Benefícios Hiper-escalável Rápida e Elástica Abstração de Hardware Infraestrutura Dinâmica Sempre Disponível Economicamente Atrativa

9 Provisionamento Podemos criar 500 VM s em poucos minutos

10 Como Administrar 500 VM s?

11 Configuração Manual?

12 Acesso Secure Shell (ssh)?

13 Host a Host?

14 Quantos SysAdmins são necessários para administrar 500 servidores?

15 Qual a velocidade nas mudanças em seu ambiente?

16 Qual a probabilidade de falhas decorrentes de mudanças manuais?

17 Você consegue manter todo o seu ambiente padronizado?

18 Seu custo com manutenção e equipes técnicas está aumentando?

19 Está difícil colocar suas configurações nos trilhos?

20 Como resolver isto? Como obtenho controle e padronização em meu ambiente?

21 Gerência de Configurações

22 Padronização

23 Automatização

24 Controle

25 Integridade e desempenho

26 Agilidade nas mudanças

27 Puppet Ferramenta de nova geração que implementa gerência de configurações para seu ambiente.

28 Visão Rápida Infraestrutura como código

29 Visão Rápida Infraestrutura como código Pare de administrar e comece a desenvolver sua infra

30 Visão Rápida Infraestrutura como código Pare de administrar e comece a desenvolver sua infra Reuse código para gerenciar seu parque com facilidade

31 Visão Rápida Infraestrutura como código Pare de administrar e comece a desenvolver sua infra Reuse código para gerenciar seu parque com facilidade DSL: Linguagem declarativa para descrever configurações

32 Sobre a ferramenta Suporte a Linux, Unix, BSD s e Windows

33 Sobre a ferramenta Suporte a Linux, Unix, BSD s e Windows Criado por Luke Kaines (CEO e Founder PuppetLabs)

34 Sobre a ferramenta Suporte a Linux, Unix, BSD s e Windows Criado por Luke Kaines Empresa PuppetLabs mantém a Ferramenta

35 Sobre a ferramenta Suporte a Linux, Unix, BSD s e Windows Criado por Luke Kaines Empresa PuppetLabs mantém a Ferramenta Ferramenta OpenSource (Licença Apache)

36 Sobre a ferramenta Suporte a Linux, Unix, BSD s e Windows Criado por Luke Kaines Empresa PuppetLabs mantém a Ferramenta Ferramenta OpenSource (Licença Apache) Recebeu grandes investimentos recentemente

37 Sobre a ferramenta Suporte a Linux, BSDs, Solaris e Windows Criado por Luke Kaines Empresa PuppetLabs mantém a Ferramenta Ferramenta OpenSource (Licença Apache) Recebeu grandes investimentos recentemente Empresa oferece Suporte e Versão Enterprise

38 Feito por um SysAdmin para Sysadmins

39 Perfeito para DevOps

40 Especificações Escrito em Ruby

41 Especificações Escrito em Ruby Extensível usando código Ruby

42 Especificações Escrito em Ruby Extensível usando código Ruby Funciona em modo AD/HOC

43 Especificações Escrito em Ruby Extensível usando código Ruby Funciona em modo AD/HOC Funciona em arquitetura Cliente/Servidor

44 Especificações Escrito em Ruby Extensível usando código Ruby Funciona em modo AD/HOC Funciona em arquitetura Cliente/Servidor RESTful API

45 Especificações Escrito em Ruby Extensível usando código Ruby Funciona em modo AD/HOC Funciona em arquitetura Cliente/Servidor RESTful API Comunicação segura (SSL Certificate)

46 Clientes Puppet

47 Arquitetura Como funciona o Puppet?

48 Puppet Resource Abstraction Layer (RAL)

49 Puppet: RAL Resource Abstraction Layer = RAL

50 Puppet: RAL Resource Abstraction Layer = RAL Camada de Abstração de Recursos

51 Puppet: RAL Resource Abstraction Layer = RAL Camada de Abstração de Recursos Fale o que você quer que seja feito

52 Puppet: RAL Resource Abstraction Layer = RAL Camada de Abstração de Recursos Fale o que você quer que seja feito Não se preocupe em como será feito

53 Puppet: RAL Resource Abstraction Layer = RAL Camada de Abstração de Recursos Fale o que você quer que seja feito Não se preocupe em como será feito O Puppet sabe como fazer

54 Instale Pacote X

55 Remova usuário Z

56 (Re)inicie serviço Y

57 Tratamento de Informações O grande diferencial do Puppet é a forma como ele trata as informações de seus nodes

58 Tratamento de informações No Puppet tudo é modelado e tratado como dado

59 Tratamento de informações No Puppet tudo é modelado e tratado como dado O estado atual de um node (servidor) é um dado.

60 Tratamento de informações No Puppet tudo é modelado e tratado como dado O estado atual de um node (servidor) é um dado Um pacote instalado em um node é um dado

61 Tratamento de informações No Puppet tudo é modelado e tratado como dados O estado atual de um node (servidor) é um dado Um pacote instalado em um node é um dado Um usuário em um servidor é um dado

62 Os dados são inseridos em catálogos pelo master O catálogo é processado pelo node e as modificações são aplicadas de acordo com o que foi declarado.

63 Processamento do Catálogo 1) Agente Requisita Catálogo 1.1) Agente envia Fatos para Master 2) Master Processa Fatos e Compara 2.1) Master Produz e envia Catálogo 3) Node Recebe, Compara e Aplica 4) Node informa estado atual ao Master 5) Sistema reflete catálogo

64 Processamento do Catálogo 1) Agente Requisita Catálogo 1.1) Agente envia Fatos para Master 2) Master Processa Fatos e Compara 2.1) Master Produz e envia Catálogo 3) Node Recebe, Compara e Aplica 4) Node informa estado atual ao Master 5) Sistema reflete catálogo

65 Idempotência

66 Funcionamento Módulos Estáticos Puppet Master Configurações Voláteis e Dados

67 Funcionamento Módulos Estáticos Puppet Master Configurações Voláteis e Dados

68 Funcionamento Módulos Estáticos Puppet Master Configurações Voláteis e Dados Camada de Serviços Estruturantes LDAP DNS MONIT SYSLOG

69 Funcionamento Módulos Estáticos Puppet Master Configurações Voláteis e Dados Camada de Serviços Estruturantes LDAP DNS MONIT SYSLOG Camada de Aplicação JBOSS APACHE MYSQL PGSQL

70 Funcionamento Módulos Estáticos Puppet Master Configurações Voláteis e Dados Camada de Serviços Estruturantes LDAP DNS MONIT SYSLOG Camada de Aplicação JBOSS APACHE MYSQL PGSQL Puppet Agents

71 Puppet Master 8140 TCP Client puppetd -t SSL 8139 TCP Server puppetrun Puppet Client Puppet Visão em Rede

72 Administração IaaS Administrar uma Cloud IaaS é simples

73 Administração IaaS Administrar uma Cloud IaaS é simples Escalabiliade Automática é fantástica

74 Administração IaaS Administrar uma Cloud IaaS é simples Escalabiliade Automática é fantástica Criar novos servers conforme demanda é maravilhoso

75 Administração IaaS Administrar uma Cloud IaaS é simples Escalabilidade Automática é fantástica Criar novos servers conforme demanda é maravilhoso Elasticidade é fundamental

76 Administração IaaS Administrar uma cloud IaaS não é algo complicado Escalabilidade automática é um recurso fantástico Ter elasticidade é fundamental Criar novos servidores é muito fácil Administrar centenas de nodes? Aqui começa a complicar.

77 Quando seu ambiente IaaS começar a crescer demais você vai perceber administrá-lo não é tão simples.

78 Adicionando Novos Nodes NGINX ZABBIX JBOSS POSTGRESQL MEMCACHED

79 Adicionando Novos Nodes NGINX ZABBIX JBOSS POSTGRESQL MEMCACHED Adicionar um novo node representa N mudanças

80 Adicionando Novos Nodes NGINX ZABBIX JBOSS POSTGRESQL MEMCACHED sysadmin-utils zabbix-agent ntpconf locales hosts users localmta smtpd vimrc backup-agent apt-repos

81 Como o Puppet pode ajudar? Automatizando seu ambiente

82 Como o Puppet pode ajudar? Automatizando seu ambiente Gerando maior produtividade com menor esforço

83 Como o Puppet pode ajudar? Automatizando seu ambiente Gerando maior produtividade com menor esforço Padronizando seus nodes logo após a instalação

84 Como o Puppet pode ajudar? Automatizando seu ambiente Gerando maior produtividade com menor esforço Padronizando seus nodes logo após a instalação Modificando configurações de forma controlada

85 Insira o Puppet na imagem de instalação de seus nodes.

86 Não tenha medo de realizar atualizações, o puppet faz pra você!

87 Você pode fazer deploy de sua APP Você pode controlar a versão de sua APP

88 Arquitetura Cliente/Servidor O agente gera um certificado digital

89 Arquitetura Cliente/Servidor O agente gera um certificado digital O master precisa autorizar o certificado

90 Arquitetura Cliente/Servidor O agente gera um certificado digital O master precisa autorizar o certificado Sem autorização o agente não pode se comunicar

91 Arquitetura Cliente/Servidor O agente gera um certificado digital O master precisa autorizar o certificado Sem autorização o agente não pode se comunicar Toda a comunicação entre agente e master é segura

92 Fluxo Cliente/Servidor Instalação do node

93 Fluxo Cliente/Servidor Instalação do node Inicialização do puppet

94 Fluxo Cliente/Servidor Instalação do node Inicialização do puppet Geração de Certificado

95 Fluxo Cliente/Servidor Instalação do node Inicialização do puppet Geração de Certificado Envio de Certificado

96 Fluxo Cliente/Servidor Instalação do node Inicialização do puppet Geração de Certificado Master Assina Certificado Envio de Certificado

97 Fluxo Cliente/Servidor Instalação do node Inicialização do puppet Geração de Certificado Agente Sincroniza Master Assina Certificado Envio de Certificado

98 Fluxo Cliente/Servidor Instalação do node Inicialização do puppet Geração de Certificado Agente Sincroniza Master Assina Certificado Envio de Certificado Modalidades de Assinatura de Certificado Assinatura pode ser manual Assinatura pode ser automática por domínio Assinatura pode ser automática em qualquer requisição

99 Recursos do Puppet Resource Types Parâmetros e Meta-parâmetros Templates e Definições Classes e Módulos Funções e Condicionais

100 Puppet Resource Types Arquivos e Diretórios Usuários Alias Pacotes Serviços Yum Repos Augeas Hosts SSH Cron O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.

101 Resource Type: Packages Suporte a 23 tipos de provedores de pacotes Faz a abstração do OS Declare se o pacote deve estar presente ou ausente Declare se o pacote deve sempre estar em sua última versão

102 Resource Type: Services Suporta 11 tipos de sistemas INIT para inicializar serviços Declare se um serviço deve estar sempre rodando Declare se um serviço deve ser carregado no boot Declare se um serviço depende de um pacote ou arquivo

103 Resource Type: File Especifique permissões e owners Declare arquivos, diretórios e links Controle de mudanças usando até 15 tipos de checksums

104 Instala, Configura e Inicia # aptitude install apache2 # update-rc.d -f apache2 defaults # cp ~/httpd.conf /etc/apache2/ # invoke-rc.d apache2 start debian-way

105 Instala, Configura e Inicia package { 'apache2': ensure => present, } service { 'apache2': ensure => running, enable => true, } file { 'httpd.conf': path => /etc/apache2/httpd.conf, source => /home/guto/httpd.conf, }

106 Instala, Configura e Inicia package { 'apache2': ensure => present, } service { 'apache2': ensure => running, enable => true, } resource type parameter title value file { 'httpd.conf': path => /etc/apache2/httpd.conf, source => /home/guto/httpd.conf, }

107 Base Class class linux-server { include sysadmin-utils include zabbix-agent include ntpconf include locales include hosts include users include localmta include vimrc include backup-agent include apt-repos }

108 Declarando um node node servidor.dominio { include linux-server include module } node balancer.dominio { include linux-server include cyrus::backend include postfix::hub include haproxy::mailproxy }

109 Variáveis e Fatos fatos/facter architecture => amd64 augeasversion => domain => sprawl facterversion => fqdn => puppetmaster.hacklab ardwaremodel => x86_64 hostname => puppetmaster interfaces => eth0,eth1,lo ipaddress => ipaddress_eth0 => ipaddress_eth1 => ipaddress_lo => variáveis vimpackage => vim-puppet apacheservice => apache2 ntpconfrhel => ntp.conf.rhel

110 Condicionais case $operatingsystem { CentOS,RedHat: { $package_name = 'ntp' $service_name = 'ntpd' $conf_file = 'ntp.conf.el' } Debian,Ubuntu: { $package_name = 'ntp' } }... $service_name = 'ntp' $conf_file = 'ntp.conf.debian'

111 Definições proxy::squid { 'ProxyFilial' : http_port squid_mode squid_hostname cache_mem maximum_object_size_in_memory maximum_object_size memory_replacement_policy cache_replacement_policy cache_dir cache_mgr cache_effective_user cache_effective_group dns_nameservers ips_squid } => '3128', => 'transparent', => 'proxy.ebc', => '2 GB', => '6 MB', => '128 MB', => 'heap GDSF', => 'heap LFUDA', => 'aufs /var/spool/squid ', => 'monitora@dominio.com.br', => 'proxy', => 'proxy', => ' ', => ' ',

112 Templates Trecho do template postfix/main.cf myorigin = <%= hostname %> mydestination = $myhostname,..., localhost, <%= fqdn %> Substituição de variáveis por fatos myorigin = servidor.dominio mydestination = $myhostname,..., localhost, servidor.dominio

113 Orquestrando nodes com Mcollective

114 Puppet Dashboard

115 Auto-documentado

116 Controle das Mudanças (filebucket)

117 Use VCS para cuidar de seu código

118 Processo + Padrão + Automação

119 Benefícios Maior produtividade em menor tempo Diminuição de falhas Maior controle de seu parque Diminuição do tempo gasto em mudanças

120 Tecnologia trabalhando para você

121 Puppet & Cloud IaaS Cloud FOSS Cloud Hosts Ganeti

122 Use API do fornecedor

123 Construa suas Confs

124 Seja criativo

125 Reaproveite Código

126 GitHub & PuppetForge

127 Pesquise!

128 Projeto & Comunidade Site/Blog GitHub Google Groups Puppet-camp, puppet-users, puppet-users-br, puppet-dev IRC irc.freenode.org #puppet #puppet-br

129 Perguntas?

130

131

132 Comparando Ferramentas Recursos Puppet Chef CfEngine Pull Yes Yes Yes Push No No No Idempotence Yes Yes Yes Config Language Declarative Ruby Declarative Web UI Yes Yes Yes OS Support *NIX,Windows *NIX,Windows *NIX,Windows License Apache Apache GPL Company Puppetlabs OpsCode CfEngine Cloud Yes Yes Yes