Data Center : Conceitos Básicos Alex Martins de Oliveira
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
Infraestrutura Básica: Sala de Computadores (computer room); Ar condicionado e controle ambiental; Distribuição elétrica e UPS (Uniterruptable Power Supply); Automação do edifício; Detecção e supressão de incêndio; Segurança e controle; Espaço de suporte, entre outros. Conceitos e Projetos
Portanto, um Data Center não é um CPD. Conceitos e Projetos
Tipos de Data Centers Enterprise; Internet; Collocation. Conceitos e Projetos
Data Center Enterprise Utilizado para atender um único cliente; Montados e operados pelo proprietário; Em geral apresenta pouca redundância; Custo de instalação, operação e manutenção de infraestrutura são os fatores de decisão para sua escolha. Conceitos e Projetos
Data Center Internet Atendem diversos clientes; Possuem uma grande densidade de equipamentos críticos de TI; Possuem maior redundância de componentes e sistemas para garantir a continuidade dos negócios; A disponibilidade da infraestrutura do data center é o principal fator de projeto do site Conceitos e Projetos
Data Center Collocation Entregam apenas infraestrutura física (espaço, energia, ar condicionado, segurança, etc.); Clientes são responsáveis por instalação e operação de seus equipamentos e sistemas; A segurança é um ponto crítico pois todos os clientes acessam a sala dos computadores. Conceitos e Projetos
Tradicional Responsável Arquiteto Foco Definição dos espaços Fluxo de pessoas Data Center Engenheiro Tecnologia de TI Adequado ao espaço comercial; Começa após a etapa de projeto físico; Atende aos requisitos específicos dos usuários do espaço comercial; Desenvolvido em conjunto com equipes de TI e provedores. Espaço da computer room e demais espaços; Fluxo de equipamentos críticos de TI; Começa com o projeto de engenharia do site. Baseado nos requisitos de: - Rede - Servidores - Conectividade Requisitos de Engenharia - Distribuição elétrica - Climatização Conceitos e Projetos
Métodos de projeto Método de projeto independente Método turn-key Conceitos e Projetos
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
A disponibilidade de um sistema é o tempo durante o qual ele está em operação em relação ao tempo em que ele deve estar em operação; A disponibilidade pode ser calculada: Disponibilidade = MTBF/(MTBF+MTTR) MTBF = Mean time between failure MTTR = Mean time to repair Para sistemas altamente confiáveis esse número deve estar próximo de 1 ou 100% Disponibilidade, Confiabilidade e Redundância
Mas 100% não existe; Na prática esse número deve ser, no mínimo 99,9%(três noves; A infraestrutura de um data center deve oferecer uma disponibilidade mínima de 99,67%; Cada nove adicional aumenta a ordem de grandeza em um fator de 10. Disponibilidade 9,99% para 9,999%; Isso também multiplica por 10 os custos de infraestrutura. Disponibilidade, Confiabilidade e Redundância
A disponibilidade de um data center será expressa por um percentual num período de 1 ano; Disponibilidade, Confiabilidade e Redundância
Exemplo de cálculo de disponibilidade: Sistema Híbrido serial, supondo S1=50% e S2=60%: Disponibilidade = (S1).(S2) = 0,5x0,6 = 30% Sistema S1 Sistema S2 Disponibilidade, Confiabilidade e Redundância
Exemplo de cálculo de disponibilidade: Sistema Híbrido paralelo, supondo S1=50% e S2=60%: Disponibilidade = (S1+S2)-(S1.S2) = 80% Sistema S1 Sistema S2 Disponibilidade, Confiabilidade e Redundância
A confiabilidade pode ser entendida como a distribuição do tempo entre falhas de um sistema ou componente (MTBF); A redundância em data centers pode ser entendida com a duplicidade de partes, módulos, encaminhamentos, etc. Há uma norma que classifica o data center quanto a disponibilidade e redundância; ANSI/TIA-942 é a única que aplica o conceito de tier. Disponibilidade, Confiabilidade e Redundância
ANSI/TIA-942 estabelece o seguinte: Os pontos isolados de falhas devem ser eliminados para melhorar a redundância e a confiabilidade; A redundância aumenta a tolerância a falhas, bem como sua capacidade de manutenção; A redundância deve ser tratada de forma separada e independente para cada subsistema do data center. Instituições que certificam data centers no mundo: The Uptime Instituto (Estados Unidos) e TUV Rheinland do Brasil(organização de origem alemã) Disponibilidade, Confiabilidade e Redundância
Classificação Tier: Data Center tier I: Data Center Básico; Data Center tier II: Data Center com componentes redundantes; Data Center tier III: Data Center com manutenção e operação simultâneas; Data Center tier IV: Infraestrutura tolerante a falhas. Disponibilidade, Confiabilidade e Redundância
Data Center tier I: Data Center Básico Não apresenta componentes redundantes em sua infraestrutura de distribuição elétrica ou ar condicionado; Esse tipo de data center deve ser desligado para manutenções planejadas e não planejadas. Disponibilidade, Confiabilidade e Redundância
Data Center tier II: Data Center com componentes redundantes Possui componentes redundantes, porém com uma única infraestrutura de distribuição; Nesse caso, para esses componentes redundantes não há necessidade de parar a operação para manutenção; Para manutenção dos encaminhamentos de distribuição ainda é necessário a parada do site; Disponibilidade, Confiabilidade e Redundância
Data Center tier III: Data Center com manutenção e operação simultâneas Possui componentes redundantes; Vários encaminhamentos de distribuição independentes para atender a carga crítica de TI da computer room; Todos os componentes críticos de TI devem ter fontes redundantes, para serem compatíveis com a infraestrutura; Atividades de manutenção planejada podem ser realizadas utilizando as capacidades dos componentes e encaminhamentos redundantes a fim de garantir a operação segura dos componentes remanescentes. Disponibilidade, Confiabilidade e Redundância
Data Center tier IV: Infraestrutura tolerante a falhas Além do que tem no tier III; Capacidade de redundância N dos componentes e encaminhamentos de distribuição(energia e ar) da computer room; Capacidade de manter a operação quando os componentes redundantes são retirados de serviço por qualquer motivo; Componentes e encaminhamentos devem ser capazes de manter a operação, mesmo que com risco destes pararem; Em caso de incêndio ou outra situação de emergência, a operação pode ser interrompida; No Brasil não há data center tier IV. Disponibilidade, Confiabilidade e Redundância
Tier Tier Paradas Paradas por por ano ano DownTime Data Data Center Center II 22 xx 12h 12h para para manut. manut. 99,67% 99,67% (28,8h) (28,8h) Data Data Center Center II II 33 xx 2h 2h para para manut manut 99,75% 99,75% (22,00h) (22,00h) Data Data Center Center III III -- 99,98% 99,98% (1,6h) Data Data Center Center IV IV -- 99,99% 99,99% (0,8h) (0,8h) Disponibilidade, Confiabilidade e Redundância
Elemento Tier 1 Tier 2 Tier 3 Tier 4 Fonte N N ou(n+1) N+2 2N, mínimo Componente redundante N N+1 N+1 N+1,mínimo Ramos de distribuição 1 1 1 normal e 1 alternativo 2 ativos simultâneos Manutenção simultânea Não Não Sim Sim Tolerante a falhas Não Não Não Sim US$ 10.000 US$ 11.000 US$ 20.000 US$ 22.000 Custo por kw Disponibilidade, Confiabilidade e Redundância
Disponibilidade de data centers de acordo com a ANSI/BICSI-002 Há cinco classes operacionais do site(entre F0 e F4), sendo o F0 a classe mais baixa disponibilidade e a F4 a mais alta; Disponibilidade, Confiabilidade e Redundância
ANSI/BICSI-002 Classe DownTime F0 99,0%(400h) F1 99,0%(100h e 400h) F2 99,9%(50h e 90h) F3 99,99%(4h) F4 99,999% Disponibilidade, Confiabilidade e Redundância
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
Um dos aspectos mais críticos no projeto de data center. As áreas devem ser dimensionadas levando em conta os vários subsistemas, tais como: Sistemas elétricos(distribuição elétrica); Espaços de suporte (sala de impressão, NOC, salas de reuniões, sala de baterias, entrada de telecomunicações, etc.); Sala de computadores. Planejamento de Espaços
Exemplo de um diagrama básico com os espaços: Edifício Entrada Telecom Entrada de energia Data Center Sala de Telecomunicações Automação Incêndio Monitoramento Sala de operação da rede Sala de Energia/UPS geradores Sala de Computadores Sala de ar condicionado Planejamento de Espaços
Considerações sobre a sala de computadores: Para o piso elevado deve-se ter uma laje de 14 cm e deve ser projetada para uma carga de 732,36 kgf/m2; Para data center de alta densidade, deve-se usar uma laje de 20 cm em um carga de 1.220,6036 kgf/m2; As placas do piso elevado devem ter dimensões de 24 x 24 pol. (0,60 x 0,60 m), pois essa é a dimensão padrão para equipamentos de TI; As paredes devem ser brancas para facilitar a iluminação; A iluminação deve ser projetada para oferecer 500 lux; O pé direito deve ser de no mínimo 2,60 m. A temperatura da sala de equipamentos deve ser entre 18ºC e 27ºC com umidades relativas entre 30% e 60% (NBR 14565:2011); Já a ANSI/EIA-942 estabelece temperaturas entre 20ºC e 25ºC, com umidades relativas entre 40% e 50%. Planejamento de Espaços
Considerações sobre a sala de computadores: Paginação do piso falso (NBR 14565:2011) Planejamento de Espaços
Resumo de recomendações de condições ambientais: Recomendações Normas NBR 14565:2011 ANSI/TIA-942 Temperatura ambiental 18ºC a 27ºC 20ºC a 25ºC Ponto de condensação Entre 5,5º e 15ºC 25ºC Troca máxima de calor 5ºC/h 5ºC/h Umidade relativa do ar Entre 30% e 60% Entre 40% e 50% Medições A cada 3m ao longo da linha central dos corredores frios e no ponto de retorno do ar condicionado Entre 3 e 6m ao longo da linha central dos corredores frios e nos pontos de entrada do ar condicionado Planejamento de Espaços
Localização geográfica: Recomendações das normas NBR 14565:2011,ANSI/BICSI-002 E ANSI/TIA-942; Local não deve estar sujeito a inundação; Evitar locais próximos a cabeceiras de aeroportos; Evitar locais próximos sujeitos a abalos sísmicos; Evitar Locais próximos a linhas de transmissão elétrica; Procurar locais com fácil acesso rodoviário; Procurar locais próximos a concessionária de energia; Procurar locais próximos a centros de serviços são também recomendados. Planejamento de Espaços
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
Sistema mais crítico de uma data center; Para garantir a continuidade da operação, sistemas auxiliares de alimentação elétrica são agregados; Sistemas auxiliares são os grupos geradores a diesel e os sistemas UPS, conhecidos popularmente como no-breaks; Distribuição Elétrica e UPS (Uniterruptable Power Supply)
Distribuição elétrica no data center(elementos básicos): Entrada de alimentação elétrica proveniente da concessionária; Grupo motor-gerador (referido simplesmente como gerador); Chaveadores (chaves de comutação); Sistema UPS; Quadros/Paineis de distribuição (PDU, Power Distribution Unit) Sistema de aterramento. Distribuição Elétrica e UPS (Uniterruptable Power Supply)
220/127V AC 220/127V AC Concessionária/ substação 13,2kV 220/127V Concessionária/ substação 13,2kV 220/127V Gerador UPS 220/127V AC Transformador/ PDU 220/127V AC Transformador/ PDU Distribuição Elétrica e UPS (Uniterruptable Power Supply)
Capacidade e eficiência do sistema elétrico: Pensemos num exemplo de data center em que sua capacidade seja de 200kW, uma redundância N+1 pode ter as seguintes configurações: Dois módulos de 200kW; Três módulos de 100kW; Quatro módulos de 66 kw; Cinco módulos de 50 kw. Eficiência é calcula por: e1=carga requerida(kw)/potência instalada(kw) Distribuição Elétrica e UPS (Uniterruptable Power Supply)
Dois módulos de 200kW: Ep = (200/400).100(%)=50% Três módulos de 100kW: Ep = (200/300).100(%)=66% Quatro módulos de 66kW: Ep = (200/264).100(%)=75% Distribuição Elétrica e UPS (Uniterruptable Power Supply)
Classificação dos sistemas elétricos: N ou requisito básico; Redundância N+1; Redundância N+2; Redundância 2N; Redundância 2(N+1). Distribuição Elétrica e UPS (Uniterruptable Power Supply)
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
Considerações iniciais de projeto: Tamanho da sala; Densidade de carga, kw por gabinete(ou m2); Número de unidades CRAC (Computer room Air Conditioner); Localização da sala no edifício; Pé-direito; Expansão futura; Manutenção; Requisitos de confiabilidade. Climatização
Os antigos CPDs operavam a temperaturas bastante baixa(entre 17º e 20ºC); A temperatura de entrada de ar dos equipamentos devem estar entre 18 e 27ºC, com uma umidade relativa entre 40 e 55%; A saída de ar quente dos equipamentos aprox. em 38ºC, com umidade de 20%; A saída do ar frio da unidade CRAC deve estar entre 13 e 16ºC. Climatização
Corredores frios e quentes Climatização
Unidade Multiplicar por Unidade kwatts 3410 BUT/h kwatts 0,283 TR TR 3,53 kwatts BTU/h 0,00029 kwatts 1 TR = 12.000 BTU/h Climatização
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
ENI = Interface de Rede Externa MD = Distribuidor principal ZD = Distribuidor de zona LDP = Ponto de distribuição local EO = Tomada do equipamento Cabeamento Estruturado
Conceitos e Projetos Disponibilidade, Confiabilidade e Redundância Planejamento de Espaços Distribuição Elétrica e UPS (Uniterruptable Power Supply) Climatização Cabeamento Estruturado Eficiência Energética e Green Data Centers Roteiro
Necessidade devido ao grande consumo de energia; Conceito de green Data Center ainda não é oficial; Conceito baseado na economia de energia, otimização no uso da água, ar condicionado, etc; A instituição mais avançada no sentido de métrica de grenn data center e o The Green Grid (www.thegreengrid.org); O The Green Grid sugeriu o conceito de PUE (Power Usage Effectiveness) e DCE (Datacenter efficiency) Eficiência Energética e Green Data Centers
PUE é calculado por: PUE = Cinfraestrutura/Cti, onde: Cinfraestrutura = Carga total da infraestrutura, em kw; Cti = Carga total dos equipamentos de TI. DCE = (1/PUE)x100% Eficiência Energética e Green Data Centers
Exemplo: Considere um data center com as seguintes características, de acordo com a tabela abaixo: Sistema Carga (kw) Equipamentos de TI 250 Climatização 350 Iluminação 15 UPS e baterias 70 Carga total do Site 685 Eficiência Energética e Green Data Centers
Exemplo: PUE = 685kW/250kW = 2,74 O valor do PUE deve se aproximar de 1,00 (eficiência de 100%) Pesquisas recentes mostram que a maioria dos data centers tem PUE em torno de 3,00. Uma PUE de 2,74 mostra que a demanda do data center é 2,74 vezes maior que a energia necessária para alimentar os equipamentos de TI; Se nesse data center forem instalados novos equipamentos de TI cujo consumo seja de 10kW, a distribuição elétrica deve ser capaz de fornecer 27,40 kw (10kW x 2,74) Eficiência Energética e Green Data Centers
Exemplo: Assim a eficiência desse data center é medido por: DCE= (250kW/685kW)x100% = 36,49% Eficiência Energética e Green Data Centers
Marin, Paulo Sérgio. Data Centers: Desvendando cada Passo: Conceitos, Projeto, Infraestrutura física e Eficiência energética. São Paulo. Editora Érica. 2011 Bibliografia
Obrigado!