Infra-estrutura para Data Centres

Infra-estrutura para Data Centres Planejando Data Centres de Alto Desempenho. Eng. Eletricista José Luiz De Martini Consultor especializado no planejamento e desenvolvimento de soluções de infra-estrutura de alta eficiência, disponibilidade e confiabilidade para aplicações de missão critica. Engenheiro Eletricista, titular da Engenharia Gerencial SS Ltda e consultor na área de Instalações Elétricas consumidoras de energia, com atuação em grandes centros comerciais e infra-estrutura de suprimento de energia para sistemas de missão critica, processamento e armazenamento de dados e telecomunicações. Apresentação. Este trabalho destina-se aos profissionais da Tecnologia de Informação e de Facilities e a todos que tem como objetivo estabelecer formas de implantação e operação de Infra-estrutura destinada ao suporte de operações de missão critica, em especial centros de dados. Apresentamos elementos que devem ser considerados no planejamento de data Centres, desde as boas praticas na área da Tecnologia da Informação, planejamento de espaços e meios de refrigeração, com os impactos provocados na demanda e consumo de energia. São consideradas exigências para data centres verdes Green IT e que devam seguir Códigos de Conduta como, por exemplo, o definido pela União Européia. Analisamos os conceitos e soluções que garantam as exigências quanto à disponibilidade e confiabilidade e concomitantemente sejam implantadas soluções de elevada eficiência energética, incluindo demandas de alta densidade de energia. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 1

Parte 1: Planejando Data Centres de Alto Desempenho. Um Data Center é um conjunto integrado de componentes de alta tecnologia que permitem fornecer serviços de infra-estrutura- processamento e armazenamento de dados, em larga escala, de alto valor agregado, para que organizações de qualquer porte possam ter ao seu alcance grande capacidade e flexibilidade com alta segurança para processar e armazenar informações. As principais preocupações na gestão de infra-estrutura eram: - Aquecimento e densidade de energia: 78% - Disponibilidade: 57% - Limitações de espaço: 39% Hoje houve uma significativa mudança nas preocupações dos responsáveis pelas áreas de TI em infra-estrutura onde a eficiência energética passou a fazer parte dos fatores preponderantes no planejamento e implantação de estruturas físicas: - Aquecimento do ambiente: 64% - Densidade demandada de energia: 55% - Eficiência energética: 39% - Disponibilidade: 33% - Limitações de espaço: 29% Foram fatores determinantes para esta mudança: - O volume de processamento cresce e assim a participação dos equipamentos de TI no perfil de consumo de energia das empresas idem, tornando-o significativo. - As soluções de alta densidade, como blades e pizza-box (1 U) estão cada vez mais presentes. - A relação entre o investimento inicial e o custo operacional (Capex / Opex) fica muito próxima ao longo de 5 a 10 anos. - As empresas estão engajadas em ações de sustentabilidade e eficiência energética. E ainda o ponto inicial do projeto deveria atribuir definições como: - tipo dos equipamentos utilizados, - taxa de migração dos equipamentos de processamento para novas tecnologias, - variações de densidade de cargas de acordo com o efetivo layout, - tipo do DC (Corporativo, Financeiro, Governamental, Co-Location, etc) - Variações de projeto para áreas com baixa carga ou densidade. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 2

Para atender a estes requisitos o projeto para um Data Center eficiente: - Deve ser confiável com disponibilidade adequada ao tipo de operação (24x7 ou 8x5). - Deve possuir capacidade (elétrica e climatização) de forma escalável, permitindo crescimento gradual, sem ociosidade que acarrete em prejuízo financeiro e baixa eficiência energética. - Todas as demais escolhas e especificações devem ser determinadas com foco na eficiência energética. Um Data Center eficiente nasce como resultado da combinação de aplicação de um conjunto de medidas do planejamento da produção em si, com a consolidação das aplicações e atuação operacional de TI, conforma a tabela a seguir: Procedimentos na gestão de TI Red. % Especificar e adquirir processadores de baixo consumo 10 Especificar e adquirir servidores com fontes de alta eficiência 11 Ativar os recursos de Power Management dos computadores 8 Virtualização de servidores. Estudos mostram que 20% de virtualização 8 podem resultar em 8% de redução de consumo de energia Utilizar soluções de menor espaço, como blade servers 1 Planejar o arranjo em corredores quentes e frios evitando a mistura de ar 5 quente/frio, empregar condicionadores adequados Utilizar condicionadores de capacidade e vazão variável 4 Adquirir equipamentos com alimentação 220 V~ 240 V, ligados com UPS 2 em 380~400 V, sem transformador Agindo em cascata, estas ações podem resultar em praticamente 50% de redução de consumo de energia na área de produção, quando comparado a um Data Center padrão. Se estivermos planejando um novo Data Center ou mesmo uma ampliação e pudermos considerar estas providencias isto resultará nos seguintes benefícios: - Redução do espaço de produção em até 65%. - Redução da demanda de refrigeração em até 34% - Redução da demanda de energia (UPS) em até 33% - Redução da capacidade elétrica total (entrada e geradores) em até 47% Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 3

Parte 2: Concebendo Instalações - Data Centres de Alto Desempenho. É alvo obrigatório de qualquer projeto atender a demanda por serviços com continuidade assegurada dos serviços, porém devem compor soluções que sem reduzir a disponibilidade signifiquem menores perdas com energia. Com estes ajustes podemos reduzir o CAPEX e OPEX em pelo menos 30%. Vejam este gráfico com o resultado obtido pelo Google em seus Data Centres. O uso de servidores adequados permite reduzir o consumo de energia nos equipamentos de TI (cor laranja). Soluções gerais de projeto reduzem o consumo total de energia do Data Center, sobre um data Center padrão. Estimam em mais de 30% por ano por servidor o ganho com estas medidas. Exigências referenciadas pelo The Uptime Institute e EIA/TIA 942 Anexo G. Nível Condição Exigência ou Solução 1 - Podemos programar paradas de manutenção. - Não há prejuízos reais em paradas intempestivas 2 - Podemos programar parada de manutenção anualmente. - Os custos são ponderáveis em caso de parada intempestiva 3 - Não podemos programar paradas para manutenção. - Os prejuízos em caso de interrupções são imponderáveis - Fontes singelas. - Vias simples de alimentação - Fontes singelas redundantes. - Vias simples de alimentação - Fontes redundantes (uma ativa e uma alternativa) ou (duas ativas Tier IV). - Vias alternativas de alimentação. Portanto quando as condições permitem paradas para manutenção e custo ponderável no caso de paradas intempestivas um projeto nível 2, pode ser adequado. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 4

A Disponibilidade é definida pelo desenho do projeto a Confiabilidade leva em conta muito outros aspectos, que vão da seleção dos componentes, testes e comissionamento, manutenção e operação. DC que apresentam PUE (Power Utilization Effectiveness) muito bom (abaixo de 1,3) são de Nível 2, porém garantidos por conta de projeto, execução, comissionamento e operação de alta qualidade. O índice PUE é a relação entre a Energia Consumida Total (Refrigeração, Serviços Prediais e Equipamentos de TI) / Energia Útil (equipamentos de TI) e portanto, relaciona a energia efetivamente consumida nos processos de TI com a energia total consumida. A energia total inclui as perdas com transporte de energia (condutores), transformação e rendimento dos UPS, incluindo a correspondente refrigeração. Comparemos custos de instalação elétrica e energia (Capex + Opex) em 10 anos de operação: Padrão usual, redundante centralizado: Tier 3 Base Investimento / Opex Sistema elétrico R$ 14,3 mil / kw R$ 21.450.000,00 Energia (10 anos) 90 000 MWh R$ 28.500,000,00 Custo total (10 anos) R$ 49.950.000,00 Custo mensal por rack 10 kw/rack 90 racks R$ 4.625,00 Alternativa, redundante distribuído: Tier 3 Base Investimento / Opex Sistema elétrico R$ 11.5 mil / kw R$ 17.250.000,00 Energia (10 anos) Redução de 2,5% R$ 27.788.000,00 Custo total (10 anos) R$ 45.038.000,00 Custo mensal por rack 10 kw/rack 90 racks R$ 4.170,00 Solução integrada, com ar condicionado e escolha de equipamentos de energia. Sistema Base Investimento / Opex Sistema elétrico (1.340 R$ 11.5 mil / kw R$ 15.540.000,00 kw) Energia (10 anos) Redução de 15% R$ 23.620.000,00 Custo total (10 anos) R$ 39.160.000,00 Custo mensal por rack 10 kw/rack 90 racks R$ 3.626,00 Chegamos a 22% de redução de custo total de propriedade (Opex + Capex) por servidor em dez anos de operação, apenas com ações de projeto de construção e instalações. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 5

- Ação # 1 - Crescimento modular. Tecnologias de TI evoluem rapidamente, mas o prédio para o Data Center deve ser projetado para pelo menos 20 anos de vida útil com capacidade de crescimento modular, seja em área construída e equipada quanto na filosofia dos sistemas, pois as exigências mudam. Considerar implantação passo a passo, como por exemplo, data centres segmentados permitindo economia inicial e operacional. - Ação # 2 Discutir o modelo de redundância 2N Redundante centralizado ou 1,5 N, redundante distribuído. Para demandas limitadas na pratica até 1.000 kw, a solução com dois sistemas independentes e fontes duplas é a solução padrão. Esta solução exige a duplicação de todos os elementos que compõe o sistema elétrico exigindo investimento e custeio das perdas por baixa eficiência e meia carga. Para projetos acima desta demanda este modelo tem dois agravantes: - Investimento inicial muito alto. - Perdas significativas de energia com cada ramo carregado na faixa entre 40 a 45% da potencia nominal. A solução pratica para reduzir este impacto esta no modelo 1,5 N, três barramentos com redundância distribuída, obtendo-se:. - Menor investimento sendo instalada 1,5 vezes a demanda requerida contra 2 vezes no modelo convencional. - Melhor rendimento, com equipamentos trabalhando entre 60 a 65% da capacidade nominal. - Mesmo índice de disponibilidade, obtido no modelo redundante centralizado. As restrições e os cuidados a serem tomados são: - Exige gerenciamento do carregamento de cada sistema. - Apresenta pequena perda quanto à confiabilidade facilmente compensada com um adequado projeto, seleção, testes e comissionamento dos sistemas. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 6

- Ação # 3 - Tipo de UPS a ser usado. Este componente é chave para a capacidade, confiabilidade e disponibilidade do sistema elétrico e hoje há um bom leque de opções, principalmente para grandes sistemas: - Estáticos (com baterias) ou dinâmicos (inerciais) ou fly-wheel. - Dupla conversação ou de regulação paralela (p.ex. delta conversion ). Os estáticos de dupla conversão apresentam bom custo inicial e são mais comuns, porém tem menor rendimento. Os de regulação paralela apresentam elevada eficiência e autonomia nas mesmas condições dos estáticos de dupla conversão. Os dinâmicos (com fly-wheel) com custo inicial mais elevado exigem projeto especifico em função do reduzido tempo de operação sem rede (15 a 20 segundos), porém são muito eficientes e confiáveis intrinsecamente, por não dependerem de baterias. Os dinâmicos (fly-wheel) de grande capacidade, com módulos a partir de 1000 kw muito usados em instalações de maior porte, podem ser ligados nas redes de média tensão, simplificando enormemente o projeto oferecendo altos índices de disponibilidade sem perda da confiabilidade e custos. Independente da tecnologia os principais fabricantes tem apostado em soluções modulares, contradizendo modelos mais antigos de calculo de confiabilidade que os classificaria como de baixo índice em função do grande numero de módulos - Ação # 4 Tensão a ser adotada. Seguindo padrão Norte Americano, muitos Data Centres tem sido projetados em 480 V, com a necessidade de transformadores acoplando os UPS a carga, normalmente servidores ligados de 120 a 208 V. Estes transformadores são aptos a operar com significativo conteúdo harmônico na carga, tem, no entanto, três inconvenientes: - Corrente de magnetização a jusante dos UPS. - Perdas de energia. - Espaço ocupado. Com a melhor qualidade das fontes de alimentação, com menor conteúdo harmônico e sendo os UPS aptos a manipular esta condição, o conjunto das boas praticas de eficiência energética aponta para adoção de sistemas em 380~400 V, e servidores ligados diretamente em 220~240 V. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 7

- Ação # 5 Adaptabilidade dos sistemas de climatização. Para diferentes densidades de carga, existem diferentes soluções de climatização, que exigem diferentes demandas de espaços físicos. Os modelos tradicionais atendem densidades de até 2 ~3 kw/m² (condicionadores tipo down-flow, insuflamento pelo piso e retorno ambiente). Acima deste referencial os projetos de arquitetura e de energia devem considerar soluções combinadas usando desde refrigeração localizada nos equipamentos e racks, provendo condições ideais para insuflamento e retorno de ar ambiente. Podemos ainda ajustar os projeto de climatização as reais condições locais, usando recursos de free-cooling, energia geothermal, cursos d água existentes. Grande parte do desperdício de energia com climatização vem da operação em contraponto dos condicionadores, onde algumas unidades umidificam e outras desumidificam e reaquecem ao mesmo tempo. Um adequado sistema de controle descarta este problema. Definir ambientes independentes para atender as cargas de alta densidade. Estes ambientes podem ser substituídos por soluções específicas desenvolvidas por alguns fabricantes reunindo num mesmo conjunto os racks, o sistema de condicionamento e o sistema de força, viabilizando a instalação de racks de alta densidade em locais não preparados para isto. - Ação # 6 Conteúdo e Programa para Projeto. Iniciar com o adequado planejamento das ações de TI e dimensionamento correto do Data Center considerando o crescimento escalonado das necessidades e a curva de adensamento prevista para os próximos 10 a 15 anos e então modelar as necessidades de espaço (arquitetura e construção civil). Devemos evitar um dos erros mais comuns. O custo do edifício (imóvel e obras civis) é muito pequeno em relação ao custo total do Data Center, 10% talvez, e um edifício inadequado pode significar elevado custo de implantação das instalações e respectivo consumo de energia. O projeto para um Data Center deve considerar o seguinte programa mínimo: - Implantação geral no terreno prevendo: - Estacionamentos. - Áreas para equipamentos técnicos. - Portaria e dependências de recepção e controle. - Paisagismo. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 8

- Edificação (ou edificações) contendo: - Data Center Room com os equipamentos de produção. - Salas para telecomunicações. - Áreas para Command Center (NOC), reuniões e equipe de operação. - Áreas auxiliares, depósitos, manutenção, desembalagem e recebimento. - Áreas de infra-estrutura elétrica e de climatização. - Áreas para conforto humano. A concepção do projeto deve atender aos requisitos das referencias citadas, como a TIA 942, quanto a segurança do complexo e oferecer todos os meios para que os equipamentos de produção, controle e telecomunicações e infra-estrutura de energia e climatização sejam instalados e operados com a máxima eficiência e adaptabilidade. - Ação # 7 - Confiabilidade, Comissionamento, Manutenção e Controle. Um adequado sistema de gerenciamento e controle das utilidades, controlando energia e climatização deve ser parte natural de qualquer projeto, pois associado a um bom procedimento de comissionamento, coordenação e seletividade da proteção elétrica e manutenção são os verdadeiros indicadores da Confiabilidade, muito mais sólido do que modelos estatísticos padronizados. Um projeto reduzido pode aparentemente ser menos confiável, porém estas medidas podem não só recuperar como incrementar a confiabilidade, até em função do menor numero de componentes necessários. Eng. José Luiz de Martini jl-gerencial@uol.com.br 55 11 8445 5453 Página 9