Conceitos e infraestrutura de datacenters

Transcrição

1 Universidade do Sul de Santa Catarina Conceitos e infraestrutura de datacenters Autor Mauro Faccioni Filho

2 Créditos Universidade do Sul de Santa Catarina Unisul Reitor Sebastião Salésio Herdt Vice-Reitor Mauri Luiz Heerdt Pró-Reitor de Ensino, de Pesquisa e de Extensão Mauri Luiz Heerdt Pró-Reitor de Desenvolvimento Institucional Luciano Rodrigues Marcelino Pró-Reitor de Operações e Serviços Acadêmicos Valter Alves Schmitz Neto Diretor do Campus Universitário de Tubarão Heitor Wensing Júnior Diretor do Campus Universitário da Grande Florianópolis Hércules Nunes de Araújo Diretor do Campus Universitário UnisulVirtual Fabiano Ceretta Campus Universitário UnisulVirtual Diretor Fabiano Ceretta Unidade de Articulação Acadêmica (UnA) Ciências Sociais, Direito, Negócios e Serviços Amanda Pizzolo (coordenadora) Unidade de Articulação Acadêmica (UnA) Educação, Humanidades e Artes Felipe Felisbino (coordenador) Unidade de Articulação Acadêmica (UnA) Produção, Construção e Agroindústria Anelise Leal Vieira Cubas (coordenadora) Unidade de Articulação Acadêmica (UnA) Saúde e Bem-estar Social Aureo dos Santos (coordenador) Gerente de Operações e Serviços Acadêmicos Moacir Heerdt Gerente de Ensino, Pesquisa e Extensão Roberto Iunskovski Gerente de Desenho, Desenvolvimento e Produção de Recursos Didáticos Márcia Loch Gerente de Prospecção Mercadológica Eliza Bianchini Dallanhol

3 Mauro Faccioni Filho Conceitos e infraestrutura de datacenters Livro Digital Designer instrucional Marina Melhado Gomes da Silva UnisulVirtual Palhoça, 2016

4 Copyright UnisulVirtual 2016 Nenhuma parte desta publicação pode ser reproduzida por qualquer meio sem a prévia autorização desta instituição. Livro Digital Professor conteudista Mauro Faccioni Filho Designer instrucional Marina Melhado Gomes da Silva Projeto gráfico e capa Equipe UnisulVirtual Diagramador(a) Marina Broering Righetto Revisor(a) Diane Dal Mago F12 Faccioni Filho, Mauro Administração e direito administrativo de trânsito : livro didático / GConceitos e infraestrutura de datacenters: livro digital / Mauro Faccioni Filho; design instrucional Marina Melhado Gomes da Silva. Palhoça: UnisulVirtual, p. : il. ; 28 cm. Inclui bibliografia. 1. Tecnologia da informação - Administração. 2. Sistemas de informação gerencial. 3. Gerenciamento de recursos de informação. I. Silva, Marina Melhado Gomes da. II. Título. CDD (21. ed.) Ficha catalográfica elaborada pela Biblioteca Universitária da Unisul

5 Sumário Apresentação 5 Conceitos de datacenter 7 Infraestrutura de energia para datacenters 30 Infraestrutura de climatização para datacenters 65 Sistemas complementares em datacenter 91 Considerações finais 116 Conteudista 117

6

7 Apresentação No Brasil, ao nos referirmos a conceitos e infraestrutura de datacenters, não há como deixar de mencionar e enaltecer a enorme influência exercida pelo Prof. Dr. Paulo Marin. Por esse motivo, desenvolvemos um conjunto de entrevistas com o Dr. Paulo para rever e atacar os principais temas relacionados ao assunto, dividindo esses temas em quatro áreas, que deram origem, então, a quatro entrevistas técnicas que relacionaremos a seguir. Antes de mais nada, cabem algumas notas pessoais e outras mais técnicas sobre o Paulo Marin. Estudamos engenharia elétrica na mesma época, fizemos mestrado e doutorado também na mesma época, antes dos nos conhecermos No final dos anos 1990 nos conhecemos, em alguns eventos sobre cabeamento estruturado, que eram promovidos pela BICSI. A partir de então desenvolvemos inúmeras parcerias juntos, sejam elas relacionadas à tecnologia, à educação, ou a tantas outras atividades que a amizade nos leva. Em todo esse tempo vi muitas de suas conquistas no campo da tecnologia, em especial a da infraestrutura de rede de dados, que o levou a ser premiado nos Estados Unidos com o 2014 Harry J. Pfister Award for Excellence in the Telecommunications Industry, concedido pela University of South Florida College of Engineering USA, por suas contribuições e serviço à indústria de ICT (Information and Communications Technology). Foi um prêmio muito importante, obtido justamente no país que desenvolve tais tecnologias. Infelizmente, até agora, o Brasil não foi capaz de premiar ou reconhecer esse talento como deveria, mas isso já é um outro problema cultural. Paulo Marin é graduado, mestre e doutor em engenharia elétrica, tendo se especializado em infraestrutura de telecomunicações, redes e ambientes de missão crítica, e seus conhecimentos abrangem teorias de interferência eletromagnética e propagação de sinais. No Brasil, ele atua como coordenador do comitê da Associação Brasileira de Normas Técnicas, CE 003: ABNT, que é responsável pelas normas de cabeamento estruturado para edifícios comerciais, datacenters, residências, indústrias, bem como caminhos e espaços para cabeamento estruturado em edifícios. Nos Estados Unidos, atua como coordenador do comitê ANSI/BICSI 005 (segurança eletrônica) e participa do comitê ANSI/BICSI 002, responsável pela norma norte-americana de infraestrutura para datacenters. É membro do IEEE e da BICSI e autor de vários livros técnicos nas áreas de cabeamento estruturado e infraestrutura para datacenters. No Brasil, seus livros são publicados pela PM Books Editora ( Paulo Marin atua também na organização e gerenciamento de vários congressos técnicos, é colunista mensal da revista RTI no Brasil há mais de 15 anos, e tem publicados diversos artigos em revistas nacionais e internacionais. As quatro entrevistas que fizemos com o Dr. Paulo Marin foram organizadas de acordo com o seguintes temas: 1. Conceitos de datacenter 2. Infraestrutura de energia para datacenters 3. Infraestrutura de climatização para datacenters 4. Sistemas complementares em datacenters

8 Universidade do Sul de Santa Catarina Essas entrevistas cobrem todo o conhecimento acerca de conceitos e projetos para datacenters, e estão na fronteira das inovações da área graças à atuação constante, presente e participativa de Paulo Marin na indústria mundial de datacenters e das associações e organismos de normas e de geração das novas tecnologias. 6

9 Conceitos de datacenter Apresentação da entrevista Nessa primeira entrevista com o Prof. Dr. Paulo Marin, a abordagem é de fundamentação dos principais conceitos que definem o datacenter na atualidade. Uma distinção é feita em relação ao antigo conceito de centros de processamento de dados, que então passa a ser redefinido a partir de todas as normas mundiais e nacionais que surgiram a partir dos anos Conceitos como os dos sistemas que compõem os datacenters, sua caracterização e condições de funcionamento são os fundamentos básicos para o bom entendimento da infraestrutura. Uma nova abordagem, inexistente na época dos centros de processamento de dados, é agora tratada ao nos referirmos à classificação em tiers, que o Prof. Paulo nos explica apropriadamente, demonstrando, também, sua relação com a questão das redundâncias presentes na infraestrutura. Após esse tratamento geral dos conceitos, passamos a verificar os itens do datacenter, tais como padrões de distribuição interna de espaços, pisos, racks e outros espaços especiais, como a questão das salas seguras, cofres e dispositivos, tais como containers. Por fim, uma visão geral das condições ambientais externas aos datacenters é apresentada, especialmente no que se relaciona a condições mínimas de qualidade de implantação do ponto de vista geográfico e do entorno físico. Entrevista Pergunta 1: Até os anos 1990 conhecíamos os CPDs, ou Centros de Processamento de Dados. A partir dos anos 2000 passamos a falar de datacenters. Qual a diferença entre eles, e qual o conceito moderno de datacenters? Resposta: Datacenters ou Centros de Processamento de Dados (CPD) são ambientes de missão crítica, abrigam equipamentos e sistemas responsáveis pelo processamento e armazenamento de informações cruciais para a continuidade da operação dos mais diversos tipos de negócios. Os datacenters de hoje podem ser entendidos como os CPDs dos anos de 1980 e início dos anos de De qualquer forma, a densidade de equipamentos ativos nas instalações modernas é maior que aquela instalada nos antigos CPDs. Apesar de o termo datacenter ser usado, na maioria das vezes, para se referir aos espaços onde os equipamentos críticos de TI estão instalados, um datacenter é a infraestrutura do site

10 Universidade do Sul de Santa Catarina como um todo. O espaço especificamente usado para abrigar os equipamentos críticos de TI é denominado sala de equipamentos ou sala de computadores. Em resumo, a principal diferença sob meu ponto de vista entre os CPDs e os datacenters é a densidade de equipamentos, o que temos hoje em um único gabinete (que ocupa pouco mais de um metro quadrado de área da sala de computadores) é mais, em termos de capacidade de armazenamento de informações e de processamento que um CPD inteiro, nos anos de 1980 a A Figura 1 mostra um exemplo típico de um CPD dos anos de 1980 e a Figura 2, de um datacenter moderno. Figura 1 Exemplo de um CPD típico dos anos de 1980 Fonte: Museu Musical (2015). A Figura 1 mostra um exemplo de CPD, cujas principais caraterísticas são a presença de pessoas trabalhando na sala de computadores, bem como a quantidade e porte dos equipamentos, em geral muito grandes em comparação com equipamentos similares de hoje. Quanto aos datacenters modernos, a principal característica é a alta densidade de equipamentos na sala de computadores, ficando os espaços de suporte, onde o pessoal da operação efetivamente trabalha, fora da sala de computadores. Pergunta 2: Essa nova visão de datacenters é baseada em normas? Quais as principais? Resposta: Embora haja boas normas que auxiliem o projetista no dimensionamento da infraestrutura de datacenters, incluindo a brasileira ABNT NBR 14565:2013, eu não diria que a nova visão de datacenters é baseada em normas. Acredito que é mais uma questão de entendimento dos profissionais de TI, genericamente falando. Ainda hoje é comum encontrarmos profissionais que se referem a datacenters como CPDs e outros que certamente nos corrigirão em uma 8

11 conversa, se nos referirmos a um data center como CPD. Enfim, se considerarmos que o termo CPD é oriundo do inglês, ele sempre se chamou datacenter. Portanto, a nova visão sobre datacenters, ao meu ver, está relacionada aos profissionais que atuam nesse segmento de alguma forma. Certamente, a visão que o profissional de TI tem de datacenters é diferente da visão dos profissionais de facilities. De qualquer forma, considerando a normalização do setor, as normas mais importantes são: ABNT NBR 14565:2013 cabeamento estruturado para edifícios comerciais e data centers ; ANSI/TIA 942-A (2012) telecommunications infrastructure for data centers; ISO/IEC 24764:2010 information technology generic cabling systems for data centers; ANSI/BICSI data center design and implementation best practices. Pergunta 3: Quais os sistemas que compõem o datacenter? Resposta: Mais uma vez, é importante entender que, embora o termo datacenter seja usado para designar os espaços onde os equipamentos críticos de TI estão instalados, um datacenter é a infraestrutura do site como um todo e compreende os seguintes espaços e sistemas: a. sala de servidores; b. climatização (ar-condicionado e controle ambiental); c. distribuição elétrica e UPS (Uninterruptable Power Supply); d. automação do edifício; e. detecção e supressão de incêndio; f. segurança e controle; g. espaços de suporte, entre outros. 9

12 Universidade do Sul de Santa Catarina A Figura 2 mostra um exemplo dos espaços e subsistemas que compõem um datacenter. Figura 2 Espaços e subsistemas que compõem um datacenter Edifício Entrada de telecomunicações Entrada de energia Data Center Sala de comunicações Salas de energia / UPS geradores Automação incêndio monitoramento Sala de computadores Sala de operação da rede Sala de ar condicionado Fonte: ABNT NBR (2013). Conforme mostrado na Figura 2, retirada do Anexo F da ABNT NBR 14565:2013, um datacenter é composto por vários sistemas que devem ser integrados para a operação ótima da infraestrutura. Pergunta 4: O que caracteriza e diferencia datacenters grandes, médios e pequenos? Resposta: Trata-se de uma boa pergunta e bastante pertinente. É muito comum ouvirmos os termos datacenter grande ou datacenter de grande porte, assim como datacenter pequeno ou datacenter de pequeno porte. No entanto, como se define o tamanho ou o porte de um datacenter? Na verdade, não há um critério oficialmente definido no que diz respeito a isso, ou seja, não há uma norma técnica ou procedimento que defina os parâmetros associados ao tamanho de um datacenter ou como classificar um datacenter com base em seu porte. É importante entender que uma infraestrutura de missão crítica de TI com um único gabinete pode ser um datacenter. Para isso, basta que a infraestrutura ofereça condições para que a disponibilidade da operação seja ótima, ou, em termos práticos, o mais próximo possível de 100%. 10

13 Certamente, o datacenter com um único gabinete, como mencionado acima, é um data center de pequeno porte, porém, enfatizo, é um datacenter desde que seja projetado e construído para máxima disponibilidade. Portanto, embora não haja parâmetros que definam datacenters com base em seus tamanhos, prefiro associar o porte de um datacenter à quantidade de racks ou gabinetes e/ou à sua carga, em kw. Alguns projetistas utilizam a área da sala de servidores que ele ocupa, em metros quadrados, como um indicador do porte de um datacenter. Nesse caso, o dimensionamento de seus sistemas e espaços de suporte pode ser mais difícil. A classificação com base na quantidade de racks e gabinetes é uma boa prática, pois a partir daí é possível dimensionar todos os sistemas da infraestrutura do datacenter e também os espaços de suporte. Isso fica mais fácil porque, a partir da quantidade de equipamentos, pode-se levantar a carga do datacenter (em kw), o que é fundamental para o dimensionamento de toda sua infraestrutura. Em resumo, sob meu ponto de vista, o que caracteriza e diferencia datacenters de grande, médio e pequeno portes é a carga (em kw) associada a eles. Pergunta 5: Qual seu entendimento sobre os conceitos de resiliência, tolerância a falhas e disponibilidade em datacenters? Resposta: Esses conceitos estão todos associados quando falamos em ambientes de missão crítica, como são os datacenters. A resiliência pode ser compreendida como a capacidade de recuperação do site ao seu estado original (disponibilidade) no caso de sofrer uma falha e pode ser obtida com a implementação de redundância de partes, peças e sistemas completos, o que leva a algum grau de tolerância a falhas. É importante, entretanto, não confundir isso com a característica de data centers Tier IV, que são por definição os únicos tolerantes a falhas. De forma mais geral, a tolerância a falhas é a capacidade de um datacenter continuar em operação mesmo no evento de alguma falha. O grau de tolerância a falhas vai depender também dos mecanismos de redundância implementados no site. A disponibilidade de um determinado sistema pode ser definida como o tempo durante o qual ele está em operação em relação ao tempo em que ele deve estar em operação. A disponibilidade do sistema pode ser calculada da seguinte forma: Disponibilidade = [1] sendo: MTBF (Mean Time Between Failures), tempo médio entre falhas; MTTR (Mean Time To Repair), tempo médio de reparo. 11

14 Universidade do Sul de Santa Catarina Para sistemas altamente confiáveis, esse número deve estar muito próximo de 1,000 (ou 100%). No entanto, isso seria uma situação ideal, ou seja, de um sistema que jamais apresentasse falhas. Na prática, esse número deve ser, no mínimo, de 99,9%, normalmente referido como uma disponibilidade de três noves, o que se espera da infraestrutura de um datacenter. Cada nove adicional aumenta a ordem de grandeza de disponibilidade em um fator de 10, aproximadamente. A disponibilidade de um datacenter será expressa como uma porcentagem (ao longo de um período de um ano) e se aplica a um componente ou sistema. Para sistemas compostos por vários elementos ou componentes com diferentes MTBF, ou seja, em um sistema híbrido (como é a infraestrutura de um datacenter), a disponibilidade de cada sistema (ou componente) deve ser então calculada para cada um, considerando sua topologia híbrida que pode ser em série ou paralela. É importante entender que a disponibilidade da infraestrutura sempre se refere ao sistema como um todo. Para finalizar e concluir a discussão, todos esses parâmetros, ou seja, resiliência, tolerância a falhas e disponibilidade estão diretamente relacionados à redundância de partes, peças e sistemas implementados em um dado site. Pergunta 6: O mercado fala muito de classificação tier para datacenters. O que é essa classificação e qual sua origem? Resposta: A classificação de data centers em tiers é uma iniciativa do Uptime Institute, uma organização norte-americana que classifica a infraestrutura de datacenters com base em suas características de redundância e disponibilidade, enfim, de tolerância a falhas e resiliência. O sistema de classificação de infraestrutura de data centers desenvolvido pelo Uptime Institute é muito válido e, embora a entidade seja norte-americana, seu sistema de classificação passou a ser adotado em quase todo o mundo (antes mesmo de eles se estabelecerem oficialmente em outros países). Digo isso porque em vez de produzirem um modelo teórico para a determinação da disponibilidade de datacenters com base em suas infraestruturas físicas (facilities) e, em seguida, passarem à aplicação do modelo e análise de resultados, eles fizeram o contrário. Em outras palavras, o Uptime teve a feliz iniciativa de coletar dados de infraestruturas reais (em operação) de datacenters desde os anos de 1970 e, com base nos comportamentos destes sites em termos de disponibilidade associada à redundância, definiram seu modelo de classificação de disponibilidade em tiers que, em inglês, significa níveis. Portanto, o Uptime define quatro níveis de disponibilidade para a infraestrutura de um datacenter com base em suas configurações das infraestruturas de distribuição elétrica e climatização. Esses dois sistemas podem ser considerados essenciais para a disponibilidade do site, pois sem alimentação elétrica os equipamentos não podem operar, e sem um sistema de climatização para manter as condições ambientais dentro das especificações dos equipamentos de TI, o mesmo ocorre. Em resumo, o Uptime Institute define quatro níveis (tiers) de disponibilidade para datacenters com base nas configurações de suas infraestruturas de distribuição elétrica e climatização. 12

15 Uma pergunta comum é se outros sistemas não estariam diretamente associados à disponibilidade de um datacenter, como por exemplo, sistemas de telecomunicações, e não deveriam ser considerados para a classificação de um datacenter. De fato, se um link com um provedor de internet cair, o site poderá ficar indisponível. No entanto, isso não depende de aspectos de facilities do site, que, mesmo na ausência de um link com um provedor de serviços, continuará operando e estará disponível desde que não falte energia elétrica e arcondicionado. Em resumo, podemos entender o seguinte: O Uptime Institute estabelece quatro definições distintas de classificações tier (Tier I, Tier II, Tier III e Tier IV) de infraestruturas de datacenters, bem como testes de confirmação de desempenho para a determinação de conformidade com essas definições. As classificações tier descrevem a topologia do site requerida para suportar as operações do datacenter como um todo, não apenas de sistemas e subsistemas individuais. Datacenters são dependentes da operação integrada de várias partes separadas dos subsistemas da infraestrutura como geração de energia elétrica, sistemas UPS e climatização, fundamentalmente. O propósito da classificação tier de um datacenter, conforme estabelecido pelo Uptime Institute, é munir os profissionais de projeto, operadores de datacenters e gerentes de TI com um objetivo, bem como meios efetivos para a identificação do desempenho de diferentes topologias de projeto de infraestruturas de distribuição elétrica e climatização de sites de data centers. Para uma melhor compreensão das classificações definidas pelo Uptime Institute, apresento, a seguir, um resumo de cada nível (tier) e suas principais características. Datacenter Tier I Definição: datacenter sem componentes redundantes e com um ramo de distribuição (elétrica e de climatização) não redundante para atender aos equipamentos críticos de TI do site. Características: Suscetível a interrupções por atividades planejadas e não planejadas. Possui um ramo único de distribuição de alimentação elétrica, bem como para o sistema de climatização sem componentes redundantes. Datacenter Tier II Definição: datacenter com componentes redundantes, porém, com um ramo único de distribuição (elétrica e climatização) para atender os equipamentos críticos de TI. Características: Uma falha em um componente pode causar impactos na operação dos equipamentos de TI. 13

16 Universidade do Sul de Santa Catarina Uma falha no ramo de distribuição elétrica causará o desligamento dos equipamentos de TI. São sites suscetíveis a interrupções por atividades planejadas e não planejadas. Módulos UPS redundantes e grupos geradores devem fazer parte da infraestrutura de alimentação elétrica de datacenters Tier II. A infraestrutura do site deve ser totalmente desligada para serviços de manutenção preventiva e corretiva. Datacenter Tier III Definição: datacenter com componentes redundantes e vários ramos de distribuição (elétrica e climatização) para atender os equipamentos críticos de TI. Normalmente cada ramo de distribuição atende a equipamentos críticos de TI individualmente. Um datacenter Tier III tem, como principal característica, operação e manutenção concomitantes. Características: Cada componente e elemento dos ramos de distribuição de alimentação elétrica e climatização do site podem ser removidos conforme planejado, sem causar o desligamento de qualquer equipamento crítico de TI. O site é suscetível a interrupções por atividades não planejadas. A manutenção da infraestrutura do site pode ser realizada utilizando-se a capacidade de componentes redundantes e dos ramos de distribuição para trabalhos isolados nos equipamentos remanescentes. Datacenter Tier IV Definição: datacenter tolerante a falhas da infraestrutura com sistemas redundantes e vários ramos de distribuição (elétrica e climatização) que atendem, simultaneamente, os equipamentos críticos de TI. Todos os equipamentos de TI devem ter fontes de alimentação redundantes e devem ser instalados de acordo com a topologia e arquitetura do site. A principal caraterística de um datacenter Tier IV é sua capacidade de recuperação de falhas dos sistemas de infraestrutura de distribuição, ou seja, caminhos e/ou ramos de distribuição. Nenhuma das classificações anteriores tem essa característica. Características: A falha de qualquer sistema, componente ou elemento de distribuição não causará a interrupção dos serviços do datacenter. Cada componente, bem como elemento de distribuição pode ser removido (ou retirado de serviço) de forma planejada sem causar o desligamento dos equipamentos de TI. Para a implementação de um site tolerante a falhas e manutenção simultânea dos sistemas críticos de distribuição elétrica, sites Tier IV requerem que todos os equipamentos de TI tenham fontes de alimentação redundantes. 14

17 As disponibilidades de datacenters normalmente são dadas como probabilidades de disponibilidade e podem variar entre 99,67% e 99,99%, entre sites Tier I e Tier IV. No entanto, é importante entender que as classificações em tiers definida pelo Uptime não estabelecem relações entre a classificação de um site (em tier) e sua probabilidade de disponibilidade correspondente. Um erro comum é a especificação, em um projeto de infraestrutura de um datacenter Tier IV, por exemplo, de que sua disponibilidade deve ser de 99,98%. Além de ser impossível projetar um datacenter que garanta tal disponibilidade, isso não faz parte das classificações do Uptime. O que é possível fazer é estabelecer uma relação de probabilidade de disponibilidade em função da classificação de um dado site, porém, apenas para efeito de informação, ou seja, para se ter uma ideia do que se pode esperar de uma dada classificação em termos de disponibilidade (em porcentagem). A Tabela 1 resume algumas das principais características de cada classificação e inclui a probabilidade de disponibilidade associada a cada uma delas. Tabela 1 Características das classificações de datacenters em função de suas classificações em tiers Característica Tier I Tier II Tier III Tier IV Ramos de distribuição da infraestrutura elétrica e de climatização ativo 1 reserva 2 ativos simultaneamente Operação e manutenção concomitantes Probabilidade de disponibilidade (estimada) Não Não Sim Sim 99,67% 99,75% 99,98% 99,99% Fonte: Marin (2016). O Uptime Institute emite o selo de certificação de data centers com base em seu sistema de classificação de níveis de disponibilidade (tiers). Isso é feito mediante serviços de auditoria prestados pelo próprio instituto. Para finalizar, embora o Uptime tenha agregado um novo documento ao seu sistema de classificação, denominado sustentabilidade operacional que, basicamente, unifica o gerenciamento da infraestrutura ao sistema de classificação em tiers, ele não muda o sistema de classificação proposto e nem o processo de certificação de datacenters. Pergunta 7: Algumas vezes os datacenters são tratados como ambientes de missão crítica. No entanto, sabemos que subestações, centros de controle de tráfego aéreo, centros de automação e congêneres são também ambientes de missão crítica. Nesse sentido, os conceitos de infraestrutura de datacenters também se aplicariam a esses outros tipos de ambientes? Resposta: De fato, datacenters devem ser sempre tratados como ambientes de missão crítica em sua fase de projeto e instalação, pelo menos do ponto de vista de sua infraestrutura (facilities). 15

18 Universidade do Sul de Santa Catarina Assim, o que outros ambientes de missão e datacenters têm em comum é que precisam operar com a máxima disponibilidade possível. Embora as classificações tiers de disponibilidade para datacenters não se apliquem a outros ambientes de missão crítica, os conceitos aplicados ao projeto e construção da infraestrutura de ambientes de missão crítica podem ser os mesmos aplicados a datacenters. A principal diferença é que nem todos os ambientes de missão crítica têm os mesmos requisitos de infraestrutura. De qualquer forma, aplicar os conceitos de tiers ao sistema elétrico de sites de missão crítica pode ser uma boa prática. Pergunta 8: Um conceito muito importante em datacenters é o da redundância, o que define, inclusive, muitos parâmetros da classificação em tiers. Mas o que significa redundância em datacenters? Pode nos dar alguns exemplos? Resposta: A redundância em datacenters pode ser entendida como a duplicidade de partes, módulos, caminhos, componentes e sistemas com a finalidade de evitar o downtime (tempo de parada) de um site devido a: falhas técnicas; falhas humanas (que causam erros de operação); manutenção preventiva ou corretiva. Normalmente, as classificações de datacenters quanto às suas disponibilidades e redundâncias não incluem seus sistemas de TI propriamente ditos, ou seja, eventuais paradas (downtime) ou lentidões (slowtime) de aplicações não contam para a classificação de datacenters quanto às suas disponibilidades; apenas a infraestrutura física é levada em consideração. O nível mais alto de redundância e recuperação de desastres exige um elemento de sistema redundante para cada sistema principal (1:1). Uma abordagem mais conservadora é o uso de um sistema redundante para N sistemas (1:N) ou ( N+1) sistemas. Conforme discutido na pergunta 5, a redundância tem como finalidade aumentar a disponibilidade do datacenter, expressa como uma porcentagem (ao longo de um período de um ano) e se aplica a um componente ou sistema. Para sistemas compostos por vários elementos ou componentes com diferentes MTBF, ou seja, em um sistema híbrido (como é a infraestrutura de um datacenter), a disponibilidade de cada sistema (ou componente) deve ser então calculada para cada um, considerando sua topologia híbrida que pode ser em série ou paralelo. É importante que se entenda que a disponibilidade da infraestrutura sempre se refere ao sistema como um todo. Um sistema híbrido em série pode ser representado pela topologia da Figura 3. 16

19 Figura 3 - Topologia de um sistema híbrido em série Sistema S1 Sistema S2 Fonte: Marin (2016). A disponibilidade de um sistema híbrido em série pode ser calculada conforme a seguinte expressão: [2] [1] Considerando que o Sistema 1 tem uma disponibilidade de 50% e o Sistema 2, de 60%, a disponibilidade total calculada do sistema híbrido formado pela associação em série de ambos os sistemas 1 e 2 será de 30%, conforme a aplicação de [1]. [2] Um sistema híbrido paralelo pode ser representado pela topologia apresentada na Figura 4. Figura 4 - Topologia de um sistema híbrido paralelo Sistema S1 Sistema S2 Fonte: Marin (2016). A disponibilidade de um sistema híbrido paralelo pode ser calculada conforme a seguinte expressão: [3] 17

20 Universidade do Sul de Santa Catarina Considerando os mesmos números do exemplo anterior, ou seja, que o Sistema 1 tem uma disponibilidade de 50% e o Sistema 2, de 60%, a disponibilidade total calculada do sistema híbrido formado pela associação em paralelo de ambos os Sistemas 1 e 2 será de 80%, conforme a aplicação de [3]. Como era de se esperar, sistemas ou componentes em paralelo têm uma disponibilidade combinada superior àquela oferecida por arranjos de sistemas e componentes em série. A explicação é simples. Em arranjos em série, quando um componente ou sistema apresenta uma falha, o outro não pode operar. No caso de sistemas em paralelo, a falha de um não impede, necessariamente, a continuidade de operação do outro. Portanto, a redundância de partes, componentes e sistemas, bem como seu esquema de implementação, é fundamental para a máxima disponibilidade do site. Um exemplo de redundância em sistemas elétricos de datacenters é o uso de UPS paralelo redundante, conforme mostrado na Figura 5. Figura 5 Exemplo de implementação de redundância em datacenters Fonte: Marin (2016). A Figura 5 mostra o uso de UPS paralelo-redundante no sistema de distribuição elétrica de um datacenter Tier II. O objetivo do uso de módulos UPS em paralelo, como mostrado na figura, é que, no caso de falha de um deles, qualquer um outro é capaz de suprir alimentação para a carga crítica de TI e manter a operação. 18

21 Pergunta 9: Considerando as novas normas, aplicáveis a datacenters, existe algum padrão de layout e de distribuição de salas e racks? Ou isso é definido conforme a dimensão do datacenter? Resposta: Algumas normas técnicas para datacenters trazem recomendações de layout tanto para a sala de computadores, quanto para o datacenter como um todo. Entre elas, podemos citar a brasileira ABNT NBR 14565:2013 (cabeamento estruturado para edifícios comerciais e data centers) e a norte-americana ANSI/TIA-942-A (telecommunications infrastructure for data centers). Embora sejam recomendações, ou seja, não sejam especificações ou requisitos que devam ser cumpridos, as normas que trazem exemplos de layouts de datacenters o fazem com base no porte do datacenter. A Figura 6 mostra um layout recomendado para datacenters típicos, de acordo com a ABNT NBR 14565:2013. Figura 6 Layout de um datacenter típico Operações UPS Sala de computadores Entrada de telecomunicações Storage Fonte: ABNT NBR (2013). A Figura 7 mostra um exemplo de layout de um datacenter de grande porte, conforme a ABNT NBR 14565:

22 Universidade do Sul de Santa Catarina Figura 7 Layout de um datacenter de grande porte Sala de computadores Acesso Operações Entrada de telecom UPS e baterias (1) Equipamentos de ar-condicionado Geradores UPS e baterias (2) Subestação Fonte: ABNT NBR (2013). Para citar mais exemplos e as diferenças entre o conceito de porte de datacenters de diferentes organismos de normalização, a Figura 8 mostra um layout de um datacenter de pequeno porte, conforme definido na norma norte-americana ANSI/TIA-942. Figura 8 Layout de um datacenter de pequeno porte HOT AISLE COMPUTER ROOM COLD AISLE HOT AISLE COLD AISLE HOT AISLE COLD AISLE SWITCH AND PATCHING RACKS Fonte: ANSI/TIA-942 (2005). 20

23 A Figura 8 mostra os gabinetes alinhados em filas formando corredores frios e quentes, bem como os racks de telecomunicações e redes, onde são instalados switches e componentes da distribuição de cabeamento no datacenter. Entre as recomendações para o arranjo de racks e gabinetes dentro da sala de computadores, conforme o Anexo F da ABNT NBR 14565:2013, podemos destacar as seguintes: os gabinetes devem ser alinhados para formar filas; os gabinetes devem ser posicionados em suas filas de modo que as faces frontais dos gabinetes de uma fila estejam posicionados de frente para as faces frontais dos gabinetes da outra fila; da mesma forma, as faces posteriores dos gabinetes de uma fila devem estar olhando para as faces posteriores dos gabinetes da fila seguinte; o corredor à frente das faces frontais dos gabinetes de uma dada fila deve ter no mínimo 1,2 m de largura para permitir a abertura completa das portas dos gabinetes para a instalação de equipamentos; o corredor formado nas faces posteriores dos gabinetes de uma determinada fila deve ter pelo menos uma largura de 0,6 m; a sala de computadores do datacenter, sempre que possível, deve ser de formato retangular para melhor acomodar racks e gabinetes alinhados em filas dentro desse espaço. Pergunta 10: Fale-se muito em piso elevado para datacenters. O piso elevado é obrigatório? Quando ele é aplicável e como é o padrão de instalações? Resposta: Embora o piso elevado com placas removíveis de 600 x 600 mm, conforme mostrado na Figura 9, seja muito comum em datacenters, ele não é um requisito de norma. Figura 9 Exemplo de estrutura de piso elevado com placas removíveis utilizados em datacenters Espaço para as placas de piso Armação metálica (a ser aterrada) Pedestais de alumínio Pés de aço Fonte: Marin (2016). 21

24 Universidade do Sul de Santa Catarina Os pisos elevados têm como principal finalidade criar um vão livre entre a laje do piso da sala de computadores e o novo piso desse espaço onde serão instalados os racks e gabinetes com os equipamentos críticos de TI. Esse vão é normalmente utilizado para um ou mais dos seguintes sistemas: cabeamento estruturado (ver exemplo na Figura 10); alimentação elétrica da sala de computadores; tubulação de água do sistema de climatização; sensores de fumaça, temperatura, umidade, vazamento de fluidos etc.; climatização (insuflação de ar frio sob o piso elevado) etc. Figura 10 Piso elevado utilizado para o lançamento do sistema de cabeamento estruturado do datacenter em sua estrutura de eletrocalha aramada Fonte: Marin (2016). A estrutura do piso elevado ajuda também a melhorar a distribuição do peso dos gabinetes sobre a laje do edifício que abriga a sala de computadores, dentro de certos limites, obviamente. Quando utilizados, as seguintes recomendações devem ser observadas: devem ser fixados diretamente à laje da edificação; a espessura da laje deve ser de 14 cm para uma carga de piso de 732,36 kgf/m 2 ; a espessura da laje deve ser de 20 cm para uma carga de piso de 1.220,60 kgf/m 2 ; o piso elevado deve ser contínuo para melhor distribuição de carga; a estrutura do piso elevado deve ser aterrada. Pergunta 11: Existem padrões de dimensões de racks? Como eles são distribuídos no interior do datacenter? Pode nos dar exemplos? 22

25 Resposta: Sim, há alguns padrões de dimensões de racks e gabinetes utilizados em datacenters. Aqui acho importante adotarmos as seguintes definições para racks e gabinetes: um rack é uma estrutura aberta (armação, frame) que pode ter dois ou quatro colunas verticais de sustentação, sendo mais comum estruturas com duas colunas. Os racks são utilizados para abrigar os equipamentos de redes e telecomunicações (switches, roteadores etc.), bem como os componentes do cabeamento estruturado (patch panels, distribuidores ópticos etc.); um gabinete é um rack fechado em todas as suas laterais e teto, possuindo portas frontal e traseira, e têm normalmente quatro colunas verticais de sustentação que podem ser estruturas fixas (mais comuns em racks de servidores e storage) ou modulares. Os gabinetes são utilizados em datacenters para abrigar, basicamente, servidores e equipamentos de armazenamento de dados (storage). Essas definições não são oficiais, ou seja, não são especificadas em normas técnicas, porém, são bem aceitas entre os profissionais da área. Voltando aos padrões, o mais comum é o padrão de racks de 19 da EIA. Praticamente todos os equipamentos de TI e cabeamento estruturado são fabricados para serem instalados em racks padrão 19. Os racks são especificados dessa forma, que corresponde à sua largura útil (19 ), sendo a largura total externa de 600 mm, que corresponde à largura das placas utilizadas no piso elevado. Portanto, é comum encontrar a especificação de racks como 19 EIA (600 mm). Os gabinetes utilizados em datacenters têm larguras maiores que 19, embora a largura entre suas colunas internas às quais os equipamentos e outras estruturas de suporte são fixadas mantenham os mesmos 19 que os racks. É comum encontrarmos as seguintes dimensões de racks utilizados em datacenters: 23,6 (600 mm)/19 EIA; 27,6 (700 mm)/19 EIA; 31,5 (800 mm)/19 EIA. Há, ainda, mais gabinetes para servidores com outras dimensões que podem ser encontrados no mercado, sendo os de 23,6 (700 mm) os mais comuns na maioria dos projetos. Além da largura, outras duas dimensões são igualmente importantes, como a profundidade e a altura. Os gabinetes de servidores em geral têm entre e mm de profundidade e altura entre 1,9 e 2,1 m, ou 42 e 44U, respectivamente. Quanto aos racks, esses têm, em geral, alturas de 42 ou 44U; a profundidade não é uma dimensão crítica, pois ela vai depender dos equipamentos a serem instalados neles. De qualquer forma, o projetista deve se assegurar que o padrão rack escolhido atenda aos requisitos de dimensões e pesos de equipamentos e componentes que serão instalados e que o espaço onde os racks serão colocados esteja de acordo com esses requisitos. A distribuição dos gabinetes de servidores e equipamentos de storage na sala de computadores deve ser em forma de filas, conforme abordado na pergunta 9, acima. O mais 23

26 Universidade do Sul de Santa Catarina crítico na distribuição é que sejam deixados espaços frontais e traseiros que permitam a retirada de equipamentos instalados nos gabinetes e a instalação de novos equipamentos (o que é feito pela parte frontal dos gabinetes), bem como para acesso para manutenção em conexões elétricas e de rede, normalmente acessíveis pelas partes traseiras dos gabinetes. Como as portas traseiras são em geral bipartidas, ou seja, abrem em duas folhas de cerca de 300 mm cada, o espaço livre atrás dos gabinetes não precisa ser muito grande. Normalmente, deixa-se um espaço livre de pelo menos 600 mm. Já na frente dos gabinetes, cujas portas são em folha única (de 600 mm, aproximadamente), recomenda-se um espaço livre maior, de cerca de 1200 mm, para permitir manobras de retirada e instalação de equipamentos nos gabinetes. Quanto aos racks, eles podem ser montados em filas exclusivas de racks de telecomunicações e redes para melhor gerenciamento ou intercalados entre os gabinetes de servidores e storage, mas isso depende da abordagem de projeto. De qualquer forma, os espaços livres devem ser tais que permitam a execução de serviços de instalação e manutenção dos equipamentos neles instalados. Outros aspectos relacionados ao dimensionamento e à especificação de gabinetes são suas características de fluxo de ar, pois eles devem ter tomadas de ar frio para passar pelos equipamentos ativos neles instalados, removendo o calor gerado pela eletrônica e permitindo que o ar quente seja extraído de forma eficiente. A Figura 10 mostra um exemplo de gabinete com portas frontal e traseira perfuradas para permitir um fluxo de ar ótimo. Figura 10 Exemplo de gabinete utilizado em datacenters com aberturas para permitir o fluxo de ar ótimo entre os corredores frios e quentes Fonte: Marin (2016). A Figura 11 mostra um exemplo de gabinete utilizado em datacenters com chaminé, que orienta o fluxo de ar para fora da sala de computadores, contribuindo para uma maior eficiência do sistema de climatização do site. 24

27 Figura 11 Exemplo de gabinete com chaminé para extração de ar quente utilizado em datacenters Fonte: Marin (2013). O gabinete da Figura 11 ajuda na extração de ar quente da sala de computadores, conformando o confinamento do corredor quente, como mostrado na Figura 12. Figura 12 Técnica de conformação de corredor quente para extração de ar quente da sala de computadores em datacenters Fonte: Marin (2013). Para finalizar, uma especificação importante com relação aos gabinetes é sua capacidade carga (em kg). É muito importante que o projetista levante a carga total que o gabinete deverá suportar para evitar seu sub dimensionamento, pois é comum gabinetes com cargas da ordem de 600 a kg. 25

28 Universidade do Sul de Santa Catarina Pergunta 12: O mercado tem se referido a datacenters construídos como edificações, mas há também opções do tipo container, sala-segura e sala-cofre. Poderia nos explicar como são essas opções, suas diferenças e alguns exemplos? Resposta: As normas que se aplicam à infraestrutura de datacenters consideram que o espaço que abriga um datacenter deve ser devidamente projetado para esse fim e, normalmente, ele é uma edificação, ou seja, um edifício com certas características construtivas que ofereçam a segurança física esperada para esses ambientes de missão crítica. No entanto, há situações em que não é viável (por inúmeras razões) a construção de um edifício para abrigar um datacenter. Assim, sob certas circunstâncias, outras técnicas e/ou abordagens de projeto podem ser aplicadas. Uma delas é o uso de ambientes seguros, ou, como são mais conhecidas na prática, salas cofre. A Figura 13 ilustra um exemplo de sala cofre. Figura 13 Exemplo de sala cofre Extinção por gás inerte Ar condicionado de precisão Detecção precoce de incêndio PDU Plug in UPS Iluminação Parede, piso e teto modulares Damper Entrada de cabos Controle de acesso Porta Estanque Viga de sustentação Piso elevado Entrada de cabos Fonte: Marin (2013). Uma sala cofre tem como objetivo prover um ambiente seguro e estanque, sendo uma célula selada para abrigar os sistemas críticos de TI de um datacenter. Na verdade, como mostrado na Figura 13, uma sala cofre pode abrigar praticamente o datacenter inteiro. Note que, no exemplo da figura acima, os seguintes sistemas e componentes estão dentro da sala cofre: piso elevado; cabeamento estruturado; distribuição elétrica (PDU, cabos e UPS); 26

29 detecção e contenção de incêndio; iluminação; ar-condicionado de precisão; segurança e controle de acesso; racks de telecom e redes; gabinetes de servidores e storage, entre outros. No esquema da Figura 13 vemos que apenas o grupo motor-gerador não está no mesmo espaço da sala cofre, configuração bastante comum, por questões associadas à emissão de gases do gerador. O uso de datacenters em containers surgiu da necessidade de se transportar um datacenter para uma localidade remota para uso por um tempo determinado e sua posterior remoção ao final de sua utilização. Um exemplo dessa aplicação é a área de mineração. Durante a exploração de uma mina, necessita-se de uma infraestrutura de TI para atender às necessidades de processamento e transmissão de dados, como em qualquer aplicação comercial. Portanto, acondicionar um datacenter dentro de um container padrão facilita seu transporte por meio de rodovias, ferrovias, portos e aeroportos, não sendo necessário o desenvolvimento de meios de transporte específicos, o que torna a solução economicamente viável. Transportar um container é simples e barato. A Figura 14 mostra o aspecto de um datacenter em container. Figura 14 Exemplo de datacenter em container Fonte: APC (2016). Dada a versatilidade e relativo baixo custo de um container (em comparação à construção de um edifício dedicado ao datacenter), há vários datacenters construídos em containers como soluções definitivas e fixas. Exemplos de empresas que utilizam essa técnica são Google e Microsoft, conforme divulgado na mídia, entre inúmeras outras. Também é comum o uso de salas cofre em ambientes que, em princípio, oferecem proteção mecânica suficiente para abrigar datacenters. De qualquer forma, cabe ao projetista a avaliação da melhor relação custo/benefício junto ao seu cliente quanto à melhor abordagem de projeto e ao espaço que conterá o datacenter. 27

30 Universidade do Sul de Santa Catarina Pergunta 13: Há localizações especiais para datacenters, ou seja, subsolos, regiões desérticas, montanhas etc.? Sabemos que muitas vezes as empresas não têm muitas opções de locais. Então, quais seriam as recomendações? Resposta: O planejamento dos espaços do datacenter é um dos fatores mais críticos, se não o mais crítico, quando projetamos sua infraestrutura física. Com relação à sua localização geográfica e aspectos físicos, devem ser considerados os seguintes aspectos: O local não deve estar sujeito a inundações (devem ser evitados locais próximos a rios, lagos, oceanos, fundos de vales etc.); Deve-se evitar localidades próximas a cabeceiras de pistas de aeroportos por riscos de acidentes potenciais; Deve-se evitar a construção de data centers sob helipontos; Deve-se evitar locais sujeitos a abalos sísmicos; Deve-se evitar localidades muito próximas a linhas de transmissão elétrica; Locais com fácil acesso a rodovias são recomendados; Locais próximos às concessionárias de energia elétrica são recomendados; Locais próximos a centros de serviços são também recomendados; Condomínios comerciais específicos para abrigar datacenters também podem ser boas localidades para se instalar um novo site (normalmente, eles já foram construídos levando-se os aspectos anteriormente citados em consideração). Quanto a regiões do planeta mais recomendadas para a construção de datacenters, há várias discussões sobre isso e muita divergência entre os projetistas. Há aqueles que consideram regiões montanhosas como as mais recomendadas, dado o difícil acesso para ataques terroristas. A contrapartida é que regiões remotas também dificultam o acesso de profissionais de manutenção, bem como o abastecimento do site dos mais diversos suprimentos. Há informações sobre datacenters construídos em bunkers enterrados sob regiões desérticas, em princípio, à prova de explosões nucleares. De qualquer forma, os exemplos acima representam uma parcela ínfima de datacenters reais. A maioria dos datacenters enterprise de pequeno porte são instalados em edifícios comerciais que, em princípio, nem foram construídos pra isso. Portanto, as recomendações mais importantes para esses casos são: evitar o subsolo de edifícios, pois estão sujeitos à inundação; evitar andares muito altos porque pode ser difícil levar os equipamentos do datacenter até eles; evitar espaços compartilhados com outros departamentos do edifício; 28

31 verificar se o edifício tem capacidade de carga (em kw) para alimentar os equipamentos críticos de TI; verificar se há onde instalar um grupo motor-gerador para uso exclusivo do datacenter em alguma dependência do edifício; verificar se o edifício oferece as condições mínimas de segurança e controle de acesso às suas dependências; verificar se a estrutura do edifício suporta a carga de piso (kgf/m 2 ) que deverá ser colocada nela, entre outros fatores críticos. Dependendo das condições e características do edifício, pode ser necessário procurar por um outro local para a implantação do datacenter. Algumas vezes, o uso de salas cofre ou containers dentro de alguma dependência do edifício pode ser uma solução viável. Referências ABNT. Norma ABNT NBR 14565: Cabeamento estruturado para edifícios comerciais e data centers. ANSI/TIA-942. Standard ANSI/TIA-942: Telecommunications infrastructure for data centers. APC. Prefabricated datacenter modules. Disponível em: < Acesso em: 26 set MARIN, P.S. Data Centers - Engenharia: Infraestrutura Física. São Paulo/SP: PM Books, MARIN, P.S. Data Centers - Desvendando cada passo: conceitos, projeto, infraestrutura física e eficiência energética. São Paulo: Editora Érica Saraiva, MUSEU MUSICAL. Computadores antigos: Centros de processamento de dados. 17 abr Disponível em: Acesso em: 19 set

32 Infraestrutura de energia para datacenters Apresentação da entrevista A infraestrutura de energia elétrica dos datacenters é o tema dessa entrevista. Energia é um tema de alto impacto em toda a nossa sociedade moderna, e os datacenters se transformaram num dos principais consumidores elétricos da atualidade. Em nosso diálogo técnico são descritos os principais elementos da instalação elétrica dos datacenters, caracterizando esses elementos e as relações entre eles. Cálculos de demanda, de consumo previsto e padrões são pontos centrais da discussão, pois determinam as dimensões necessárias para as instalações e suas redundâncias. Há também o tratamento sobre equipamentos específicos, como sistemas ininterruptos (UPS), grupos geradores de energia elétrica, geração alternativa, painéis elétricos e todos os espaços necessários para tais equipamentos, seus acessórios e condições de aterramento. O debate conclui com uma dissertação sobre as métricas atualmente em uso para caracterizar a eficiência energética do datacenter, e as melhores práticas de instalações e uso da energia. Entrevista Pergunta 01: Em datacenters, as instalações elétricas são fundamentais na infraestrutura, pois o consumo de energia é algo de muito impacto nos dias de hoje. Comenta-se que os datacenters são os maiores consumidores de energia no mundo atual. Como você vê a questão da eficiência energética em datacenters? Resposta: Os datacenters são realmente grandes consumidores de energia elétrica. Se não forem os maiores do mundo, devem estar bem perto disso. O consumo de energia, de uma forma geral, tem sido uma preocupação comum no mundo de hoje. Deixando os aspectos ecológicos de lado, colocando o foco no consumo de energia elétrica e considerando a evolução da crescente área de tecnologia da informação, é evidente que os datacenters são grandes consumidores. Independentemente do tamanho do datacenter, seu consumo de energia é elevado dada a grande quantidade de equipamentos de TI que eles abrigam. Servidores convencionais, servidores blade, equipamentos de storage (para armazenamento de dados), redes SAN (Storage Area Network), NAS (Network Attached Device) etc. são equipamentos e sistemas que consomem muita energia elétrica.

33 Outros sistemas do datacenter como, principalmente, o sistema de climatização, também apresentam um elevado consumo de energia elétrica e algumas perdas intrínsecas. Esse elevado consumo resulta em um elevado custo de manutenção e operação somente com energia elétrica, que não é o único custo que deve ser controlado em datacenters. Portanto, faz-se necessário um controle eficiente do uso de energia elétrica, bem como sua otimização em datacenters. Considerando, também, seu impacto ambiental devido ao alto consumo de energia elétrica, um novo conceito surge no mundo da tecnologia da informação: o green datacenter. Há uma relação entre o consumo de energia elétrica e a emissão de CO 2 na atmosfera. Essa relação será mais ou menos importante dependendo da forma como a energia elétrica é gerada em uma determinada região geográfica. No caso do Brasil, esse impacto não é tão grande, uma vez que a maior fonte de geração de energia elétrica é limpa (centrais hidrelétricas). A Figura 1 mostra um exemplo de geração de energia elétrica no Brasil. Figura 1 Exemplo de geração de energia elétrica no Brasil Usinas Eólicas 1,6% Gás Natural 27% Usinas Nucleares 1,7% Usinas Elétricas 69,7% Fonte: Marin (2016). Quando nos referimos à eficiência dos datacenters e às métricas para sua avaliação, estamos basicamente nos referindo a maneiras de medir a eficiência energética dos datacenters. Se considerarmos que as métricas usadas para a avaliação da eficiência energética foram desenvolvidas por organizações norte-americanas, fica mais fácil entender suas relações com o conceito do green datacenter, pois um menor consumo de energia elétrica significa menores níveis de emissão de gás carbônico na atmosfera. No Brasil, o conceito do green datacenter, de acordo com a análise de sua eficiência energética, não faz muito sentido porque a maior parte da energia elétrica gerada e consumida no país vem de fontes limpas. Se pudermos adotar técnicas e procedimentos para reduzir (ou otimizar) o consumo de energia elétrica em datacenters e economizar dinheiro nas contas de consumo (um recurso muito valioso e limitado em qualquer organização), essas iniciativas green também podem ser aplicadas com algum sucesso aos datacenters construídos e operados no Brasil. 31

34 Universidade do Sul de Santa Catarina Pergunta 02: Num diagrama elétrico típico de datacenters aparecem nomes ou siglas, tais como UPS, PDU, RTT e várias outras. Pode nos explicar o que são? Resposta: É verdade, há muitas siglas que são utilizadas entre os técnicos, em especial entre os profissionais de TI e infraestrutura em geral. Para discutir algumas dessas siglas, vamos começar pela análise de um esquema de distribuição elétrica de um data center Tier I, conforme mostrado na Figura 2. Figura 2 - Esquema de distribuição elétrica de um data center Tier I Fonte: Marin (2016). 32

35 Como podemos observar na Figura 2, a energia elétrica fornecida pela concessionária local alimenta o quadro elétrico do datacenter, responsável por alimentar as cargas críticas de TI, bem como outras cargas não críticas do site, como espaços de suporte e cargas mecânicas (ar-condicionado). A concessionária alimenta o quadro elétrico do datacenter por meio de uma ATS/QTA (Automatic Transfer Switch ou Quadro de Transferência Automática), responsável pela transferência da carga para o gerador a diesel na falta da concessionária (ausência de energia elétrica). Em uma operação normal, a ATS/QTA conecta toda a carga do datacenter à concessionária, ficando o gerador como back-up para suprir energia elétrica ao datacenter quando houver uma falha na distribuição elétrica local. Nesse evento, a ATS/QTA automaticamente é comutada para o gerador e dá a partida no motor. Enquanto o gerador estabiliza o giro do motor, durante o período de comutação da ATS/QTA, as cargas críticas não podem ter a alimentação elétrica interrompida. Para garantir que não haja interrupção no fornecimento de energia para os equipamentos críticos, o sistema elétrico de um datacenter deve ser provido de um sistema UPS (Uninterruptible Power Supply), ou sistema de fornecimento de energia elétrica ininterrupto, também conhecido vulgarmente como no-break. O UPS é um sistema composto por equipamentos eletrônicos e baterias cuja finalidade é converter a energia elétrica em corrente contínua, proveniente de baterias ou bancos de baterias, em energia elétrica em corrente alternada para alimentação dos equipamentos críticos do datacenter. Normalmente, apenas a carga crítica do datacenter é conectada a sistemas UPS. Outro dispositivo muito comum em sistemas elétricos de datacenters é a PDU (Power Distribution Unit), ou unidade de distribuição elétrica. No esquema da Figura 2 esse dispositivo aparece entre o sistema UPS e um outro quadro elétrico; note que esse é um quadro de distribuição setorial, ou seja, atende a uma parte ou setor da instalação. O quadro elétrico que recebe as conexões da concessionária e do gerador por meio da ATS/QTA é o quadro elétrico principal do site. No esquema elétrico em questão, o quadro elétrico das PDU serve para segregar os circuitos que atendem as cargas críticas de TI. Isso normalmente é feito para reduzir a carga por ramo de distribuição e também para oferecer um gerenciamento mais eficiente desses ramos de distribuição. É importante explicar que o termo PDU muitas vezes confunde até mesmo os projetistas mais experientes. Por exemplo, se buscarmos por PDU em catálogos de fabricantes, encontraremos desde as tão conhecidas réguas de tomadas até equipamentos sofisticados com condicionamento de tensão e uso de transformadores isoladores. Por definição, uma PDU pode ser simplesmente um painel elétrico de distribuição, provido apenas de disjuntores para proteção de circuitos. A Figura 3 mostra alguns exemplos de PDU disponíveis no mercado. 33

36 Universidade do Sul de Santa Catarina Figura 3 Exemplos de PDU utilizadas em datacenters a) PDU para instalação em racks padrão 19 Fabricante: APC Fonte: APC (2016). b) PDU com múltiplos disjuntores (168) e isolação elétrica de circuitos Fabricante: Liebert Fonte: keyitec Inc. (2016). 34

37 c) PDU para segregação e distribuição de circuitos dentro da sala de computadores Fonte: Marin (2016). Para finalizar, além dos componentes e sistemas apresentados aqui, outras siglas podem ser encontradas em sistemas elétricos de datacenters, como trafo (que é uma abreviação para transformador), STS (Static Transfer Switch, Chave de Transferência Estática) e RTT (Relé de Tensão Trifásica), que é um dispositivo de proteção de sistemas trifásicos contra a falta de fase, sub e sobretensão, assimetria etc. Pergunta 03: Como fazemos para calcular e determinar a energia elétrica necessária para um datacenter? Há algum padrão ou recomendação? Resposta: O correto dimensionamento da distribuição elétrica de um datacenter é extremamente importante, pois dele depende sua capacidade de suportar a carga inicialmente instalada no site com algum crescimento futuro. Não há um padrão para isso, mas há recomendações, como veremos a seguir. Para um dimensionamento preciso da carga de um datacenter, é importante que se conheçam seus vários sistemas, seus respectivos consumos e a classificação tier do sistema elétrico do site. Os principais sistemas que apresentam consumo significativo de energia elétrica num datacenter e que devem ser levados em consideração no projeto são os seguintes: Carga crítica de TI; Cargas mecânicas (ar condicionado e ventilação); Sistema UPS e baterias; Iluminação; Espaços de suporte. 35

38 Universidade do Sul de Santa Catarina A carga crítica de TI, em geral, é responsável pelo consumo de 40 a 50% da alimentação elétrica disponível no datacenter, as cargas mecânicas representam 35 a 45%, o sistema UPS e baterias de 10 a 11%, a iluminação aproximadamente 3% e os espaços de suporte, 5%. A Figura 4 apresenta a distribuição de energia elétrica típica de um datacenter em função dos principais sistemas presentes no site. Figura 4 Consumo médio do datacenter em função de seus sistemas principais Iluminação; 3% Suporte; 5% UPS; 11% Carga crítica; 36% Climatização; 45% Fonte: Marin (2016). Os consumos de cada um dos sistemas apresentados na Figura 4 podem variar, porém, esses valores representam uma média bastante realista. De acordo com os dados apresentados, nota-se que os maiores vilões no consumo de energia elétrica em um datacenter são os equipamentos de TI (a carga crítica de TI) e o sistema de climatização (HVAC - Heat, Ventilation & Air Conditioning) do datacenter, responsável por remover da sala de computadores o calor gerado pelos equipamentos ativos. Normalmente, o dimensionamento da carga total do site parte da carga crítica de TI e, em projetos mais antigos (ou conservadores), a carga de TI era distribuída dentro da sala de computadores por densidade de área de piso (kw/m 2 ). Uma recomendação para um projeto mais eficiente é a distribuição de carga por rack/gabinete, em vez de uma distribuição por metro quadrado. Uma questão que pode surgir a partir dessa consideração é quantos kw são, em geral, instalados em cada rack, uma vez que há diferentes equipamentos com diferentes características de consumo de energia elétrica dentro do datacenter? Essa é uma questão realmente difícil de responder com precisão. O quadro a seguir apresenta valores de consumo de servidores tipo blade de cinco fabricantes diferentes, identificados apenas como fabricantes A, B, C, D e E. 36

39 Quadro 1 Consumo típico de servidores tipo blade de diferentes fabricantes Servidores tipo blade (chassis totalmente carregado*) *em média 10 servidores blade por chassis Carga por rack* (kw) *em média 5 chassis por rack Fabricante A 14,3 Fabricante B 15,0 Fabricante C 14,3 Fabricante D 12,9 Fabricante E 10,0 Fonte: Marin (2016). Com base nos valores apresentados na tabela acima, nota-se que, para um mesmo tipo de equipamento, há diferentes características de consumo associadas. Isso torna ainda mais difícil uma determinação precisa de quantos kw de alimentação elétrica devem ser entregues para cada rack/gabinete em um datacenter. No entanto, pode-se determinar uma média a partir deste tipo de análise. Com base no Quadro 1, podemos desconsiderar o Fabricante E (que apresenta um consumo significativamente inferior aos demais) e calcular a média aritmética dos consumos de servidores tipo blade dos fabricantes A, B, C e D. Nesse exemplo, encontramos uma média de consumo de 14,125 kw por rack/gabinete carregado com servidores blade. O exemplo apresentado aqui reflete a realidade dos projetos atuais de alimentação elétrica de datacenters. Em geral, os projetistas do sistema elétrico de datacenters adotam um consumo nominal (valor de projeto) de 15 kw por rack. Esse valor tem se mostrado suficientemente preciso para a grande maioria dos projetos. De qualquer forma, se o projetista quiser trabalhar com valores mais precisos, a única maneira de consegui-los é por meio das informações técnicas de consumo, fluxo de ar, aumento de temperatura em função da utilização e carga térmica (em kw), presentes nas especificações técnicas dos equipamentos que serão instalados no datacenter. Para aplicar os conceitos de dimensionamento do sistema elétrico de um datacenter, vamos considerar um data center Tier I, com uma sala de computadores com área de 20 m 2 e com os equipamentos mostrados no Quadro 2. Quadro 2 Equipamentos a serem instalados na sala de computadores e cargas correspondentes Equipamento Descrição Carga (kw) CAB01 Gabinete 42U 8,0 CAB02 Servidores 8,0 CAB03 Gabinete 42U 6,0 CAB04 Storage 6,0 RACK01 Rack 42U 5,0 RACK02 Telecom e redes 5,0 Carga de projeto (TI) 38,0 Fonte: Marin (2016). 37

40 Universidade do Sul de Santa Catarina A carga total de projeto pode ser determinada pela soma das cargas de cada equipamento, conforme mostrado na Quadro 2. No entanto, se dimensionarmos o sistema elétrico para essa carga, ele não terá capacidade de crescimento. Em outras palavras, não será possível adicionar mais equipamentos ao datacenter no futuro. Por isso, deve-se considerar na etapa de projeto alguma capacidade de crescimento futuro. Se buscarmos orientações na literatura técnica (livros, normas e manuais) sobre previsão para crescimento de carga do sistema elétrico, vamos encontrar alguns autores que sugerem a aplicação de um crescimento como uma porcentagem sobre a carga de projeto ao longo de um período de tempo, por exemplo, 10% ao ano para cinco anos. Em nosso exemplo, isso significaria aplicar um crescimento de carga de 23 kw, ou seja, o sistema seria projetado para suportar uma carga de 61 kw. A recomendação, entretanto, é aplicar, como fator de crescimento, uma previsão para racks e gabinetes adicionais com base no espaço disponível na sala de computadores, pois, ao meu ver, é isso o que de fato limita o crescimento de um datacenter. Dessa forma, considerado um espaço de 20 m 2 com quatro gabinetes e dois racks instalados inicialmente, o espaço remanescente não poderá suportar mais que uns dois ou três racks ou gabinetes adicionais. Portanto, eu consideraria como fator de crescimento dois gabinetes adicionais: um para servidores e um para storage e um rack de telecomunicações e redes adicional. O Quadro 3 mostra a carga da sala de computadores com o fator de crescimento aplicado. Quadro 3 Equipamentos e cargas de equipamentos do datacenter, incluindo fator de crescimento Equipamento Descrição Carga (kw) CAB01 Gabinete 42U 8,0 CAB02 Servidores 8,0 CAB03 Gabinete 42U 6,0 CAB04 Storage 6,0 RACK01 Rack 42U 5,0 RACK02 Telecom e redes 5,0 CAB05 Reserva 42U Servidores 8,0 CAB06 Reserva 42U Storage 6,0 RACK03 Rack 42U Telecom e redes 5,0 Carga total de projeto (TI) 57,0 Fonte: Marin (2016). Se compararmos a carga futura obtida pelo método do crescimento pela aplicação de uma porcentagem de crescimento ao longo de um período (10% ao ano, em cinco anos), com a carga obtida pelo método de alocação de carga para racks e gabinetes adicionais, vamos notar que a diferença é pequena, ou seja, 61 kw pelo primeiro e 57 kw, pelo segundo método. Esse tipo de diferença em datacenters de pequeno porte é comum; em datacenters grandes a tendência é de que essas diferenças sejam muito significativas. De qualquer forma, novamente, considero uma melhor abordagem considerar o crescimento de carga de acordo com o espaço disponível na sala de computadores. 38

41 Agora que conhecemos a carga total de TI de projeto, podemos passar ao dimensionamento do sistema elétrico do datacenter. Carga crítica de TI Trata-se da carga total de TI de projeto, ou [1] Determinação da carga dos espaços de suporte Os espaços de suporte podem variar tanto em tamanho quanto em quantidade, dependendo das características do datacenter. Em nosso exemplo, vamos considerar os seguintes espaços de suporte: a. sala de impressão; b. centro de operação (NOC); c. espaço destinado à entrada de serviços de telecomunicações; d. espaço para armazenagem de equipamentos e suprimentos. Para a determinação precisa dos espaços de suporte e seus consumos de energia elétrica correspondentes, o projetista deve ter um bom conhecimento do projeto, em detalhes. Para efeito desse exemplo, vamos considerar que o consumo dos espaços de suporte será aproximadamente 15% do consumo da carga de TI de projeto do site, portanto: (kw) [2] (kw) [3] Determinação da carga de iluminação De acordo com especificações de normas técnicas, a iluminação da sala de computadores, quando ocupada, deve ser de 500 lux no plano horizontal e 200 lux no plano vertical, e a densidade de iluminação neste espaço deve ser de aproximadamente 20 W/m 2. A área total da sala de computadores do data center desse exemplo é de 20 m 2, portanto, teremos: [4] W = 0,4 kw [5] 39

42 Universidade do Sul de Santa Catarina A carga de iluminação do datacenter será a soma das cargas de iluminação da sala de computadores e dos espaços de suporte. Mais uma vez, é importante que o projetista tenha uma boa noção da carga de cada de iluminação desses espaços para um dimensionamento eficiente. No entanto, para efeito de estimativa de carga, pode-se considerar, para um datacenter de pequeno porte, que a carga de iluminação dos espaços de suporte será igual ao dobro da carga de iluminação da sala de computadores. kw [6] kw [7] Determinação do sistema UPS A operação do sistema UPS e baterias consome alguma carga, que deve ser considerada no dimensionamento da carga total do datacenter. O processo de carga das baterias é constante e pode consumir entre 15% e 20% da carga do sistema UPS; isso vai depender da qualidade e tipo das baterias utilizadas. Outro parâmetro a ser considerado é conhecido como ineficiência do UPS, ou seja, a potência consumida pelo sistema UPS durante sua operação. Para o dimensionamento da carga do sistema UPS e das baterias, vamos levar em consideração a carga de projeto da sala de computadores. Assim, em nosso exemplo, teremos: [8] kw [9] Sendo: Fator carga baterias = 0,15 (15%), Fator ineficiência UPS = 0,10 (10%). Determinação da carga mecânica do datacenter Para finalizar, vamos determinar agora a carga do sistema mecânico, ou seja, do sistema de climatização do datacenter, que pode incluir bombas, compressores, chillers etc. O consumo elétrico do sistema de climatização representa um dos maiores consumos de energia elétrica do datacenter, depois da carga crítica de TI. Esse sistema tem uma eficiência 40

43 típica em torno de 65%. Assim, para a determinação da carga que o sistema mecânico representa, necessitaremos da carga total do data center, conforme resume o Quadro 4. Quadro 4 Carga total do datacenter do nosso exemplo com exceção do sistema mecânico Sistema Carga (kw) Sala de computadores 57,0 Espaços de suporte 8,5 Iluminação do site 1,2 Sistema UPS e baterias 14,0 Carga total data center 80,7 Fonte: Marin, Para a determinação da carga do sistema mecânico do datacenter do exemplo, utilizaremos a seguinte expressão: [10] [11] Sendo, Fator carga sistema mecânico = 0,65 (65%). Dessa forma, podemos finalmente determinar a carga total do site do exemplo em questão, conforme apresentado no Quadro 5. Quadro 5 Carga total do datacenter do nosso exemplo Sistema Carga (kw) Sala de computadores 57,0 Espaços de suporte 8,5 Iluminação do site 1,2 Sistema UPS e baterias 14,0 Sistema mecânico 52,5 Carga total final datacenter 133,2 Fonte: Marin (2016). O Quadro 5 mostra informações importantes sobre o projeto do sistema elétrico de um datacenter. Observe que, para uma carga de equipamentos críticos de TI (a serem instalados na sala de computadores) de 57 kw, necessitamos de um sistema elétrico com capacidade para suportar aproximadamente 133 kw, ou seja, mais que o dobro da carga de TI a ser 41

44 Universidade do Sul de Santa Catarina alimentada, o que é bem realista. É importante notar ainda que, nesse exemplo, estamos considerando um datacenter Tier I. Em outras palavras, trata-se de um sistema elétrico sem qualquer redundância. Assim, espera-se que, quanto maior a redundância do site, maior seja seu consumo elétrico. Conhecidas as características do sistema de distribuição elétrica do datacenter desse exemplo, temos de dimensionar o alimentador, ou seja, a entrada elétrica do datacenter. O dimensionamento da entrada de serviço elétrico do datacenter consiste na determinação da corrente de entrada do alimentador elétrico e, portanto, do busway (barramento). Para isso, normalmente se utiliza um fator de sobrecarga ou fator de pico, que no exemplo vamos adotar como 25%. Assim, teremos: (kw) [12] (kw) [13] Sendo: Carga SE a carga de projeto para dimensionamento do busway do sistema elétrico do datacenter. Considerando uma alimentação elétrica trifásica em 380V (CA), a corrente do alimentador será: [17] [18] Portanto, para o datacenter do nosso exemplo, o alimentador do sistema elétrico do datacenter deve ter uma capacidade de corrente de 250A, a partir do qual será feita a distribuição elétrica do site. Pergunta 04: Pode nos exemplificar com um diagrama elétrico típico de datacenter, explicando o que é a redundância, e por que ela é necessária? Há esquemas elétricos específicos para cada classificação Tier? Resposta: De fato, a melhor forma de entender o uso da redundância em diferentes classificações tier de sistemas elétricos de datacenters é por meio da análise de diferentes esquemas. Vamos começar pelo sistema elétrico mais simples, ou seja, de um data center Tier I, conforme mostrado na Figura 4. 42

45 Figura 4 Esquema elétrico simplificado de um datacenter Tier I Fonte: Marin (2016). Como discutido anteriormente, o que caracteriza as classificações tier de datacenters é a quantidade de componentes e sistemas redundantes utilizados. Quanto maior a redundância, maior a probabilidade de disponibilidade do sistema. Um datacenter Tier I, ou datacenter básico, é aquele que não apresenta qualquer redundância; ele possui o mínimo necessário para ser considerado um sistema elétrico de um datacenter. Em condição normal de operação, o sistema elétrico é alimentado pela concessionária local. Em sua falta, o gerador assume a carga e, durante o período de comutação (quando a ATS/ QTA aciona o gerador), o sistema UPS mantém a carga crítica de TI em operação. Um datacenter Tier II, caracterizado pela presença de componentes ou sistemas redundantes, tem um sistema elétrico conforme aquele mostrado na Figura 5. 43

46 Universidade do Sul de Santa Catarina Figura 5 Esquema elétrico simplificado de um datacenter Tier II Fonte: Marin (2016). Um datacenter Tier II, ou datacenter com componentes redundantes, é aquele que apresenta algum grau de redundância, além do mínimo necessário. No esquema da Figura 5, em condição normal de operação, o sistema elétrico é alimentado pela concessionária local, em sua falta o gerador é acionado por meio da ATS/QTA. Em caso de falha do gerador principal (G), o gerador redundante é acionado (+1). Durante o período de comutação (quando a ATS/ QTA aciona os geradores), o sistema UPS mantém a carga crítica de TI em operação. No esquema da Figura 4.2, além do UPS principal (UPS), há um módulo redundante (+1), que assume a carga crítica de TI no caso de falha do principal. Datacenters Tier III são aqueles que permitem que serviços de manutenção sejam realizados sem interrupção da operação, também conhecidos como datacenters com manutenção e operação concomitantes. Para isso, os sistemas elétricos de datacenters Tier III precisam ter um ramo de distribuição alternativo, conforme mostrado na Figura 6. 44

47 Figura 6 - Esquema elétrico simplificado de um datacenter Tier III Fonte: Marin (2016). Conforme mostrado na Figura 6, o que caracteriza o esquema elétrico de um datacenter Tier III é a presença de um ramo alternativo para distribuir alimentação elétrica à carga crítica de TI. Nessa figura, o Ramo Y é o ramo alternativo. Cada ramo tem chaves de transferência automática (ATS/QTA) capazes de comutar a carga crítica para quaisquer dos ramos de distribuição e quaisquer das fontes, concessionária e geradores. Como nas demais configurações, em operação normal a carga crítica é alimentada através do Ramo X pela concessionária local. Na falta dessa, as chaves ATS/QTA sincronizadas comutam o Ramo X aos geradores para a alimentação da carga crítica de TI. No caso de falha elétrica em qualquer posição do Ramo X, a carga crítica de TI é comutada para qualquer das fontes através do Ramo Y. Para finalizar, a presença de dois ramos de distribuição elétrica para a carga crítica de TI permite que serviços de manutenção sejam realizados em componente de qualquer um dos ramos de distribuição, sem a parada da operação. Para isso, basta comutar manualmente a carga crítica de TI para o ramo que não sofrerá a manutenção. Um datacenter Tier IV é aquele que tem capacidade de recuperação automática de falhas tanto de componentes e sistemas da distribuição elétrica quanto do ramos de distribuição. A diferença fundamental entre o esquema elétrico de um data center Tier IV e um Tier III é que o primeiro possui dois ramos de distribuição elétrica simultaneamente ativos, conforme mostra a Figura 7. 45

48 Universidade do Sul de Santa Catarina Figura 7 - Esquema elétrico simplificado de um datacenter Tier IV Fonte: Marin (2016). Em um datacenter Tier IV, a concessionária alimenta ambos os ramos de distribuição elétrica do datacenter simultaneamente, ou seja, todos os componentes e sistemas da distribuição elétrica estão energizados e as cargas críticas de TI têm fontes duplas (pelo menos), cada uma conectada a um ramo de distribuição diferente. Na falta da concessionária, os geradores são acionados e as cargas permanecem em operação por qualquer um (ou ambos) dos ramos de distribuição. Também é importante chamar a atenção para um detalhe importante, que é o consumo de energia associado ao sistema elétrico de datacenters. Como podemos notar por meio dos esquemas de distribuição apresentados aqui, quanto maior a classificação tier do datacenter, maior seu consumo de energia e, consequentemente, menor será sua eficiência energética, pois mais sistemas são alimentados (de um datacenter Tier I para um Tier IV) sem necessariamente realizar algum trabalho, apenas para estarem em standby para o caso de falta de algum componente ou sistema. Mais adiante vamos falar um pouco sobre eficiência energética em datacenters e uso de métricas para sua avaliação. 46

49 Pergunta 05: Os equipamentos de energia, tais como geradores, UPS, eletrocalhas, cabos e quadros de distribuição ocupam espaços consideráveis. Como são distribuídos nos espaços do datacenter? Há recomendações específicas de caminhos e espaços para essas instalações? Resposta: De fato há muitos equipamentos, cabos e caminhos de cabos que fazem parte da infraestrutura elétrica de um datacenter. Novamente, como vimos em outras partes dessa entrevista, não há muitas especificações em normas técnicas de como equipamentos e acessórios devem ser instalados em datacenters, mas há recomendações, que vamos conhecer a seguir. Geradores Os geradores ou grupos motor-gerador são motores a diesel que devem ser dimensionados para prover energia para a capacidade plena do datacenter, em casos de falta de energia da concessionária, incluindo alimentação para o UPS, climatização e iluminação. De acordo com o Anexo F da ABNT NBR 14565:2013, os geradores devem: ser abastecidos por tanques reservatórios de combustíveis com capacidade mínima de 24h de alimentação. Considerações devem ser feitas para permitir maior tempo de alimentação. Contratos para abastecimento de combustível com fornecedores locais devem ser previstos; entrar em operação por chaves de transferência automática, ensaiadas previamente e com rotinas de ensaios periódicos (recomenda-se quinzenalmente). Ainda, por se tratarem de motores a diesel, literalmente motores de caminhão, os geradores devem ser instalados em espaços arejados (podem ser instalados em containers ou outros compartimentos fechados, desde que ventilados), devem ter catalizadores em seus escapamentos para a redução de emissão de gases tóxicos na atmosfera. Quando instalados em edifício, seus escapes devem ser posicionados em uma altura de modo a evitar o retorno de gases para ambientes habitados por pessoas, precisam ser instalados em bases com amortecedores para reduzir a vibração mecânica quando em operação e devem permitir acesso em 360, ou seja, em torno do equipamento para serviços de manutenção. Por questões de segurança, os geradores devem ser instalados em espaços com acesso controlado e vigilância por câmeras de circuito fechado de TV em tempo integral. 47

50 Universidade do Sul de Santa Catarina Sistemas UPS Como vimos anteriormente, na falta de fornecimento de energia elétrica da concessionária local, o gerador é acionado e durante o período de comutação a carga crítica de TI poderia ser desligada. Assim, o UPS tem papel fundamental na manutenção da carga crítica de TI quando há falta da concessionária. Portanto, o UPS deve suportar a carga crítica durante o tempo necessário para a partida e estabilização do grupo motor gerador. Há discussões entre os projetistas quanto ao tempo necessário para isso. A maioria dos projetistas dimensiona o sistema UPS para uma autonomia de 15 minutos. Na verdade, se o gerador não partir em até 15 segundos, ele não partirá mais. Enfim, de acordo com a ABNT NBR 14565:2013, as seguintes recomendações se aplicam ao UPS: deve atuar em tempo real (on-line, de conversão dupla), trifásico, com operação contínua; deve estar alimentado pelo sistema elétrico da edificação e prover alimentação aos equipamentos eletrônicos do datacenter; deve ter baterias seladas para prover energia em corrente em contínua; deve ter chave bypass que permita transferir a energia entre a rede convencional, e vice-versa, sem interrupção da alimentação; deve ter uma variação máxima da tensão de entrada de +15 % a 15 %, 60 Hz +/- 6 %; deve ser instalado em espaço com troca de ar para evitar acúmulo de gases provenientes dos bancos de baterias. Quadros de distribuição elétrica Quadros de alimentação elétrica principal, dos quais derivam os quadros de distribuição secundários, devem ser projetados com chaves de transferência, para ter alimentação vinda da concessionária de energia local, do grupo de geradores do edifício e/ou dos geradores específicos do datacenter, bem como do sistema de energia ininterrupta (UPS). O quadro de distribuição elétrica principal do datacenter deve ser instalado em espaço dedicado ao sistema elétrico e com acesso controlado. Os quadros secundários e PDU podem ser instalados dentro da sala de computadores, se possível e viável. Circuitos de alimentação elétrica Recomenda-se que cada rack/gabinete seja alimentado por no mínimo dois circuitos elétricos com potência mínima de 4 kw (5 kva), sendo um circuito reserva. A potência recomendada por rack/gabinete é de 12 kw (15 kva). Cada um dos circuitos deve ser alimentado por um quadro de distribuição independente. Circuitos elétricos para alimentação dos computadores e equipamentos eletrônicos devem ser independentes de quaisquer outros circuitos, derivados de quadros de distribuição elétrica especificamente projetados para essa finalidade, instalados em dutos e calhas exclusivos. 48

51 Tomadas elétricas independentes devem ser instaladas no interior do datacenter para outros usos, tais como ferramentas, sistemas de limpeza e outras conveniências. Para finalizar, a sala de computadores do datacenter deve ser localizada em região onde não existam fontes de interferência eletromagnética, como transformadores, equipamentos de raio x, equipamentos de solda e arcos elétricos, rádios, radar, entre outros, considerando que o campo elétrico em seu interior deve ser inferior a 3 V/m. Embora não haja padrão para separação segura (do ponto de vista de interferência eletromagnética), recomenda-se que cabos de energia elétrica mantenham alguma separação de cabos de telecomunicações e redes em datacenters. Ambos os sistemas, distribuição elétrica e cabeamento de telecomunicações e redes, devem ser instalados em eletrocalhas dedicadas e não podem ser lançados por meio do mesmo caminho. Pergunta 06: Que tipos de geração de energia elétrica são utilizados em datacenters? Resposta: Por questão de disponibilidade e custo, a fonte de energia elétrica mais comumente utilizada em datacenters é aquela proveniente da concessionária local. A fonte de energia alternativa mais comum é o grupo motor-gerador, a diesel. De qualquer forma, qualquer fonte de energia pode ser utilizada para alimentar um datacenter. Atualmente, vemos o desenvolvimento dos painéis solares, sendo que no Brasil há algumas infraestruturas de datacenters que operam com energia elétrica gerada por meio de painéis solares com uma relação custo/benefício bastante interessante. Outras formas de geração elétrica alternativa que vêm ganhando alguma atenção são a energia eólica de baixa capacidade, microusinas hidrelétricas e queima de combustíveis limpos, como o bagaço de cana de açúcar, que seria um exemplo de geração alternativa utilizada em datacenters, o qual tive a oportunidade de conhecer. Nesse caso específico, tratava-se de uma usina de álcool, que gerava bagaço de cana como resultado do processo e era tratado como lixo. A construção da usina de geração elétrica a partir da queima do bagaço de cana se mostrou bastante viável, oferecendo economia com os custos de energia elétrica para a operação do datacenter. Como resultado, o que seria a fonte alternativa de energia passou a ser a fonte primária do datacenter. Pode parecer estranho, mas isso é perfeitamente viável e não contraria qualquer norma que se aplica à infraestrutura de datacenters; tampouco altera a classificação tier do site. Pergunta 07: A energia elétrica vinda das concessionárias influencia, ou não, na classificação Tier? 49

52 Universidade do Sul de Santa Catarina Resposta: A resposta mais direta e precisa é não, a energia provida pela concessionária local não influencia na classificação tier de um datacenter, mas vamos conhecer melhor essa questão. Começando pelo começo, é importante entender que em momento algum a concessionária local é considerada a fonte principal do sistema elétrico do datacenter. As normas técnicas não a tratam dessa forma e nem o Uptime Institute, quando define suas classificações tier. Você pode estar se perguntado: então, por que sempre a utilizamos como fonte principal? Na verdade, a concessionária não é a fonte principal; ela só é utilizada como a fonte primária devido à sua alta disponibilidade (em geral) e baixo custo relativo. Ela não é a fonte principal, porque não é uma fonte de energia controlada pelo operador ou proprietário do datacenter. Por definição, a fonte principal de um ambiente de missão crítica é aquela cujo controle e disponibilidade dependem do operador ou proprietário do site. Olhando por esse prisma, a fonte de energia principal de um datacenter convencional são os grupos motor-gerador a diesel, pois, com uma boa manutenção preventiva e disponibilidade de combustível, essa fonte opera ininterruptamente. O único motivo pelo qual não é comum encontrarmos datacenters operando com grupos motor-gerador como fonte principal é o custo do diesel. No entanto, como o custo de energia elétrica no Brasil vem aumentando de forma significativa nos últimos anos, já é comum encontrarmos datacenters operando com geradores nos horários de pico, nos quais o custo do kwh passa a ser significativamente maior que o custo operacional dos geradores. Assim, qualquer fonte de energia elétrica controlada pelo operador ou proprietário do data center pode ser utilizada como a fonte principal do site. Isso é importante porque há uma certa confusão entre projetistas de sistemas elétricos de datacenters, principalmente quando o assunto é um datacenter tier III ou tier IV. A maioria deles defende que datacenters de classificações tiers III e IV precisam, necessariamente, ser alimentados por duas concessionárias diferentes. Caso contrário, não é possível obter tais classificações. Ainda, alguns dizem que no Brasil não é possível a implementação de datacenters tiers III e IV, porque na maioria do território brasileiro não há mais de uma concessionária disponível. Essa interpretação (extremamente) equivocada parte da falta de compreensão do conceito fundamental do que é uma fonte principal. O que ocorre é que confundem fonte principal com fonte primária. Para efeito de esclarecimento, fonte principal é aquele que controlamos e fonte primária é aquela que utilizamos como a primeira opção de fonte de alimentação por algum motivo prático, como custo operacional, no caso de datacenters. Portanto, é perfeitamente possível e viável a implementação de sistemas elétricos de datacenters de qualquer classificação tier com uma única concessionária ou até mesmo sem concessionária alguma. Por exemplo, podemos ter um datacenter que opere a partir de energia elétrica gerada por uma usina de queima de bagaço de cana e tenha grupos motorgerador como fontes back-up. Nesse caso, a fonte principal é também a fonte primária; os geradores são fontes secundárias e isso não afetaria, absolutamente, a classificação tier da infraestrutura elétrica. É importante ter em mente que o que define as classificações tier de datacenters são suas redundâncias e capacidade de recuperação de falhas, e não a natureza das fontes de energia utilizadas para alimentar o site. 50

53 Pergunta 08: Que tipos de UPS são utilizados em datacenters? Precisam estar afastados dos equipamentos de processamento ou podem conviver no mesmo espaço ou rack? Resposta: Tecnicamente, há vários tipos de sistemas UPS. Os mais comuns são o UPS off-line (ou standby) e o de conversão dupla. A seguir, vamos conhecer brevemente suas características. UPS off-line Esse tipo de UPS é também conhecido como UPS standby. Sob circunstâncias normais, a entrada do UPS alimenta a carga diretamente. A entrada do UPS também mantém as baterias carregadas por meio do carregador. Um circuito inversor (CC/CA) converte a energia das baterias em tensão em corrente alternada e é conectado a uma chave de transferência, responsável por comutar a carga ao inversor, no caso de falta da entrada do UPS (fonte primária, concessionária local). Nessa condição, o UPS suporta a carga por meio da energia armazenada em suas baterias. A Figura 8 apresenta o esquema desse tipo de UPS. Figura 8 UPS off-line ou standby Fonte: Marin (2016). Esse esquema de UPS é denominado de conversão simples, uma vez que há somente uma etapa de conversão (CC para CA) quando há falta da concessionária. A conversão CA/CC que ocorre no carregador das baterias tem um consumo muito baixo e não é considerada como uma etapa de conversão efetiva. Nesse tipo de UPS, a detecção da falta da concessionária ocorre dentro de um curto intervalo de tempo. Isso resulta uma interrupção muito curta na alimentação da carga, a qual é chamada de intervalo de transferência e deve ser da ordem de poucos milissegundos (ms), para ser imperceptível para a maioria das cargas. Embora eficiente, simples e de baixo custo, esse tipo de UPS não atende aos requisitos das cargas críticas de TI em datacenters. 51

54 Universidade do Sul de Santa Catarina UPS on-line de conversão dupla Esse tipo de UPS é também conhecido como UPS estático e há basicamente dois tipos de UPS estáticos no mercado: de linha interativa e de conversão dupla (true on-line). Um UPS de linha interativa é um tipo bastante comum, porém, não adequado às necessidades de datacenters, portanto, não será tratado aqui. O UPS de conversão dupla é mais adequado a sistemas cuja entrada está sujeita a flutuações e/ou interferências ou, ainda, para uso com grupos motor-gerador a diesel. Em sistemas de conversão dupla, toda a tensão alternada de entrada é convertida em tensão contínua pelo retificador, que também funciona como carregador das baterias. A tensão contínua é convertida novamente em uma tensão alternada ( limpa, nesse caso) pelo conversor e alimenta a carga, que é totalmente suportada sob condições normais. Quando ocorre a falta da concessionária, o inversor retira tensão em corrente contínua das baterias e não do retificador. Nenhuma forma de chaveamento é necessária, de modo que um sistema UPS de dupla conversão garante uma transferência sem interrupção para as baterias quando ocorre a falta da entrada de alimentação elétrica proveniente da concessionária local. A regulagem e o condicionamento da tensão entregue à carga nesse sistema são superiores àqueles oferecidos pelos sistemas off -line e de linha interativa. A Figura 9 mostra um esquema de um UPS de conversão dupla. Figura 9 Esquema de um UPS de conversão dupla Fonte: Marin (2016). Alguns sistemas mais modernos monitoram continuamente a entrada proveniente da concessionária local e podem chavear o sistema para um modo de economia quando a entrada permanece estável e com alta qualidade durante um dado período de tempo. Do ponto de vista de configuração de instalação de sistemas UPS em datacenters, podemos ter UPS individuais para cargas individuais ou sistemas de grande porte capazes de suportar cargas maiores (em kw ou kva). Ainda, uma vez definido o tamanho do sistema UPS, ele pode ser um módulo simples ou módulos conectados em configuração paralelo-redundante. Em termos de equipamentos, sistemas UPS de pequeno porte podem ser instalados em racks (gabinetes), o que pode ser mais comum em datacenters pequenos, porém, não recomendados para infraestruturas maiores. Em datacenters de grande porte, sistemas maiores são mais comuns. 52

55 A ABNT NBR 14565:2013, em seu Anexo F, recomenda a compartimentação do ambiente do datacenter, de tal forma que as salas de computadores e subsistemas de energia fiquem em ambientes distintos. Caso não seja possível a compartimentação recomendada, os equipamentos de instalações elétricas devem limitar-se à potência máxima de 100 kva (80 kw), e com baterias seladas. Caso as baterias não sejam seladas, devem ficar em sala separada. Não são recomendados, no interior das salas de computadores, sistemas de energia ininterrupta (UPS) com potência maior ou igual a 100 kva, ou de qualquer potência, quando não forem utilizadas baterias seladas. Para finalizar, de modo a conferir redundância ao sistema elétrico para classificações em tiers, o sistemas UPS mais comuns são modulares e instalados em modo paralelo-redundante, como mostrado na Figura 10. Figura 10 Configuração UPS paralelo-redundante Fonte: Marin (2016). Note que, na Figura 10, o UPS1 suporta uma carga de 100 kva e um módulo redundante (+1) de 100 kva está conectado em paralelo a ele; configuração similar é mostrada para o UPS2. Com essa configuração, caso o módulo principal (UPS1) falhe, há um módulo redundante (+1) com a mesma capacidade do principal para manter a carga crítica de TI. O mesmo acontece para o sistema UPS2. Esse tipo de configuração é a mais comum e recomendada em datacenters. Pergunta 09: Os painéis de distribuição elétrica em datacenters têm características especiais, ou padrões específicos? Como são eles? Resposta: Na verdade, do ponto de vista de instalações elétricas, um datacenter não é muito diferente de um edifício comercial. Apenas a forma de segregar circuitos, oferecer redundância e distribuir os componentes no espaço é que diferem. 53

56 Universidade do Sul de Santa Catarina A topologia de distribuição elétrica em datacenters deve seguir o esquema apresentado na Figura 11. Figura 11 Esquema de distribuição elétrica em datacenters Fonte: Marin (2016). A distribuição elétrica no datacenter é feita por meio do Q.D.E. (Quadro de Distribuição Elétrica), instalado em um espaço dedicado ao serviço elétrico do datacenter. Esse espaço não deve ser compartilhado com nenhum outro sistema do datacenter. O Q.D.E. alimenta todos os outros quadros elétricos do datacenter, sejam eles: Q.D. UPS, quadro elétrico de UPS; Q.D.E.A, quadro de distribuição elétrica auxiliar; Q.D.E.M, quadro de distribuição elétrica dos sistemas mecânicos (climatização). O Q.D.UPS deve ser instalado em um espaço próximo às cargas críticas para minimizar as perdas ôhmicas nos cabos elétricos de distribuição. É comum ter o espaço reservado ao sistema UPS, incluindo bancos de baterias, em proximidade da sala de computadores, porém, não dentro dela. As razões para não instalar o sistema UPS dentro da sala de computadores são as seguintes: os componentes do sistema UPS geram calor, que aumenta a temperatura ambiente da sala de computadores, leva a maior demanda de climatização e reduz a eficiência energética do site; 54

57 as baterias podem exalar gases dentro da sala de computadores; a segurança da sala de computadores pode ser colocada em risco; os requisitos de espaço da sala de computadores precisariam ser revistos para acomodar o sistema UPS e seus componentes. As unidades de distribuição elétrica individuais (PDU) podem ser instaladas dentro da sala de computadores, e normalmente o são. As PDU podem ser alinhadas com as filas de racks e gabinetes para as quais distribuem circuitos elétricos dedicados às cargas críticas de TI. O Q.D.E.A. é normalmente instalado em um espaço do datacenter acessível ao pessoal de manutenção e operação das funções do edifício, não necessariamente relacionadas à operação de TI. O Q.D.E.M. é normalmente instalado na casa de máquinas do sistema de ar-condicionado ou próximo dela. Esse quadro tem como única finalidade a distribuição de alimentação elétrica para o sistema de climatização do datacenter. Todos os espaços que contêm componentes e sistemas relacionados à operação de funções críticas do datacenter devem ter acesso controlado e monitorado. Pergunta 10: É necessário fazer aterramento em datacenter? Há alguma recomendação ou prática especial? Resposta: Sim, o aterramento é parte do sistema elétrico do data center e deve sempre ser implementado. Nesse caso, há normas que especificam aterramento, como a ABNT NBR Embora ela não especifique um aterramento exclusivo para datacenters, suas especificações se aplicam a esses. Há duas normas norte-americanas: a ANSI/TIA-607-C (aterramento para sistemas de telecomunicações em edifícios) e a ANSI/BICSI 002 (projeto de datacenters e melhores práticas de implementação), bem como a norma internacional ISO/IEC (aglutinação de redes de telecomunicações em edifícios e outras estruturas), que também pode ser utilizada como referência para o projeto de sistemas de aterramento para datacenters. Um datacenter pode ser construído em um edifício destinado exclusivamente a ele ou compartilhar espaços, dentro de edifícios comerciais, com outros usuários. Nesse caso, o aterramento do datacenter deve ser conectado ao aterramento do edifício. A Figura 12 mostra o esquema de aterramento de telecomunicações e redes em edifícios comerciais típicos, de acordo com a ANSI/TIA-607-C, as normas ANSI/TIA-942-A (infraestrutura de telecomunicações para data centers) e a ANSI/BICSI

58 Universidade do Sul de Santa Catarina Figura 12 Sistema de aterramento de um edifício comercial típico Fonte: Marin (2016). O espaço ocupado pelo datacenter em um edifício comercial deve ser tratado como um sala de equipamentos para efeitos de sua conexão ao sistema de aterramento da edificação. A Figura 13 mostra um esquema de aterramento de datacenters. 56

59 Figura 13 Esquema de aterramento do datacenter Fonte: Marin (2016). Normalmente, uma malha de referência de sinal (SRG, Signal Reference Grid) é utilizada para aterramento da sala de computadores e, quando adequadamente projetada e implementada, oferece uma referência de terra comum em altas frequências para todos os equipamentos dentro de uma área bem delimitada. O SRG equaliza os potenciais de forma eficiente, dentro de uma ampla escala de frequências, desde níveis CC até mega-hertz (MHz). Assim, a função da malha de referência de sinal é minimizar as diferenças de tensões entre equipamentos interconectados por meio de um plano de terra equipotencial para altas frequências e baixos níveis de tensão de ruído. A malha de referência de sinal pode ser implementada com condutores de seção circular, mais fáceis de serem instalados em sistemas de piso elevado existentes ou fitas planas, que apresentam impedâncias inferiores aos condutores de seção circular (o que é um fator importante em altas frequências) e, portanto, com um nível de desempenho superior. As fitas planas dão menos trabalho durante a instalação (principalmente em instalações novas). A Figura 14 apresenta exemplos de SRG implementados em datacenters, com condutores de seção circular e fitas planas. 57

60 Universidade do Sul de Santa Catarina Figura 14 Malha de referência de sinal implementada com condutores planos Fonte: Marin (2016). Pergunta 11: Muito se fala em PUE quando o assunto é eficiência energética em datacenters. Ou que é PUE? Existem outras métricas de eficiência? Poderia nos explicar e dar exemplos? Resposta: A PUE (Power Usage Effictiveness) ou eficiência do uso de energia é uma das métricas estabelecidas pelo The Green Grid para a avaliação da eficiência energética de datacenters, e pode ser definida como: [1] Sendo: C Total a carga total da infraestrutura do data center, em kw; C TI a carga crítica efetiva, em kw. A PUE é definida como a carga total do datacenter dividida pela carga crítica efetiva, conforme a expressão 1, acima. A carga total do datacenter é definida como o consumo total de sua infraestrutura. A carga crítica efetiva é definida como a carga total de equipamentos usados para processar, armazenar e rotear informações dentro do datacenter. Normalmente, a carga crítica de TI (C TI ) se refere a todos os equipamentos ativos em operação na sala de computadores. Portanto, a PUE tem como objetivo medir o quanto do consumo de energia elétrica do datacenter é de fato utilizado pelos equipamentos de TI. Para exemplificar em números, vamos utilizar os dados do datacenter do exemplo da pergunta 3, sobre o dimensionamento do sistema elétrico. O Quadro 6 mostra o consumo de um datacenter, por sistemas e total. 58

61 Quadro 6 Consumo de um datacenter, por sistemas e total Sistema Carga (kw) Sala de computadores 57,0 Espaços de suporte 8,5 Iluminação do site 1,2 Sistema UPS e baterias 14,0 Sistema mecânico 52,5 Carga total final data center 133,2 Fonte: Marin (2016). Do Quadro 6, tiramos as seguintes informações sobre o consumo do datacenter: C TI = 57 kw C TOTAL = 133,2 kw A carga crítica efetiva corresponde aos equipamentos de TI instalados na sala de computadores. A carga total do site é a soma da carga crítica efetiva com as cargas individuais dos outros sistemas do datacenter. Portanto, a PUE do datacenter exemplificado aqui será: [2] O resultado acima mostra que, para alimentar uma carga de TI de 57 kw (carga efetiva de TI), é preciso dimensionar o alimentador da infraestrutura do datacenter para uma carga que é superior ao dobro da carga crítica efetiva, ou 130% maior. A discussão agora é se essa figura de PUE é boa (aceitável) ou ruim. Antes de falarmos sobre valores aceitáveis, viáveis ou até ótimos para a PUE, vamos analisar alguns aspectos do consumo de energia elétrica dos datacenters. Para efeitos de análise de cargas, podemos dividir o consumo de um data center em basicamente dois: carga elétrica e carga térmica. Em termos de consumo elétrico, o sistema de climatização (também referido como sistema mecânico) é responsável por cerca de 45% do consumo total do site. A carga crítica de TI representa, aproximadamente, 40% do seu consumo, a iluminação é responsável por 2 a 3%, os sistemas UPS e baterias por cerca de 10% e os espaços de suporte por 5%, conforme discutido na pergunta 3. A carga crítica de TI é a soma das cargas individuais de todos os equipamentos de TI, tais como servidores, storage, switches etc. Além das cargas dos equipamentos de TI, as cargas elétricas dos espaços de suporte (sala de impressão, NOC Network Operation Center, sala para armazenamento de fitas e outras mídias, espaços reservados para o pessoal de TI, salas de telecomunicações, salas de baterias etc.) também entram no cálculo da carga total do site. 59

62 Universidade do Sul de Santa Catarina A carga de iluminação do site também é considerada assim como a carga de climatização e a do sistema UPS. A carga do sistema UPS e das baterias deve ser considerada e representa, aproximadamente, 10% do consumo total da infraestrutura do datacenter, devido ao ciclo de carga das baterias. Se considerarmos que o sistema de climatização deve ser capaz de retirar do datacenter o calor gerado pelos equipamentos de TI e que ele também consome energia da infraestrutura para operar, fica fácil entender que o ar-condicionado é responsável pelo alto consumo de um datacenter e também por manter a PUE em valores elevados, em geral acima de 2,0. Se cada kw de calor gerado demandasse o mesmo consumo do sistema de climatização, teríamos uma relação de 1:1, ou seja, cada kw de calor gerado no datacenter corresponderia a um consumo igual para sua retirada. No entanto, devido a perdas do próprio sistema de climatização, a distribuição do consumo de energia do sistema de climatização não é diretamente proporcional à carga de TI, ou seja, para cada kw de calor gerado, o sistema de ar-condicionado terá um consumo de aproximadamente 1,3 kw. Considerando o calor gerado por outros elementos e sistemas, teremos uma relação ainda mais desfavorável. Em termos de carga térmica, os elementos que geram calor que deve ser retirado do datacenter pelo sistema de climatização são os equipamentos críticos de TI, eventualmente o sistema UPS (quando instalado dentro da sala de computadores), PDU e iluminação (que tende a representar uma carga térmica desprezível). Embora a PUE seja a métrica universalmente aceita pelos profissionais de TI para medir a eficiência energética de datacenters, há outras, como a DCiE (Data Center infrastructure Effectiveness, Eficência da infraestrutura do Data Center), DCE (Data Center Effectiveness, Eficiência Energética do Data Center), entre outras que não são tão relevantes. A DCiE é definida como o inverso da PUE, ou seja: [3] Para nosso exemplo, vem que: [4] A DCE é definida como: [5] Para nosso exemplo, vem que: [6] De maneira análoga à PUE, podemos entender que uma DCE de 0,42 (equivalente a uma PUE de 2,3), como um indicador de que a carga crítica efetiva (TI), consome 42% de toda a energia entregue ao datacenter. 60

63 Para finalizar, seja a PUE, a DCiE ou a DCE, a métrica adotada para a avaliação da eficiência energética de um datacenter, os pontos de medição, bem como o período considerado, são de fundamental importância para que o valor resultante seja preciso e represente o real perfil de consumo do datacenter. Pergunta 12: Que conselhos práticos poderia nos dar para melhorar a eficiência energética dos datacenters? Resposta: Há várias abordagens de melhores práticas para a otimização do uso de energia em datacenters. Algumas normas, como a brasileira ABNT NBR 14565:2013 e a norte-americana ANSI/BICSI , trazem recomendações quanto a isso. Algumas instituições como o Uptime Institute, o The Green Grid etc., também trazem algumas recomendações para otimização da eficiência energética. Portanto, no que diz respeito à otimização da eficiência energética, há alguns pontos que podem ser melhorados. Como o sistema mecânico é responsável por um alto consumo de energia, qualquer iniciativa, no sentido de reduzir a carga térmica do datacenter, resultará uma PUE mais baixa. Por isso, muitas propostas têm sido apresentadas no mercado para a otimização do sistema de climatização dos datacenters. Particularmente, acredito que essa é a melhor abordagem para a melhoria da eficiência energética em datacenters. O confinamento de corredores (frios ou quentes) e a técnica de free cooling são as iniciativas que têm se mostrado mais eficientes. Estima-se que o confinamento de corredores pode reduzir o consumo do sistema de climatização entre 20 e 30% e o free cooling em até 50%, sob certas condições. É discutível o quanto o free cooling pode ser implementado com eficiência em países como o Brasil, cujas temperaturas médias anuais são elevadas. Vejamos o que aconteceria com a PUE do datacenter do exemplo da pergunta 11, considerando o uso de confinamento de corredores com uma redução de consumo de 30% do sistema de climatização (Quadro 7). Quadro 7 Consumo do datacenter utilizando confinamento de corredores para reduzir o consumo do sistema de climatização Sistema Carga (kw) Sala de computadores 57,0 Espaços de suporte 8,5 Iluminação do site 1,2 Sistema UPS e baterias 14,0 Sistema mecânico 36,8 Carga total final datacenter 117,5 Fonte: Marin (2016). 61

64 Universidade do Sul de Santa Catarina A nova PUE será: [1] No caso do uso de free cooling, o consumo do datacenter seria ainda mais baixo, conforme mostrado no Quadro 8. Quadro 8 Consumo do datacenter utilizando free cooling para reduzir o consumo do sistema de climatização Sistema Carga (kw) Sala de computadores 57,0 Espaços de suporte 8,5 Iluminação do site 1,2 Sistema UPS e baterias 14,0 Sistema mecânico 26,2 Carga total final datacenter 106,9 Fonte: Marin (2016). Conforme mostrado no Quadro 2, com uso de free cooling que representa uma economia de energia com o sistema de climatização da ordem de 50%, teremos a seguinte PUE para o datacenter do nosso exemplo: [2] Para finalizar, as seguintes recomendações podem ser consideradas para melhoria da eficiência energética de datacenters: 1. monitorar a energia utilizada pelo datacenter e identificar pontos falhos; 2. fechar aberturas por onde pode haver vazamento de ar frio do sistema de climatização do datacenter, de modo a melhorar a eficiência do sistema de climatização; 3. aumentar a temperatura dos corredores frios em alguns graus (recomenda-se algo entre 2 e 3 C); 4. reduzir a carga dos equipamentos de TI (manter ligados apenas os equipamentos efetivamente em uso), entre outros métodos. 5. remover servidores ociosos; isso pode melhorar a eficiência do datacenter entre 10 e 50% (PUE, DCiE etc.); 6. selecionar equipamentos adequados às suas necessidades reais; isso pode melhorar a eficiência entre 30 e 70%; 62

65 7. implementar virtualização; isso pode melhorar a eficiência entre 30 e 70%; 8. gerenciar a demanda de energia, reduzir e adequar equipamentos a novas demandas; isso pode melhorar a eficiência entre 20 e 50%; 9. adquirir novos equipamentos (com requisitos de consumo mais baixo) e descartar equipamentos antigos; isso pode melhorar a eficiência entre 20 e 50%. Referências ABNT. Norma ABNT NBR 14565: Cabeamento estruturado para edifícios comerciais e data centers. ANSI/BICSI 002:2014. Data Center Design and Implementation Best Practices. APC. APC metered rack pdu installation example. 42U.com, Disponível em: < Acesso em: 26 set KEYITEC INC. The Liebert Remote Distribution Cabinet (FDC). Disponível em: < keyitec.com/keyitec-liebert-pdu.html>. Acesso em: 26 set MARIN, P.S. Data Centers Engenharia: Infraestrutura Física. São Paulo: PM Books, MARIN, P.S. Consumo médio do datacenter em função de seus sistemas principais. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Consumo típico de servidores tipo blade de diferentes fabricantes. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Equipamentos a serem instalados na sala de computadores e cargas correspondentes. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Equipamentos e cargas de equipamentos do datacenter incluindo fator de crescimento. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Carga total do datacenter do nosso exemplo, com exceção do sistema mecânico. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Carga total do datacenter do nosso exemplo. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual,

66 Universidade do Sul de Santa Catarina MARIN, P.S. Esquema elétrico simplificado de um datacenter Tier I, II, III, IV. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Configuração UPS paralelo-redundante. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Esquema de distribuição elétrica em datacenters. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Consumo de um datacenter, por sistemas e total. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Consumo do datacenter utilizando confinamento de corredores para reduzir o consumo do sistema de climatização. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Consumo do datacenter utilizando free cooling para reduzir o consumo do sistema de climatização. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual,

67 Infraestrutura de climatização para datacenters Apresentação da entrevista Ao lado da energia elétrica, o outro grande tema em datacenters, discutido nessa entrevista, é o da climatização. Equipamentos sensíveis de computação necessitam de condições ambientais específicas, definidas pelos fabricantes e em normas internacionais, e em torno disso giram as questões aqui colocadas ao Dr. Paulo Marin. Essas condições ambientais dizem respeito especialmente à temperatura e umidade, e a partir disso são feitos os cálculos de equipamentos necessários para atender um determinado volume de equipamentos computacionais. Além dos equipamentos, outros temas surgem, tais como o dos corredores frios e quentes e do layout para disponibilizar máquinas e racks. Modelos inovadores de máquinas, junto ao racks, ou mesmo junto a servidores, são discutidos. O Prof. Marin observa certas práticas de mercado e nos dá recomendações a respeito do fluxo de ar, da forma de instalação, dos sistemas elétricos que alimentam tais máquinas, e todas as considerações necessárias para o melhor aproveitamento energético possível. Ao considerar a eficiência energética, ele passa a incluir, em sua exposição, as novas tecnologias, como o free cooling e sistemas computacionais aplicados às simulações de projeto de climatização, concluindo com observações de melhores práticas e experiências em campo. Entrevista Pergunta 01: Os equipamentos de processamento de dados, servidores e demais dispositivos presentes em datacenters requerem condições específicas de temperatura e umidade. Por esse motivo, a infraestrutura voltada à climatização é um item muito especial. Antes de falarmos sobre essa infraestrutura, poderia nos apresentar quais são essas condições ambientais? Quais seus limites, necessidades e outras considerações? Resposta: Há algumas discussões sobre as condições térmicas ótimas de operação dentro da sala de computadores. Os antigos CPD (Centro de Processamento de Dados) operavam a temperaturas bastante baixas (entre 17 C e 20 C). Isso era devido às características dos equipamentos que eram instalados naqueles ambientes, conhecidos como mainframes, que eram computadores de grande porte, com alto consumo elétrico e, consequentemente,

68 Universidade do Sul de Santa Catarina grande dissipação de calor. Os mainframes ainda existem, mas não são mais os equipamentos predominantes nos datacenters. Quando os centros de dados modernos (datacenters) começaram a ser implementados, os parâmetros de projeto adotados para esses ambientes foram os mesmos dos antigos CPDs. Algum tempo mais tarde, e devido aos esforços para a diminuição de consumo elétrico dos datacenters, por motivo de economia e por questões ecológicas, a temperatura de operação dos datacenters passou por alguma revisão, e novos limites passaram a ser adotados. De acordo com a Classe 1 da ASHRAE (American Society of Heating, Refrigerating and Air- Conditioning Engineers, Sociedade Americana de Engenheiros de Climatização), entidade norte-americana internacionalmente reconhecida na área de padronização para climatização, a temperatura na entrada de ar dos equipamentos críticos de TI deve estar entre 18 C e 27 C, com uma umidade relativa do ar de 60%. A saída de ar quente desses equipamentos (após a refrigeração) deve estar a uma temperatura aproximada de 38 C, com umidade relativa do ar em torno de 20%. Para que a temperatura da sala de computadores na entrada dos servidores opere dentro da faixa recomendada, as unidades CRAC são configuradas para entregar ar frio entre 20 C e 25 C, com uma taxa de troca de calor de 5 C por hora; isso se aplica à umidade relativa do ar, que é entregue entre 20 e 80%. Essas condições são determinadas utilizando o nível do mar como referência. No entanto, estudos mais recentes têm sustentado que a temperatura da sala de computadores pode ser elevada sem prejuízo ao bom funcionamento dos equipamentos críticos de TI. De qualquer forma, para efeito de projeto, uma boa sugestão é considerar as recomendações e os requisitos estabelecidos pela ASHRAE. O Quadro 1 mostra os parâmetros térmicos operacionais especificados por algumas normas técnicas. Quadro 1 Parâmetros térmicos operacionais para a sala de computadores Norma Faixa de temperatura operacional Taxa de troca máxima Umidade relativa do ar Ponto de condensação máximo Altitude NBR TIA-942-A ASHRAE TC 9.9 Bulbo seco: 18 a 27 C Bulbo seco: 18 a 27 C Bulbo seco: 18 a 27 C 5 C/h 60% 15 C Sem informação 5 C/h 60% 15 C Sem informação 5 C/h 60% 15 C m Fonte: Marin (2016). Pergunta 02: Como se calcula a necessidade de climatização para o datacenter? 66

69 Resposta: Para dimensionar a carga térmica de um datacenter, precisamos levantar as cargas do site com base em seus consumos de energia elétrica (da mesma forma que fizemos para o dimensionamento do sistema elétrico) e então convertê-las em carga térmica para especificar as unidades CRAC. Para uma melhor compreensão desse processo, vamos estudar o exemplo a seguir. Vamos considerar um data center com as seguintes características: Área da sala de computadores = 100 m 2 Carga de iluminação da sala de computadores = 20 W/m 2 Carga nominal do data center = 160 kw Carga crítica de TI instalada = 55 kw Neste exemplo, para a determinação das cargas térmicas, consideramos que a carga térmica de TI será igual à carga dos equipamentos críticos de TI. Portanto: [1] A distribuição de alimentação elétrica para os equipamentos de TI também gera calor, que deve ser considerado na carga térmica total do datacenter. Assim, devemos considerar as cargas térmicas de PDU, conforme a seguir. [2] Os fatores utilizados na expressão [2] (2% e 4% respectivamente) referem-se à dissipação em forma de calor em PDU, devido à distribuição elétrica para os equipamentos críticos de TI do datacenter. Considera-se esse fator, normalmente, como 2% da carga nominal do datacenter e 4% da carga crítica de TI instalada na sala de computadores. Dessa forma, a carga térmica de PDU para o datacenter deste exemplo será: [3] O sistema UPS também é responsável pela geração de calor no datacenter, que deve ser levado em consideração no levantamento das cargas térmicas do site, pois o calor dissipado por esses sistemas também precisa ser retirado. A expressão [4] apresenta o cálculo das cargas térmicas desses sistemas. [4] Os fatores utilizados na expressão [4] (4% e 6%, respectivamente) referem-se à dissipação em forma de calor no sistema UPS, associada aos equipamentos críticos de TI do datacenter. Considera-se esse fator, normalmente, como 4% da carga nominal do datacenter e 6% da carga critica de TI instalada na sala de computadores. Portanto, a carga térmica de UPS para o nosso exemplo será: [5] 67

70 Universidade do Sul de Santa Catarina Para finalizar, precisamos levar em consideração a carga térmica de iluminação, que é normalmente determinada em função da área da sala de computadores, conforme a seguir. [6] Assim, para o nosso exemplo, a carga de iluminação será: [7] O Quadro 2 mostra os valores das cargas térmicas do exemplo. Quadro 2 - Cargas térmicas do datacenter do exemplo Sistema Carga elétrica (kw) Carga térmica (kw) Sala de computadores (carga crítica de TI) PDU 5,4 5,4 UPS 9,7 9,7 Iluminação da sala de computadores 2 2 Carga total (kw) 72,1 72,1 Fonte: Marin (2016). O Quadro 2 apresenta as unidades de medida de cargas térmicas. Como as cargas térmicas encontradas em datacenters são elevadas, a unidade mais comum utilizada em projetos para esses ambientes é a TR (Tonnage of Refrigeration, Tonelada de refrigeração). Como informação, os sistemas de ar-condicionado para uso residencial ou mesmo comercial de pequeno porte são especificados, normalmente, em BTU/h (British Thermal Unit, Unidade britânica térmica por hora). O Quadro 3 apresenta os fatores de conversão entre as unidades de medida de cargas térmicas. Quadro 3 - Conversões entre unidades de climatização Unidade Multiplicar por Unidade kw 3,410 BTU/h kw 0,283 TR TR 3,53 kw BTU/h 0,00029 kw Fonte: Marin (2016). Aplicando os fatores de conversão do Quadro 3, vamos encontrar uma carga térmica de aproximadamente 20 TR correspondente às cargas de TI instaladas na sala de computadores desse exemplo. Pelo levantamento da carga térmica do site, nota-se que a maior dissipação de calor em um datacenter é devido aos equipamentos de TI. Outros sistemas também contribuem para o aumento dessa carga, porém, de forma menos significativa. 68

71 Portanto, conhecendo as cargas de um datacenter (em kw), podemos fazer um levantamento de suas cargas térmicas e então determinar a carga térmica instalada na sala de computadores. Note que, neste exercício, uma sala de computadores com uma carga de TI instalada de 55 kw necessita de máquinas capazes de retirar 20 TR de calor deste espaço (o equivalente a 72 kw). Esse aumento de calor é devido à presença de outras cargas térmicas dentro da sala de computadores, como unidades UPS, PDU e iluminação. Quanto menos fontes de cargas térmicas adicionais forem instaladas na sala de computadores, menor será o consumo do ar-condicionado para retirar calor desse espaço. O método de instalação das máquinas de ar-condicionado na sala de computadores dependerá da classificação tier do datacenter e da distribuição das cargas térmicas dentro do espaço. O objetivo do exercício desenvolvido aqui é a avaliação da carga térmica da sala de computadores, como obtê-la e como especificar as caraterísticas das máquinas de arcondicionado do datacenter. Pergunta 03: O que significam as expressões corredor frio e corredor quente? São ambientes especiais? Há algum modelo de projeto ou de configuração para esses ambientes? Resposta: Corredores frios e quentes são os espaços na frente e atrás dos gabinetes nas salas de computadores para conformação dos fluxos de ar frio e quente nesse espaço. A finalidade da conformação desses corredores é melhorar a eficiência energética do sistema de climatização do datacenter. O conceito de corredores frios e quentes tem sido adotado com sucesso, independentemente do tipo de distribuição de ar utilizado na sala de computadores (sob o piso elevado ou por distribuição overhead, como veremos mais adiante). Para que corredores frios e quentes sejam configurados de forma adequada, as unidades CRAC (máquinas de ar-condicionado) devem ser posicionadas na sala de forma estratégica. A Figura 2 mostra a conformação de corredores frios e quentes em uma sala de computadores com insuflação de ar sob o piso elevado. 69

72 Universidade do Sul de Santa Catarina Figura 1 Conformação de corredores frios e quentes na sala de computadores Fonte: Marin (2016). Para a insuflação de ar frio e consequente conformação dos corredores frios, placas de piso perfuradas são posicionadas de forma adequada e os racks ou gabinetes são posicionados de tal forma que os equipamentos ativos fiquem com a frente (para aspirar o ar frio) orientada para esse corredor. Assim, o corredor frio se configura com o posicionamento dos equipamentos de TI orientados sempre de frente (a frente de um posicionada para a frente do outro). O corredor quente é gerado na parte posterior (traseira) dos racks ou gabinetes, onde há a saída do ar que passou pela eletrônica para retirar o calor gerado devido à sua operação. O corredor quente não deve ter placas de piso perfuradas para não haver vazamento de ar frio para dentro dele, prejudicando a eficiência do sistema de climatização. O corredor quente é, então, criado pelo posicionamento das partes posteriores dos equipamentos de TI, ou seja, a traseira de um equipamento é alinhada com a traseira do outro. O ar quente flui em direção à unidade CRAC e é retirado do espaço. Esse mecanismo é mostrado em mais detalhes na Figura 2. 70

73 Figura 2 Conceito de corredores frios e quentes na sala de computadores Fonte: Marin (2016). A Figura 2 apresenta um perfil da conformação de corredores frios e quentes na sala de computadores para melhor ilustrar esse conceito. Pergunta 04: Há acrônimos comuns como CRAC e outros quando nos referimos aos equipamentos de climatização de datacenters. O que significam esses acrônimos, e como funcionam esses equipamentos? Resposta: Há basicamente dois tipos de equipamentos de ar-condicionado utilizados em datacenters referidos como CRAH (Camputer Room Air Handling) e CRAC (Computer Room Air Conditioner). As unidades CRAH operam com chillers de água gelada, como os sistemas de arcondicionado central de grande porte utilizados em edifícios comerciais, shopping centers, hospitais etc. A refrigeração é obtida por um fluxo de ar que sopra uma serpentina (fan coil) com água gelada para transferir o calor do refrigerante (água) para o ambiente a ser climatizado. A água gelada é fornecida à unidade CRAH pelo chiller, localizado na casa de máquinas do sistema mecânico. As unidades CRAH podem ter válvulas de fluxo variável, podendo modular a ventilação para manter uma pressão estática tanto sob o livro elevado quanto em dutos overhead. A Figura 3 mostra um esquema simplificado de um sistema de climatização com unidades CRAH. 71

74 Universidade do Sul de Santa Catarina Figura 3 Esquema de climatização com unidades CRAH Vapor Torre de resfriamento Evaporador Condensador Reservatório de água gelada CRAH Ar frio insuflado na sala de computadores Fonte: Marin (2016). Uma unidade CRAC opera com expansão direta de refrigerante dentro da própria unidade (mais ou menos como os equipamentos de ar-condicionado que utilizamos em nossas casas). Isso significa que o compressor e o evaporador utilizados no ciclo de climatização são montados dentro da unidade. O fluido refrigerante que entra frio na unidade CRAC absorve o calor e o transporta do ambiente interno (sala de computadores) para o ambiente externo, onde fica a condensadora. O calor retirado é dissipado no ambiente externo. O esquema de funcionamento de uma unidade CRAC é mostrado na Figura 4. Figura 4 Esquema simplificado de operação de climatização com unidade CRAC Rejeição de calor Condensadora CRAH Evaporador Ar frio insuflado na sala de computadores Fonte: Marin (2016). A climatização da sala de computadores com o uso de unidades CRAC é bastante comum. A Figura 5 mostra um exemplo de um equipamento CRAC utilizado em salas de computadores de datacenters. 72

75 Figura 5 - Exemplo de uma unidade CRAC comumente utilizada em salas de computadores em datacenters a) Unidade CRAC b) Detalhe interno da unidade CRAC Fonte: Marin (2013). A unidade CRAC mostrada na Figura 5 insufla o ar frio sob o piso elevado, ela é instalada na mesma altura que a estrutura do piso elevado e ajustada para que sua saída de ar fique corretamente posicionada. Pergunta 05: Pode nos apresentar esquemas de ligação e funcionamento de equipamentos de climatização de datacenters? Resposta: A configuração de climatização mais comum é o uso de unidades CRAC redundantes, conforme mostrado na Figura 6. Figura 6 Exemplo de instalação de unidades CRAC redundantes em uma sala de computadores Fonte: Marin (2016). 73

76 Universidade do Sul de Santa Catarina Conforme mostrado na Figura 6, é comum a instalação de unidades CRAC na sala de computadores na configuração N+1, ou seja, cada unidade isoladamente é capaz de suportar toda a carga térmica da sala de computadores ou, o que é bastante comum, cada unidade CRAC é utilizada a 50% de sua carga total simultaneamente. Quando utilizadas nessa configuração, se uma unidade falhar, a outra assume 100% da carga térmica da sala. O uso das máquinas a 50% da carga de projeto ajuda a evitar a sobrecarga de uma única máquina e a garantir que a unidade redundante opere satisfatoriamente quando a principal parar e vice-versa. Essa é uma boa prática, pois uma máquina redundante ociosa pode não ter um bom plano de manutenção preventiva e falhar quando seu acionamento for necessário. A Figura 7 mostra um outro exemplo de uso de unidades CRAC redundantes que podem operar em conjunto ou separadas, em datacenters de pequeno porte. Figura 7 Configuração de unidades CRAC redundantes na sala de computadores em um datacenter de pequeno porte Fonte: Marin (2016). Na Figura 7, as unidades CRAC são de insuflação overhead, ou seja, são fixadas às paredes da sala de computadores alinhadas com as partes frontais dos gabinetes. Em ambientes como o mostrado nesta figura, não há uma conformação de corredores frios e quentes. Isso não é um problema, pois o espaço é pequeno para esse tipo de configuração e a eficiência do sistema de climatização não é afetada por isso. Nesses ambientes, também é comum o uso de unidades operando cada uma a 50% de sua capacidade total ou uma delas operando a 100%, com a redundante em standby. Ambas as configurações são igualmente reconhecidas por normas e melhores práticas de climatização. Para finalizar, os sistemas críticos dos datacenters (elétrico e mecânico) são normalmente implementados com alguma redundância, mesmo em infraestruturas de pequeno porte. A disponibilidade do site é extremamente dependente desses sistemas. 74

77 Pergunta 06: Há posições corretas e erradas para instalação de climatizadores? Quais as melhores práticas e quais os erros que se devem evitar? Resposta: Não sei se podemos classificar como corretas ou erradas, mas certamente há recomendações de posições que podem oferecer um melhor desempenho tanto em termos de climatização quanto de eficiência energética. Quando são utilizadas unidades CRAC com insuflação sob o piso elevado, a melhor forma de posicioná-las dentro da sala de computadores é de modo que a insuflação de ar frio aconteça sob o corredor quente da sala, conforme mostrado na Figura 8. Figura 8 As unidades CRAC devem ser insuflar ar frio sob o corredor quente da sala de computadores Fonte: Norma ANSI/TIA-942 (2005). A insuflação de ar frio sob os corredores quentes melhora a eficiência do sistema de climatização por facilitar o encaminhamento de ar quente (dos corredores quentes) ao coletor posicionado na parte superior das unidades CRAC (esse mecanismo pode ser observado na Figura 2, pergunta 3 desta entrevista). Outra recomendação é deixar o vão abaixo dos corredores frios com a menor obstrução possível quando esse vão não puder ser deixado totalmente livre, pois isso melhora a eficiência energética do sistema de climatização. O erro mais comum, nesses casos, é instalar os caminhos de cabos do cabeamento estruturado nessas posições. A densidade de cabos do sistema de cabeamento estruturado é extremamente alta e, certamente, causará a obstrução das placas perfuradas e grelhas por onde o ar frio deve ser insuflado nos corredores frios. Em resumo, as seguintes considerações devem ser observadas quando o ar frio é insuflado sob o piso elevado em datacenters: 75

78 Universidade do Sul de Santa Catarina a. as câmaras de ar formadas pelos vãos livres sob o piso elevado devem ser mantidas sem obstruções abaixo dos corredores frios (por onde o ar frio deve passar); b. a manutenção de um fluxo de ar uniforme pode ser difícil sob o piso elevado; c. o ar frio normalmente não é uniformemente distribuído em toda a sala de computadores; d. a recirculação de ar quente devido a racks e gabinetes de alturas diferentes e o pé-direito baixo da sala de computadores pode afetar o desempenho do sistema; e. placas perfuradas não devem ser usadas em conjunto com grelhas no mesmo ambiente para a conformação dos corredores frios nesses casos, o ar tende a sair pelas grelhas e pode não ter pressão para sair pelas aberturas das placas perfuradas; f. as aberturas para passagens de cabos para dentro dos racks devem ser seladas; g. o ar frio deve ser sempre insuflado no corredor pela frente dos racks e gabinetes e não por baixo deles, ou seja, as placas perfuradas devem ser posicionadas sempre na frente dos racks e gabinetes e não abaixo deles; h. a maioria dos equipamentos de TI não pode receber ar frio diretamente pela base do rack ou gabinete, por isso o projeto deve prever sempre a insuflação de ar frio no corredor frio. Pergunta 07: Com a alta concentração de equipamentos e potência nos racks, há algum meio de colocarmos equipamentos de climatização junto a essas cargas? Resposta: A resposta é sim, e para isso são utilizados os chamados equipamentos ou sistemas de suplementação de ar-condicionado nas salas de computadores. O termo sistemas suplementares foi adotado para descrever a instalação de máquinas de ar-condicionado adicionais àquelas em operação, por essas não estarem mais atendendo às necessidades de climatização da sala de computadores devido ao aumento da carga térmica instalada nesse espaço. Com o passar do tempo, alguns projetistas passaram a utilizar os sistemas previamente desenvolvidos para serem suplementares como principais. Isso passou a ser bem aceito pelo mercado de forma geral. Talvez o motivo seja o fato de, embora existentes, a instalação de sistemas suplementares em ambientes em operação é muitas vezes inviável, principalmente pela falta de espaço disponível na sala de equipamentos e espaços de suporte para a instalação de todos os componentes do sistema suplementar. A Figura 9 mostra um equipamento de ar-condicionado suplementar para uso na sala de computadores e um exemplo de instalação. 76

79 Figura 9 Exemplo de equipamento suplementar de climatização em datacenters e topologia de instalação a) Exemplo de equipamento de ar-condicionado suplementar b) Exemplo de instalação de sistema suplementar de climatização em datacenters Fonte: Marin (2016). Na Figura 9b é possível ver uma unidade CRAC insuflando ar sob o piso elevado abaixo do corredor quente, como sabemos, é a melhor recomendação de topologia de instalação de unidades CRAC em salas de computadores. Ainda, pode-se ver que o ar frio insuflado por meio do piso elevado não é capaz de atingir as camadas superiores dos gabinetes da sala. Por isso, equipamentos suplementares são instalados sobre os gabinetes para insuflar ar frio nos corredores frios para atingir os equipamentos instalados nas partes superiores dos gabinetes. Isso seria simples se não fosse a necessidade de instalação de tubulações na sala para o transporte do refrigerante e trocadores de calor, chillers, condensadoras etc., em outros espaços do datacenter (sala de máquinas, ambiente externo do edifício etc.). Entre os sistemas suplementares que se tornaram mais populares como sistemas principais de climatização na sala de computadores estão os equipamentos in-row (em fila), conforme mostrado na Figura

80 Universidade do Sul de Santa Catarina Figura 10 Equipamentos de ar-condicionado in-row utilizados em datacenters Fonte: Marin (2016). Os equipamentos in-row, inicialmente projetados como sistemas suplementares, são máquinas de ar-condicionado (como unidades CRAC) instaladas entre os gabinetes, ou seja, em linha com eles, daí o termo in-row. Essas máquinas insuflam ar frio nos corredores frios lateralmente aos gabinetes e ao longo de todas as suas alturas, permitindo, portanto, que o ar frio seja aspirado pela eletrônica instalada nos gabinetes, de forma mais otimizada, com menores perdas em sua tomada de ar. Enquanto o uso de sistemas in-row é na prática inviável como climatização suplementar, eles são bem interessantes, quando considerados no projeto de climatização como sistemas principais. O uso como suplementação é inviável pelos seguintes motivos: 78

81 as máquinas ocupam metade do espaço ocupado por um gabinete de servidores; não há espaço para intercalá-los entre os gabinetes instalados e em operação; não é recomendável o deslocamento dos gabinetes após a instalação dos equipamentos ativos e start-up da operação; normalmente não há previsão no projeto do sistema elétrico do datacenter para alimentar equipamentos de ar-condicionado adicionais; não há altura livre disponível para a instalação das tubulações de transporte de refrigerante do sistema suplementar de climatização, entre outros fatores. Para finalizar, os fabricantes de sistemas de climatização para datacenters têm aumentado sua oferta de equipamentos com menores capacidades (em termos de carga térmica por unidade) e dimensões, de modo a permitir a instalação em posições mais próximas às cargas térmicas das salas de computadores e onde são necessários. Em outras palavras, estão oferecendo maior flexibilidade e relação custo/benefício. Pergunta 08: A injeção de ar frio deve ser feita pelo piso elevado ou também é possível fazer pela parte superior? Há alguma recomendação ou técnica para isso? Resposta: Há duas arquiteturas de climatização utilizadas em datacenters: overhead (por cima) e sob o piso elevado. A arquitetura de distribuição de ar overhead na sala de computadores é uma boa opção quando não se utiliza piso elevado, mas o tipo de equipamento adequado a esse propósito deve ser utilizado. A distribuição de ar overhead deve ser dimensionada para insuflar o ar frio diretamente no corredor frio por sua parte superior. O ar quente de retorno conforma os corredores quentes, nos quais devem ser posicionados os exaustores para a retirada do ar quente da sala. A climatização overhead também pode ser obtida com o uso de dutos para a insuflação de ar frio no ambiente com o retorno feito pelo coletor frontal da máquina (unidade CRAC ou CRAH). A Figura 11 mostra essa arquitetura de climatização; a Figura 12, a insuflação de ar frio em uma sala de computadores de pequeno porte diretamente das unidades CRAC, sem o uso de dutos. 79

82 Universidade do Sul de Santa Catarina Figura 11 Arquitetura overhead de climatização Ar insuflado pelo teto Ar insuflado Ar insuflado Retorno do ar Rack Rack Rack Retorno do ar Fonte: Marin (2013). Figura 12 Insuflação overhead de ar em uma sala de computadores com unidades CRAC sem dutos Fonte: Marin (2013). A insuflação overhead direta na sala de computadores sem o uso de dutos é uma solução de climatização bastante comum em data de pequeno porte, como o mostrado na Figura 12. A distribuição de ar sob o piso elevado é a técnica mais comumente adotada em datacenters, como discutido anteriormente. Ela oferece certa flexibilidade na distribuição da carga térmica, bem como no posicionamento das unidades CRAC dentro da sala. Em relação à arquitetura overhead, a distribuição sob o piso não requer um sistema de dutos para a exaustão do ar quente do ambiente; o próprio ambiente é usado para esse fim. É comum a utilização de unidades CRAC com extensores de dutos montados sobre elas para oferecer melhor encaminhamento do ar quente de retorno às unidades CRAC para exaustão. Em sistemas de climatização que utilizam o piso elevado como duto, o vão livre é fator crítico e deve ser levado em consideração nas etapas de projeto e implementação. É importante considerar que vários sistemas de um datacenter compartilham o espaço sob o piso elevado, tais como a distribuição de cabeamento estruturado, a distribuição elétrica, os sistemas de dutos de água (ou 80

83 outro refrigerante) do ar-condicionado, os sistemas de segurança, entre outros. Se as saídas de ar forem obstruídas ou parcialmente bloqueadas devido à grande quantidade de cabos e dutos sob o piso, a climatização da sala de computadores será prejudicada e os equipamentos críticos de TI poderão operar em condições críticas de temperatura e estarão mais sujeitos a falhas. Pergunta 09: Sabemos que as instalações elétricas e de cabeamento passam em geral sob o piso. Isso poderia atrapalhar o fluxo de ar da climatização? Resposta: Sim, quando o piso elevado é utilizado para a distribuição dos circuitos de alimentação elétrica, é importante posicionar suas eletrocalhas abaixo das placas perfuradas do piso elevado por onde haverá fluxo de ar frio (abaixo do corredor frio), já que isso pode ajudar a reduzir o calor dissipado pelos cabos elétricos sob o piso elevado. A Figura 13 mostra um perfil do piso elevado com a distribuição dos serviços de cabeamento estruturado e de energia elétrica. Note que as calhas dos cabos de telecomunicações (cabeamento estruturado) são posicionadas abaixo dos corredores quentes. Figura 13 Esquema de distribuição de cabeamento estruturado e de energia elétrica sob o piso elevado por onde o ar frio é insuflado Fonte: Marin (2013). Os sistemas distribuídos sob o piso elevado devem ficar afastados da laje e também não podem obstruir as saídas de ar, que ocorrem normalmente por meio de placas de piso perfuradas ou grelhas. 81

84 Universidade do Sul de Santa Catarina Pergunta 10: Voltando ao tema dos corredores frios e quentes, é possível confiná-los e assim obter melhor rendimento? Como funcionam esses confinamentos? Resposta: Sim, é entendimento comum entre os profissionais da área que o confinamento pode ser implementado para o corredor frio ou para o corredor quente ou ainda, para ambos. Que configuração oferece o melhor desempenho em termos de eficiência energética é o que ainda gera alguma discussão. O fato é que o confinamento de corredores, sejam eles frios ou quentes, oferece alguma otimização do sistema de climatização da sala de computadores. Alguns estudos mostraram que a eficiência energética pode melhorar entre 20 e 30% quando utilizado o confinamento de corredores. A Figura 14 mostra um esquema de contenção do corredor frio. Figura 14 Exemplo de implementação de contenção de corredor frio em datacenters Fonte: Marin (2016). O sistema apresentado na Figura 14 é obtido pelo fechamento das laterais do corredor frio em torno de todos os gabinetes de grupos de duas filas e também do teto desse espaço delimitado pelos fechamentos laterais. Embora, em princípio, qualquer fechamento como o mostrado na figura sirva ao propósito de confinar o corredor, vários fabricantes oferecem sistemas com componentes especialmente desenvolvidos para um fechamento efetivo, provendo acesso ao interior do corredor para manutenção dos equipamentos de TI. A Figura 15 mostra um exemplo de sistema de confinamento de corredores frios disponível no mercado. 82

85 Figura 15 Exemplo de solução de contenção de corredor frio disponível no mercado Fonte: Marin (2016). A contenção de corredor oferece uma economia de energia associada ao sistema de climatização do datacenter por requerer menos energia para manter a temperatura do corredor em níveis predeterminados para um espaço muito menor que uma sala de computadores inteira. Note que, em sistemas convencionais, o ar-condicionado trabalha muito mais, pois precisa climatizar um espaço grande. Já quando o confinamento é utilizado, o espaço é reduzido de forma significativa e a climatização é mais facilmente obtida. Quando se utiliza a contenção de corredores, do corredor frio em nosso exemplo, o ar quente resultante da refrigeração da eletrônica é eliminado no ambiente e exaustado pelas unidades CRAC para fora da sala de computadores, como em sistemas convencionais, porém, com maior eficiência (esse mecanismo é mostrado na Figura 14). Pergunta 11: A eficiência energética é um tema muito importante e os datacenters são grandes consumidores de energia. Ao lado dos equipamentos de processamento, os sistemas de climatização aparecem como vilões, e por esse motivo há muita pesquisa buscando formas de diminuir o consumo elétrico por parte da climatização. O free cooling surge como uma das soluções para esse problema. O que é o free cooling e como funciona? Resposta: O free cooling é uma técnica de climatização que tem a proposta de reduzir o consumo de energia do datacenter pela utilização do ar à temperatura ambiente para a refrigeração da sala de computadores. Embora o conceito seja simples, a operação de climatização free cooling não consiste simplesmente na coleta de ar externo (à baixa temperatura) e sua insuflação direta na sala de computadores. Os sistemas free cooling comumente empregados na climatização de datacenters são híbridos, ou seja, operam totalmente nesse modo para uma determinada faixa de temperaturas do ar externo e passam a utilizar etapas de evaporação e condensação, comportando-se, 83

86 Universidade do Sul de Santa Catarina então, como um sistema convencional, à medida que a temperatura externa sobe a níveis que inviabilizam o emprego dessa técnica. Portanto, o que define quais etapas serão acionadas para a climatização da sala de computadores é, basicamente, a diferença entre a temperatura externa e a temperatura que se deseja manter nos corredores frios da sala. Há diferentes sistemas free cooling de diferentes fabricantes e as escalas de temperaturas variam. De qualquer forma, os sistemas disponíveis no mercado operam com temperaturas externas entre aproximadamente 17 C e 20 C. A Figura 15 mostra um esquema de free cooling. Figura 15 Exemplo de free cooling implementado em container Ar quente (saída) Região de ar frio Região de ar quente Ar frio externo Detalhe da entrada de ar do ambiente externo na câmara de climatização e saída de ar quente do contêiner Fonte: Marin (2013). A Figura 15 exibe o ciclo de climatização em um datacenter implementado dentro de um container usando free cooling em configuração vertical. O ar quente proveniente dos equipamentos ativos instalados nos gabinetes gera o corredor quente (1). Exaustores montados no teto da sala de computadores forçam o transporte desse ar para o compartimento inferior da câmara de climatização montada sobre a sala de computadores (2). O calor retirado da sala de computadores é absorvido pelo líquido refrigerante presente no trocador de calor ar-ar (evaporador), que é convertido em gás e sobe ao compartimento superior da câmara (3). O ar frio do ambiente externo é puxado para dentro da câmara de climatização por meio de ventiladores de alta pressão e velocidade variável, o qual passa por meio do condensador, esse o resfria e converte o gás quente em refrigerante líquido novamente, que regressa ao evaporador no compartimento inferior da câmara (4). Desse modo, o calor transportado ao condensador é retirado da câmara de climatização em forma de ar quente, que é forçado a fluir para fora da câmara (5). O ar frio é transportado do compartimento inferior da câmara de climatização para dentro da sala de computadores, formando o corredor frio (6). Esse ar frio é utilizado para resfriar os equipamentos ativos montados nos gabinetes, dando continuidade ao ciclo de climatização do datacenter (7). 84

87 Nessa aplicação, não há mistura do ar interno que circula dentro do datacenter com o ar do ambiente externo. Assim, eventuais contaminantes presentes no ambiente externo não ingressam no datacenter. Esses sistemas têm painéis de isolação entre o container da sala de computadores e o da câmara de climatização. Os painéis também isolam o datacenter de umidade, água, fogo, entre outros contaminantes e eventos indesejados. No que diz respeito à temperatura do datacenter, isso vai depender da diferença entre as temperaturas externas e aquela que se deseja manter no corredor frio. O quadro a seguir apresenta algumas relações entre as faixas de variação da temperatura externa e a temperatura do corredor frio, bem como os requisitos adicionais para uma climatização eficiente da sala de computadores, utilizando free cooling na arquitetura apresentada. Quadro 4 Relação entre as temperaturas externas e internas do sistema de free cooling apresentado aqui Temperatura externa ( C) Temperatura do corredor frio ( C) Requisitos adicionais Até 19 23,8 N/A Entre 19 e 23,8 23,8 Evaporação Acima de 23,8 23,8 Evaporação e condensação Até 21,8 26,7 N/A Entre 21,8 e 23,8 26,7 Evaporação Acima de 26,7 26,7 Evaporação e condensação Fonte: Marin (2013). Note que a temperatura no corredor frio é dependente da temperatura do ambiente externo usada para a climatização do datacenter. Para finalizar, o free cooling pode ser também implementado utilizando-se unidades CRAC com economizadores, que são assim designados porque ajudam o sistema de climatização economizar energia. Em geral, esses sistemas têm uma tomada de ar que coleta o ar do ambiente externo e o utiliza para a climatização da sala de computadores, quando a temperatura externa está dentro de limites de operação do sistema free cooling. A partir daí, as etapas de evaporação e condensação são acionadas e o sistema de climatização passa a operar como um sistema convencional. Pergunta 12: Ainda no tema da eficiência energética, poderia nos indicar boas práticas no projeto, operação e manutenção dos sistemas de climatização de datacenters? Resposta: Sim, como discutido anteriormente, sabemos que o ar-condicionado é o maior vilão do datacenter, sendo responsável por reduzir a eficiência energética da infraestrutura do site. Algumas recomendações ajudam a melhorar a eficiência energética do sistema de climatização, como veremos a seguir. 85

88 Universidade do Sul de Santa Catarina O fechamento das aberturas por onde pode haver vazamento de ar do sistema de climatização é uma prática que ajuda a aumentar a eficiência energética do datacenter, conforme mostrado na Figura 16. Figura 16 O fechamento de aberturas por meio das quais pode haver vazamento de ar frio contribui para a melhoria da eficiência energética do datacenter Fonte: Marin (2013). Dispositivos utilizados para vedar as aberturas das placas de piso para a passagem de cabos ajudam a evitar o vazamento de ar frio para dentro do gabinete e melhora a eficiência energética do sistema de climatização da sala de computadores quando o ar frio é insuflado sob o piso elevado. Há soluções muito simples, baratas e eficientes disponíveis no mercado para resolver o problema de falha na vedação das aberturas do piso elevado, conforme mostrado na Figura 17. Figura 17 Solução utilizada para vedar as aberturas de placas de piso para passagem de cabos por meio de organizadores de cabos verticais Fonte: Marin (2013). 86

89 As aberturas deixadas nos racks e gabinetes causam a recirculação de ar quente pelo corredor frio, reduzindo a eficiência do sistema de climatização da sala de computadores. Alguns autores se referem a esse efeito como curto-circuito. A Figura 18 ilustra esse efeito. Figura 18 Recirculação de ar por dentro do rack quando são deixadas aberturas na parte frontal Rack ou Gabiente Frente Trás Fluxo de Ar Frio Fluxo de Ar Quente Abertura Abertura Corredor Frio Corredor Quente Fonte: Marin (2013). A instalação de painéis cegos para fechar as aberturas dos racks e gabinetes ajuda a manter a eficiência da climatização da sala de computadores, por não permitir o retorno de ar quente pelo corredor frio. A Figura 19 apresenta o efeito da instalação de placas cegas nas aberturas dos racks. Figura 19 Aplicação de placas cegas nas aberturas dos racks para evitar a recirculação de ar entre os corredores frio e quente por dentro do rack Rack ou Gabiente Frente Trás Fluxo de Ar Frio Fluxo de Ar Quente Painel Cego Corredor Frio Corredor Quente Fonte: Marin (2013). 87

90 Universidade do Sul de Santa Catarina A Figura 20 apresenta um detalhe das placas cegas instaladas em racks em um datacenter, bem como as placas cegas individualmente. Figura 20 Exemplos de placas cegas para vedação de racks e gabinetes, bem como das placas individualmente Placas cegas 1U 2U 3U 4U Fonte: Marin (2013). Placas cegas Outro fator importante a observar para melhorar a eficiência energética do sistema de climatização é que as portas dos gabinetes ofereçam uma área total de abertura para uma passagem de ar ótima, equivalente a 63% da área total da porta. Alguns projetistas recomendam uma área total de abertura de 80%. Pergunta 13: O uso de simulações computacionais é útil para o projeto de climatização? O que vem a ser CFD Computational Fluid Dynamics? Resposta: Sim, as simulações são ferramentas bastante eficientes tanto para a determinação das condições e parâmetros de projeto quanto para o diagnóstico de problemas em instalações existentes. Uma técnica de projeto bastante eficiente para a avaliação do desempenho dos corredores frios e quentes do sistema de climatização da sala de computadores é conhecida como CFD (Computational Fluid Dynamics, Dinâmica de Fluidos Computadorizada). Ela consiste no uso de software específico, que é alimentado com informações realistas e, portanto, confiáveis, para gerar resultados precisos. A Figura 21 mostra um exemplo de CFD. 88

91 Figura 21 Exemplo de CFD para avaliar a distribuição de ar em diferentes temperaturas na sala de computadores Fonte: Marin (2013). Conforme podemos ver na Figura 21, os corredores frios são identificados em azul e, quanto mais forte a tonalidade do azul, mais baixa é a temperatura do corredor. Da mesma forma, quanto mais próximo do vermelho, maior a temperatura do corredor e/ou ambiente. Portanto, nessa figura notamos que o corredor frio recebe ar insuflado sob o piso elevado em baixa temperatura (azul mais forte próximo à base dos gabinetes), que começa a aumentar à medida que sobe às partes mais altas dos gabinetes. A instalação de uma unidade de suplementação de ar-condicionado na parte superior do corredor frio ajuda a baixar a temperatura nas partes superiores do corredor frio. Portanto, essa análise CFD ajuda na decisão de se instalar uma unidade suplementar de climatização para baixar a temperatura das partes superiores do corredor frio da datacenter avaliado. A análise de CFD pode ser utilizada para gerar gráficos termográficos, como mostrado na Figura 22. Figura 22 Exemplo de gráfico termográfico mostrando a densidade de calor na sala de computadores Fonte: Marin (2013). 89

92 Universidade do Sul de Santa Catarina Na Figura 22, os tons mais próximos ao vermelho indicam áreas nas quais as temperaturas são mais altas (área em laranja na figura). Da mesma forma, os tons mais claros representam regiões cujas temperaturas são mais baixas. Referências ANSI/TIA-942. Standard ANSI/TIA-942: Telecommunications infrastructure for data centers. MARIN, P.S. Cargas térmicas do datacenter do exemplo. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Configuração de unidades CRAC redundantes na sala de computadores em um datacenter de pequeno porte. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Data Centers desvendando cada passo: conceitos, projeto, infraestrutura física e eficiência energética. São Paulo: Editora Érica Saraiva, MARIN, P.S. Data Centers Engenharia: Infraestrutura Física. São Paulo: PM Books, MARIN, P.S. Esquema de climatização com unidades CRAH. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Esquema simplificado de operação de climatização com unidade CRAC. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Exemplo de instalação de unidades CRAC redundantes em uma sala de computadores. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, MARIN, P.S. Parâmetros térmicos operacionais para a sala de computadores. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual,

93 Sistemas complementares em datacenter Apresentação da entrevista Nesta quarta entrevista, são discutidos os elementos complementares ao sistema elétrico e de climatização do datacenter. Não que esses elementos sejam secundários ou menos importantes, porém, a questão da energia e da eficiência energética tem ocupado um cenário proeminente nas discussões industriais e ambientais em todo o mundo. Entre esses, temos o cabeamento para as redes de comunicação, assunto no qual o Prof. Marin sempre se destacou pelo notório saber e que o levou a conquistar importante prêmio internacional. Ele nos fala sobre as topologias do cabeamento, aplicações com sistemas metálicos e ópticos, e também aborda a infraestrutura de caminhos e espaços dentro do datacenter, para atender esses cabeamentos em paralelo aos de energia. Outro tema fundamental é o das plataformas de automação e gestão da infraestrutura do datacenter, tema esse que é abordado no curso com um livro didático especial. Falando da segurança física e patrimonial do datacenter, são discutidos os sistemas de detecção e combate a incêndio, que são diferentes dos convencionais, por se tratarem de sinistros em ambiente computacional. Ao mesmo tempo, há uma preocupação extraordinária quanto à própria segurança do patrimônio, e por isso a integração com controles de acesso e sistemas de circuito fechado de televisão. Essa preocupação se dá não apenas pela possibilidade de danos ou roubo de informação, mas também pelo uso inapropriado de algum sistema, o que poderia causar falhas no funcionamento do próprio datacenter. Ao concluir, o Prof. Marin apresenta sugestões e conselhos para o melhor projeto técnico, de acordo com práticas de qualidade, baseadas em normas e também nas mais recentes tendências tecnológicas em datacenters. Entrevista Pergunta 01: Ao considerar a infraestrutura do datacenter, os sistemas elétricos e os de climatização aparecem como os mais importantes e destacados, seja pelas condições da própria operação dos equipamentos ativos, seja pela questão da eficiência energética. Além desses, quais você destaca como mais importantes, ou cruciais para o datacenter? Resposta: É verdade que uma grande ênfase é dada aos sistemas elétrico e de climatização no que diz respeito à infraestrutura de datacenters. Isso é devido, principalmente, às classificações tier, como discutimos anteriormente.

94 Universidade do Sul de Santa Catarina No entanto, do ponto de vista de operação, há outros sistemas de fundamental importância que integram a infraestrutura física de um datacenter, como: cabeamento de telecomunicações e redes (cabeamento estruturado); segurança e proteção contra incêndio; monitoramento da infraestrutura do datacenter. O cabeamento do datacenter tem como finalidade entregar conexões de redes aos equipamentos de TI e também estabelecer as conexões com os provedores de acesso e serviços de telecomunicações. O cabeamento do datacenter pode ser estruturado, ou seja, baseado em normas de cabeamento da indústria ou proprietário, projetado e instalado para atender a uma topologia específica e normalmente estática. Os sistemas de segurança ajudam a proteger o site de invasões, acessos físicos indevidos etc., e o sistema de proteção contra incêndio tem como finalidade disparar alarmes em eventos de incêndio (ou que possam levar a isso), bem como acionar sistemas de extinção de fogo. A principal finalidade do sistema de proteção contra incêndio em datacenters é a proteção de pessoas, da edificação e, por fim, dos equipamentos de TI. Aqui é comum encontrarmos abordagens de projeto bastante equivocadas, quando projetistas se preocupam mais com a proteção dos equipamentos críticos de TI do que com a proteção de pessoas e edificações. Certamente, a integridade dos equipamentos de TI é importante; porém, em um evento de incêndio, ela já está comprometida. O que resta é minimizar os danos gerais à infraestrutura do datacenter. Obviamente, a segurança da informação existe e os dados estão replicados e protegidos em algum outro lugar fora do datacenter principal. Os aspectos de segurança da informação não fazem parte das normas, procedimentos e/ou melhores práticas de projeto de infraestrutura física de datacenters. O monitoramento da infraestrutura do datacenter, mais conhecido como DCIM (Data Center Infrastructure Monitoring), é também fundamental para a alta disponibilidade e segurança do site. Os sistemas DCIM são plataformas de gerenciamento e monitoramento de várias funções da infraestrutura de um datacenter e são baseados em hardware e software. Embora os sistemas apresentados aqui sejam de fundamental importância para a operação ótima e alta disponibilidade dos datacenters, eles não são considerados para a determinação da classificação tier do site, conforme estabelecido pelo The Uptime Institute. Pergunta 02: A topologia de cabeamento estruturado do datacenter segue os mesmos princípios das edificações comuns? Há topologias e especificações destinadas ao datacenter? Resposta: O cabeamento estruturado para datacenters, embora siga a mesma filosofia de cabeamento estruturado para edifícios comerciais, tem suas particularidades. Um sistema de cabeamento estruturado 1 é caracterizado por ser uma infraestrutura padronizada de cabeamento capaz de atender a uma grande variedade de serviços utilizados em datacenters. A Figura 1 apresenta a topologia de distribuição do cabeamento estruturado para datacenters. 1. Ver Cabeamento Estruturado: Projeto e Instalação, de Paulo Sérgio Marin, PM Books Editora, 2015, São Paulo/SP, Brasil. 92

95 Figura 1 Topologia de cabeamento estruturado para datacenters Fonte: Marin (2016). Como podemos observar na Figura 1, são mostradas duas nomenclaturas. A que está fora dos parênteses é definida pela ISO e adotada na norma brasileira ABNT NBR (2013), e a que está entre parênteses é a definida pela norma norte-americana ANSI/TIA-942-A (2005). O Quadro 1 mostra a equivalência entre a nomenclatura adotada pela ABNT (ISO) e ANSI/TIA. Quadro 1 Comparativo entre as nomenclaturas adotadas pela ABNT e ANSI/TIA para os elementos funcionais do cabeamento para data centers Nomenclatura ABNT (NBR) MD (Distribuidor principal) Sem equivalente na norma ABNT NBR 14565:2013 ZD (Distribuidor de zona) LDP (Ponto de distribuição local) EO (Tomada de equipamento) Fonte: Marin (2016). Nomenclatura ANSI/TIA MDA (Área de distribuição principal) IDA (Área de distribuição intermediária) HDA (Área de distribuição horizontal) ZDA (Área de distribuição de zona) EDA (Área de distribuição de equipamentos) Descrição Distribuidor principal: gera o subsistema de backbone do datacenter. Distribuidor intermediário (opcional): divide o subsistema de backbone em dois. Distribuidor de zona: gera o subsistema de cabeamento horizontal do datacenter. Distribuição local (opcional); equivalente ao CP em um cabeamento convencional. Tomada de equipamento: onde é conectado o equipamento do datacenter (servidor ou storage, tipicamente). A EO fica localizada dentro da EDA, conforme a ANSI/TIA 942-A. 93

96 Universidade do Sul de Santa Catarina O sistema de cabeamento de um datacenter é composto por subsistemas de cabeamento de backbone e horizontal. No esquema da Figura 1, há dois subsistemas de backbone: entre MD/MDA e IDA (opcional) e entre IDA e ZD/HDA. O cabeamento de backbone é responsável basicamente pela conexão dos serviços externos providos por terceiros (empresas de telecomunicações, acesso etc.), que entram na edificação por meio da ENI (interface com a rede externa). A ENI tem a função de ponto de demarcação, ou seja, define o ponto até o qual os provedores são responsáveis pela manutenção de seus serviços e a partir do qual passam a ser de responsabilidade do operador ou proprietário do datacenter. O cabeamento que conecta a ENI ao MD/MDA deve ser dimensionado para atender aos requisitos das aplicações entregues por seus provedores. O cabeamento estruturado é constituído de elementos funcionais, que são os seguintes: a. interface de rede externa (ENI); b. cabo de acesso à rede; c. distribuidor principal (MD/MDA); d. cabeamento de backbone; e. distribuidor intermediário (IDA, opcional e não previsto na ABNT NBR 14565:2013); f. cabeamento e backbone; g. distribuição de zona/cabeamento horizontal (ZD/HDA); h. cabeamento horizontal; i. ponto de distribuição local (LDP/ZDA); j. cabo do ponto de distribuição local (cabo do LDP, cabo da ZDA); k. tomada de equipamento (EO). Ainda, podemos dizer que o cabeamento estruturado é definido entre os seguintes subsistemas: subsistema de cabeamento horizontal; subsistema de backbone; subsistema de cabeamento de acesso à rede. Os subsistemas de backbone e cabeamento horizontal são combinados, ou seja, são utilizados em uma mesma distribuição de cabeamento, em uma topologia capaz de atender às necessidades de um datacenter. A Figura 2 mostra uma topologia de distribuição típica de cabeamento em datacenters. 94

97 Figura 2 Topologia de distribuição de cabeamento estruturado em um datacenter típico Fonte: Marin (2013). A topologia mostrada na Figura 2 mostra os distribuidores do cabeamento estruturado, bem como os subsistemas de cabeamento de backbone e horizontal dentro da sala de computadores. Note que há uma conexão do cabeamento do datacenter ao cabeamento do edifício onde ele está implementado por meio da TR (sala de telecomunicações) do cabeamento estruturado do edifício. Essa conexão pode ou não existir, isso depende de características do projeto do datacenter. Um aspecto importante presente na distribuição de cabeamento para datacenters é a infraestrutura de entrada (EF) secundária, que funciona como uma redundância da entrada principal para garantir a manutenção dos serviços de telecomunicações e acesso, em caso de alguma falha na distribuição principal. Embora a topologia apresentada na Figura 2 seja bastante comum para datacenters de médio porte, datacenters maiores podem precisar de mais níveis de backbone para atender a todos os equipamentos da sala de computadores, ou quando há salas de computadores em pavimentos diferentes ou localidades diferentes dentro do mesmo edifício ou em uma rede de campus (CAN), conforme esquematizado na Figura 3. 95

98 Universidade do Sul de Santa Catarina Figura 3 Topologia de distribuição de cabeamento estruturado para datacenters de grande porte Fonte: Marin (2016). O distribuidor que permite uma expansão em termos de alcance do cabeamento estruturado em datacenters é o IDA ou distribuidor intermediário. Note que, quando utilizado, o cabeamento passa a ter dois níveis de backbone: o primeiro nível entre o MD/MDA e o IDA e o segundo, entre o IDA e o ZD/HDA. Embora o IDA possa estar em outra localidade, no esquema da Figura 3 ele está dentro da mesma sala de computadores que os demais distribuidores. Isso pode ser devido aos comprimentos de cabos excederem seus limites para o uso de um único nível de backbone nesse espaço ou por questões de organização e gerenciamento das conexões. Para finalizar, as normas também reconhecem topologias de cabeamento estruturado para datacenters de pequeno porte, como mostrado na Figura 4. 96

99 Figura 4 Topologia reduzida de cabeamento estruturado para datacenters Fonte: Marin (2013). Note que, devido ao seu porte, um datacenter pequeno pode não precisar de um subsistema de cabeamento de backbone; somente o horizontal pode ser capaz de atender às suas necessidades de distribuição de cabeamento. É isso o que mostra a Figura 4, ou seja, as normas reconhecem conexões diretas entre o MD/MDA e as EO/EDA, onde são instalados os equipamentos críticos de TI na sala de computadores. Pergunta 03: Quais as tendências e como devem ser usados os cabeamentos metálicos e ópticos? Resposta: As normas de cabeamento para datacenters reconhecem os seguintes meios físicos para as conexões dentro das salas de computadores entre os distribuidores do cabeamento estruturado: cabos balanceados (de pares trançados) de quatro pares, 100 ohms, blindados ou não, Categoria 6A/Classe E A (600 MHz), ou superiores; cabos ópticos multimodo OM3 e OM4 (50/125 mm), otimizadas para transmissão laser; cabos ópticos monomodo OS1 e OS2. Algumas normas, ainda, reconhecem cabos de cobre de categorias inferiores à Cat. 6A, porém a recomendação de todas elas é o uso de, no mínimo Categoria 6A/Classe E A, no subsistema de cabeamento horizontal. Da mesma forma, algumas normas ainda reconhecem cabos ópticos multimodo OM1 e OM2, porém não recomendam sua utilização nos subsistemas de backbone do datacenter. 97

100 Universidade do Sul de Santa Catarina O Quadro 2 mostra exemplos de cabos metálicos (cabos de cobre) reconhecidos por normas técnicas para uso no cabeamento estruturado de datacenters. Quadro 2 Exemplos de cabos de cobre reconhecidos por normas técnicas para uso em datacenters TIPOS DE CABOS U/UTP (Unshielded/Unshielded Twisted Pair) F/UTP (Foiled/Unshielded Twisted Pair) S/FTP (Screened/Foiled Twisted Pair) Par trançado sem blindagem Par trançado sem blindagem individual e com blindagem geral Par trançado com dupla blindagem individual e geral Fonte: Marin (2016). Em termos de tendências, podemos identificar o cabeamento Categoria 6A/Classe E A, com largura de banda de 600 MHz e preparado para a aplicação 10GBASE-T (10 Gb/s em cabeamento de cobre), como o meio físico mais comum no subsistema de cabeamento horizontal de datacenters de diversos portes. Alguns projetos, entretanto, estão sendo desenvolvidos e implementados com cabos ópticos em toda a distribuição de cabeamento do datacenter. De qualquer forma, isso é muito pouco comum e, quando utilizada tal abordagem de projeto, ela acontece em datacenters de grande porte. No que diz respeito ao cabeamento óptico, a tendência é o uso de cabos trunking e conectores MPO. Os conectores MPO (Multi Fiber Push On) disponíveis no mercado e reconhecidos por normas técnicas de cabeamento são os 12 e 24 fibras, cuja distribuição de fibras é mostrada na Figura 5. Figura 5 Alinhamentos das fibras ópticas em conectores MPO de 12 e 24 fibras Fonte: Marin, Os conectores MPO são apresentados em versões macho e fêmea. A Figura 6 mostra os conectores de 12 fibras. 98

101 Figura 6 Exemplos de conectores MPO de 12 fibras (a) (a) Conector MPO macho Fonte: Marin (2014). (b) (b) Conector MPO fêmea Os conectores MPO são utilizados nos cabos trunking ópticos, que são segmentos de cabos ópticos com várias fibras montados em fábrica, com comprimento pré-determinado pelo cliente e conectores MPO em cada extremidade. Esses cabos têm encontrado uma aplicação ampla em datacenters; eles são testados em fábrica e garantidos por seus fabricantes, ou seja, o instalador não precisa montar conectores ópticos em campo e, em princípio, nem medir a atenuação do cabo após sua instalação. De qualquer forma, a medição da atenuação em campo de cabos ópticos é um requisito normativo e a única forma de confirmar que o enlace óptico apresenta um desempenho adequado conforme projetado. A Figura 7 mostra um exemplo de cabo trunking MPO, com conectores montados em ambas as suas extremidades. Figura 7 Exemplo de cabo trunking óptico com conectores MPO montados em fábrica Fonte: Marin (2016). O que torna os cabos ópticos trunking com conectores MPO uma opção muito interessante, de rápida implementação e flexíveis são os cassetes MPO. Um cassete MPO é um hardware óptico de conexão que tem um conector MPO em uma de suas faces e um outro padrão de conexão na outra. A Figura 8 mostra um exemplo de cassete MPO com conectores LC duplex. 99

102 Universidade do Sul de Santa Catarina Figura 8 Exemplo de um cassete MPO (parte frontal) e distribuição no padrão LC (painel frontal) Fonte: Marin (2014). Normalmente, os cassetes são modulares, montados em painéis em racks padrão de 19 e oferecem montagens de alta densidade de conexões ópticas. Pergunta 04: Do ponto de vista dos caminhos e espaços, como se instala o cabeamento? É possível instalá-lo tanto sob o piso como pela parte superior dos racks? Resposta: Sim, o cabeamento estruturado é distribuído por ambos os caminhos, ou seja, sob o piso elevado e por via aérea dentro da datacenter. Não é uma regra geral, mas normalmente a distribuição do cabeamento entre equipamentos instalados em gabinetes em uma mesma fila é feita por caminhos aéreos, entre os distribuidores e as filas de gabinetes, sob o piso elevado. Os cabos dos sistemas elétricos são normalmente distribuídos sob o piso elevado. A Figura 9 mostra um exemplo de caminhos de distribuição de cabeamento estruturado em um datacenter típico. Figura 9 Caminhos de distribuição do cabeamento estruturado em datacenters Racks - MD/MDA (Switches, LAN, SAN, WAN) Backbone ZD/HDA (Switches, KVM, etc.) Cabeamento horizontal Fonte: Marin (2013). Gabinetes - EO/EDA (servidores, storage) 100

103 O trecho marcado em vermelho na Figura 9 (backbone) é normalmente distribuído por via aérea, pois são segmentos de cabos que podem necessitar de substituições e/ou adições mais frequentes. O trecho em azul (cabeamento horizontal) é normalmente distribuído sob o piso elevado. A Figura 10 mostra um esquema de distribuição de cabeamento em datacenters de pequeno porte por caminhos aéreos, considerando que muitos datacenters pequenos não têm piso elevado. Figura 10 Caminhos aéreos de distribuição de cabeamento estruturado em data centers de pequeno porte Racks - MD/MDA (Switches, LAN, SAN, WAN) Conexões diretas entre o MD/MDA e a EO/EDA Gabinetes - EO/EDA (servidores, storage) Fonte: Marin (2013). Para apresentar exemplos de instalações reais, a Figura 11 mostra a distribuição de cabeamento em datacenters tanto sob o piso elevado quanto por caminhos aéreos. Figura 11 Exemplos de caminhos de cabos utilizados em datacenters a) Distribuição de cabeamento sob o piso elevado 101

104 Universidade do Sul de Santa Catarina b) Distribuição de cabeamento por caminhos aéreos Fonte: Marin (2016). Quando lançados por eletrocalhas aéreas, os pontos de fixação de seus suportes de sustentação devem ser tais que suportem o peso da estrutura e dos cabos colocados nela. O Quadro 3 traz parte das recomendações da norma norte-americana de projeto e melhores práticas de implementação quanto a isso. Quadro 3 Distâncias entre os suportes de eletrocalhas aéreas em função do empilhamento de cabos Distância entre suportes (mm) Empilhamento máximo de cabos na eletrocalha, altura (mm) Fonte: Marin (2016). As recomendações apresentadas na Quadro 3 são importantes, pois cabos de cobre são pesados e sua infraestrutura de suporte deve ser adequadamente dimensionada. Pergunta 05: A automação dos datacenters era feita por sistemas de automação prediais até recentemente, mas surgiram sistemas específicos, denominados DCIM. Quais suas recomendações a respeito? 102

105 Resposta: De fato, como a infraestrutura de um datacenter compreende alguns dos sistemas usualmente existentes em edifícios comerciais, como por exemplo, controle de acesso, CFTV, entre outros, alguns datacenters passaram a ser incluídos nos sistemas de automação e controle predial ou BACS (Building Automation and Control System). A questão, aqui, é que a infraestrutura do datacenter deve ser monitorada e controlada de forma dedicada e independente, ou seja, por meio dos sistemas DCIM. Portanto, para a garantia da manutenção dos níveis de disponibilidade requeridos pelos datacenters, a recomendação é a adoção de um sistema dedicado ao monitoramento da infraestrutura do datacenter (DCIM, Data Center Infrastructure Monitoring). A Figura 12 mostra um exemplo de parâmetros que podem fazer parte de um sistema DCIM. Figura 12 Parâmetros monitorados em um sistema DCIM Energia CFTV Controle de Acesso Temperatura Umidade Fumaça Presença Inundação Integração com sistemas Fonte: Marin (2016). Conforme mostrado na Figura 12, os parâmetros que podem ser monitorados, dentro da sala de computadores e/ou outros espaços críticos, são basicamente os seguintes: temperatura; umidade; fumaça; vazamento e inundação (sob o piso elevado). Além dos parâmetros físicos apresentados acima, outras funções podem ser monitoradas, como: utilização do espaço; segurança (imagens do sistema de vigilância eletrônica, controle de acesso etc.); 103

106 Universidade do Sul de Santa Catarina gestão de ativos; consumo de energia elétrica por quadros, PDUs, fase etc. Portanto, o principal objetivo de um sistema DCIM é oferecer ferramentas aos gestores de datacenters para que possam obter informações em tempo real sobre recursos utilizados e estados de sensores (de umidade, temperatura, presença, inundação etc.), de modo a atuarem nos diversos sistemas, quando necessário, e garantirem a segurança da infraestrutura e da operação. O uso de sistemas DCIM permite aos operadores o controle da eficiência energética do site. Uma ferramenta DCIM eficiente deve ser capaz de atuar nas camadas física e de aplicação e deve ser implementado por meio de hardware (equipamentos), dispositivos (sensores, câmeras, atuadores etc.) e uma plataforma de software. A Figura 13 mostra um esquema de implementação de um sistema DCIM. Figura 13 - Topologia típica de um sistema DCIM Tablet Mobile Computador IP Servidor Banco de Dados Controle de Acesso CFTV Bastidor de Energia Fumaça Temperatura Inundação Umidade Energia Presença Atuador Sensores Atuadores Fonte: Marin (2012). Portanto, um sistema DCIM é uma plataforma que combina software e hardware implementada em um datacenter para otimizar sua operação e integrar seus sistemas, como por exemplo: monitoramento da infraestrutura do site; monitoramento dos equipamentos ativos e da rede; gerenciamento dos espaços; otimização da operação, entre outros. 104

107 Com a adoção de sistemas DCIM eficientes pode-se monitorar o consumo de energia elétrica do site por racks, equipamentos, PDU, tomadas individuais etc. Isso pode ajudar muito para a medição da PUE e melhoria do consumo do site. A utilização e distribuição de sensores e atuadores de forma estratégica na infraestrutura do datacenter permite, por meio da avaliação dos dados obtidos, interferir no ambiente monitorado por meio de adoção ou mudança de procedimentos, bem como por meio de atuadores. Os sistemas DCIM, normalmente, contam com consoles que reúnem informações críticas sobre a infraestrutura do datacenter monitorado. Essas informações são normalmente apresentadas em forma gráfica para visualização imediata. A Figura 14 mostra um exemplo de tela principal de um sistema DCIM. Figura 14 Exemplo de tela principal de um sistema DCIM Fonte: Marin (2016). Na Figura 14 é possível ver, na tela principal do console DCIM, informações-chave da infraestrutura do datacenter, tais como PUE (Power Usage Effectiveness, eficiência de uso de energia elétrica) e ícones de sensores e atuadores instalados no datacenter, por meio dos quais o gestor pode obter informações detalhadas de cada um deles. As informações podem ser apresentadas em forma de relatórios e também de forma gráfica. A Figura 15 mostra um exemplo de representação gráfica de um datacenter, com ênfase na sala de computadores, em destaque na figura. 105

108 Universidade do Sul de Santa Catarina Figura 15 Exemplo de representação gráfica de um datacenter Fonte: Marin (2016). Entre as informações de suma importância, estão o gráfico termográfico, que mostra a distribuição de densidade de calor nos espaços, conforme mostra a Figura 16. Figura 16 Exemplo de gráfico termográfico Fonte: Marin (2016). Para finalizar, podemos resumir os objetivos do DCIM como: garantir a disponibilidade, a capacidade de gestão da infraestrutura e a economia de recursos. 106

109 A disponibilidade é garantida porque um sistema DCIM bem implementado é capaz de monitorar circuitos elétricos, consumo, balanceamento de fases, gerenciar ativos, identificar hot spots (do sistema de climatização), ajudar na segurança física do site, além de emitir alertas em tempo real e preparar ordens de serviço para o pessoal de manutenção, evitando, assim, a indisponibilidade do site. Pergunta 06: Falando agora da questão dos sinistros, sabe-se que não são aplicáveis os dispositivos de detecção e combate a incêndio convencionais. Que sistema então devemos utilizar? E como devem ser instalados? Resposta: Na verdade, não há especificações em normas técnicas para o sistema de detecção e extinção de incêndio em datacenters. Em outras palavras qualquer abordagem pode ser considerada para esse fim. O que acontece, na prática, é que determinados sistemas, dispositivos e métodos são mais adequados à infraestrutura de um datacenter, dada a criticidade de sua operação. Portanto, um sistema de proteção contra incêndio deve ter os seguintes elementos básicos: detecção: que pode ser de fumaça, calor e fogo; supressão: sistemas de extinção de fogo, que podem ser sprinklers (sistemas com água) ou gases inertes não inflamáveis (como o FM-200); alarme: o sistema de proteção contra incêndio deve acionar alarmes sonoros, bem como outros tipos (mensagens de texto via SMS, s etc.), em eventos de detecção de fumaça ou outro parâmetro monitorado que indique o princípio de um evento de incêndio; controle: inclui os sistemas de detecção, bem como meios de acionar avisos sonoros e visuais (alarmes), além de notificar o departamento pertinente e acionar sistemas automáticos de contenção do incêndio. A detecção de parâmetros que podem indicar o princípio de um incêndio pode ser feita por vários tipos de dispositivos. Os mais comuns são: detectores de fumaça por ionização; detectores fotoelétricos; dispositivos VESDA (Very Early Smoke Detection Apparatus, Dispositivo de Detecção Precoce de Fumaça). Os detectores de fumaça por ionização são dispositivos de baixo custo e menos sensíveis que os detectores VESDA, que operam com laser, são mais sensíveis e apresentam custo mais elevado. Em geral, os detectores iônicos necessitam de maior quantidade de fumaça para sinalizar a presença de fumaça no ambiente ao sistema de controle e acionar os alarmes; os detectores VESDA precisam de menor quantidade de fumaça para operar. A Figura 17 mostra um exemplo de detector iônico de fumaça. 107

110 Universidade do Sul de Santa Catarina Figura 17 Exemplo de um detector iônico de fumaça Fonte: Marin (2016). No que diz respeito à supressão de incêndio, os seguintes métodos têm sido mais comumente empregados em datacenters: sprinklers (chuveiros) de água em sistema pre-action; gases inertes. O sistema pre-action opera com água; porém, ao contrário de um sistema de extinção de incêndio convencional baseado em sprinklers, o pre-action mantém seco o encanamento que leva água aos sprinklers. O sistema fica em repouso e é controlado pela central de controle do sistema de detecção, alarme e extinção de incêndio utilizado. Quando há a detecção de fumaça, a central de controle dispara alarmes e aciona a bomba de água para levar água até os sprinklers. Se o sistema não for desligado, os sprinklers romperão devido ao aumento da temperatura do ambiente e a água presente no encanamento será liberada, com o objetivo de resfriar o ambiente e interromper o processo de queima. A Figura 18 mostra um exemplo de mecanismo pneumático pre-action. 108

111 Figura 18 Arranjo típico de um sistema pneumático de extinção de incêndio tipo pre-action Fonte: Marin (2016). O uso de gases inertes, especialmente o FM-200, é bastante comum em sistemas de proteção contra incêndio em datacenters. O sistema é normalmente composto por sensores de fumaça, uma central de controle, cilindros de gás FM-200 e uma válvula para a liberação do gás. Ao detectar um evento de incêndio, o sensor envia um sinal à central de controle, que executa as seguintes tarefas: dispara alarmes; atua no sistema de climatização, desligando a unidade CRAC e fechando dampers; abre as válvulas para a descarga do gás no ambiente em chamas. O disparo de alarmes tem como objetivo alertar o pessoal da brigada de incêndio e os ocupantes do edifício para evacuação imediata do local. O corte do sistema de climatização tem como objetivo interromper a circulação de ar, diminuindo a entrada de oxigênio no ambiente, o que ajuda a reduzir o incêndio. A liberação do gás FM-200 no ambiente preenche todo o espaço, impedindo a continuidade do fogo. A Figura 19 mostra um exemplo de sistema de detecção e combate a incêndio baseado em FM

112 Universidade do Sul de Santa Catarina Figura 19 Sistema de detecção e combate a incêndio com FM-200 Fonte: Marin (2013). Em casos de extinção de incêndio por FM-200, recomenda-se o shutdown (desligamento) do sistema elétrico para evitar novos focos de incêndio. Pergunta 07: Há uma preocupação grande quanto à segurança patrimonial em datacenters, por isso, há vários modelos de sistemas de circuito fechado de TV e controles de acesso. Há alguma especificação própria para datacenters? Esses modelos poderiam ser integrados aos sistemas DCIM? Resposta: Sim, é verdade que a segurança patrimonial é um dos itens de segurança mais críticos do projeto e operação do datacenter. Por isso, os sistemas de vigilância eletrônica são projetados e implementados para garantir que nenhuma área crítica do site fique sem monitoramento por câmeras de vídeo. Isso inclui praticamente todos os espaços do datacenter, internos e externos. A vigilância eletrônica do site é feita por meio de circuitos fechados de TV (CFTV), com câmeras que podem ser analógicas ou digitais. Essas são as mais comumente empregadas em datacenters e são do tipo IP (Internet Protocol). Os sistemas de vigilância eletrônica em datacenters devem apresentar as seguintes funções: a. permitir a segurança e o monitoramento de pessoas; b. centralizar o monitoramento de todas as imagens em um espaço ou sala de segurança; c. manter um registro visual das áreas monitoradas durante situações de alarme e acesso indesejado, ou mesmo em regime normal de acesso; 110

113 d. manter a gravação de evidências de ações criminosas como provas em caso de necessidade; e. manter gravações de imagens de áreas monitoradas e a atividade de seus ocupantes. A instalação das câmeras, suas resoluções, características em quadros por segundo, iluminação e outros critérios devem ser determinados por meio de uma análise prévia de risco. O posicionamento das câmeras deve ser feito levando em consideração a iluminação do local a ser monitorado para ser capaz de registrar de forma adequada as faces, os veículos, bem como as atividades que possam ser consideradas suspeitas ou mesmo corriqueiras da operação do site, para efeitos de análises posteriores. As câmeras de CFTV devem ser protegidas contra roubo e vandalismo, dependendo do ambiente no qual estão instaladas. Em ambientes críticos, as câmeras devem ter dispositivos de alarme em caso de desconexão acidental ou criminosa, e as câmeras IP podem utilizar o protocolo SNMP, ou outros, para acionar alarmes em caso de desconexão acidental ou criminosa da rede. As câmeras do sistema de CFTV em datacenters devem ser projetadas de modo a cobrir as seguintes áreas: a. áreas de circulação e acesso comum; b. espaços de serviço e manutenção; c. salas técnicas (sistemas mecânicos, telecomunicações e redes, cabines primárias, perímetros internos e externos); d. elevadores, escadas, corredores e halls; e. sala de computadores. É importante que o projetista considere a instalação das câmeras em locais que permitam o monitoramento adequado da área (ou áreas) de interesse, bem como que estejam fora do alcance de pessoas, no caso de instalação em áreas externas. A intensidade de luz para a eficiência do sistema de vigilância por câmeras é também um fator crítico (com exceção das câmeras infravermelho, que podem registrar imagens em ambientes escuros). A norma ANSI/BICSI 002 (2014) traz alguns requisitos quanto à iluminação de certos espaços do datacenter para a operação adequada de sistemas de vigilância eletrônica. Dentro da sala de computadores, as câmeras devem ser posicionadas de modo a cobrir todos os corredores da sala e oferecer visão de todos os racks e gabinetes, garantindo a cobertura das faces frontais e traseiras deles. O acesso à sala também deve ser monitorado pelo sistema de vigilância eletrônica tanto na entrada externa do espaço, quanto na interna. Em ambientes com requisitos mais restritivos em termos de segurança, pode ser necessária a instalação de uma câmera por rack ou gabinete. O projetista deve avaliar essa necessidade em conjunto com seu cliente. Para finalizar, o sistema de vigilância eletrônica pode fazer parte do sistema DCIM e é fortemente recomendado que assim seja. A centralização de todas as informações acerca da infraestrutura do site em uma única plataforma ajuda o gestor do site a manter um maior e melhor controle sobre todos os seus sistemas críticos. Além disso, com automação integrada ao sistema DCIM, alarmes e acionamentos de dispositivos podem ser comandados 111

114 Universidade do Sul de Santa Catarina diretamente por ele, garantindo, assim, respostas mais eficientes e eliminação de riscos de invasão e danos ao site. Pergunta 08: Para concluir, que outras recomendações, boas práticas e novas tendências tecnológicas você aconselha aplicar em datacenters? Resposta: Acredito termos coberto os aspectos envolvidos com a infraestrutura de datacenters de forma bastante detalhada ao longo dos questionários que compõem a entrevista concluída aqui. Para finalizar, gostaria de chamar a atenção ao que me parece uma tendência no que diz respeito à distribuição de cabeamento em datacenters. Embora eu não concorde com a utilização de sistemas sem normalização em substituição a sistemas normalizados, a topologia de cabeamento ToR (Top of Rack, Topo de Rack) vem sendo adotada de forma crescente em datacenters. A topologia ToR é caracterizada pela instalação de um switch no topo de cada gabinete da fila (switch ToR), na sala de computadores, para distribuir conexões de rede aos servidores, equipamentos de storage e, eventualmente, outros dispositivos e equipamentos instalados na área de distribuição de equipamentos do datacenter (EO/EDA). A Figura 20 mostra a topologia típica de distribuição ToR. Figura 20 Exemplo de topologia de distribuição ToR típica Enlaces ópticos Gabinete de Rede Switch ToR Switch ToR Switch ToR Enlaces ópticos Switches Core (distribuição principal) Gabinetes de Servidores Gabinetes de Servidores Gabinetes de Servidores Fonte: Marin (2016). Na topologia apresentada na Figura 20, há um gabinete de rede no qual são instalados os switches core da rede. As conexões entre eles e os switches ToR são normalmente feitas com fibras ópticas, e as conexões entre os switches ToR e os equipamentos de TI são feitas com patch cords metálicos (cobre). Ainda, conforme mostrado na mesma figura, quando utilizada a topologia ToR de distribuição de cabeamento no datacenter, a topologia normalizada de 112