Sistema de Disaster Recovery do Centro de Operação da Enersul Aluísio de Barros Leite Empresa Energética do Mato Grosso do Sul - ENERSUL Brasil Gustavo Castilho Merighi Empresa Energética do Mato Grosso do Sul - ENERSUL RESUMO O referido artigo expõe a arquitetura sistema SCADA do Centro de Operação da Enersul, com a sua topologia preparada para uma contingência, alternando o local de operação para um edifício distinto, ainda assim interligado ao principal, entretanto com a possibilidade de operação totalmente independente um do outro, caracterizando assim o Sistema de Disaster Recovery. O trabalho ainda explica toda a dualidade de software, hardware e da rede de comunicação, desde o sistema SCADA (Scatex/EFACEC), com o site principal e o backup até a interligação com as Subestações e suas unidades terminais remotas, sempre com a idéia de redundância. PALAVRAS CHAVE Centro de Operação do Sistema, Disaster Recovery, Sistema de Supervisão e Controle, SCADA. Aluísio de Barros Leite - aluisio.leite@enbr.com.br
Introdução A Enersul é uma empresa estratégica para o desenvolvimento e integração do Estado do Mato Grosso do Sul e distribui 3.273 GWh com um total de 710 mil clientes. Sua área de concessão corresponde a 92% do território sul-mato-grossense, ou seja, 328.316km², atendendo 73 municípios do total de 78 municípios do estado do MS, abrangendo uma população de 2,14 milhões. A ENERSUL vem desde o início da década de 90 adotando como ferramenta primordial na operação em tempo real a utilização de um Sistema de Supervisão e Controle (SSC) permitindo o telecontrole de suas instalações. A privatização da empresa no final de 1997 impulsionou os investimentos no intuito de ampliar a atuação do SSC, atualizar hardware e software, bem como adotar tecnologia mais atual. Novos investimentos também aconteceram na ampliação do parque de UTR s, e substituição das antigas, por melhores e digitalizadas. Hoje das 90 Subestações da área de concessão da Enersul, apenas 1, que é uma Subestação de Compensação em 34,5kV, não é telecomandada. Ainda há 2 Subestações Móveis e mais de 300 Religadores de Distribuição telecomandados. Em face do atual nível de dependência da supervisão que a empresa se encontra, onde as subestações são quase que integralmente desassistidas, torna-se necessário uma alta disponibilidade do sistema para a operação. Frente a isto se desenvolveu o sistema de Disaster Recovery da Enersul para eliminar ao máximo a falta de operabilidade do Sistema Elétrico da Enersul. 1. Disaster Recovery O termo Disaster Recovery significa a recuperação em caso de desastre. Devido a dependência das empresas cada vez mais pela tecnologia, esta se tornou fundamental para o controle, a produção, a manutenção da qualidade de serviços e produtos. Assim são montados grandes Centros de Processamentos de dados. Caso estes venham a ter as suas atividades interrompidas, por causa de um desastre natural e ou pane de infra-estrutura, esta interrupção vai provocar grandes perdas financeiras, paralisações de serviços públicos essenciais. Apesar do risco, a maioria das empresas não investe neste serviço, contudo as perdas financeiras provenientes de uma paralisação por mais de 24 horas dos serviços de uma empresa que dependem da área de tecnologia, será extremamente comprometedor. 2. Arquitetura do Sistema SCADA/Scatex Sendo o SCATEX um sistema que assenta numa arquitetura modular e escalável, permite uma elevada performance e flexibilidade. A modularidade da arquitetura do SCATEX EMS é efetiva, não só ao nível de hardware como, também ao nível de software. Assim, é possível definir a atribuição das funções que devem executar em cada máquina. A arquitetura do sistema é baseada em redundância dos equipamentos essenciais a supervisão, e do próprio site de operação, atingindo um nível mais amplo de redundância. Com isso foi planejado a utilização de dois sites de operação: o Site Principal e o Site de Contingência. 2.1. Site Principal O site principal está localizado no Centro Operacional da Sede Administrativa da Enersul. É neste local onde se encontra o COS e COD da Enersul e os equipamentos do sistema SCADA. Além dos despachantes, toda a área de Operação é dependente do sistema de supervisão e controle, seja para consultar ocorrências do sistema, fazer análises gráficas e realizar estudos sobre o sistema elétrico. 2
Os servidores do sistema levam a cabo as principais tarefas de processamento de dados. Estes atuam como fontes de referência de informações para todo o sistema. O sistema operacional utilizado é o HP True64 UNIX, com a base de dados Oracle 9i. Possuem configuração duplicada do tipo hot-standby. O tempo de comutação entre os servidores é de poucos segundos. O servidor principal é quem disponibiliza as janelas de acesso para os postos de operação do COD e COS. Além dos servidores existem os Front-Ends de comunicação, que são um conjunto de software e hardware responsáveis pelas interfaces dos links de comunicação com as UTR s, através de porta RS-232 ou porta Ethernet (protocolo UDP). Os Front-ends de comunicação tem como base plataformas do tipo PC industrial com sistema operativo Windows XP. Cada Front-end é uma unidade independente e versátil, com capacidade para gerir até 64 canais distintos, suportando diversos meios de comunicação e múltiplos protocolos. Os protocolos utilizados pela Enersul são o IEC-60870-5-101 e DNP 3.0. Para garantir um elevado grau de adaptabilidade às infra-estruturas de comunicação existentes, o sistema permite ainda a sua instalação remota. São capazes de gerir canais duplicados, para além de ser possível definir configurações redundantes ao nível de cada unidade, também na filosofia do tipo hotstandby. A interface de utilizador, também designada por Interface Humana Máquina (IHM), oferecida pelo sistema, é completamente gráfica, multi-janelas e amigável. Esta interface é suportada por postos de operação baseados em Workstations e/ou computadores do tipo PC. Cada posto suporta a utilização de múltiplos monitores até um máximo de 3. Numa configuração base, os postos de operação realizam apenas as funções associadas ao processamento gráfico, residindo toda a informação nos servidores do sistema. Figura 1: Arquitetura SCADA do Site Principal Além dos servidores, postos de operação e front-ends, pode-se ver na figura acima, o Watchdog do sistema, que complementa as funções de auto-supervisão, próprias de cada elemento do sistema, monitorando seus estados funcionais. O servidor de arquivos históricos SAH, responsável pelo armazenamento das ocorrências e medições do sistema. E o link da rede externa através de Firewall para acesso aos dados armazenados no SAH, onde a área de operação pode consultar tudo o que for registrado pelo sistema de 3
supervisão. Tais elementos são fundamentais para o funcionamento do sistema SCADA, porém neste artigo tem o seu conteúdo dispensável a um maior aprofundamento. Através da Figura 1, observar-se que os equipamentos essenciais ao sistema possuem conexão com duas redes LAN dos switches em paralelo, para que haja a duplicidade em sua topologia. Ambas as redes possuem categoria 6 e velocidade de 1Gbps. 2.2. Site de Contingência Um plano de contingência tem a finalidade de descrever as ações e medidas a serem tomadas por uma empresa para que seus processos vitais não sejam interrompidos por eventuais desastres que possam vir a ocorrer. Os incidentes mais comuns são enchentes, incêndios, rebeliões, greves, energia, vírus, atentados terroristas, acidentes e erros humanos. Em caso de uma contingência deve-se reestabelecer o pleno funcionamento das atividades, ou um estado mínimo aceitável a continuidade dos serviços, o mais rápido possível. Para isto a Enersul criou o seu site de contingência, que foi instalado em uma subestação localizada a dezesseis quilômetros do site principal, interligados através de fibra óptica redundante, atualizado constantemente e automaticamente, e com a mesma estrutura do site principal, a fim de assumir todas as suas atividades em caso de uma contingência, recuperando a operacionalidade do sistema elétrico. A arquitetura do site de contingência é praticamente a mesma do site principal, conforme a figura abaixo. Contém dois servidores com o mesmo sistema hot-standby. Os Front-ends de comunicação estão configurados como standby dos alocados no site principal. Estão disponíveis quatro postos de operação, sendo 2 para o COS e os outros 2 para o COD. Figura 2: Arquitetura SCADA do Site de Contingência Quando da necessidade de transferir a operação para o site de contingência, é preciso realizar algumas configurações manuais nos servidores, para que eles possam assumir o trabalho primordial a supervisão. Isto deve ser alterado, devido ao fato de no dia a dia o site de contingência trabalhar como sendo um posto distribuído, ou seja, um posto de operação avançado que possui base de dados e telas atualizados em tempo real, e permite o lançamento de novas janelas de operação a outros postos com processamento local. Este 4
serviço manual pode ser realizado em pouco tempo o que não prejudica o restabelecimento do sistema SCADA. 2.3. Unidade Terminal Remota A unidade terminal remota (UTR) é responsável por realizar funções de aquisição de dados e controle remoto, concentrando as informações oriundas de relés de proteção, sensores de campo, CLP s, etc. É com a UTR que o sistema SCADA troca informações e executa comandos através dos protocolos de comunicação. O restabelecimento do link entre os front-ends e as UTR s, acontece através da rede Ethernet com encapsulamento em UDP. Como a Enersul possui diferentes fornecedores de UTR s, há casos em que o equipamento não possui conexão Ethernet e para isso, é utilizado um conversor serial (RS-232) para Ethernet (RJ-45). Ethernet Ethernet Serial Front-End Rede de comunicação Conversor UTR Relés s de Proteção Figura 3: Arquitetura UTR O conversor serial/ethernet é configurado para responder a dois front-ends, o principal e o standby localizado no site de contingência. Com esta filosofia podemos tornar redundante também a rede de comunicação (item 3), e desta maneira aumentar ao máximo a disponibilidade do sistema de supervisão e controle. 5
3. Arquitetura da rede de comunicação Inicialmente, a rede de dados foi concebida para fornecer alta disponibilidade e redundância entre o site principal (Bloco 12 no Centro Operacional) e o site de contingência (Subestação), conforme diagrama abaixo: Figura 4: Interligação dos sites A comunicação entre o site principal e o de contingência é feita através de fibra óptica com a velocidade de 1 Gbps, conectada diretamente aos switches. Se essa conexão principal falhar o protocolo Spanning Tree fará a convergência para o link de 2 Mbps via SDH. Essa comunicação redundante possui dois caminhos alternativos, um através de fibra óptica e outro através de rádio. Com a viabilidade do encapsulamento do protocolo IEC/DNP no pacote UDP do TCP/IP, foi possível disponibilizar a conectividade entre os equipamentos com saída serial e ethernet em todas as subestações, de acordo com o exemplo abaixo: A comunicação entre o site principal e o de contingência é feita através de fibra óptica com a velocidade de 1 Gbps, conectada diretamente aos switches. Se essa conexão principal falhar o protocolo Spanning Tree fará a convergência para o link de 2 Mbps via SDH. Essa comunicação redundante possui dois caminhos alternativos, um através de fibra óptica e outro através de rádio. Com a viabilidade do encapsulamento do protocolo IEC/DNP no pacote UDP/IP, foi possível disponibilizar a conectividade entre os equipamentos com saída serial e ethernet em todas as subestações, de acordo com o exemplo abaixo: Figura 5: Encapsulamento em UDP 6
A segunda etapa do projeto contemplou a implementação da redundância (alta disponibilidade) entre os sites principal/contingência com as regiões sul e norte, como mostra o diagrama exposto: Figura 6: Rotas de Comunicação Os roteadores dos sites principal e de contingência respondem por um único endereço IP (lógico) através do protocolo HSRP. Na falha de um, o outro assume imediatamente, pois estão na mesma sub-rede dos computadores. A conexão desses sites com os das regiões sul e norte são feitas através de rádio e fibra, sempre com caminhos alternados para fornecer alta disponibilidade com redundância. Os canais da rede WAN são de 2 Mbps, utilizando o protocolo PPP. Quando um site ficar inacessível o protocolo de roteamento altera a direção do tráfego das informações automaticamente sem haver a necessidade de intervenção humana. O próximo passo será em disponibilizar redundância entre as regiões sul e norte com as subestações remanescentes/locais. 7
4. Contingênciamento O sistema de supervisão e controle está disponível 24 horas por dia, 365 dias por ano, portanto não se pode programar paradas, nem deixar que as eventuais aconteçam. Isto significa que não deve haver falhas, que seja de software ou hardware. Então o sistema é redundante em toda a sua topologia, e está apto a suportar contingências em vários níveis do seu processo. 4.1 Falha do servidor principal; Em caso de falha no servidor principal, o servidor em standby assume suas funções em uma comutação automática, onde as janelas de logins do servidor principal nos postos de operação são fechadas e as novas janelas são abertas. Também as comunicações com as UTR s são reinicializadas, devido ao redirecionamento para o novo servidor mestre. Assim que o watchdog detecta a falha do servidor, a comutação é instantânea. 4.2 Falha no Front-End de comunicação; Na falha do Front-End principal, o reserva também tomará frente da comunicação com as UTR s. O watchdog também realiza esta comutação automaticamente, onde para o operador será interrompido a supervisão apenas das UTR s configuradas naquele Front- End, e ainda assim em um tempo não superior a 30 segundos. Vale lembrar que na arquitetura, os Front-Ends reservas estão alocados no Site de Contingência que está interligado com o principal. 4.3 Falha de uma das redes LAN; Como visto na arquitetura de ambos os sites, os equipamentos essências do sistema de supervisão estão conectados por duas placas LANs em dois switches diferentes. Portanto no caso de defeito em um dos switches, todo o tráfego de dados é alternado para o segundo switch. Esta ação é automática e imperceptível aos operadores. 4.4 Falha no roteamento da comunicação com as UTR s; Segundo o item 3, pode-se observar que as rotas com as UTR s são redundantes, com isso o sistema de supervisão pode alternar a comunicação com as mesmas de acordo com a topologia da rede de comunicação, devido a seus roteadores e seus switches. É possível interrogar as remotas tanto pelos Front-Ends do Site Principal quanto de Contingência, alternando entre as rotas da Região Norte e da Região Sul, conforme visto na figura 6. O tempo de comutação das rotas não é superior a 30 segundos. 4.5 Falha total do site principal. Finalizando o último estágio de contingenciamento, este leva em consideração uma avaria gravíssima no Site Principal, onde o restabelecimento seja demorado ou até impossível. Para este caso toda a operação é deslocada para o Site de Contingência, onde já foi visto anteriormente que o mesmo possui a mesma estrutura que torna possível a sua operação independentemente do Site Principal, porém mantendo as suas características operacionais. Neste procedimento é necessária a intervenção manual para habilitar o Site de Contingência como Principal. Este tempo é estimado em 10 minutos. 8
5. Conclusão Neste informe dispusemos de toda a arquitetura do sistema de supervisão e controle da Enersul, e das maneiras de sobrepor às falhas que possam ocorrer e assim atrapalhar o processo de operação das subestações. Portanto com essa característica do sistema, tornase o processo de supervisão das subestações da área de concessão da Enersul, com um alto nível de disponibilidade para a área de operação, trazendo um máximo de tempo possível sem haver interrupção e uma grande confiabilidade na operação do sistema elétrico. BIBLIOGRAFIA [1] Ricardo Lobão, "Disaster Recovery Sua Segurança em caso de Desastre", 2009. [2] EFACEC Sistemas de Eletrônica, S.A., "SCATEX EMS Descrição Técnica", 2006, pp. 7-9. [3] Wikipédia, "Plano de Contingência", 2009. 9