GRUPO XVI GRUPO DE ESTUDO DE SISTEMAS DE INFORMAÇÃO E TELECOMUNICAÇÕES PARA SISTEMAS ELÉTRICOS - GTL

Transcrição

1 SNPTEE SEMINÁRIO NACIONAL DE PRODUÇÃO E TRANSMISSÃO DE ENERGIA ELÉTRICA GTL a 21 Outubro de 2005 Curitiba - Paraná GRUPO XVI GRUPO DE ESTUDO DE SISTEMAS DE INFORMAÇÃO E TELECOMUNICAÇÕES PARA SISTEMAS ELÉTRICOS - GTL IMPLANTÇÃO DE UM NOVO BACKBONE IP NO AMBIENTE DE UMA COMPANHIA DE ENERGIA ELÉTRICA - COPEL Aloivo Bringel Guerra Junior * Jefferson Augusto Soletti Marcio Luis Ferreira Miguel COPEL TELECOMUNICAÇÒES COPEL TELECOMUNICAÇÕES COPEL TELECOMUNICAÇÕES RESUMO A crescente necessidade de infra-estrutura de redes cada vez mais tolerantes a falhas, com alta capacidade de expansão de tráfego e com recursos sofisticados para atendimento de uma nova geração de serviços impulsionados por aplicações de clientes cada vez mais exigentes, levou ao estudo e implantação de um nova solução de rede dentro da Copel. Apresentamos nesse trabalho as motivações que levaram a implantação de um nova plataforma de rede, apresentaremos alguns parâmetros que direcionaram os equipamentos que deveriam compor esta arquitetura e as principais modificações entre a arquitetura de redes existentes para o novo modelo. PALAVRAS-CHAVE MPLS, VPN, Backbone, Distribuição, Resiliência, POPs INTRODUÇÃO Os autores deste trabalho atuam na área de telecomunicações da Copel, especificamente na área de engenharia de transmissão e comutação. Para um maior entendimento da evolução da nova plataforma é necessário o conhecimento básico da arquitetura legada, que possui a seguinte composição principal: switchs ATM (Modo de transferência assíncrono) no core da rede da Copel, roteadores IP de grande capacidade junto a estes switchs para realizar o roteamento de pacotes e na camada de acesso switchs e roteadores de menor capacidade para servir como ponto de acesso e conexão dos clientes. Para cada novo cliente que necessitava de uma conexão a rede uma quantidade complexa de configurações eram realizadas para prover o serviço a este cliente. O gerenciamento era também complexo e ineficiente, com isto a dificuldade de comercialização de serviços em grande escala também passou a ser um fator motivador para uma possível migração de plataforma. Algumas limitações na arquitetura utilizada eram claras, como o overhead excessivo causado pela tecnologia ATM utilizada, e também uma grande deficiência em termos de capacidade de desempenho era sentida tanto nos equipamentos da rede de Backbone composta pelos switchs ATM que trabalhavam em camada 2, como nos roteadores que sustentavam a camada IP deste backbone. Algumas deficiências na capacidade nominal das interfaces quando estressadas na capacidade de comutação dos pacotes tornavam o sistema bastante limitado. Em resumo, tínhamos a seguinte situação a ser enfrentada na área de redes: *Rua José Izidoro Biazetto, Bloco A - CEP Curitiba - PR - BRASIL Tel.: (041) Fax: (041) aloivo.guerra@copel.com

2 2 Necessidade de ampliação. Alto investimento numa plataforma que já estava mostrando sinais de instabilidade e limitações. Custo elevado para gerenciamento e manutenção da plataforma existente. Confiabilidade em descrédito, limitando a motivação dos técnicos em continuar investindo nesta solução. Dificuldade de exploração de novos serviços que necessitavam de uma rede com capacidade de parametrização de qualidade de acordo com as novas aplicações existentes. Sobreposição de endereçamento com grande dificuldade operacional. Apresentação de pontos de falha desnecessários em função da centralização do tráfego para exploração de alguns serviços. O atendimento dos serviços de rede seguiam algumas configurações, onde a conexão dos clientes de baixa velocidade era realizada através de roteadores IP, utilizados principalmente na camada de distribuição para acesso de clientes em canais de até 2Mbit/s, eles eram conectados em 10Mbit/s e 100Mbit/s aos switchs ATM que suportavam o tráfego regional da Copel, ficando a estrutura de acesso de 10Mbps em ethernet, principalmente para os switchs Ethernet que conectavam em 34 Mbit/s aos comutadores de backbone ATM que tinham uma capacidade de tráfego em anel de 155 Mbit/s e de 34 Mbit/s. Em função da complexa estrutura de atendimento apresentada, após vários estudos, identificou-se o desenvolvimento de novas tecnologias que possibilitavam várias melhorias, como a simplificação no modelo de atendimento de serviços, a simplificação da conectividade dos equipamentos de rede com a plataforma de sistema de transporte SDH (Hierarquia Digital Síncrona) e de distribuição como PDHs, Mux e Cross Conects e a multiespecialização dos equipamentos que passaram a suportar uma gama enorme de novos recursos para exploração de serviços de última geração ARQUITETURA DE REDE DA COPEL A COPEL possui uma infra-estrutura de rede que suporta toda a necessidade de comunicação de dados corporativa e também de clientes externos. Esta infra-estrutura de rede atual é suportada pela infra-estrutura de fibras ópticas e também pelo sistemas que compõe a plataforma de transporte (SDH). Abaixo apresentamos um diagrama de como esta infra-estrutura está suportada na plataforma legada e também na nova plataforma Rede IP Arquitetura Antiga Interface Ethernet Equip. Ethernet ATM SDH Rede IP Fibra Óptica FIGURA 1 Comparação entre as arquiteturas de rede. Arquitetura Nova Interface Ethernet Gigabit Ethernet MPLS SD H Fibra Óptica Gigabit Metropolitana A estrutura de rede adotada pela Copel, foi a utilização da tecnologia Ethernet em todos os locais onde a sua implantação fosse possível, particularmente nas chamadas redes Metro (Metropolitanas). Esta escolha foi adotada em função da simplicidade, dos custos e principalmente da demanda existente para este tipo de serviço. Outra tecnologia adotada foi a de IP/MPLS (Multiprotocol Label Switching) que se mostrava madura e principalmente eficiente para as necessidades estratégicas de prestação de serviços da empresa. Ela poderia preencher a lacuna da rede de longa distância, deixada pela tecnlogia ATM, fornecendo suporte para a comunicação regional e exploração de serviços de última geração. A tecnologia MPLS supri as grande deficiência existentes na combinação das tecnologias IP sobre ATM, ela surgiu em 1996, onde seu foco era tratar do novo paradigma no mundo IP, que era a comutação IP. O uso de MPLS para transportar diversos protocolos, principalmente o IP, era o desejo das grande operadoras de rede, em função da motivação das aplicações que esta tecnologia permite explorar, dentre as aplicações mais importantes, relacionamos: Engenharia de Tráfego.

3 3 Serviço com banda garantida. Rápida reconvergência em caso de falha de links (FRR Fast reroute). MPLS VPNs (Redes Privadas). Suporte aos recursos de Classes de Serviço (CoS) com mecanismos de priorização de tráfego através de marcação de pacotes DiffServ code point (DSCP) e do tratamento adequado dos pacotes para os clientes. AtoM Transporte de vários protocolos sobre MPLS, como ATM, Frame Relay e Ethernet ASPECTOS ESTRUTURAIS DA NOVA REDE A nova rede da Copel foi projetada em duas estruturas distintas e integradas, que são as plataformas de rede Metropolitana, que possuem a função clara de acesso metropolitano aos serviços a serem disponibilizados dentro das cidades, e a plataforma de rede IP/MPLS regional, onde através de equipamentos roteadores de alta capacidade foi possível a interligação das redes metropolitanas. Tanto a rede metropolitana como o backbone regional IP/MPLS, possuem uma capacidade de serem ao mesmo tempo core (backbone parte central) de uma rede e distribuidores de acesso a clientes o que facilita a capilaridade e ampliação de todo sistema. Alguns pequenos POPs, conhecidos como mini-pops foram projetados para serem apenas distribuidores, nestes locais, roteadores de menor capacidade com MPLS, estão sendo instalados e interligados ao backbone Regional através de interfaces de nx2mbit/s com balanceamento de carga para futuras expansões. Alguns equipamentos com finalidades de ampliação de serviços, como controladores de banda, switchs com recursos de streaming de vídeo, equipamentos de segurança para prever e até conter possíveis ataques a rede também foram adquiridos, para que toda estrutura pudesse ser explorada e novos serviços configurados. A gerência para todo o sistema foi contratada e é assunto a ser tratado em outro trabalho deste mesmo evento. A figura abaixo, ilustra claramente a interligação das estruturas de redes mencionadas acima, bem como a interligação dos sistema óptico para atendimento dos pequenos POPs de distribuição. FIGURA 2 Apresentação das interconexões dos POPs CRITÉRIOS UTILIZADOS NA DEFINIÇÃO DE PLATAFORMAS A COPEL, sempre acreditou na plataforma Ethernet como solução de acesso para os clientes, o que auxilio bastante na escolha dos equipamentos da rede metropolitana e IP/MPLS, além disto, a Copel já tinha experiência na aquisição de equipamentos de rede, pois já era prestadora de serviços de rede para diversos setores

4 4 produtivos da sociedade paranaense. Estas definições e experiências, juntamente com as limitações principalmente da capacidade de gerenciamento, expansão e estabilidade dos sistemas que faziam parte da antiga rede, auxiliaram na busca das novas soluções que foram sustentadas por uma série de parâmetros importantes para a construção de uma plataforma estável, moderna e com um alto nível de exigência de performance. Relacionamos alguns destes parâmetros ou critérios utilizados na avaliação desta nova plataforma. Sistema Operacional Modular Uma das grande preocupações com os equipamentos que deveriam compor a nova rede era com a capacidade do sistema operacional de permitir a modularidade de processos, onde a paralização e reinicialização de um processo não interfere na execução de outros processos. Padronização para Interoperabilidade Implementação de protocolos padronizados pelos diversos órgãos competentes, facilitando uma interoperabilidade futura com outras plataformas. Redundância nos módulos de Comutação e Controle Equipamentos com este tipo de implementação permitem uma maior disponibilidade e tolerância a falhas, pois no caso de falha num módulo de comutação ou controle o outro módulo assume sem intervenção operacional. Processamento non-blocking Wirespeed Critério para garantia de performance, com relação as interfaces contratadas e que futuramente serão adquiridas. Limitação dos número de endereços MACs (Endereço da placa Ethernet) gerenciados pelo equipamento Em função da arquitetura de serviços que a Copel comercializa, existe uma preocupação especial com este item. Capacidade de Expansão dos equipamentos para a demanda avaliada para os próximos anos Verificação da modularidade pretendida, garantindo uma plataforma também para o futuro. Equipamentos com inteligência para exploração de novos serviços ou serviços de última geração Vários serviços estão em desenvolvimento, portanto a solução adotada deve ter flexibilidade e agilidade no processo de implementação dos requisitos para a comercialização de serviços de última geração. Equipamentos com recursos de segurança, com capacidade de detectar e suportar os diversos tipos de ataques que toda rede pública desta magnitude é capaz de sofrer. Os equipamentos necessitam ter alta capacidade de comutação mesmo quando os mecanismos de segurança estão ativos, isto permite uma maior tranqüilidade operacional nos momentos críticos de tentativas de violação dos sistemas, fato este que ocorre com freqüência em Infranets (Infra-estrutura de redes) públicas como a da Copel. Equipamentos com capacidade de atender as necessidades de acesso na forma em que a Copel estava ser propondo a chegar até o cliente em sua última milha (principalmente fibra óptica). A utilização dos gateways dos clientes dentro dos equipamentos da Copel, que assumem toda a função de roteamento, ou mesmo a facilidade de conectividade e operabilidade com as redes Metro é um ponto de muita importância. A solução tem que ser totalmente funcional e integrada para ter a qualidade de serviço desejada. Equipamentos que possuíssem recursos de construção de redes para os clientes, sobrepondo questões de endereçamento através das VPNs (Redes Virtuais). O endereçamento é um problema das redes IPs e a estrutura IP/MPLS através do suporte as VPNs resolve estas questões, mas todos estes recursos devem seguir normas e padrões, evitando soluções proprietárias que possam prejudicar o futuro dos serviços a serem prestados pela Copel IMPLANTAÇÃO O projeto foi dividido em fases, onde as fases iniciais foram a instalação dos equipamentos roteadores de backbone, nos grandes centros e a implantação das redes metropolitanas nas grandes cidades. A fase seguintes, que está ocorrendo agora, será a instalação dos equipamentos roteadores de distribuição e a extensão das redes metropolitanas para as cidades menores juntamente com a instalação de equipamentos de serviços específicos. A Copel realiza o processo de fiscalização na implantação da infra-estrutura dos equipamentos que é realizada por empreiteiras contratadas, esta atividade tem se mostrado de fundamental importância para todo o sucesso deste projeto.

5 5 Toda implantação é devidamente sincronizada com a ampliação da capacidade dos sistemas SDH, onde se interligam as interfaces dos equipamentos roteadores, com a expansão da planta de backbone óptico e com a própria infra-estrutura de fibra nas cidades para conexão das redes metropolitanas. Portanto, apesar deste artigo tratar da nova rede IP da Copel, deve-se ficar claro o enorme esforço das outras áreas que também tiveram que realizar inovações, ampliações e até construções para dar suporte a esta nova rede. Abaixo, relacionamos resumidamente um pouco do cronograma de implantação dos sistemas, para um melhor entendimento das fases do projeto. 5.1 Fases do projeto do backbone IP regional e Metropolitano Estudos e testes das soluções candidatas a compor a nova rede. Estudo da integração das funções de backbone e distribuição num mesmo equipamento. Estudo dos principais locais de instalação dos equipamentos. Definições com a Engenharia de Transmissão do cronograma de obras. Definições com a Engenharia de sistemas do cronograma de ampliação dos sistemas. Definições com a Engenharia de infra-estrutura do cronograma de construção e reformas. Definição do cronograma de implantação. Processo de licitação dos equipamentos. Contratação das empreiteiras para realização dos serviços de implantação. 5.2 Fases de Implantação da extensão de pontos do backbone IP/MPLS e Metropolitano fora do anel Verificação do cronograma definido na fase anterior. Avaliação da logística a ser realizada junto as empreiteiras. Ativação das empreiteiras para realização do trabalho. Início do processo de instalação. Implantação dos diversos POPs e testes. Disponibilização do novo POP para área de operação e para gerência do sistema. Ativação de novos clientes no POP disponibilizado. 5.3 Fases de Implantação da estrutura de distribuição (mini-pops) Verificação do cronograma definido na fase 5.1. Avaliação da logística a ser realizada junto as empreiteiras. Verificação se a infra-estrutura básica está disponível. Ativação das empreiteiras para realização do trabalho. Início do processo de instalação. Implantação do diverso POPs, através da atualização das diversas configurações e sistemas. Realização de testes. Disponibilização do novo POP para área de operação e para gerência do sistema ESTRUTURA FÍSICA DA REDE E MODELO DE PROTEÇÃO E REDUNDÂNCIA O backbone IP/MPLS é interligado nos grande centros as redes Gigabit Ethernet por interfaces de 1Gbit/s e a sua interligação regional é sobre interfaces stm-4 (622Mbit/s) do próprio SDH. Abaixo apresentamos um gráfico das interligações e de toda estrutura da rede da Copel e a sua distribuição.

6 6 FIGURA 3 Visão geral da nova rede IP/MPLS. Uma rede de dados possui uma importância fundamental dentro de uma companhia de energia elétrica, é por ela que passam todas as informações fundamentais da empresa, atualmente muitas gerências de subestações trafegam por uma rede de dados, muitas aplicações como voz e vídeo trafegam por esta rede, necessidades de atendimento a consumidores que devem ser disponibilizadas em tempo real também utilizam esta rede, enfim, uma infinidade de aplicações críticas e que muitas vezes são responsáveis por definir a imagem dos consumidores junto as empresas deste setor, que precisam sempre ter as informações disponíveis em tempo real e as aplicações seguras contra falhas. Este rede foi concebida, com esta preocupação juntamente com o conceito de resiliência, associado a caminhos alternativos de comunicação, sejam nos equipamentos de camada 2 ou nos gateways de camadas 3 dos clientes. Este nível de proteção é possível pela capacidade de conectividade dos equipamentos que a Copel possui e também pelos mecanismos de proteção suportados por diversos protocolos, todos este recursos estão presentes nesta nova rede, para exemplificar isto, devemos verificar alguns pontos: Proteção no backbone regional O backbone regional é protegido pelo sistema de proteção APS do SDH, que ao identificar uma falhas encaminha o tráfego por caminhos alternativos, pois é construído em anel. Além desta proteção existe a proteção lógica na camada de roteamento, onde ao identificar a queda de uma interface, todo roteamento é modificado para outras interfaces, pois todo o backbone IP/MPLS foi concebido em anel suportando os diversos protocolos com rápida reconvergência de pacotes, tornando as falhas ma maioria das vezes imperceptíveis para os clientes. Nas grandes cidades, existe uma dupla abordagem de equipamentos, ou seja, em caso de falha todos os clientes são migrados para o outro equipamento. Proteção do backbone metropolitano O backbone metropolitano não possui o suporte do sistema SDH, mas possui protocolos que tratam a reconvergência automática, pois também estão em anel. No caso de equipamentos que possuam clientes conectados nesta camada, existe sempre nos grandes centros uma dupla abordagem para os principais pontos, onde trafegam as principais informações da companhia e dos clientes. Desta forma neste novo backbone existe um nível de disponibilidade muito alto, onde todos os esforços e investimentos foram realizados para alcançar este objetivo, que é um dos principais motivadores desta nova rede.

7 CONCLUSÃO Do ponto de vista de atendimento, houve uma melhoria nos serviços prestados de uma forma muito significativa, o portifólio de serviços cresceu juntamente com a satisfação dos clientes e o aumento da demanda por novos serviços são indicativos de que a solução de rede adotada foi adequada. Do ponto de vista da manutenção e operação da rede, ficou mais fácil a integração com a rede SDH e a ativação dos clientes também passou a ser mais ágil. O aumento da confiabilidade na rede permite a exploração de aplicações com tratamento de tráfego crítico, esta confiabilidade se deve muito a infra-estrutra de comunicação existente, mas também aos protocolos implantados em todo sistema. Após as fases de implantação com sucesso desse projeto, pode-se verificar vários benefícios para as diversas áreas da empresa e também para a comunidade externa, que passou a visualizar a COPEL também como uma das excelente prestadora de telecomunicações do Brasil e uma das melhores opções de infra-estrutura de serviços de rede do país REFERÊNCIAS BIBLIOGRÁFICAS (1) Manuais de fornecedores de roteadores MPLS. (2) Especificações Técnicas COPEL 2003 para equipamentos roteadores MPLS. (3) Especificações Técnicas COPEL 2003 para equipamentos switchs Gigabit Ethernet (4) OSBORNE, E. e SIMHA, A. Engenharia de tráfego com MPLS. São Paulo: Editora Campus, (5) IETF (The Internet Engineer Task Force). RFC-3031-Multiprotocol Label Switching Architecture Disponível em: < Acesso em 14 de Dezembro de (6) IETF (The Internet Engineer Task Force). RFC BGP/MPLS VPNs Disponível em: < Acesso em 10 de Dezembro de (7) IETF (The Internet Engineer Task Force). RFC-2917 A Core MPLS IP VPN Architecture Disponível em: < Acesso em 10 de Dezembro de (8) The ATM Forum. ATM Technology Disponível < Acesso em 20 de Outubro de 2004.