Implementação de Storage de Rede e Infraestrutura Redundante, para Implementação de Ambiente Virtualizado. Robson Cley da Costa Mendonça.

Transcrição

1 Implementação de Storage de Rede e Infraestrutura Redundante, para Implementação de Ambiente Virtualizado. Robson Cley da Costa Mendonça Pós Graduação em Redes e Segurança de Sistemas Pontifícia Universidade Católica do Paraná Curitiba, Novembro de 2009 Resumo Com o desenvolvimento deste trabalho irei apresentar o estudo de caso de implementação de Storage de Rede e um ambiente de infraestrutura redundante. Após a implementação do storage será possível a migração de 27 servidores (Windows e Linux) para um cenário seguro e confiável em um ambiente virtualizado. Este artigo ainda mostra as experiências obtidas durante a especificação dos equipamentos e na implementação do ambiente, tendo como foco principal a instalação e configuração do Storage, deixando o mesmo apresentado aos Hosts Vmware, ou seja pronto para receber as máquinas virtuais. 1) Preparação do Ambiente. Seguindo a documentação do fabricante do Storage - EMC modelo: CLARiiON CX4-120 alguns itens devem ser levados em consideração para a instalação do equipamento, dentre eles está a infraestrutura elétrica e sistema de UPS - nobreaks a serem utilizados para receber o equipamento no datacenter. Dentre estes irei destacá-los conforme sub-itens abaixo: 1.1) Infraestrura elétrica: Foram preparados 2 pontos de 220V / 32A provindos de dois circuitos / disjuntores diferentes. E para obter a redundância elétrica em caso de queda em um dos dois circuitos os mesmos foram ligados em dois Nobreaks de 15KVA, com banco de baterias externos, proporcionando uma autonomia de 45 minutos, de todo o datacenter, com os equipamentos em carga máxima. Nota: estes dois nobreaks não são de uso exclusivo do Storage, sendo compartilhados com demais equipamentos de rede, como switches, roteadores, etc. A figura que será apresentada a seguir mostra o esquema de ligação para se obter redundância elétrica nas duas réguas de tomadas que atuam também como filtros, réguas de tomadas que são nativas do CLARiiON CX Estas duas réguas, por sua vez proverão energia para as duas unidades lógicas do equipamentos, SPA e SPB. [1] SPA e SPB significam Storage Processor, que traduzidas, podem ser designadas como as unidades de processamento do storage, as quais são independentes entre si e podem ser usadas de forma isolada, ou seja se uma das duas entrar em falha as funções desta serão todas delegadas a Storage Processor que estiver ativa. Como observação relevante, Durante a fase de testes na instalação do Storage, após a configuração das duas SPs foi realizado o teste de desligar uma das unidades de forma forçada, ocorreu o que o fabricante nos informou, não houve queda de conexão, nem sequer foi perceptível para o Host que estava fazendo acesso ao Storage.

2 Teste bastante semelhante foi executado coma infraestrutura elétrica. Como são dois circuitos que provêem energia ao storage, foi desligado um dos disjuntores para certificar que apenas um dos circuitos conseguia marter-se ativo em plena carga do sotrage. NOTA: No esquema a seguir foram suprimidas informações de gerador e alimentação da subestação elétrica. Apenas é necessário citar que em caso de queda de energia o gerador à óleo diesel deve atuar, logo em seguida dos nobreaks. Figura 1: Esquema de ligação elétrica para storage de rede. 1.2) Infraestrutura de Telefonia Este item é mandatório para a instalação do equipamento e faz parte do checklist prévio de implementação, seguindo a EMC em caso de queda no sistema de telefonia e / ou internet da empresa, mesmo assim eles conseguem acesso ao Storage por se tratar de uma linha analógica independente de tais recursos. Para prover acesso ao sistema de monitoramento remoto do Storage de responsabilidade do fabricante, no caso a EMC, é necessário uma linha telefônica direta e analógica, conforme citado acima, sem passar por central telefônica ou qualquer outro sistema de comutação. Esta vai ser ligada a um modem, analógico de 56K. Este modem por sua vez é conectado a um computador que possui acesso via rede LAN ao storage. No item abaixo vamos abordar mais informações sobre este equipamento e suas funções, sendo que a mais importante dentre outras é atuar como servidor da aplicação de gerenciamento do Clariion (Software Navisphere).

3 1.3) Microcomputador dedicado ao Gerenciamento do Storage Este equipamento não requer configurações especiais, apenas sendo necessários, porta de comunicação para ligação do modem analógico, sistema operacional Windows XP professional, idioma Inglês, com no mínimo Service Pack 2 instalado. Para a instalação da aplicação de gerenciamento do storage ainda é necessário a instalação do Java Runtime, de preferência com a última versão. Neste momento é importante citar as funções principais deste equipamento o qual é requerida uma máquina física e dedicada (a razão única de se usar uma máquina física, já que estamos falando de virtualização de ambiente, é devido ao fato de poder ocorrer alguma falha no storage e esta máquina virtual estiver hospedada nele, a empresa não conseguirá acesso remoto ao equipamento, impossibilitando a atuação do suporte técnico). Funções: ) Instalação do software Navisphere Management Suite, cuja finalidade é a interface de configuração do storage, por meio deste software que serão feitas todas as configurações do Storage, desde a configuração dos discos, RAID Groups, LUNs, Storage Groups, etc. Estes conceitos serão abordados no decorrer deste trabalho. Outra função do software Navisphere é consulta de alertas e eventos do equipamento os quais são bastante importantes para a identificação e resolução de erros, tanto lógicos (perda de comunicação, configuração incorreta, etc) quanto físicos (disco queimado, mal funcionamento de Storage Processor, etc). Existem funções ainda de replicação entre storages, configuração de clusters e diversas outras features mais avançadas, que não serão objetos do meu trabalho. O acesso a este software é por meio do Navegador de Internet e requere autenticação. Mais informações sobre o software e suas funções serão amplamente apresentados na seção 2 deste trabalho ) Instalação do Software de Acesso Remoto via linha telefônica para o fabricante do equipamento efetuar a coleta diária de dados do equipamento: Através deste acesso são coletadas as informações referentes ao comportamento de todo o hardware, sendo possível o suporte remoto identificar falhas graves do equipamento e até mesmo um disco que esteja com mal comportamento, ou bad blocks por exemplo. Para estes casos, é aberto um chamado com intuito de troca da peça defeituosa, diariamente são feitos dois acessos remotos para colher logs do storage. Estes acessos são comandados pela EMC e os logs também são enviados ao fabricante. 2) Configuração do Storage. Conforme já comentado em seções do item anterior, toda a configuração do Storage será por meio do software Navisphere. Nas seções seguintes vou demonstrar a instalação e configuração dos discos e melhores práticas para isto, configuração dos Raid Groups (que podemos considerar como o arranjo dos discos no Storage), configuração das LUNs ( que podemos considerar como as unidades lógicas que serão apresentadas aos Hosts Vmware) e ainda os Storage Groups ( Meio de garantir o acesso de uma LUN a um HOST). 2.1) Configuração dos Discos e Raid Groups Os discos em um storage são instalados em enclusures que vamos denominar daqui em diante como gavetas. No nosso cenário de instalação do storage foram adquiridas 3 gavetas, sendo que cada gaveta suporta um único tipo de disco apenas. Ou seja, se em uma gaveta são instalados Discos Fiber Channel, todos os slots desta gaveta deverão ser instalados discos da mesma tecnologia ( a capacidade dos discos pode variar, tanto que respeitem o

4 critério de mesma tecnologia). A configuração que vou demonstrar abaixo foi configurado da seguinte forma: 01 gaveta com 15 discos Fiber Channel de 300GB cada, 01 gaveta com 05 discos SATA de 1TB cada e ainda 01 gaveta que está vazia (sem discos), prevendo uma expansão futura. Para a correta e bem dimensionada escolha por discos Fiber Channel e Discos SATA devem ser levados em consideração que tipo de dados serão armazenados nestas unidades. Em caso de dados que requerem grande quantidade de Acesso / Leitura / Gravação em discos, deve-se priorizar em discos da tecnologia Fiber Channel que são discos mais rápidos (velocidades de RPM), uma das aplicações que podemos indicar e a qual instalamos em discos Fiber Channel é o servidor de , o qual satisfaz as razões apresentada. Apenas como boa prática de instalação e preservação de dinheiro no projeto, é conveniente que os logs do exchange sejam direcionados a uma unidade de discos SATA, pois ocupam bastante espaço (variando de acordo com a movimentação diária de s) e não requerem velocidade de disco. Já os discos SATA são discos que possuem uma velocidade de 7200 RPM, são discos que devem ser direcionados dados que não exijam ou merecem um desempenho mais elaborado. Neste caso recomendamos, por exemplo, um servidor de arquivos, onde o acesso aos dados é feito esporadicamente pelos diversos setores da empresa, com dados como arquivos excel, word, arquivos power point, etc. OBS: Uma informação importante, para os Storages da EMC como o CX4-120, em cada gaveta 01 disco é utilizados como Hot Spare ou seja em toda gaveta podemos considerar que não vamos contar com o espaço de armazenamento de 01 disco. Este é usado pelo storage para substituir em caso emergência, com um dos outros discos. Outra consideração importante no dimensionamento dos discos é que os 5 primeiros discos da primeira gaveta instalada são utilizados pelo sistema operacional do storage. Ou seja devemos ter em mente que não temos disponível todo o espaço de armazenamento destes 5 primeiros discos e ainda não é possível trabalhar sem estes discos pois como já observado, estes contém a camada de software do Storage. Existe ainda uma nova tecnologia de discos ainda mais rápidas que os atuais Fiber Channel disponíveis para o nosso storage, são os discos com tecnologias Flash Drives, os quais são mais econômicos falando em energia (cerca de 40% mais econômicos) e mais rápidos devido a maior capacidade de I/O por segundo (cerca de 30 vezes mais IOPS Imput Output Per Second comparados com os atuais discos magnéticos. Mas o preço ainda é uma barreira para a larga aplicação desta tecnologia. Na figura que vou apresentar a seguir, fica muito claro no storage como os discos estão dispostos nas Enclosures (gavetas). Com esta figura podemos observar ainda a situação das Fans (ventiladores), Power Supplies (fonte de energia) e LCCs, cada uma das gavetas, as quais são independentes umas das outras, obviamente. Por uma questão de espaço irei mostrar os discos da gaveta Fiber Channel (Bus 0 Enclusure 0). Mas, ainda no rodapé da figura podemos ver a gaveta dos discos SATA (Bus 0 Enclosure 1) e ainda a gaveta vazia (Enclosure SPE spare) que está aguardando ampliação na quantidade de discos.

5 Figura 2: Discos Fiber Channel instalados no Storage. A instalação dos discos em uma gaveta não requer que o storage seja desligado, são todos discos Hot-Plug. E tão logo que são inseridos na gaveta o storage já os reconhece e são apresentados da mesma forma que os discos acima estão habilitados para uso. O próximo passo na seqüência de instalação é a definição do tipo de RAID que os discos serão agrupados. Para entender um pouco mais este conceito é necessário conhecer um pouco mais sobre RAID: Redundant Array of Independent Drives, também denominado Redundant Array of Inexpensive Drives ou mais conhecido como simplesmente RAID ou ainda em português: Conjunto Redundante de Discos Independentes, é um meio de se criar um subsistema de armazenamento composto por vários discos individuais, com a finalidade de ganhar segurança e desempenho. O sistema RAID consiste em um conjunto de dois ou mais discos rígidos com dois objetivos básicos: tornar o sistema de disco mais rápido (isto é, acelerar o carregamento de dados do disco), através de uma técnica chamada divisão de dados (data stripping ou RAID 0) e/ou tornar o sistema de disco mais seguro, através de uma técnica chamada espelhamento (mirroring ou RAID 1). Essas duas técnicas podem ser usadas isoladamente ou em conjunto.[3] Agora com o conceito mais elaborado é possível informar que o tipo de RAID escolhido para os discos é o RAID 5, o qual é tolerante a falhas e usa a paridade entre os discos para garantir a integridade dos dados em caso falha em 01 dos discos. A escolha do RAID 5 foi fundamentada no conceito de ser uma tecnologia bastante segura, e a qual não desperdiça espaço em disco em demasia, podemos dizer que foi a união entre o custo e benefício. Para a configuração dos discos em RAID basta acessar no menu do Navisphere o item Raid Group e com um click no botão direito do mouse selecionar: Create New Storage Group. A seguir uma tela com os tipos de Raid suportados pela controladora e os discos disponíveis irá aparecer. Basta dar um nome para o RAID Group que está sendo

6 criado, selecionar o tipo de RAID, no nosso caso um RAID 5 e inserir os discos que serão os componentes deste RAID Group. Por meio da figura abaixo podemos observar como ficaram configurados os RAID Groups para os discos Fiber Channel, que já vimos anteriormente. Também na figura abaixo é possível verificar, no topo da figura, o primeiro passo para a criação de um RAID Group. 2.2) Configuração das LUNs Figura 3: Configuração dos Raid Groups Para entendermos um pouco mais sobre esta etapa da configuração do storage vejo que é importante aprofundar um pouco mais no conceito de LUN cujo papel principal é ser responsável pela virtualização de discos físicos os quais foram arranjados de forma a manter a proteção e performance por meio do RAID, com a possibilidade de criar volumes lógicos, volumes estes que serão apresentados para os Hosts como unidades de disco, que podem ser formatadas da forma que julgar necessário ou o sistema operacional escolhido requisitar (ex.: NTFS, FAT, EXT, etc). Para a criação das LUNs deve-se na página de configuração do Navisphere, selecionar o storage e clicar com o botão direito do mouse em Storage Pool Operations em seguida a opção Create LUN. Em seguida serão exibidos os RAID Groups disponíveis para uso das LUNs e também é possível selecionar quanto de espaço de um determinado RAID Group vai ser destinado a aquela LUN. Importante: Não é necessário destinar o tamanho total do RAID Group, isto foi configurado por decisão de implementação. É possível sim termos duas ou mais LUNs configuradas a partir de um único RAID Group, isto pode ser configurado de acordo com a disponibilidade em Terabytes, Gigabites ou até mesmo no caso do storage CX4-120 em porcentagem, ou seja, exemplificando: na tela de criação da LUN é possível informar que serão utilizados 25% do total disponível do RAID Group para a LUN que está

7 sendo criada. Dica importante: no momento da configuração do tamanho das LUNs é necessário ficar atento ao sistema operacional que a mesma vai ser apresentada pois os sistemas diferem na capacidade de armazenamento que o mesmos suportam. Na figura abaixo podemos verificar a configuração das LUNS, no nosso cenário, para todos os discos (Fiber Channel e Discos SATA). (Foi suprimida uma LUN por questão de espaço na figura, a mesma poderá ser vista no passo seguinte, onde são apresentadas as LUNs ao Storage Group). Figura 4: Configuração das LUNs A configuração das LUNs é um passo muito importante na configuração do storage, são estas que estarão acessíveis aos hosts. Por meio da tela de configuração, podemos observar várias informações relevantes ao projeto como um todo, dentre as informações podemos indicar: a localização (física) do disco, é possível identificar onde o mesmo está alocado nas gavetas do storage, podemos observar qual a tecnologia do disco (Fiber Channel ou SATA), ainda a capacidade em GB de cada um dos discos e de que forma os mesmos foram configurados (tipo de Raid). Outra característica importante é em qual LUN o disco está localizado, isso vai nos permitir alocar os dados no storage de acordo com a necessidade de performance de cada aplicação ou repositório de dados. Como boa prática de instalação, no momento de nomear as LUNs deve-se informar que tipo de disco aquela LUN possui, exemplificando um nome de LUN seria LUN_FC1 (onde a tecnologia do disco pode ser facilmente identificada como Fiber Channel), ou ainda LUN_SATA1, para LUN com discos SATA. Isto vai ser muito bom no memento de alocação dos discos das máquinas virtuais, com esta nomenclatura fica mais simples de identificar no software da VMWARE como fazer as alocação dos arquivos.vmdk. É conveniente informar que diversos fabricantes dentre eles EMC e Microsoft possuem softwares para identificação e priorização de dados em de discos, mas no caso da EMC com a aplicação Disk extender fica inviabilizado por questões financeiras, sendo que o mesmo se aplica a corporações com centenas de Terabytes de dados.

8 2.3) Configuração do Storage Group É a partir do Storage Group que apresentaremos as LUNs aos Hosts, de forma menos acadêmica podemos dizer que é por meio do Storage Group que as LUNs serão conectadas aos Hosts. O procedimento para criação do Storage Group é análogo aos demais, clique com botão direito do mouse em Storage Groups no gerenciador Navisphere e selecionar Create Storage Group. Em seguida vai abrir uma janela com o nome do Storage e um campo para digitar o nome do Storage Group, inserir um nome e em seguida aplicar. Após o simples procedimento de criação, é necessário configurá-lo corretamente, para isso, clique com botão direito do mouse no Storage Group que acabou de ser criado e selecionar a guia LUNs. - Selecionar as LUNs que farão parte deste Storage Group (por meio dos check box ) e aplicar. O mesmo procedimento será executado para os Hosts: Selecionar a guia Host, localizar os mesmo e por meio desta seleção, inserí-los no Storage Group. A partir deste momento os Hosts já estão habilitados a mapear estas unidades do Storage. Por meio da figura abaixo podemos verificar a o procedimento de inserção de LUNs ao Storage Group. 2.4) Configuração dos Endereços de IPs Figura 5: Configuração do Storage Group Um dos passos que devemos mencionar e de grande importância para o sucesso da implementação é a configuração dos IPs do Storage para que ocorra a correta redundância entre as Storage Processor e os Hosts os quais são interligados por meio de portas iscsi, a configuração de IPs e subredes é uma recomendação do fabricante e deve ser seguida sempre. Na configuração dos IPs da SPA e SPB deve-se configurá-los em um range de IPs diferentes daqueles que são usados na rede interna da empresa e ainda configurada uma VLAN

9 específica no Switch para a comunicação iscsi, isto por que os dados transmitidos pelo iscsi não são encriptados e torna mais fácil a administração do mesmo, devo informar agora que o Storage do nosso cenário veio configurado com duas portas iscsi por SP (Storage Processor). Logo o um exemplo de arranjo de IPs para as portas do Storage de acordo com as recomendações do fabricante segue abaixo: Storage Processor A (SP A) IP controlador iscsi A0: (Máscara de Sub-Rede ; Default Gateway ) IP controlador iscsi A1: (Máscara de Sub-Rede ; Default Gateway ) Storage Processor B (SP B) IP controlador iscsi B0: (Máscara de Sub-Rede ; Default Gateway ) IP controlador iscsi B1: B1: (Máscara de Sub-Rede ; Default Gateway ) Também é conveniente informar que as portas do Host estarão configuradas na sub-rede descrita acima. A partir deste procedimento e também os demais serão executado na console do software VMWARE, sendo que o Storage já está totalmente configurado e preparado para receber os arquivos das máquinas virtuais. 3) Conclusão Consideramos o projeto de instalação do sistema de Storage de Rede como um grande avanço na infraestrutura de Tecnologia da Informação da empresa, onde trouxe maior confiabilidade no armazenamento de dados e possibilidade de montar situações de contingência / redundância para prevenir falhas. Após um mês e meio do início da instalação o sistema tem se mostrado bastante estável e para alguns servidores e aplicações é nítida a melhora no que diz respeito a performance. Um dos testes que fizemos e nos permite afirmar a melhora, foi um processo integração entre duas bases de dados SQL onde são executadas algumas rotinas diretamente na base de dados. Este processo, anteriormente usando máquinas físicas com HD padrão de servidores (7200RPM) era concluído em ~32 minutos. Agora, no ambiente virtualizado conseguimos um o mesmo resultado em ~24 minutos. Aplicações baseadas em Webservices, também foram identificadas melhoras na performance, as quais atribuímos ao novo cenário. Ainda visando a segurança da informação estamos prevendo para o próximo ano fiscal da empresa, a configuração de replicação dos dados entre storages. Onde deverá ser adquirido outro storage com configuração análoga ao que temos hoje para conseguir fazer a replica dos dados em tempo real. Outra modificação no cenário que deverá ser implementada no cenário visando ganho de performance é a troca da interligação do storage com a rede por meio de Switches de Fibra, ao invés do atual sistema iscsi. É nítido que em se tratando de Sistemas de Tecnologia da Informação os avanços são diários, em conseqüência disto cabe a nós administradores de sistemas buscar novas tecnologias, acima de tudo confiáveis e que tragam desenvolvimento e proteção ao negócio da empresa. 4) Bibliografia [1]

10 [2] [3] [4] Lammle, Todd - Certified Network Associate, Fifth Edition, 2005, Editora SYBEX. [5] Cyclades Brasil, Guia Internet de Conectividade, 6. Edição. São Paulo, Editora SENAC SP, [6]