EMC DATA DOMAIN DATA INVULNERABILITY ARCHITECTURE: APERFEIÇOANDO A INTEGRIDADE E A CAPACIDADE DE RECUPERAÇÃO DOS DADOS

Transcrição

1 White paper EMC DATA DOMAIN DATA INVULNERABILITY ARCHITECTURE: APERFEIÇOANDO A INTEGRIDADE E A CAPACIDADE DE RECUPERAÇÃO DOS DADOS Uma análise detalhada Resumo Um mecanismo único não é suficiente para garantir a integridade dos dados num sistema de armazenamento. Apenas através da cooperação de vários mecanismos que estabeleçam linhas sucessivas de defesa contra todas as fontes de erros que a capacidade de recuperação dos dados pode ser garantida. Ao contrário dos tradicionais sistemas de armazenamento de uso geral, os sistemas de armazenamento com deduplicação EMC Data Domain foram projetados explicitamente como armazenamento de última instância. Os sistemas Data Domain colocam a recuperação acima de tudo com proteção da integridade dos dados integrada em toda a Data Domain Data Invulnerability Architecture. Este white paper tem como foco os quatro principais elementos da Data Domain Data Invulnerability Architecture, que, combinados, oferecem os níveis mais elevados do sector em integridade e capacidade de recuperação dos dados: Verificação completa Prevenção e contenção de falhas Deteção e correção contínuas de falhas Capacidade de recuperação do sistema de ficheiros setembro 2013

2 Copyright 2013 EMC Corporation. Todos os direitos reservados. A EMC assegura que as informações apresentadas neste documento estão corretas na data da publicação. As informações estão sujeitas a alterações sem aviso prévio. As informações nesta publicação são fornecidas "no estado em que se encontram". A EMC Corporation não garante nem representa qualquer tipo de informação contida nesta publicação e especificamente isenta-se das garantias implícitas de comercialização ou uso para um propósito específico. O uso, a cópia e a distribuição de qualquer software EMC descrito nesta publicação exigem uma licença de software. Para uma lista mais atualizada de produtos da EMC, consulte "EMC Corporation Trademarks" em EMC.com. Número da peça h

3 Índice Resumo executivo... 4 Integridade dos dados do sistema de armazenamento... 4 Introdução... 4 Público-alvo... 4 Data Domain Data Invulnerability Architecture... 5 Verificação completa... 5 Prevenção e contenção de falhas... 6 Dados novos nunca substituem dados corretos... 6 Menos estruturas de dados complexas... 7 NVRAM para reinicialização rápida e segura... 7 Nenhuma gravação parcial de frações... 7 Deteção e correção contínuas de falhas... 8 RAID 6: Proteção contra falha dupla de disco, correção de erro de leitura... 8 Deteção e correção dinâmica de erros... 9 Depuração para garantir que os dados não sejam corrompidos... 9 Capacidade de recuperação do sistema de ficheiros... 9 Formato de dados com autodescrição para garantir a capacidade de recuperação dos metadados... 9 Se for necessária, a verificação do sistema de ficheiros será rápida Conclusão

4 Resumo executivo Integridade dos dados do sistema de armazenamento Por trás do seu valor agregado, os sistemas especializados de armazenamento são desenvolvidos com base em componentes de software e de computação de uso geral que podem falhar. Algumas falhas têm um impacto visível imediato, como a falha total de uma unidade de disco. Outras são subtis e ocultas, como um bug de software que provoca corrupção latente no sistema de ficheiros e só é detetado no momento da leitura. Para garantir a integridade dos dados em caso de alguma falha, os melhores sistemas de armazenamento contêm verificações de integridade dos dados e, geralmente, são otimizados para performance e disponibilidade do sistema, não para invulnerabilidade dos dados. Concluindo, eles presumem que os backups são feitos, e os seus projetos optam por favorecer a velocidade e não a capacidade garantida de recuperação dos dados. Por exemplo, nenhum sistema de ficheiros de armazenamento primário amplamente utilizado lê dados do disco para garantir que eles foram armazenados corretamente. Isso comprometeria a performance. Mas, a princípio, os dados não poderão ser considerados invulneráveis se não forem armazenados corretamente. Nos dispositivos de backup de uso específico, a invulnerabilidade dos dados deve ter prioridade sobre a performance e até sobre a disponibilidade. Se o foco não estiver na integridade dos dados, os dados de backup e arquivo estarão em risco. Se os dados estiverem em risco, quando a cópia primária dos dados for perdida, a recuperação estará em risco. A maioria dos dispositivos de backup de uso específico são apenas sistemas de armazenamento primário criados a partir de discos mais baratos. Dessa forma, eles herdam a filosofia de projeto dos seus predecessores de armazenamento primário. Embora sejam chamados de dispositivos de backup de uso específico, os seus projetos enfatizam a performance à custa da invulnerabilidade dos dados. Introdução Este white paper tem como foco os quatro principais elementos da EMC Data Domain Data Invulnerability Architecture, que, combinados, oferecem os níveis mais elevados do sector em integridade e capacidade de recuperação dos dados. Público-alvo Este white paper destina-se a clientes da EMC, consultores técnicos, parceiros e membros da EMC e da comunidade de serviços profissionais de parceiros que estejam interessados em aprender mais sobre a Data Domain Data Invulnerability Architecture. 4

5 Data Domain Data Invulnerability Architecture Os sistemas Data Domain de armazenamento com deduplicação representam uma ruptura evidente com o conceito de projeto de sistema convencional de armazenamento e apresentam uma premissa radical: E se a integridade e a capacidade de recuperação dos dados fossem a meta mais importante? Se alguém imaginar um departamento de TI sem tape, terá de imaginar um armazenamento em disco com extrema capacidade de recuperação e proteção. Os sistemas Data Domain foram projetados desde o início para serem o armazenamento de última instância. O DD OS (Data Domain Operating System) foi desenvolvido especificamente para a invulnerabilidade de dados. Há quatro áreas essenciais de foco: Verificação completa Prevenção e contenção de falhas Deteção e correção contínuas de falhas Capacidade de recuperação do sistema de ficheiros Mesmo com este modelo, é importante lembrar que o DD OS só será útil se os dados que recebe forem de boa qualidade. Ele pode fazer um teste completo dos dados que recebe dentro do sistema, mas não é capaz de saber se esses dados foram protegidos pela rede no caminho para o sistema. Se houver um erro na rede que provoque corrupção dos dados, ou se esses estiverem corrompidos no local do armazenamento primário, o DD OS não poderá repará-los. Ainda é prudente testar a recuperação periodicamente a nível da aplicação. Verificação completa Como cada componente de um sistema de armazenamento pode apresentar erros, um teste completo é o caminho mais simples para garantir a integridade dos dados. Verificação completa significa que será feita uma leitura dos dados após a gravação, e eles serão comparados ao que foi enviado para o disco para comprovar que estão acessíveis por meio do sistema de ficheiros em disco e não foram Figura 1. A verificação completa examina todos corrompidos. Quando o DD OS os dados e metadados do sistema de ficheiros. recebe uma solicitação de gravação do software para backup ou de arquivamento, ele calcula a soma de verificação dos dados. Em seguida, o sistema armazena dados exclusivos no disco e lê-os de volta para validá-los, corrigindo imediatamente os erros de E/S. Como os dados são validados após a gravação no disco e antes de serem 5

6 libertados da memória/nvram, a correção dos erros de E/S não exige a reinicialização após o procedimento de backup. Ela confirma se os dados estão corretos e podem ser recuperados a partir de cada nível do sistema. Se houver problemas em qualquer ponto do processo, por exemplo, se um bit tiver sido invertido numa unidade de disco, isso será detetado. Os erros também podem ser corrigidos por meio da auto-resolução, como será descrito na próxima secção. Os sistemas de armazenamento primário convencionais não conseguem fazer essas verificações rigorosas. Contudo, os dispositivos de backup de uso específico exigem-nos. A enorme redução de dados obtida pelo Data Domain Global Compression reduz o volume de dados que precisa de ser verificado e possibilita essas verificações. Prevenção e contenção de falhas A próxima etapa na proteção dos dados é garantir que os que foram verificados como corretos continuem assim. Ironicamente, o maior risco para a integridade do sistema de ficheiros está nos erros do seu software ao gravar novos dados. Somente as novas gravações podem ser feitas acidentalmente sobre os dados existentes, e somente as novas atualizações nos metadados do sistema de ficheiros podem deturpar as estruturas existentes. Como o sistema de ficheiros do Data Domain foi criado tendo como meta principal a proteção dos dados, ele protege mesmo contra os seus próprios erros de software que poderiam colocar os dados existentes em risco. Isso é obtido por meio de uma combinação de simplicidade de projeto que reduz a possibilidade de bugs e vários recursos de contenção de falhas, que dificultam a corrupção de dados por possíveis erros de software. Os sistemas Data Domain estão equipados com um sistema de ficheiros especializado e estruturado em registos que tem quatro benefícios importantes. Dados novos nunca substituem dados corretos Figura 2. Dados novos nunca colocam os antigos em risco. O registo do recipiente de dados nunca substitui nem atualiza os dados existentes. Os dados novos são sempre gravados em novos recipientes (em vermelho). As referências e os recipientes antigos permanecem inalterados e protegidos em caso de bugs de software ou falhas de hardware que possam ocorrer ao armazenar novos backups. Ao contrário de um sistema de ficheiros tradicional, que normalmente substitui os blocos quando os dados são alterados, os sistemas Data Domain só gravam em novos blocos. Isso isola qualquer sobreposição incorreta (um tipo de problema de bug de software) apenas nos dados mais recentes de backup e arquivamento. As versões mais antigas permanecem seguras. 6

7 Menos estruturas de dados complexas Num sistema de ficheiros tradicional, há muitas estruturas de dados (por exemplo, mapas de bits de blocos livres e contagens de referência) que dão suporte a atualizações de bloco muito rápidas. Numa aplicação de backup, a carga de trabalho é constituída basicamente por gravações sequenciais mais simples de dados novos, necessitando por isso de menos estruturas de dados para lhes dar suporte. Enquanto o sistema puder acompanhar o início do registo, as novas gravações não tocarão os dados antigos. Essa simplicidade de projeto reduz significativamente as possibilidades de erros de software que poderiam induzir a corrupção de dados. NVRAM para reinicialização rápida e segura O sistema inclui um buffer de gravação RAM não volátil no qual coloca todos os dados que ainda não estão protegidos no disco. O sistema de ficheiros aproveita a segurança desse buffer de gravação para implementar um recurso de reinicialização rápido e seguro. O sistema de ficheiros utiliza várias verificações de lógica interna e de integridade da estrutura dos dados. Se uma dessas verificações localizar algum problema, o sistema de ficheiros irá reiniciar automaticamente. As verificações e as reinicializações fornecem, antecipadamente, deteção e recuperação dos erros de corrupção de dados. Enquanto reinicia, o sistema de ficheiros do Data Domain verifica a integridade dos dados no buffer de NVRAM antes de aplicá-los ao sistema de ficheiros, garantindo que nenhum dado seja perdido devido à reinicialização. Como a NVRAM é um dispositivo separado de hardware, ela protege os dados contra erros que possam corromper os dados na RAM. Como a RAM não é volátil, ela também protege contra falhas de energia. Embora a NVRAM seja importante para garantir o sucesso de novos backups, o sistema de ficheiros garante a integridade de backups antigos mesmo que a própria NVRAM apresente falhas. Nenhuma gravação parcial de frações Os tradicionais disk arrays de armazenamento primário, sejam RAID 1, RAID 3, RAID 4, RAID 5 ou RAID 6, poderão perder dados antigos se, durante uma gravação, houver uma falha de energia que provoque uma falha num disco. Isso acontece porque a reconstrução do disco depende da consistência de todos os blocos de uma fração de RAID, mas, durante a gravação de um bloco, há uma janela de transição na qual a fração é inconsistente; portanto, a reconstrução da fração falharia, e os dados antigos do disco com defeito seriam perdidos. Os sistemas de armazenamento corporativo protegem contra isso com NVRAM ou nobreaks. Porém, se esses métodos falharem devido a uma queda prolongada de energia, os dados antigos poderão ser perdidos, e uma tentativa de recuperação poderá falhar. Por esse motivo, os sistemas Data Domain nunca atualizam apenas um bloco numa fração. Seguindo a política contra sobreposição, todas as novas gravações vão para as novas frações de RAID, que são totalmente gravadas 1. A verificação após a gravação garante que a nova fração esteja consistente. As novas gravações não colocam os dados existentes em risco. Os sistemas Data Domain foram projetados para minimizar o número de erros de sistemas de 1 O produto gateway, que depende de RAID externo, não consegue garantir a ausência de gravações parciais em frações. 7

8 armazenamento padrão. Se ocorrerem falhas mais desafiantes, levará menos tempo para localizá-las, corrigi-las e notificar o operador. Deteção e correção contínuas de falhas Independentemente da proteção de software em uso, o hardware de computação, por natureza, está sujeito a falhas. Mais percetivelmente num sistema de armazenamento, as unidades de disco podem falhar. No entanto, também ocorrem outras falhas mais localizadas ou temporárias. Um bloco de disco individual pode estar ilegível ou pode haver um bit invertido na interconexão do armazenamento ou no barramento do sistema interno. Por esse motivo, o DD OS conta com níveis adicionais de proteção de dados para detetar falhas e recuperar instantaneamente, garantindo operações de recuperação de dados bem-sucedidas. RAID 6: Proteção contra falha dupla de disco, correção de erro de leitura O RAID 6 é a base da deteção e da correção contínuas de falhas do Data Domain. A sua avançada arquitetura de paridade dupla oferece vantagens significativas em relação às arquiteturas convencionais, inclusive abordagens de paridade única de RAID 1 (espelhamento), RAID 3, RAID 4 ou RAID 5. Raid 6: protege contra falhas de dois discos protege contra erros de leitura de disco durante a reconstrução protege contra a retirada do disco errado pelo operador garante a consistência da fração de RAID até mesmo durante quedas de energia, sem dependência de NVRAM nem UPS verifica a integridade dos dados e a coerência das frações após as gravações Figura 3. A deteção e a correção contínuas de falhas protegem contra as falhas do sistema de armazenamento. Periodicamente, o sistema faz uma nova verificação da integridade das frações de RAID e do registo de recipientes e usa a redundância do sistema RAID para restaurar qualquer falha. Em cada leitura, a integridade dos dados é verificada novamente, e qualquer erro é restaurado dinamicamente. Cada gaveta inclui uma unidade sobresselente global, que substitui automaticamente uma unidade com falha em qualquer local do sistema Data Domain. Quando a unidade que poderia ser trocada enquanto o sistema está em funcionamento apresenta falhas e é substituída pela EMC, ela torna-se num novo elemento sobresselente global. Por comparação, quando um único disco fica indisponível nas outras abordagens de RAID, qualquer outro erro simultâneo de disco provoca perda de dados. Qualquer sistema de armazenamento de última instância deve incluir o nível adicional de proteção que o RAID 6 oferece. 8

9 Deteção e correção dinâmica de erros Para garantir que todos os dados retornados ao utilizador durante uma recuperação se encontram corretos, o sistema de ficheiros do Data Domain armazena, em blocos de dados formatados, todas as respetivas estruturas de dados contidas no disco. Elas são autoidentificadas e tratadas por uma soma de verificação segura. A cada leitura do disco, o sistema verifica primeiro se o bloco lido do disco é o esperado. Em seguida, ele usa a soma de verificação para verificar a integridade dos dados. Se houver algum problema, ele solicitará que o RAID 6 use o seu nível suplementar de redundância para corrigir o erro dos dados. Como as frações de RAID nunca são atualizadas parcialmente, a sua consistência é garantida, assim como a sua capacidade de recuperar um erro quando for detetado. Depuração para garantir que os dados não sejam corrompidos A deteção dinâmica de erros funciona bem para os dados que estão a ser lidos, mas não resolve os problemas dos que não foram lidos por semanas ou meses antes de ser preciso recuperá-los. Por esse motivo, os sistemas Data Domain fazem ativamente uma nova verificação da integridade de todos os dados num processo contínuo em segundo plano. Esse processo de depuração localiza e repara, de modo inteligente, defeitos no disco antes que se tornem um problema. Por meio do RAID 6, da deteção e da correção dinâmicas de erros e da depuração contínua dos dados, a maioria das falhas geradas por sistemas de computação e unidades de disco pode ser isolada e superada sem impacto sobre a operação do sistema nem risco para os dados. Capacidade de recuperação do sistema de ficheiros Embora seja feito todo o esforço para garantir que não haja problemas no sistema de ficheiros, a Data Invulnerability Architecture prevê que, sendo criado pelo homem, um sistema certamente apresentará problemas eventualmente. Portanto, ela contém recursos para reconstruir os metadados de sistemas de ficheiros que foram perdidos ou corrompidos, bem como ferramentas de verificação do sistema de ficheiros que podem fazer com que um sistema com problemas volte a ficar online com rapidez e segurança. Formato de dados com autodescrição para garantir a capacidade de recuperação dos metadados As estruturas dos metadados, como os índices que aceleram o acesso, podem ser reconstruídas a partir dos dados do disco. Todos os dados são armazenados juntamente com os metadados que os descrevem. Se uma estrutura de metadados for de alguma forma corrompida, haverá dois níveis de capacidade de recuperação. Primeiro, é mantido um instantâneo dos metadados do sistema de ficheiros em intervalos de algumas horas; a Figura 4. Os dados são gravados em formato de autodescrição. Se for necessário, o sistema de ficheiros poderá ser recriado por uma análise do registo e pela reconstrução a partir dos metadados armazenados com os dados. 9

10 capacidade de recuperação pode depender dessa cópia point-in-time. Segundo, pode ser feita uma análise dos dados no disco, e a estrutura dos metadados pode ser reconstruída. Esses recursos habilitam a capacidade de recuperação até mesmo no pior cenário de corrupção do file system ou de seus metadados. Se for necessária, a verificação do sistema de ficheiros será rápida Num sistema de ficheiros tradicional, a consistência não é verificada online de modo algum. Os sistemas Data Domain fazem a verificação inicial para garantir a consistência de todas as novas gravações. O tamanho utilizável de um sistema de ficheiros tradicional quase sempre é limitado pelo tempo que levaria para recuperá-lo no caso de algum tipo de corrupção. Imagine executar fsck num sistema de ficheiros tradicional com mais de 80 TB de dados. O motivo da demora do processo de verificação é que o sistema de ficheiros precisa de definir onde estão os blocos livres para que as novas gravações não substituam acidentalmente os dados existentes. Normalmente, isso envolve a verificação de todas as referências para reconstruir os mapas de blocos livres e as contagens de referência. Quanto mais dados houver no sistema, mais demorado será o processo. Por outro lado, como nunca substitui dados antigos e não tem mapas de blocos e contagens de referência para reconstruir, o sistema de ficheiros do Data Domain só precisa de verificar onde está o início do registo para recolocar o sistema online e restaurar os dados críticos. Conclusão Um mecanismo único não é suficiente para garantir a integridade dos dados num sistema de armazenamento. Apenas através da cooperação de vários mecanismos que estabeleçam linhas sucessivas de defesa contra todas as fontes de erros pode a capacidade de recuperação dos dados pode ser garantida. Ao contrário de um sistema tradicional de armazenamento que teve o seu uso redefinido de armazenamento primário para proteção de dados, os sistemas Data Domain foram criados desde o início explicitamente como o datastore de última instância. A inovadora Data Invulnerability Architecture exibe a melhor defesa do sector contra problemas de integridade de dados. A verificação avançada garante que os novos dados de backup e arquivamento sejam armazenados corretamente. A arquitetura sem sobreposição e estruturada por registos do sistema de ficheiros do Data Domain, juntamente com a existência de gravações de frações completas, garante que os dados antigos estejam sempre seguros, mesmo em caso de erros de software provenientes dos novos dados. Enquanto isso, uma implementação simples e robusta reduz a chance de erros de software. Os mecanismos acima protegem contra problemas durante o armazenamento de dados de backup e arquivamento, mas as falhas no próprio armazenamento também ameaçam a capacidade de recuperação dos dados. Por esse motivo, a Data Invulnerability Architecture contém uma implementação de propriedade particular do RAID 6 que protege contra falhas de até 2 discos, pode reconstruir um disco com defeito até mesmo se houver um erro de leitura de dados e corrige erros dinamicamente durante a leitura. Ele também contém um processo de depuração em segundo plano que busca e repara ativamente as falhas latentes antes que se transformem num problema. 10

11 A linha final de defesa é composta pelos recursos de capacidade de recuperação do sistema de ficheiros Data Domain. O formato de dados com autodescrição permite a reconstrução dos dados dos ficheiros até mesmo se várias estruturas de metadados estiverem corrompidas ou perdidas. A rápida verificação e a reparação do sistema de ficheiros farão com que até mesmo um sistema que contenha dezenas de terabytes de dados não fique offline por muito tempo se houver algum tipo de problema. Os sistemas Data Domain são a única solução criada com essa atenção incansável à integridade dos dados, oferecendo-lhe a maior confiança na sua capacidade de recuperação. 11