RAIDs TECNOLOGIA DE BASES DE DADOS ARMAZENAMENTO E ESTRUTURA DE FICHEIROS. Trabalho de Investigação OUTUBRO DE 2005

Transcrição

1 TECNOLOGIA DE BASES DE DADOS Trabalho de Investigação RAIDs ARMAZENAMENTO E ESTRUTURA DE FICHEIROS OUTUBRO DE 2005 M Fernando Manuel de Albuquerque Patena Forte

2 SUMÁRIO 1 INTRODUÇÃO 2 2 PROBLEMA DE I/O 3 3 ESTUDO DE UMA SOLUÇÃO A TECNOLOGIA DOS DISCOS O ARMAZENAMENTO PRIMEIRA SOLUÇÃO DO PROBLEMA A FIABILIDADE 6 4 REDUNDANT ARRAY OF INEXPENSIVE DISKS - RAID RAID 0 - Non-Redundant Disks RAID 1 - Mirrored Disks RAID 2 - Memory-Style ERROR CORRECTING CODES RAID 3 - Bit-Interleaved Parity RAID 4 - Block-Interleaved Parity RAID 5 - Block-Interleaved Distributed-Parity RAID 6 - P+Q Redundancy COMPARAÇÃO RAID ortogonal 13 5 CONCLUSÃO 15 6 REFERÊNCIAS BIBLIOGRÁFICAS 16 7 CHAVE DE ABREVIATURAS, SIGLAS E ACRÓNIMOS 17 M Fernando Manuel de Albuquerque Patena Forte 1

3 1 INTRODUÇÃO Este trabalho de investigação baseia-se em quatro publicações citadas na secção REFERÊNCIAS BIBLIOGRÁFICAS e datam desde 1988 a A situação tecnológica da indústria de computadores encontrada nesta época, serve como ponto de partida para a abordagem dos RAIDs como evolução necessária no armazenamento de informação e ainda utilizada nos dias de hoje. Não se trata de um estudo exaustivo deste tema, mas do realce das questões que levaram à opção por esta técnica de armazenamento de informação, bem como da descrição de algumas das suas características. M Fernando Manuel de Albuquerque Patena Forte 2

4 2 PROBLEMA DE I/O A indústria de computadores nesta época, tinha entrado num período de melhoria significativa de desempenho nos dispositivos de CPU. O crescimento na velocidade dos processadores era superior a 50% ao ano. Os elementos de memória principal DRAM e SRAM crescem respectivamente em capacidade, e velocidade a uma taxa semelhante à do CPU. Estas últimas são usadas para construir caches, uma inovação arquitectural dos sistemas de memória principal, onde pequenos buffers podem ser geridos automaticamente por forma a conter fracções substanciais de referências de memória [Patterson 88]. Infelizmente, os elementos de memória secundária, discos magnéticos, embora tenham diminuído em tamanho e aumentado em capacidade, o que significa que o custo por MB decresce, não viram a velocidade de rotação aumentar nem o tempo de acesso diminuir significativamente. Em 14 anos a velocidade apenas aumentou de 3600 para 7200rpm enquanto que o tempo de acesso diminuiu de 20 para 10ms, o que corresponde a uma taxa mínima de 7% ao ano. A evolução tecnológica no que respeita ao aumento da velocidade do processador e da capacidade do sistema de memória principal, bem como o aumento da capacidade dos discos, resolve parte das necessidades das aplicações de cálculo científico, multimédia, simulação e transacção de informação. No entanto, a deficiente velocidade de resposta dos discos a muitos pedidos aleatórios de pequena informação, característica das aplicações de processamento de transacções, ou a poucos pedidos de grande informação exigido pelas aplicações de multimédia e de simulação, provoca uma séria limitação de desempenho. Note-se que pequenos pedidos aleatórios requerem um constante reposicionamento dos braços e rotação dos pratos dos discos, e que grandes quantidades de informação envolvem tempo útil de transferência. Tornou-se então necessário tomar medidas na inovação do desenho da memória secundária. M Fernando Manuel de Albuquerque Patena Forte 3

5 3 ESTUDO DE UMA SOLUÇÃO Vamos agora estudar os componentes de um disco magnético e algumas das suas características de armazenamento e acesso, por forma a elaborarmos uma hipótese fiável que possa solucionar o problema da Secção A TECNOLOGIA DOS DISCOS pista sector cabeça braço prato actuador Figura 1 - Terminologia dos discos magnéticos. A Figura 1 mostra os componentes básicos de um disco magnético. Este consiste num conjunto de pratos magnetizados que rodam com uma velocidade angular constante, um conjunto de braços com cabeças magnéticas de leitura e escrita, que se movem radialmente pela superfície dos pratos à custa de um actuador. Quando as cabeças dos braços estão correctamente posicionadas, os dados são lidos ou escritos em arcos, chamados sectores. Uma volta circular completa de dados é definida como pista, e cada prato contém várias pistas concêntricas de dados. Ao conjunto vertical de pistas na mesma posição radial dá-se o nome de cilindro [Chen 94]. Podemos agora definir tempo de acesso, como o tempo necessário para mover a cabeça para a posição radial correcta; o tempo de espera de rotação, como o tempo necessário para o sector desejado rodar debaixo da cabeça; e o tempo de transferência de dados, como o tempo necessário para transferir dados de e para a superfície do prato, este último tempo é função da velocidade de rotação, da densidade magnética do disco e da distância radial [Chen 94]. M Fernando Manuel de Albuquerque Patena Forte 4

6 3.2 O ARMAZENAMENTO Características IBM 3380 Fujitsu M2361A Conners CP3100 Diâmetro (inches) Capacidade (MB) Preço$/MB (inclui control.) MTTF (horas) Nº actuadores Máximo I/O /sec /actuador Máximo I/O /sec /box Transfer rate (MB/sec) Power/box (W) MB/W Volume (cu. ft.) MB/cu. ft [10..18] [17..20] [7..10] Tabela 1 - [Patterson 89] Comparação das características de três discos rígidos, onde MTTF está referenciado na secção CHAVE DE ABREVIATURAS, SIGLAS E ACRÓNIMOS e significa o tempo que medeia a utilização do disco até falhar, Máximo I/O significa o máximo número de médias de acesso e de médias de rotações para aceder a um único sector, Power/box significa a potência máxima em Watt, necessária para alimentar um disco e o seu mecanismo de arrefecimento, MB/W significa a relação entre a capacidade de um disco em MB e a potência de alimentação despendida, e MB/cu. ft. significa a relação entre a capacidade de armazenamento máximo de um disco em MB e o volume ocupado por esse disco, medido em pés cúbicos. A Tabela 1 compara as características de três discos SCSI. O IBM 3380 pertencente a um mainframe, o Fujitsu M2361A pertencente a um minicomputador e o Conners CP3100 pertencente a um computador pessoal. Pode verificar-se que 75 discos Conners têm a mesma capacidade de armazenamento que 1 disco IBM, menor consumo de energia, mais baratos e potencialmente 12x mais largura de banda I/O. 3.3 PRIMEIRA SOLUÇÃO DO PROBLEMA Considerando a tecnologia dos discos e a capacidade de armazenamento verificada no ponto anterior, significa que podemos considerar como primeira solução passar de um disco grande para um array de vários discos pequenos, que por serem baratos chamaremos de Array of Inexpensive Disks. Esta solução fornece mais braços de leitura/escrita (R/W), o que significa que respostas a muitos pedidos de pequena informação podem ser dadas de forma independente; respostas a pedidos de grande informação podem ser divididas por diversos discos em paralelo (striping). O striping pode ser realizado ao nível do bit ou ao nível do bloco. M Fernando Manuel de Albuquerque Patena Forte 5

7 No primeiro caso, cada bit de um byte é escrito em cada um dos discos do array. O número de discos do array deve ser assim um múltiplo ou submúltiplo de 8. Para um array de 8 discos, cada leitura ou escrita de dados passa a envolver a totalidade dos discos do array. Desta forma, o número de acessos é o mesmo que num único disco, mas cada acesso pode ler no mesmo intervalo de tempo 8 vezes mais dados. No segundo caso, em que a divisão da informação é feita ao nível do bloco lógico, estes são numerados começando em 0 (zero), e são armazenados nos discos do array de acordo com a expressão (i mod n) + 1 e nos blocos físicos por i / n onde i representa o bloco lógico e n o total de discos. Em leituras de grandes quantidades de dados, os blocos são acedidos paralelamente no mesmo intervalo de tempo em igual número de discos do array, criando desta forma uma elevada taxa de transferência. Desta forma num Array of Inexpensive Disks, o striping reduz significativamente o tempo de acesso a pedidos de grande informação, comparativamente com um único disco de igual capacidade de armazenamento. Podemos acrescentar ainda da análise da Tabela 1 que teremos um menor volume para esta solução, um menor consumo de energia e de ar condicionado e uma melhor taxa de preço por MB. Mas será que a fiabilidade se mantém? 3.4 A FIABILIDADE Defeitos, são alterações físicas detectáveis no hardware, reparáveis através da substituição física do componente. Falhas, são acontecimentos que interferem com o normal funcionamento dos componentes. Podem ser pequenas falhas, se não sucederem repetidamente em intervalos de tempo curtos, ou grandes falhas, se a probabilidade de repetição for alta. Estas falhas geram erros, ou valores incorrectos [Schultz 89]. Considerando os valores de MTTF da Tabela 1, presumindo que as falhas são independentes e que as falhas podem ter uma taxa constante então a fiabilidade de um array de 100 discos pode ser dada pela seguinte equação: MTTF disk_array = N MTTF single_disk disks _ in _ the _ array = = 300h Equação 1 - Fiabilidade de um array de discos. M Fernando Manuel de Albuquerque Patena Forte 6

8 A fiabilidade diminui drasticamente relativamente a apenas um disco equivalente de grandes dimensões. Tal significa que, se não considerarmos a tolerância a falhas, um array de discos não é viável. M Fernando Manuel de Albuquerque Patena Forte 7

9 4 REDUNDANT ARRAY OF INEXPENSIVE DISKS - RAID Verificámos na Secção 3 que a fiabilidade de um array de discos era inversamente proporcional ao número de discos utilizado, o que significa que quantos mais discos tiver um array mais falhas encontramos, implicando por isso frequentes backups da informação. Para resolver o problema da fiabilidade, temos de separar os arrays em grupos de discos, onde cada grupo terá discos com informação redundante e/ou códigos de correcção de erros. Quando um disco falhar, vamos assumir que este será substituído e a informação será restaurada no novo disco, através da informação redundante. O tempo de substituição dependerá do contrato de manutenção com os fornecedores, normalmente 1h ou até 24h e é designado por MTTR. A redundância consegue melhorar a fiabilidade conforme demonstra a equação seguinte. MTTF RAID 2 ( MTTFDisk ) = ( D + C n ) ( G + C 1) MTTR G Equação 2 - [Patterson 88] Fiabilidade de um RAID. D é o n.º total de discos com dados (não inclui extra check disks), G é o n.º de discos com dados por grupo (não inclui extra check disks), n G é o n.º de grupos e igual a D/G e C é o n.º de check disks num grupo (varia conforme o nível de RAID). Para D = 100, G = 10, C = 4 e MTTR = 1 teremos MTTF RAID = h. Os dados do exemplo, são valores concretos de uma arquitectura específica a que se chamou RAID, e neste caso de nível 2, ou RAID 2. Sendo que RAID ou Redundant Array of Inexpensive Disks mais tarde designados por Redundant Array of Independent Disks, representa um conjunto de discos independentes de baixo custo, agrupados de acordo com uma determinada estrutura de redundância, com características próprias. Aos diferentes agrupamentos designamos por níveis, que iremos analisar de seguida. 4.1 RAID 0 - NON-REDUNDANT DISKS Este nível de RAID não tem redundância, o que significa que qualquer falha em disco resulta em perda de dados. No entanto esta solução é a que tem o custo mais baixo e o melhor desempenho de escrita, pois não emprega redundância nenhuma. Os esquemas que utilizam redundância para duplicação de dados têm no entanto melhor desempenho de M Fernando Manuel de Albuquerque Patena Forte 8

10 leitura, pois podem responder aos pedidos seleccionando o disco que possuir melhor tempo de acesso e de espera. Esta solução é usada fundamentalmente em sistemas onde a principal preocupação é o desempenho e a capacidade de armazenamento ao invés da fiabilidade [Chen 94]. 4.2 RAID 1 - MIRRORED DISKS Neste nível de RAID os dados são escritos nos discos de dados e nos redundantes, havendo sempre duas cópias da informação, o que significa que sempre que um disco falha a outra cópia é usada para responder ao pedido. Na Figura 2 está representada uma configuração possível para este nível de RAID, com quatro discos de dados e quatro discos com cópias dos dados. Figura 2 - RAID 1: O número de discos de dados é igual ao número de discos redundantes. Esta solução; RAID 1, é usada frequentemente em sistemas de base de dados, onde é mais relevante o tempo de acesso e de transação do que a eficiência no armazenamento [Chen 94]. 4.3 RAID 2 - MEMORY-STYLE ERROR CORRECTING CODES Este nível de RAID utiliza discos de dados e discos de paridade. Estes últimos utilizam o código de Hamming para correcção dos erros. Neste código, o cálculo da paridade bit a bit de cada caracter de informação resulta numa paridade par ou impar, que é armazenada nos discos redundantes, permitindo desse modo assegurar a consistência dos dados. Numa falha, alguns dos componentes de paridade ficarão obrigatoriamente com valores inconsistentes, mas o componente que tiver a falha pode ser identificado pelos discos de paridade através dos conjuntos de dados incorrectos que sejam comuns. A perda de dados do disco identificado é recuperada através da leitura dos outros discos de dados e dos discos de paridade colocando o bit que falta a 0 ou 1 para criar a paridade correcta para aqueles conjuntos de dados. M Fernando Manuel de Albuquerque Patena Forte 9

11 Assim, são necessários vários discos redundantes para identificar o disco que tiver a falha, e apenas um para recuperar a informação perdida [Chen 94]. Figura 3 - RAID 2: Memory-Style ECC. Para um conjunto de 4 discos de dados são usados 3 discos de paridade, como é indicado na Figura 3. Para um conjunto de 10 discos de dados são usados 4 discos de paridade. Para um conjunto de 25 discos de dados são usados 5 discos de paridade. A eficiência desta solução aumenta com o aumento de número de discos. 4.4 RAID 3 - BIT-INTERLEAVED PARITY Este nível de RAID é semelhante ao anterior mas usa apenas um disco de paridade por cada grupo de discos de dados, conforme ilustrado na Figura 4. Isto só é possível porque a identificação do disco de falha é feita pelo controlador dos discos. Figura 4 - RAID 3: Para quatro discos de dados apenas um disco de paridade. Falhas de informação em discos de dados são recuperadas pelo cálculo de paridade bit a bit dos restantes comparando com o disco de paridade. Falhas no disco de paridade são recuperadas à custa da leitura dos discos de dados e reposição no disco de paridade. Esta solução acede a todos os discos de dados para operações de leitura e também ao de paridade se for uma operação de escrita. Uma vez que o disco de paridade não contém dados, o desempenho de leitura deste RAID é ligeiramente pior que a das soluções que apresentem redundância de dados e de paridade distribuídos pelos diversos discos. 4.5 RAID 4 - BLOCK-INTERLEAVED PARITY Este nível de RAID é semelhante ao anterior mas os dados estão dispostos em blocos em paralelo em vez de bits. M Fernando Manuel de Albuquerque Patena Forte 10

12 Leituras menores que o tamanho do bloco apenas acedem a um disco de dados. As escritas têm de actualizar os blocos de dados bem como calcular e actualizar os blocos de paridade. Para grandes blocos de escrita que usem blocos em todos os discos, a paridade é facilmente calculada pelo XOR dos novos dados em cada disco. Para escritas de pequenas quantidades de dados, que usem apenas um disco, a paridade é calculada pela diferença dos novos dados em relação aos antigos. Figura 5 - RAID 4: Block-Interleaved Parity. As escritas de pequenas quantidades de dados requerem no entanto a utilização de um disco para escrever os novos dados, dois discos para ler os dados antigos e correspondente paridade por forma a calcular a nova paridade, e outro disco para escrever a nova paridade, num processo de ler, modificar e escrever. Como apenas existe um disco de paridade, conforme ilustrado na Figura 5, que é actualizado em todas as operações de escrita, facilmente se vão verificar fenómenos de estrangulamento nestas operações. Esta limitação leva-nos ao próximo nível de RAID. 4.6 RAID 5 - BLOCK-INTERLEAVED DISTRIBUTED-PARITY Este nível de RAID possui os blocos de paridade distribuídos pelos vários discos de dados eliminando assim o estrangulamento verificado no nível anterior. Além disso distribui os dados por todos os discos permitindo que todos os discos possam participar nas operações de leitura. Figura 6 - RAID 5 - Block-Interleaved Distributed-Parity. O processo de distribuição dos blocos de paridade como o da Figura 6 é o mais adequado pois ao percorrermos sequencialmente os blocos paralelos, iremos aceder a todos os discos antes de acedermos a um disco duas vezes, reduzindo assim conflitos para grandes pedidos de dados. M Fernando Manuel de Albuquerque Patena Forte 11

13 4.7 RAID 6 - P+Q REDUNDANCY Este nível de RAID é semelhante ao anterior. Usa o código Reed-Solomon para proteger contra falhas de dois discos usando para isso mais um disco e uma distribuição redundante de informação "P" e "Q". Utiliza 6 discos para escritas de pequenas quantidades de dados, 4 para 1 bloco de paridade e 2 para paridade bit a bit, como se pode ver na Figura 7. Figura RAID 6 - P+Q Redundancy. Esta solução, se considerarmos apenas falha num disco, é pior que a anterior em termos de escrita devido ao cálculo de paridade adicional, por outro lado em termos de leitura é ligeiramente mais rápida devido à distribuição de dados por mais um disco. 4.8 COMPARAÇÃO MTTF Overhead cost Useable store capacity L1 L2 L3 L4 L h h h h h 500 anos 50 anos 90 anos 90 anos 90 anos 100% 40% 10% 10% 10% 50% 71% 91% 91% 91% Tabela 2 - Comparação das características de fiabilidade, custo e capacidade de armazenamento dos diferentes níveis de RAID. Ao analisarmos a Tabela 2 podemos afirmar que em termos de fiabilidade o RAID 1 é a melhor opção. No entanto as suas características de redundância, não só penalizam a relação entre a utilização e a capacidade de armazenamento, como ainda se traduzem num custo que é claramente superior ao dos restantes níveis. Large reads Large writes Large R-M-W Small Reads Small writes Small R-M-W L2/L1 L3/L2 L3/L1 L4/L3 L4/L1 L5/L4 L5/L1 71% 127% 91% 100% 91% 100% 91% 143% 127% 182% 100% 182% 100% 182% 107% 127% 136% 100% 136% 100% 136% 6% 127% 8% 120% 91% 110% 100% 6% 127% 8% 120% 9% 550% 50% 9% 127% 11% 120% 14% 550% 75% Tabela 3 - Comparação das características de desempenho entre os diferentes níveis de RAID. M Fernando Manuel de Albuquerque Patena Forte 12

14 Ao analisarmos a Tabela 3 podemos afirmar que no confronto com os restantes níveis, o RAID 1 apenas perde em termos de escrita de grandes quantidades de dados e em operações de leitura-modificação-escrita de grandes quantidades de dados. O RAID 3 ganha no confronto com o RAID 2 por usar menos discos de paridade, no entanto, para pequenos pedidos de informação perde com o RAID 4 por não usar blocos de paridade. Nesta mesma solicitação, o RAID 4 perde no confronto com o RAID 5 por não usar paridade distribuída. A solução RAID 5 apresenta melhores desempenhos do que os RAIDs 2, 3 e 4, e o melhor comportamento para escritas de grandes quantidades de dados de todos os RAIDs. No entanto, as escritas de pequenas quantidades de dados são piores que as do RAID 1 devido às operações de leitura-modificação-escrita na actualização da paridade. A solução RAID 1 apresenta ainda um melhor desempenho nas leituras de grandes quantidades de dados, devido à sua redundância, o que lhe permite responder aos pedidos seleccionando o disco que possuir melhor tempo de acesso e de espera. 4.9 RAID ORTOGONAL O modo como os discos estão ligados ao computador também pode afectar o desempenho e a fiabilidade. A ligação dos discos ao computador é feita através de controladores. Estes se falharem, causam falhas simultâneas nos discos. Se os discos de paridade não estiverem convenientemente distribuídos pelos controladores, os dados podem ficar inacessíveis. A Figura 8, mostra duas opções de como organizar 4 discos de paridade. A opção 1 agrupa os 4 discos de paridade no mesmo controlador. A opção 2 distribui 1 disco de paridade por cada um dos 4 controladores. A melhor escolha é a opção 2, pois se um controlador falha, penas um disco de paridade é afectado, ao invés da opção 1. Além disso, a opção 2 minimiza conflitos no controlador quando vários discos de um grupo transferem dados simultaneamente. A esta técnica de organização de grupos de discos de paridade é chamada RAID Ortogonal [Chen 94]. M Fernando Manuel de Albuquerque Patena Forte 13

15 Controlador Controlador opção2 Controlador Controlador opção1 Figura 8 - RAID ortogonal. A opção 1 agrupa 4 discos de paridade no mesmo controlador. A opção 2 distribui os 4 discos de paridade por 4 controladores. M Fernando Manuel de Albuquerque Patena Forte 14

16 5 CONCLUSÃO O uso de RAIDs é uma técnica utilizada para aumentar a largura de banda de I/O distribuindo dados em discos pequenos organizados em array [Patterson 89]. O uso de striping serve para melhorar o desempenho do acesso de dados, e a redundância quer de discos de dados quer de paridade, para melhorar a fiabilidade [Chen 94]. Se a técnica de distribuição de dados usada nos RAIDs resulta, então o aumento do paralelismo dos dados pode vir a satisfazer a necessidade de processamento de dados de gerações de computadores de ainda maior desempenho, parallel computers. Os parallel computers, são supercomputadores que utilizam mais do que um processador em paralelo; podendo atingir o número dos milhares de processadores, e podem comunicar entre si partilhando a memória, o barramento de dados e até ligações de rede. Estas ligações são usadas para distribuição de dados redundantes pelos arrays de discos, enquanto os processadores asseguram o controlo do processamento de armazenamento. Os dados são guardados em enormes arrays de discos paralelos, no entanto o aumento do tamanho dos arrays tem de ser acompanhado pela redução do diâmetro dos discos usados, por forma a diminuir o tempo de transferência de dados. M Fernando Manuel de Albuquerque Patena Forte 15

17 6 REFERÊNCIAS BIBLIOGRÁFICAS [Patterson 88] David Patterson, Garth Gibson and Randy Katz - A Case of Redundant Arrays of Inexpensive Disks (RAID) p [Patterson 89] David Patterson, Peter Chen, Garth Gibson and Randy Katz - Introduction to Redundant Arrays of Inexpensive Disks (RAID) p12. [Schultz 89] Martin Schultz, Garth Gibson, Randy Katz, David Patterson - How Reliable is a RAID? p12. [Chen 94] Peter Chen, Edward Lee, Garth Gibson, Randy Katz, David Patterson - RAID: High Performance, Reliable Secondary Storage p66. M Fernando Manuel de Albuquerque Patena Forte 16

18 7 CHAVE DE ABREVIATURAS, SIGLAS E ACRÓNIMOS CPU - Central Processing Unit. DRAM - Dynamic Random Access Memory. MB - Mega Byte. MTBF - Mean Time Between Failure. MTTF - Mean Time to Failure. MTTR - Mean Time to Repair. RAIDs - Redundant Array of Inexpensive Disks. RAM - Random Access Memory. SCSI - Small Computer Standard Interface. SRAM - Static Random Access Memory. M Fernando Manuel de Albuquerque Patena Forte 17