Arquiteturas tolerantes a falhas. Taisy Silva Weber UFRGS

Transcrição

1 Arquiteturas tolerantes a falhas Taisy Silva Weber UFRGS

2 Arquiteturas tolerantes a falhas arquitetura de um sistema: nível eficaz para suportar tolerância a falhas componentes conexões processadores, memórias, controladores, interfaces barramentos ou linhas de comunicação Tolerância a falhas de um sistema pode ser suportada ou pelo hardware, ou pelo software, ou ambas. Hardware: mais eficiente. Software: mais flexível. Existiram máquinas comercializadas como tolerantes a falhas. Atualmente seriam chamadas de disponibilidade contínua ou nonstop. TF aqui nas aulas é usada no sentido de arquiteturas que empregam qualquer das técnicas de tolerância a falhas. Taisy Weber 2

3 Domínio de aplicação ultra dependabilidade sistemas críticos tempo de missão - 10 hs confiabilidade alta dependabilidade 10 a 100 hs alta disponibilidade tempo de missão - > 100 hs ms s min tempo de resposta Taisy Weber 3

4 Domínio de técnicas mascaramento replicação ativa/passiva detecção, recuperação, reconfiguração ms s min tempo de recuperação Taisy Weber 4

5 Exemplos de sistemas FTMP, SIFT sistemas de controle de tempo real mascaramento replicação ativa/passiva Tandem, Stratus, SUN detecção, recuperação, reconfiguração ms s min tempo de recuperação Taisy Weber 5

6 TF em microprocessadores microprocessadores comerciais desenvolvidos para aplicações não críticas a maioria dos microprocessadores não apresenta mecanismos intrínsecos para suporte a técnicas de tolerância a falhas mas vêm sendo usados para: controle de processos industriais controle de tráfego instrumentação desafio interessante - construir sistemas tolerantes a falhas com componentes não confiáveis Taisy Weber 6

7 TF em microprocessadores comerciais chips convencionais sem suporte para tolerância a falhas solução viável: duplicação ou replicação hardware adicional (votadores e comparadores) solução desejável: suporte para TF suprido pelo próprio microprocessador exemplos: Intel iapx 432 Pentium para construir sistemas com características failstop ou implementar TMR não apenas a Intel produz chips com suporte a TF Taisy Weber 7

8 iapx432 suporte a TF independente da arquitetura ENTRADA Chip do final da década de 70 MESTRE VERIFICADOR erro SAIDA pode ser implementado em qualquer sistema digital integrado Taisy Weber 8

9 TF no iapx432 um chip pode ser configurado como mestre ou verificador: um mestre pode operar sozinho ou ligado a um verificador um verificador deve estar ligado a um mestre verificador: reversão de pinos comparação sinalização de erro configuração por sinal de hardware comparador interno ao chip Taisy Weber 9

10 432 estrutura interna Entrada comparador interno ao chip Controle de reversão Entrada/saída (bidirecional) Unidade funcional c o m p a r a d o r Sinal de erro lembrar que são necessários 2 chips idênticos Taisy Weber 10

11 Configurações com iapx432 detecção por HW detecção + reconfiguração por HW básico funtional redundancy checking quad modular redundancy GDP GDP GDP GDP BIU BIU BIU BIU bar.mem bar.mem bar.mem - - Sem TF GDP: general data processor BIU: bus interface unit Taisy Weber 11 custo tolerância a falhas + +

12 Configurações alternativas iapx432 arquitetura básica: não há redundância arquitetura FRC: detecção por hardware arquitetura QMR: detecção + reconfiguração por hardware par mestre-verificador primário + par estepe dois pares ativos, mas apenas o par primário fornece resultados ao sistema detecção de erro chaveia para o par estepe (FRC) Taisy Weber 12

13 Microprocessadores COTS taxa de defeitos de processadores COTS 100 FITs (failures per 10 9 hours) MTTF potencial aprox anos Intel P6 capacidade muito limitada de detecção e recuperação de erros suscetibilidade a falhas transientes incerteza sobre desgaste (wearout) numerosas falhas de projeto (errata) dados atuais informações sobre Pentium: Avizienis, 98 a 2000 Taisy Weber 13

14 Fontes de defeitos em COTS susceptibilidade a interferências ambientais redução no tamanho dos componentes e no nível de potência aumenta a susceptibilidade a interferências por radiação e outros fatores que causam falhas transientes incerteza sobre desgaste importante para sistemas fechados em aplicações de vida longa desgaste pode começar após muitos anos ainda sem medidas de envelhecimento taxa de defeitos pode aumentar no tempo Taisy Weber 14

15 Erratas falhas de projeto de hardware chamadas de erratas os processadores of the Intel P6 (em abril de 1999) tinham de 45 a 101 falhas de projeto reportadas novas erratas são anunciadas numa taxa de uma por mês Avizienis, IEEE 2000 esses fatores fazem com que o MTTF não seja vital para a dependabilidade de microprocessadores comportamento sob falhas transientes e erratas indicam a necessidade de tolerância a falhas externa ao chip Taisy Weber 15

16 486 e Pentium 486 paridade para os bytes de dados Pentium adicionalmente paridade nas caches, na TLB e na memória de microcódigo verificação de exceções machine check exception mestre / verificador (semelhante ao i432) dois chips - dobro do custo internamente ao circuito permite FRC Taisy Weber 16

17 Pentium Pro além de todas as técnicas do Pentium ECC para dados 2 bits de paridade para linhas de endereço associado a técnicas de retry paridade para sinais de controle verificador de exceções machine check architecture - MCA problemas: 3 regs de controle e 5 bancos de 4 regs de erro ECC limitado a parte mais fácil do circuito MCA opcional - pode ser desligado por software Taisy Weber 17

18 Pentium II Voltage Monitoring Unit Thermal Monitoring Unit FRC Parity Checking Unit suprimido Funct. Red. Checking Unit em 98 Error Corr. Code Unit Watch-Dog Timer Checksum Unit Memory Protection Unit Reasonableness Checking Unit Retry Logic Machine Check Architecture Built-In-Self-Test Unit Test Access Port Debugging Unit Physical Fault Detection Error Detection Error Recovery Error Logging/Reporting Fault Diagnosis para teste dos elementos de memória interna (microcódigo, caches, TLB, Taisy Weber 18

19 Demais chips P6 demais processadores Intel P6 detecção de erros por paridade apenas para caches e barramentos data bus e memória com ECC toda a parte aritmética e processamento de instruções permanece sem verificação recovery: apenas conjunto de ações de reset cancelamento em abril 1998 do modo FRC (master/checker) de operação Avizienis lógica interna de detecção de erros e recovery permanecem sem verificação Taisy Weber 19

20 Arquiteturas para alta disponibilidade sistemas de missão crítica possível intervalos pequenos para reparo importante redução do MTTR reparo (ou recuperação) áreas de aplicação sistemas de transação servidores de redes servidores de arquivos estações de trabalho sistemas usados em aplicações em que falhas podem provocar enormes prejuízos financeiros como transações bancárias, bolsas de valores, reservas aéreas, e-comerce, transações on-line,... Taisy Weber 20

21 Sistemas de grande porte não aconselhável redundância pura e simples alto custo vários processadores de alto desempenho memória comum de grande capacidade canais para ligação com periféricos sistemas operacionais multiusuário condições para reparo: passíveis de reparo a intervalos admissível interrupção curta de serviço usados para alta disponibilidade exemplo: mainframes IBM Taisy Weber 21

22 Processador de manutenção pequeno porte e autônomo opera independentemente do mainframe não interfere no processamento normal supervisiona mainframe capacidade de autoteste não pode ser o componente menos confiável do sistema não dispensa outras técnicas de TF códigos de correção e detecção de erros recuperação de erros transitórios sem intervenção do processador de manutenção Taisy Weber 22

23 Processador de manutenção pequeno porte e autônomo processador de manutenção mainframe unidade de disquete memória memória local processador CPU não dispensa outras técnicas de TF: códigos de correção e detecção de erros; recuperação de erros transitórios console modem console remoto pode estar ligado ao barramento central ou como periférico unidade de controle do sistema E/S Taisy Weber 23

24 Funções do processador de manutenção teste desenvolvimento e produção inicialização e controle supervisão contínua diagnóstico recuperação do sistema após erro detecção de um erro transitório interrompe processo e recupera para um estado anterior detecção de erro permanente localiza a falha configura p/ garantir operação normal Taisy Weber 24 reconfiguração é possível (graceful degradation) reconfiguração não é possível: diagnóstico até o nível de SRU recuperação do processo é responsabilidade do SO

25 Sistemas comerciais tolerantes a falhas exemplos: computadores de grande porte desenvolvidos especificamente para aplicações comerciais tolerantes a falhas (sistemas de transações) Tandem: Fundada em 1976 Stratus: mecanismos de TF implementados em software Fundada em 1980 mecanismos de TF implementados em hardware arquiteturas em desuso, mas técnicas ainda usadas para servidores de rede e computadores de alta disponibilidade Taisy Weber 25

26 Tandem NonStop primeiro sistema comercial modular e escalável projetado especificamente para disponibilidade contínua sistema composto de 2 a 16 módulos módulo: processador + memória local + canal de entrada e saída + fonte de alimentação interligados por um barramento duplicado adicionalmente controladores de dispositivos de entrada e saída controladores podem aparecer duplicados cada um está conectado a dois canais de E/S Taisy Weber 26

27 Tandem NonStop barramento duplicado DYNABUS módulo interface dynabus processador memória canal de E/S interface dynabus interface dynabus interface dynabus processador memória processador memória processador memória canal de E/S canal de E/S canal de E/S controladores de E/S podem estar duplicados, cada um conectado a dois canais de E/S controlador de disco controlador de fita controlador de terminais A A' controlador de controlador de disco disco Taisy Weber 27 B B'

28 Primários e backups redundância dinâmica em software pares para processos do sistema e do usuário: processo primário ativo & processo substituto passivo (backup) primário envia pontos de recuperação para o backup primário Px primário Py módulo A módulo C Py Pz Px primário Pz módulo B processo supervisor Taisy Weber 28

29 Tandem: diagnóstico de erros erros em um módulo detectados por outros módulos a cada segundo: processo supervisor do módulo envia sinal de vida a todos outros módulos a cada 2 segundos: processo supervisor verifica se recebeu sinal de vida dos outros módulos na falta de um sinal: módulo correspondente falhou operações de entrada e saída controle de time-out atenção: é assumido modelo fail-stop processo de E/S substituto entra em operação Taisy Weber 29

30 Tandem: Recuperação Falha no módulo: processos backup dos primários no módulo rolam para o último PR recuperação por retorno processos backup são ativados como primários sistema é reconfigurado Após reparo do módulo: novos primários criam substitutos no módulo Falha de um canal de entrada e saída: o backup correspondente é rolado para PR backup é ativado como primário Taisy Weber 30

31 Stratus Continuous Processing 1 a 32 módulos módulos em rede local (Strata Link) módulo: processador + memória local + controladores E/S interligados por um barramento interno componentes duplicados com comparador (redundância estática) não disponíveis para redundância dinâmica módulos podem aparecer duplicados a duplicação é transparente ao usuário e às aplicações Taisy Weber 31

32 Stratus módulo com componentes duplicados com comparador (redundância estática) todo o módulo também pode aparecer duplicado CPU CPU módulo controle disco controle disco MEM MEM controle E/S controle E/S Strata link barramento Strata link módulos em rede local (Strata Link) Taisy Weber 32

33 Stratus: diagnóstico de erros interno aos módulos comparação dos resultados (por replicação) se comparação indica erro: nenhum resultado é fornecido como saída do módulo módulo é isolado do sistema é enviado sinal de erro ao programa de manutenção implementa fail-stop Taisy Weber 33

34 Stratus: programa de manutenção realiza testes no módulo para detecção de falhas falha detectada é permanente ou transitória? problema é registrado e erro indicado em um terminal de supervisão falha em módulo duplicado no sistema: invisível à aplicação falha transitória: módulo é novamente sincronizado com unidade redundante e entra imediatamente em operação falha permanente: módulo é substituído manualmente não há interrupção do processamento normal Taisy Weber 34

35 Servidores de rede: Sun Enterprise reconfiguração automática reinicia imediatamente após defeito, desabilitando automaticamente o componente falho testa os componentes do sistema a cada vez que o equipamento é ligado ou quando é gerada uma interrupção externa fontes de energia e ventilação redundantes falhas não interrompem a operação monitoramento ambiental para proteger contra temperaturas extremas, falta de fluxo de ar ou flutuações de energia Taisy Weber 35

36 Sun Enterprise ECC para integridade dos dados ECC em todos os caminhos de dados adicionalmente, paridade nos endereços e linhas de controle do barramento e nas caches internas e externas ferramentas de monitoramento vários registradores e contadores para monitorar a atividade do sistema e implementar cão de guarda registradores acessados por software especial (Solstice SyMON) para extrair dados sobre desempenho e para a manutenção Taisy Weber 36

37 Sun Enterprise ferramentas de diagnóstico online Sun Validation Test Suite (SunVTS) realiza testes e registra os resultados obtidos. testes em componentes (processadores, memória, I/O, ) e em todo o sistema troca de componentes com o sistema em operação habilidade de substituir componentes sem necessidade de desligar o sistema (hot swap) módulos de energia/ventilação, placas de CPU/memória e placas de I/O Taisy Weber 37

38 ultra dependabilidade alta dependabilidade Sistemas críticos primeira área de computadores TF controle de aeronaves e satélites satélite OAO OAO foi um dos últimos computadores construídos com componentes discretos Apollo TMR para processadores espelhamento de memória e ECC sistemas de telefonia electronic switching systems (ESS) duplicação e comparação década de 60 cada transistor era quadruplicado Taisy Weber 38

39 ultra dependabilidade Computadores de bordo aplicação crítica de tempo real controle de aeronaves tempo real com tempo de atuação curto interrupção no funcionamento: inadmissível reparo: possível apenas durante os intervalos de vôo desejável: a cada centena de horas de vôo confiabilidade: perda de controle de poucos milisegundos pode ser fatal da ordem de 10-9 ou falhas por hora para um vôo de 10 horas 1,14 milhões de anos de operação Taisy Weber 39

40 FTMP e SIFT década de 70 (NASA) dois computadores desenvolvidos a partir da mesma especificação ambos com redundância modular tripla (TMR) FTMP Fault Tolerant Multi-Processor SIFT Software Implemented Fault Tolerance SRI International, 1972 Taisy Weber 40

41 Exemplos FTMP: votador implementado em hardware, todos os processadores são sincronizados relógio central é tolerante a falhas SIFT: votação realizada por software, processadores são assíncronos, não há relógio central sincronização de resultados para votação garantido por software. da ordem de 50 microsec Taisy Weber 41

42 FTMP 5 barramentos redundantes processadores e módulos de memória ligados ao sistema de barramento por interfaces especiais tríade = 3 processadores + 3 memórias elementos da tríade executam a mesma tarefa e comunicam-se através de 3 dos 5 barramentos BGs votam sobre dados da tríade colocados nos 3 barramentos falha mascarada em processador, memória ou barramento tríades diferentes executam tarefas diversas BGs - bus guardians Taisy Weber 42

43 FTMP processadores e módulos de memória estepe objetivo: substituir um elemento de uma tríade que falhou distribuição dinâmica de tarefas entre as tríades objetivo: reconhecer falhas nos votadores reconfiguração periódica objetivo: reconhecer falhas no mecanismo de reconfiguração Taisy Weber 43

44 SIFT módulos processadores interligados por barramento redundante processadores operam assincronamente em relação aos demais sincronização de resultados para votação por software uma tarefa é alocada sempre a 3 módulos: cada módulo envia seu resultado aos outros 2 usando o barramento redundante cada módulo realiza votação majoritária por software votação majoritária: (2-em-3) Taisy Weber 44

45 AUGUST 300 sistema comercial baseado em SIFT construído com microprocessadores Intel 80x86 máquina para controle de processos em tempo real usado como exemplo para mostrar que a solução de votação em software é mais flexível que em hardware Taisy Weber 45

46 Comparação FTMP e SIFT ambos com alta confiabilidade para aplicações críticas tempo-real FTMP: esquema de votação mais eficiente (hardware) tolerância a falhas não é visível a partir da aplicação SIFT: esquema de votação em software mais versátil elimina necessidade de clock tolerante a falhas tolerância a falhas é visível a partir da aplicação Taisy Weber 46

47 Space Shuttle computer abordagem semelhante a SIFT (1976) 5 computadores 4 dos 5 formam conjunto redundante atuam nas fases críticas mascaramento NMR detecção cruzada cada computador ouve todos os demais o quinto computador realiza operações não críticas e atua como backup dos demais possui software diversitário suporta até duas falhas software primário é da IBM, o diversitário da Rockwell Taisy Weber 47

48 Space Shuttle: operação operação do conjunto de 4 nodos mascaramento saídas são votadas nos atuadores detecção de falha cada computador escuta as saídas dos demais e compara com suas saídas por software se detectar desacordo: avisa o computador suspeito em cada computador os sinais de desacordo recebidos são votados em um circuito especial (gerente de redundância) se o voto for positivo, o processador suspeito é desativado Taisy Weber 48

49 Bibliografia capítulos de livros SIEWIOREK, D. Architecture of fault-tolerante computers, cap 2. Fault- Tolerant System Design. Prentice Hall, New Jersey, 1996 PRHADHAN, D.K. Case studies in fault tolerante multiprocessor and distributed systems, cap 4. Fault-Tolerant System Design. Prentice Hall, New Jersey, 1996 artigos AVIZIENIS, A. Fault Tolerance Infrastructure for Dependable Computing with High-Performance COTS Components. DSN, IEEE 2000 livros SURI, N.; WALTER, C.J.; HUGUE, M.M. Advances in ultradependable distributed systems. IEEE Computer Society Press. Los Alamitos Taisy Weber 49