Tolerância a Falhas. especialmente em grades

Transcrição

1 Tolerância a Falhas especialmente em grades

2 tolerância a falhas em geral falhas em SD crash omissão retardo em respostas respostas erradas respostas arbitrárias simplificadamente: falhas bizantinas falhas fail-stop

3 em computação distribuída preocupação específica com processos e processadores que interrompem execução devido a falha relação com saída da máquina do pool de disponibilidade saída elegante X saída sem aviso técnicas replicação checkpointing e restauração» relação com migração

4 replicação cópias de processos ou dados evitam perdas em caso de falhas replicação de processos: ativa e passiva replicação ativa: simetria entre cópias replicação passiva: cópia primária e cópias ecundárias protocolos de comunicação: broadcasts com garantias» ordem total» ordem causal

5 problemas de ordenação

6 exemplo replicação: caso simples em que processos não se comunicam problema nesse caso são falhas maliciosas construção de reputação redundância: envio de mesmo bloco de dados para diferentes trabalhadores tolerância por replicação complicada em aplicações com muita comunicação

7 replicação estado do processo pode não ser exatamente igual ao de suas réplicas falha

8 checkpointing armazenamento do estado do processo de tal forma que seja possível reiniciá-lo desse ponto processo: dados globais código pilha de execução arquivos abertos mensagens

9 checkpoint de processos dump de memória só é útil em situações de muita homogeneidade tradução para formatos de nível mais alto exige conhecimento do que está armazenado

10 checkpoint de aplicações problema: obter conjuntos consistentes de checkpoints dos processos individuais

11 cortes consistentes e inconsistentes

12 efeito dominó com checkpoints independentes pode-se procurar, em caso de falha, um conjunto consistente pode não existir

13 checkpoint de aplicações: técnicas checkpoints globais consistentes checkpoint coordenado todos os processos têm que voltar ao último ponto de cp para a aplicação se recuperar de uma falha checkpoints individuais + logging de mensagens assume que estado de processo depende apenas de msgs trocadas recupera processo e reenvia todas as msgs log de mensagens: gargalo de armazenamento (confiável)» mensagens pre-checkpoints viram lixo coletável

14 exemplo: Integrade uso de BSP facilita geração de checkpoints coordenados uso de pre-compilador para gerar código de checkpointing não trata heterogeneidade mas poderia

15 exemplo Integrade

16 MPI e tolerância a falhas uso de funções wrapper para fazer log de mensagens checkpoints consistentes - inserção de barreiras resumo sobre uma proposta dessa linha

17 bibliografia Kenneth Birman. Reliable Distributed Systems. Springer-Verlag, E. N. (Mootaz) Elnozahy, Lorenzo Alvisi, Yi-Min Wang, David B. Johnson. A survey of rollback-recovery protocols in message-passing systems. ACM Computing Surveys (CSUR), 34(3), Camargo, R., Goldchleger, A., Kon, F., and Goldman, A Checkpointing BSP parallel applications on the InteGrade. Concurr. Comput. : Pract. Exper. 18, 6 (May. 2006),

18 segurança em grades autenticação, autorização e auditoria

19 certificados autenticação senhas chaves simétricas e assimétricas chaves assimétricas autenticação, privacidade e integridade quem garante a validade de um par de chaves? protocolos de autenticação

20 autenticação assinado com chave privada de A Pri A transmissão verificado com chave pública de A Pub A quem garante que essa realmente é a chave pública de A? uso de certificados assinados por autoridades certificadoras

21 protocolos de autenticação aunteticação unilateral e bilateral ataques como replay,.. sincronização de relógios

22 certificados proxy cada interação que precisa ser autenticada precisa da chave privada do usuário desgaste da chave acesso a chave privada tipicamente protegido por senha ou frase no sistema de arquivos local Globus: geração de certificado proxy assinado com a chave privada do usuário

23 autorizações uma vez assegurada a identidade de um usuário, a que recursos ele deve ter acesso? matriz recursos X usuários listas de autorizações por usuário ou por recurso com sistemas multi-multidomínio registro de todos os usuários possíveis» sobrecarga para cada administrador registro de um "usuário" por instituição do grupo» dificuldade de fazer auditoria

24 autorizações crescimento da idéia do uso de papéis atributos usuário1 usuário 2 usuário 3 usuário 4 papel 1 papel 2 papel 3 autorizações

25 serviços de atributos autorizações baseadas em atributos: professor, aluno, sócio IEEE, quem vai fornecer esses atributos? importância do anonimato não sobrecarregar cada serviço acessado anonimato tradicional: não divulgar mais do que o necessário serviço Shibboleth: iniciativa Internet2 integrável apenas com serviços acessados via http projeto de integração com Globus

26 Shibboleth

27 vantagens do modelo shibboleth acesso com cert proxy serviço alvo cliente certificado proxy com atributos necessários serviço de autenticação e de atributos serviço alvo pode receber apenas atributos relevantes serviço de atributos pode fornecer dados para auditoria

28 trabalho 4 wrapper MPI serviços» estatísticas sobre mensagens enviadas ao final da aplicação» recuperação em caso de falha de um processo: reenvia de mensagens a ele, a partir do início, e ignora mensagens que ele já tenha enviado aplicação deve enxergar exatamente a mesma interface que antes implementação numeração artificial de processos log de mensagens uso de processo intermediário e comunicadores MPI int MPI_Errhandler_set(MPI Comm comm, MPI Errhandler errhandler)

29 tratamento de erro MPI_Errhandler_set(MPI_COMM_WORLD, MPI_ERRORS_RETURN); error_code = MPI_Send(send_buffer, strlen(send_buffer) + 1, MPI_CHAR, addressee, tag, MPI_COMM_WORLD); if (error_code!= MPI_SUCCESS) { } os tratadores de erro são ligados a comunicadores o que são comunicadores? criação de intercomunicador com MPI_Comm_Spawn