Análise e desenho de algoritmos paralelos

Transcrição

1 ISUTIC 2017 Análise e desenho de algoritmos paralelos Docente: MSc. Angel Alberto Vazquez Sánchez

2 Sumario Análise de algoritmos paralelos: Parâmetros absolutos e relativos para avaliar algoritmos paralelos. Desenho de algoritmos paralelos: Exemplo de resolução de sistemas de equações lineares U*x = b.

3 Bibliografía Tanenbaum, A. S., & Van Steen, M. (2007). Distributed systems: principles and paradigms. Prentice-Hall. Coulouris, G., Dollimore, J., Kindberg, T., & Blair, G. (2013). Sistemas Distribuídos-: Conceitos e Projeto. Bookman Editora.

4 Introdução De pouca utilidade costuma ser qualquer computador se não se dispõe de algoritmos eficientes que permitam o aproveitar ao máximo. Isto é especialmente verdadeiro no caso dos Computadores Paralelos onde as técnicas de desenho diferem fundamentalmente das utilizadas em Computadores Sequenciais.

5 Introdução Devemos ser capazes de analisar e comparar os algoritmos paralelos com outros já existentes e tratar dos melhorar ao máximo explodindo todas as possibilidades do paralelismo. Como de rápido é um algoritmo paralelo? Está a utilizar-se um Computador Paralelo de forma eficiente?

6 Modelo RAM (Random Access Machine) Modelo usado para analisar e desenhar os algoritmos sequenciais. É muito simples e representa fielmente o modelo de Von Neumann. Nele se supõe que: 1.O algoritmo é implementado utilizando seu conjunto básico de instruções. 2.As instruções são executadas uma a seguir de outra. 3.Para a cada operação básica conhece-se seu tempo de execução ou sua forma de calcular.

7 Modelo multiprocessador com memória distribuída (D-RAM) Um dos modelos mais usados para analisar e desenhar os algoritmos paralelos. Características: Compõe-se por vários processadores RAM, ou elementos de processo. A cada elemento de processo tem sua própria memória local, e seu próprio espaço de direções. Os processadores estão ligados mediante uma rede de interconexão. A comunicação entre os processadores realiza-se mediante passo de mensagens.

8 Modelo multiprocessador com memória distribuída (D-RAM) Características: A cada processador é identificado por um índice. Todos os processadores executam o mesmo programa (SPMD). Os códigos podem particularizar-se em função do índice identificador do processador. Existem primitivas de comunicação. Enviar(v, i): Escreve a mensagem alojada no variável v no buffer do processador Pi. Receber(v): Aloja a mensagem que tenha no buffer na variável v e esvazia o buffer.

9 Envio de mensagens Tempo de envio de uma mensagem de N bytes de um nó a outro nó vizinho: N τ+β τ : Tempo que demora um byte em circular de um nó a outro. β : Tempo de latência. Tempo que decorre desde que se decidiu enviar a mensagem até que se envia o primeiro byte

10 Tempos de execução (Parâmetros absolutos) Tempo sequencial (Ts): Tempo que demora em se executar o algoritmo num processador. Costuma medir-se em FLOPS. FLOPS: Tempo que demora em se executar uma operação elementar em vírgula flutuante. Tempo paralelo (Tp) : Tempo que demora o algoritmo em se executar em p processadores. Tp = Ta + Tc Tsol

11 Tempos de execução (Parâmetros absolutos) Tempo aritmético (Ta): Tempo que demora o sistema multiprocessador em fazer operações aritméticas. Costuma medir-se em FLOPS. Tempo de comunicações (Tc): Tempo que demora o sistema multiprocessador em executar transferências de dados. Tempo de sobreposição (Tsol): Tempo que decorre quando se realizam operações aritméticas e operações de comunicação simultaneamente. Tp Ta + Tc

12 Tempo de execução (Parâmetros relativos) Speed-up (Sp): Indica qual é o ganho de velocidade de um algoritmo paralelo, executado sobre p processadores, quando se compara com o melhor algoritmo sequencial. Sp= T s T p lim Sp= p Eficiência(Ep): Mede o grau de utilização de um sistema multiprocessador. Ep= Sp p

13 Desenho de algoritmos paralelos: Exemplo de resolução de sistemas de equações lineares U*x = b

14 Algoritmo sequencial

15 Algoritmo sequencial

16 Diagrama de dependências

17 Distribuição por filas consecutivas

18 Algoritmo escalar

19 Análise do algoritmo escalar

20 Análise do algoritmo escalar

21 Distribuição cíclica de filas

22 Algoritmo TRS (Triangular Row Scatter)

23 Análise do algoritmo TRS

24 Análise do algoritmo TRS

25 Algoritmo TRS na prática Suponhamos que n = 1024 e que se tem um sistema multiprocessador com 8 processadores e onde existam as seguintes condições: T P 3 sg. F= sg. τ= sg. β= sg. Significativo para un problema não tão grande. Paralelismo de grão fino: Enviam-se muitas mensagens de tamanhos muito pequenos.

26 Tarefa 1.O que é o paralelismo de grão fino? 2.Pesquise os seguintes aspectos sobre o algoritmo TRB (Triangular Row Block): Pseudocódigo, Tempo de execução e Distribuição de carga entre os processadores. 3.Compare com o algoritmo TRBS (Triangular Row Block Scatter) tendo em conta os mesmos aspectos.

27 Conclução

28 ISUTIC 2017 Análise e desenho de algoritmos paralelos Docente: MSc. Angel Alberto Vazquez Sánchez