PCC104 Projeto e Análise de Algoritmos

Transcrição

1 PCC104 Projeto e Análise de Algoritmos Joubert de Castro Lima joubertlima@gmail.com Professor Adjunto DECOM UFOP 2010/1

2 Figuras retiradas do livro Introduction to parallel Computing

3 Programar em paralelo Imagine duas matrizes A e B de ordem mxn. Como realizar a soma C=(A+B) de forma paralela. Elabore um algoritmo e descreva a técnica utilizada de maneira informal.

4 Programar em paralelo Imagine um arquivo txt com os seguintes dados: a1 b1 c1 d1 e1 f1 a2 b2 c2 d2 e2 f2. an bn cn dn en fn Id da linha Id da linha Id da linha Você possui uma máquina com D discos e P processadores, onde P>D. Elabore um algoritmo paralelo que leia o arquivo e monte a matriz transposta do arquivo original. Utilize idéias para paralelizar IO, dados e tasks

5 Programar em paralelo Considere um sistema de endereçamento global com todos os processadores idênticos!! UM EXEMPLO. IO task IO task P tasks task task D discos D arquivos IO task Cada arquivo com n/d linhas Recurso onde as linhas são armazenadas task Partes da matriz transposta No exemplo acima houve paralelização de tasks, dados e IO? Justifique fundir a matriz faz sentido??

6 Antes de começarmos: Crie tasks Elabore o grafo de dependabilidade das tasks Agrupe as tasks em processos usando o grafo de dependabilidade Escolha uma estratégia que minimize a comunicação Busque paralelizar IO e processamento Foque na localidade dos dados FAÇAM A DISCIPLINA BCC 447 (Programação Paralela)

7 EM INGLÊS MESMO A sequential algorithm is evaluated by its runtime (in general, asymptotic runtime as a function of input size). The asymptotic runtime of a sequential program is identical on any serial platform. The parallel runtime of a program depends on the input size, the number of processors, and the communication parameters of the machine. An algorithm must therefore be analyzed in the context of the underlying platform. A parallel system is a combination of a parallel algorithm and an underlying platform. Texto retirado dos slides do autor do livro Introduction do Parallel Computing

8 Modelagem analítica USANDO DUAS VEZES MAIS HARDWARE É DE SE ESPERAR QUE O PROGRAMA RODE DUAS VEZES MAIS RÁPIDO Programas paralelos normalmente possuem NA TEORIA ATÉ PODE SER. 1) Computação extra 2) Comunicação 3) Espera VAMOS AOS DETALHES:

9 Computação extra Às vezes algoritmos paralelos possuem maior carga de trabalho do que as versões sequenciais EX: Vamos a nossa velha Estrutura de Dados P1 P2 a1 b1 a2 b2 CUSTO EXTRA RELACIONADO A DUPLICAÇÃO DOS NÓS b1 E c2 a1 b1 b1 a2 b2 c1 c2 c1 c2 c2 sequencial Um particionamento para 2 processos

10 Espera Normalmente, causada por falta de balanceamento da carga de trabalho entre os processos PROJETO RUIM SINCRONIZAÇÃO DEPENDENDO NÃO TEM JEITO!!!!

11 Execution time: assim como o sequencial, é o tempo gasto entre o início do programa paralelo e seu término (quando o último processo termina). Parallel Overhead: T S é o tempo sequencial (a melhor versão sequencial possível) p T P é a soma do tempo gasto por cada processo T o = p T P - T S

12 SpeedUp: é a razão entre o tempo gasto para se resolver um problema usando um processo e o tempo gasto com n processos Sempre consideramos a melhor versão sequencial como baseline Para ilustrar: Vamos verificar o speedup do Bubble sort paralelo Sabemos que o sequencial levou 150 segundos Sabemos que o paralelo levou 40 segundos com 4 processos Speedup: 150/40 = 3.75 ÓTIMO SPEEDUP Não é bem assim: se sabemos que o quicksort leva 30 segundos, então speedup: 30/40 = 0.75 BEM MAIS REALISTA, PORÉM.

13 Em casos raros (chamado speedup super linear) teórico provável speedup Num de processos

14 SUPER LINEAR, COMO ASSIM!! Imagine que os dados de um problema (carregar um arquivo com n tuplas) são maiores do que a cache disponível Os dados quando particionados podem diminuir, ficando porções de dados compatíveis com a capacidade de cache de cada nó de processamento Neste exemplo o speedup da versão paralela poderia ser super linear (PODERIA..)

15 SUPER LINEAR, COMO ASSIM!! Ts =14tc Tp = 5Tc SPEEDUP: 2,8 para dois processos

16 Eficiência Fica quase sempre entre 0 e 1 Speedup Número de processos Mundo ideal: speedup igual a p e eficiência igual a 1, mas... Custo p x T P Custo ótimo: o programa paralelo deve ter o mesmo comportamento assintótico do sequencial (variando de acordo com o input)

17 Custo ótimo Somar 16 números sequencial runtime Conjunto de números (input) Paralelo com 4 processos Mesmo comportamento assintótico do sequencial

18 Custo ótimo

19 Escalabilidade INPUT

20 Notas sobre escalabilidade

21 Fazendo uma análise Número de processos Tempo de 1 processo speedup eficiência custo Quem é o melhor??

22 Próxima aula Implementar um exemplo e calcular todas as métricas de desempenho aprendidas nesta aula Apresentar o trabalho sobre este tema Local : lab do DECOM ou pavilhão?