Programação Paralela e Distribuída 2010/11. Métricas de Desempenho. Ricardo Rocha DCC-FCUP

Transcrição

1 Métricas de Desemenho Programação Paralela e Distribuída Métricas de Desemenho

2 Métricas de Desemenho Desemenho! Dois dos rinciais objectivos do desenho de alicações aralelas são:! Desemenho: a caacidade de reduzir o temo de resolução do roblema à medida que os recursos comutacionais aumentam.! Escalabilidade: a caacidade de aumentar o desemenho à medida que a comlexidade do roblema aumenta.! Os factores que condicionam o desemenho e a escalabilidade de uma alicação são:! Limites Arquitecturais! Limites Algorítmicos 2

3 Métricas de Desemenho! Limites Arquitecturais! Latência e Largura de Banda! Coerência dos Dados! Caacidade de Memória Limites ao Desemenho! Limites Algorítmicos! Falta de Paralelismo código sequencial/concorrência! Frequência de Comunicação! Frequência de Sincronização! Escalonamento Deficiente granularidade das tarefas/balanceamento de carga 3

4 Métricas de Desemenho Métricas de Desemenho! Existem 2 classes distintas de métricas de desemenho:! Métricas de Desemenho ara Processadores: métricas que ermitem avaliar a erformance de um rocessador tendo or base a velocidade/número de oerações que este consegue realizar num determinado esaço temoral.! Métricas de Desemenho ara Alicações Paralelas: métricas que ermitem avaliar a erformance de uma alicação aralela tendo or base a comaração entre a execução com múltilos rocessadores e a execução com um só rocessador.! No nosso caso, estamos obviamente mais interessados nas métricas que ermitem avaliar o desemenho das alicações aralelas. 4

5 Métricas de Desemenho Métricas de Desemenho ara Processadores! Algumas das métricas mais conhecidas ara medir o desemenho da arquitectura de um rocessador/comutador são:! MIPS: acrónimo ara Millions of Instructions Per Second.! FLOPS: acrónimo ara FLoating oint Oerations Per Second.! SPECint: conjunto de rogramas de teste benchmarks da SPEC Standard Performance Evaluation Cororation que avaliam o desemenho do rocessador em aritmética de inteiros 992.! SPECf: conjunto de rogramas de teste da SPEC que avaliam o desemenho do rocessador em oerações de vírgula flutuante 2000.! Whetstone: rograma de teste sintético que avalia o desemenho do rocessador em oerações de vírgula flutuante 972.! Dhrystone: rograma de teste sintético que avalia o desemenho do rocessador em aritmética de inteiros

6 Métricas de Desemenho Métricas de Desemenho ara Alicações Paralelas! Existem várias medidas que ermitem medir/avaliar o desemenho duma alicação aralela. As mais conhecidas são:! Seedu! Eficiência! Redundância! Utilização! Qualidade! Existem igualmente várias leis/métricas que ermitem balizar o comortamento duma alicação aralela face ao seu otencial desemenho. As mais conhecidas são:! Lei de Amdahl! Lei de Gustafson-Barsis! Métrica de Kar-Flatt! Métrica de Isoeficiência 6

7 Métricas de Desemenho Seedu! O seedu é uma medida do grau de desemenho. O seedu mede o rácio entre o temo de execução sequencial e o temo de execução em aralelo. S T T T é o temo de execução com um rocessador T é o temo de execução com rocessadores CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs T S,92 3,57 6,25 0,00 7

8 Métricas de Desemenho Eficiência! A eficiência é uma medida do grau de aroveitamento dos recursos comutacionais. A eficiência mede o rácio entre o grau de desemenho e os recursos comutacionais disoníveis. E S T T S é o seedu ara rocessadores CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs S,92 3,57 6,25 0,00 E 0,96 0,89 0,78 0,63 8

9 Métricas de Desemenho Redundância! A redundância é uma medida do grau de aumento da comutação. A redundância mede o rácio entre o número de oerações realizadas ela execução aralela e ela execução sequencial. R O O O é o número total de oerações realizadas com rocessador O é o número total de oerações realizadas com rocessadores CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs O R,03,0,23,50 9

10 Métricas de Desemenho Utilização! A utilização é uma medida do grau de aroveitamento da caacidade comutacional. A utilização mede o rácio entre a caacidade comutacional utilizada durante a comutação e a caacidade disonível. U R E CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs R,03,0,23,50 E 0,96 0,89 0,78 0,63 U 0,99 0,98 0,96 0,95 0

11 Métricas de Desemenho Qualidade! A qualidade é uma medida do grau de imortância de utilizar rogramação aralela. Q S E R CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs S,92 3,57 6,25 0,00 E 0,96 0,89 0,78 0,63 R,03,0,23,50 Q,79 2,89 3,96 4,20

12 Métricas de Desemenho Lei de Amdahl! A comutação realizada or uma alicação aralela ode ser divididas em 3 classes:! Cseq: comutações que só odem ser realizadas sequencialmente.! Car: comutações que odem ser realizadas em aralelo.! Ccom: comutações de comunicação/sincronização/iniciação.! Usando estas 3 classes, o seedu de uma alicação ode ser definido do seguinte modo: T S T C seq C ar C ar C seq C com 2

13 Métricas de Desemenho Lei de Amdahl! Como Ccom 0 então: S C seq C ar C ar C seq! Se f for a fracção da comutação que só ode ser realizada sequencialmente então: C seq C seq f f e S C seq C ar C seq f C seq 3

14 Programação Paralela e Distribuída 200/ Métricas de Desemenho 4 Lei de Amdahl! Simlificando: f f S f f S f seq C seq C f seq C S

15 Métricas de Desemenho Lei de Amdahl! Seja 0 f a fracção da comutação que só ode ser realizada sequencialmente. A lei de Amdahl diz-nos que o seedu máximo que uma alicação aralela com rocessadores ode obter é: S f f! A lei de Amdahl dá-nos uma medida do seedu máximo que odemos obter ao resolver um determinado roblema com rocessadores.! A lei de Amdahl também ode ser utilizada ara determinar o limite máximo de seedu que uma determinada alicação oderá alcançar indeendentemente do número de rocessadores a utilizar. 5

16 Métricas de Desemenho Lei de Amdahl! Suonha que retende determinar se é vantajoso desenvolver uma versão aralela de uma determinada alicação sequencial. Por exerimentação, verificou-se que 90% do temo de execução é assado em rocedimentos que se julga ser ossível aralelizar. Qual é o seedu máximo que se ode alcançar com uma versão aralela do roblema executando em 8 rocessadores? S 0, 0, 8! E o limite máximo de seedu que se ode alcançar? lim 0 0, 0, 4,7 6

17 Métricas de Desemenho Limitações da Lei de Amdahl! A lei de Amdahl ignora o custo das oerações de comunicação/sincronização associadas à introdução de aralelismo numa alicação. Por esse motivo, a lei de Amdahl ode resultar em redições ouco realistas ara determinados roblemas.! Suonha que desenvolveu uma alicação aralela, com comlexidade On 2, cujo adrão de execução é o seguinte, em que n é o tamanho do roblema:! Temo de execução da arte sequencial inut e outut de dados:! Temo de execução da arte aralelizável: 2 n 00! Total de ontos de comunicação/sincronização or rocessador:! Temo de execução devido a comunicação/sincronização n0.000: n log n log n 7

18 Métricas de Desemenho Limitações da Lei de Amdahl! Qual é o seedu máximo que se ode obter?! Utilizando a lei de Amdahl: n f 2 n n 00 e S n n 2 n 00 2 n 00! Utilizando a medida de seedu: S n 2 n n 00 n 00 n 0 log n log 8

19 Métricas de Desemenho Limitações da Lei de Amdahl CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs Lei de Amdahl n 0.000,95 3,70 6,72,36 n ,98 3,89 7,5 4,02 n ,99 3,94 7,7 4,82 n 0.000,6 2, 2,22 2,57 Seedu n ,87 3,2 4,7 6,64 n ,93 3,55 5,89 9,29 9

20 Métricas de Desemenho Lei de Gustafson-Barsis! Consideremos novamente a medida de seedu definida anteriormente: S C seq C ar C ar C seq! Se f for a fracção da comutação aralela realizada a executar comutações sequenciais então -f é a fracção de temo gasto na comutação aralela: f C seq e C ar C seq f Car Car Cseq 20

21 Programação Paralela e Distribuída 200/ Métricas de Desemenho 2 Lei de Gustafson-Barsis! Logo:! Simlificando: ar C seq C f ar C ar C seq C f seq C f S f f S ar C seq C ar C seq C f f S

22 Métricas de Desemenho Lei de Gustafson-Barsis! Seja 0 f a fracção da comutação aralela realizada a executar comutações sequenciais. A lei de Gustafson-Barsis diz-nos que o seedu máximo que uma alicação aralela com rocessadores ode obter é: S f! Enquanto a lei de Amdahl arte do temo de execução sequencial ara estimar o seedu máximo assível de ser conseguido em múltilos rocessadores, a lei de Gustafson-Barsis faz recisamente o contrário, ou seja, arte do temo de execução em aralelo ara estimar o seedu máximo comarado com a execução sequencial. 22

23 Métricas de Desemenho Lei de Gustafson-Barsis! Considere que uma determinada alicação executa em 220 segundos em 64 rocessadores. Qual é o seedu máximo da alicação sabendo que or exerimentação verificou-se que 5% do temo de execução é assado em comutações sequenciais. S 64 0, ,5 60,85! Suonha que uma determinada comanhia retende comrar um suercomutador com rocessadores de modo a obter um seedu de num roblema de fundamental imortância. Qual é a fracção máxima da execução aralela que ode ser assada em comutações sequenciais de modo a se atingir o seedu retendido? f f f ,084 23

24 Métricas de Desemenho Limitações da Lei de Gustafson-Barsis! Ao usar o temo de execução em aralelo como o onto de artida, em lugar do temo de execução sequencial, a lei de Gustafson-Barsis assume que a execução com um só rocessador é no ior dos casos vezes mais lenta que a execução com rocessadores.! Isto ode não ser verdade se a memória disonível ara a execução com um só rocessador for insuficiente face à comutação realizada elos rocessadores. Por este motivo, o seedu estimado ela lei de Gustafson-Barsis é habitualmente designado or scaled seedu. 24

25 Métricas de Desemenho Métrica de Kar-Flatt! Consideremos novamente a definição do temo de execução sequencial e do temo de execução em aralelo: T T C seq C ar C ar C seq C com! Seja e a fracção sequencial determinada exerimentalmente duma comutação aralela: C seq e T 25

26 Métricas de Desemenho Métrica de Kar-Flatt! Logo: C seq e T C ar e T! Se considerarmos que Ccom é desrezável então:! Por outro lado: T e T S T e T T T S T 26

27 Programação Paralela e Distribuída 200/ Métricas de Desemenho 27 Métrica de Kar-Flatt! Simlificando: S e e S e e S e e S S e S e T S e T S e T

28 Métricas de Desemenho Métrica de Kar-Flatt! Seja S o seedu duma alicação aralela com > rocessadores. A métrica de Kar-Flatt diz-nos que a fracção sequencial determinada exerimentalmente é: e S! A métrica de Kar-Flatt é interessante orque ao desrezar o custo das oerações de comunicação/sincronização/iniciação associadas à introdução de aralelismo numa alicação, ermite-nos determinar à osteriori qual a imortância da comonente C com no eventual decréscimo de eficiência da alicação. 28

29 Métricas de Desemenho Métrica de Kar-Flatt! Por definição, a fracção sequencial determinada exerimentalmente é um valor constante que não deende do número de rocessadores. e C seq T! Por outro lado, a métrica de Kar-Flatt é uma função do número de rocessadores. S e 29

30 Métricas de Desemenho Métrica de Kar-Flatt! Como a eficiência duma alicação é uma função decrescente do número de rocessadores, a métrica de Kar-Flatt ermite-nos determinar qual a imortância da comonente Ccom nesse decréscimo.! Se os valores de e forem constantes à medida que o número de rocessadores aumenta isso significa que a comonente Ccom é também constante. Logo, o decréscimo da eficiência é devido à existência de ouco aralelismo no roblema.! Se os valores de e aumentarem à medida que o número de rocessadores aumenta isso significa que o decréscimo é devido à comonente Ccom, ou seja, à existência de custos excessivos associados à comutação em aralelo custos de comunicação, sincronização e/ou iniciação da comutação. 30

31 Métricas de Desemenho Métrica de Kar-Flatt! Por exemlo, a métrica de Kar-Flatt ermite-nos detectar fontes de ineficiência não consideradas elo modelo que assume que rocessadores executam a arte que ode ser aralelizável vezes mais ráido do que a execução com um só rocessador.! Se tivermos 5 rocessadores ara resolver um roblema decomosto em 20 tarefas indivisíveis, todos os rocessadores odem executar 4 tarefas. Se todas as tarefas demorarem o mesmo temo a executar então o temo de execução em aralelo será uma razão de 5.! Por outro lado, se tivermos 6 rocessadores ara resolver o mesmo roblema, 4 rocessadores odem executar 3 tarefas mas 2 deles terão necessariamente de executar 4. Isto faz com que o temo de execução em aralelo seja igualmente uma razão de 5 e não uma razão de 6. 3

32 Métricas de Desemenho Métrica de Kar-Flatt! Considere os seguintes seedus obtidos or uma determinada alicação aralela: 2 CPUs 3 CPUs 4 CPUs 5 CPUs 6 CPUs 7 CPUs 8 CPUs S,82 2,50 3,08 3,57 4,00 4,38 4,7 e 0,099 0,00 0,00 0,00 0,00 0,00 0,00! Qual é a rincial razão ara a alicação obter aenas um seedu de 4,7 com 8 rocessadores?! Como e não aumenta com o número de rocessadores, isso significa que a rincial razão ara o baixo seedu é a falta de aralelismo existente no roblema. 32

33 Métricas de Desemenho Métrica de Kar-Flatt! Considere os seguintes seedus obtidos or uma determinada alicação aralela: 2 CPUs 3 CPUs 4 CPUs 5 CPUs 6 CPUs 7 CPUs 8 CPUs S,87 2,6 3,23 3,73 4,4 4,46 4,7 e 0,070 0,075 0,079 0,085 0,090 0,095 0,00! Qual é a rincial razão ara a alicação obter aenas um seedu de 4,7 com 8 rocessadores?! Como e aumenta ligeiramente com o número de rocessadores, isso significa que a rincial razão ara o baixo seedu são os custos associados à comutação em aralelo. 33

34 Métricas de Desemenho Eficiência e Escalabilidade! Dos resultados anteriores odemos concluir que a eficiência duma alicação é:! Uma função decrescente do número de rocessadores.! Tiicamente uma função crescente do tamanho do roblema. 34

35 Métricas de Desemenho Eficiência e Escalabilidade! Uma alicação é dita de escalável quando demonstra a caacidade de manter a mesma eficiência à medida que o número de rocessadores e a dimensão do roblema aumentam roorcionalmente.! A escalabilidade duma alicação reflecte a sua caacidade de utilizar mais recursos comutacionais de forma efectiva. CPU 2 CPUs 4 CPUs 8 CPUs 6 CPUs n ,8 0,53 0,28 0,6 Eficiência n ,94 0,80 0,59 0,42 n ,96 0,89 0,74 0,58 35

36 Métricas de Desemenho Métrica de Isoeficiência! A eficiência duma alicação é tiicamente uma função crescente do tamanho do roblema orque a comlexidade de comunicação é habitualmente inferior à comlexidade da comutação, ou seja, a forma de manter o mesmo nível de eficiência quando aumentamos o número de rocessadores é aumentar o tamanho do roblema. A métrica de isoeficiência formaliza esta ideia.! Consideremos novamente a medida de seedu definida anteriormente: S C seq C ar C ar C seq C com C seq C ar C seq C ar C seq C seq C ar C seq C ar C com C com 36

37 Métricas de Desemenho Métrica de Isoeficiência! Seja T 0 o temo de execução disendido elos rocessadores do algoritmo aralelo a realizar comutações não realizadas elo algoritmo sequencial: T 0 C seq C com! Simlificando: E S C seq C ar C seq C ar T C seq C ar C seq C ar T 0 0 T0 C seq C ar T0 T 37

38 Programação Paralela e Distribuída 200/ Métricas de Desemenho 38 Métrica de Isoeficiência! Então:! Se retendermos manter o mesmo nível de eficiência quando aumentamos o número de rocessadores então: T E E T E E T T T T E e T 0 c T c E E

39 Métricas de Desemenho Métrica de Isoeficiência! Seja E a eficiência duma alicação aralela com rocessadores. A métrica de isoeficiência diz-nos que ara se manter o mesmo nível de eficiência quando aumentamos o número de rocessadores então o tamanho do roblema deve ser aumentado de forma a que a seguinte desigualdade seja satisfeita: T c T 0 em que c E E e T 0 C seq C com! A alicação da métrica de isoeficiência ode deender da quantidade de memória disonível, ois o tamanho máximo do roblema que ode ser resolvido é limitado or essa quantidade. 39

40 Métricas de Desemenho Métrica de Isoeficiência! Suonha que a métrica de isoeficiência ara um roblema de tamanho n nos é dada or uma função do número de rocessadores : n f! Se Mn designar a quantidade de memória necessária ara resolver o roblema de tamanho n então: f M n M! Ou seja, ara se manter o mesmo nível de eficiência, a quantidade de memória necessária or rocessador é: f M n M 40

41 Métricas de Desemenho Métrica de Isoeficiência c log Memória or rocessador Eficiência não ode ser mantida e deve decrescer Eficiência ode ser mantida c c log c limite de memória Número de rocessadores 4

42 Métricas de Desemenho Métrica de Isoeficiência! Considere que a versão sequencial de uma determinada alicação tem comlexidade On 3 e que o temo de execução disendido or cada um dos rocessadores da versão aralela em oerações de comunicação/sincronização é On 2 log. Se a quantidade de memória necessária ara reresentar um roblema de tamanho n for n 2, qual é a escalabilidade da alicação em termos de memória? n 3 c n n c log 2 log M n n 2 M c log c 2 2 log 2 c 2 log 2! Logo, a escalabilidade da alicação é baixa. 42

43 Métricas de Desemenho Seedu Suerlinear! O seedu diz-se suerlinear quando o rácio entre o temo de execução sequencial e o temo de execução em aralelo com rocessadores é maior do que. T T! Alguns dos factores que odem fazer com que o seedu seja suerlinear são:! Custos de comunicação/sincronização/iniciação raticamente inexistentes.! Tolerância à latência da comunicação.! Aumento da caacidade de memória o roblema assa a caber todo em memória.! Subdivisão do roblema tarefas menores geram menos cache misses.! Aleatoriedade da comutação em roblemas de otimização ou com múltilas soluções. 43

44 Métricas de Desemenho Seedu Suerlinear Se um único comutador rocessador consegue resolver um roblema em N segundos, odem N comutadores rocessadores resolver o mesmo roblema em segundo? 44