Modelos Computacionais. Jorge Barbosa

Transcrição

1 Modelos Computacionais Jorge Barbosa

2 Modelos Computacionais Modelo de Computação: corresponde a uma função de custo da execução de um algoritmo numa determinada máquina. O modelo deve representar o custo de cada operação no modelo de programação. Modelo de Programação/Programa + Máquina Modelo de Computação Objectivos Estimação de desempenho. Permite definir as estratégias de paralelização que resultam melhor na máquina em causa. Permite definir as estratégias de distribuição de dados e comunicação entre processadores.

3 Modelos Computacionais Os parâmetros da função de custo são obtidos a partir da arquitectura do computador, nomeadamente: Hierarquia de memória Tempo de Latência da rede de comunicações Largura de banda da rede, medida em Mbit/s Capacidade de processamento, medida em Mflop/s Topologia da rede E também a partir do modelo de programação: Distribuição balanceada da carga computacional Contenção da rede: gestão das comunicações para evitar colisões Dependências funcionais

4 Modelos Computacionais Foram desenvolvidos vários modelos de computação, partindo sempre de um modelo de programação e para um determinado tipo de arquitectura. 1. Modelo PRAM - Parallel Random Access Machine Extensão ao modelo RAM do computador sequencial Computador PRAM é constituído por: P processadores, 1 unidade de controlo, memória global, largura de banda infinita, custo de acesso à memória nulo.

5 Modelo PRAM Contolo P1 P2 Pn Rede de Interligação Memória Global Os P processadores operam sincronamente num ciclo de leitura de memória, computação e escrita de memória. É um modelo abstracto mas muito utilizado para desenvolver algoritmos para as máquinas paralelas de memória central partilhada (décadas de 70 e 80).

6 Modelo PRAM Foram propostas diversas variações ao modelo básico para tentar torná-lo mais realista, mantendo, no entanto, a sua simplicidade. A distinção consiste na forma como gerem conflitos de leitura/escrita na memória. Modelos PRAM EREW leitura exclusiva e escrita exclusiva CREW leitura concorrente e escrita concorrente ERCW leitura exclusiva e escrita concorrente CRCW leitura concorrente e escrita concorrente

7 Modelo BSP Bulk-Synchronous Parallel model É em simultâneo um Modelo Computacional e um Modelo de Programação. Objectivo: fazer a interface entre hardware e software de modo a obter simultaneamente portabilidade e expansibilidade. Objectivos normalmente mutuamente exclusivos. Custo da portabilidade: redução na eficiência do sistema.

8 Modelo BSP O programa é dividido em super-etapas onde apenas são efectuados cálculos e acessos a memória local. No fim de cada super-etapa, os processadores sincronizam por uma instrução de barreira, trocam as mensagens geradas durante o processamento e iniciam nova super-etapa. Tempo de uma super-etapa: Definido por processador que tem a tarefa mais longa, pelo maior volume de dados trocados, e tempo necessário para sincronizar no fim da super-etapa. Parâmetros do Modelo: P : número de processadores g : largura de banda L : latência, reflecte a latência da rede e tempo de sincronização

9 Modelo BSP Tempo de execução da super-etapa i w i +gh i +L onde w i corresponde à maior tarefa e h i é o número de pacotes trocados por um processador durante a etapa i. Tempo de execução de todo o programa: W+gH+LS S 1 w i i= 0 W = H = i= S 1 h i 0

10 Modelo LogP Modelo para as arquitecturas de memória distribuída, programados segundo o modelo de programação Passagem de Mensagens. O modelo considera a latência, overhead e largura de banda da rede, mas não restringe a uma topologia. Parâmetros do modelo LogP: P : número de processadores g : mínimo intervalo de tempo entre mensagens consecutivas L : majorante para o tempo de latência o : overhead, tempo gasto pelo processador para transmitir a mensagem 1 / g : largura de banda por processador Exemplo: custo da leitura de uma posição de memória remota (em outro processador) = 2L + 4o unidades de tempo

11 Modelo LogP Aspectos a considerar no desenvolvimento de software: Distribuição equilibrada de carga computacional Redução dos acessos a memória remota (comunicações) Escalonamento adequado das comunicações para sobrepor comunicações com computação. Este modelo teve por base o modelo BSP, mas com o objectivo de ser mais realista, i.e. considera que a máquina alvo é uma arquitectura de memória distribuída. É no entanto suficientemente simples para ser usado no desenvolvimento de algoritmos que funcionem de forma previsível numa gama considerável de máquinas.

12 Modelo computacional para uma rede de computadores pessoais CPU + MEMÓRIA CPU + MEMÓRIA CPU + MEMÓRIA Objectivo: Modelo Computacional que caracterize a execução dos algoritmos na máquina paralela da figura, de modo a estimar o tempo de processamento. Considera-se o modelo de programação por passagem de mensagens. Características do Nó da máquina: Capacidade de processamento S i Mflop/s Características da Rede de comunicação: número de mensagens permitidas em simultâneo largura de banda Mbit/s comunicação ponto-a-ponto

13 Modelo computacional para uma rede de computadores pessoais Diagrama temporal da execução de um algoritmo Tp Tempo Distribuíção de dados Processamento Comunicação de Resultados Contabilização separada das fases sequenciais e paralelas Operação sequencial: comunicação, entrada/saída de dados e outros processamentos que não ocorram em paralelo devido às características do problema. Operações paralelas: operações cujo tempo de processamento paralelo corresponde ao tempo medido num único processador dividido por P quando são usados P processadores.

14 Modelo computacional para uma rede de computadores pessoais O tempo total de processamento, em função do número de processadores P e da dimensão do problema n é: T T (n,p)=t S (n,p)+t P (n,p) T S (n,p)=t is (n,p)+t C (n,p) onde T is (n,p) corresponde a componentes sequenciais inerentes ao problema. A comunicação entre 2 processadores de n elementos é dada por: T C (n)=l+nß Onde: L - tempo de latência decorrido entre a ordem para comunicar e o inicio da mesma. ß - 1/largura de banda

15 Modelo computacional para uma rede de computadores pessoais No protocolo TCP/IP as mensagens são divididas no emissor em pacotes de dados e reunidas no receptor para recuperar a mensagem. O tamanho típico é de 1024 elementos. Como consequência o tempo de latência é proporcional ao número de pacotes da mensagem: T C (m)=k.l+mß sendo k=m/1024

16 Modelo computacional para uma rede de computadores pessoais A componente correspondente ao processamento paralelo T P representa os blocos de processamento sem qualquer componente sequencial: T P ( n, P) f ( n) = P i = 1 S i f(n) corresponde à complexidade computacional do problema. Exemplo: Para o produto de matrizes f(n)=2n 3

17 Exemplo de aplicação Convolução Aplicar um filtro de dimensão 3x3 sobre uma imagem de dimensão nxn Y ( i, j) = X ( i, j) h( k, l) = = = h( k, l). x( i k, j k 1 l 1 l) for(i=0; i<n; i++) for(j=0; j<n; j++) for(k=-1; k<=1; k++) for(l=0; l<n; l++) Y[i][j]+=h[k][l]*x[i-k][j-l] Operações efectuadas: f n n ( n) 2 = n. n = 18n = i= 1 j= 1 k= 1 l= flops

18 Exemplo de aplicação Mensagens para P processadores: 2(P-1) mensagens de n elementos Tempo de processamento: 18n T T (n,p) = k.l + 2(P-1 ).n.ß + P. S 2 É necessário estimar k.

19 Medidas de desempenho As medidas de desempenho referem-se ao conjunto algoritmo máquina. A paralelização de um algoritmo poderá ter 2 objectivos: 1. Reduzir o tempo de processamento pela utilização de um maior número de processadores avaliação do Speedup 2. Possibilitar a utilização de uma maior quantidade de dados (e.g. maior detalhe no domínio) avaliação da Expansibilidade A minimização do tempo de processamento não é sinónimo de execução de um menor número de instruções, como nos computadores sequenciais. No entanto, o ganho conseguido compensará as instruções adicionais. Embora seja útil medir a capacidade em Mflops/s de um computador paralelo, esse valor por si só é insuficiente para avaliar o desempenho de um algoritmo num computador.

20 Speedup T Speedup = T seq Paralelo Speedup: razão entre o tempo de processamento sequencial e paralelo. Várias formas de Speedup: 1. Relativo: Tseq é obtido usando o código paralelo com um processador da máquina paralela. 2. Real: Tseq é obtido executando o programa sequencial mais eficiente num nó da máquina paralela. 3. Absoluto: Tseq é obtido executando o programa sequencial mais eficiente na máquina sequencial mais rápida existente. Speedup Observado: obtido por medidas reais da execução do programa Speedup Analítico: obtido por análise da complexidade temporal

21 Speedup Considerações na avaliação de Speedup: Um só processador poderá não ter memória suficiente para executar o programa quando se resolvem problemas de grande dimensão. No Speedup real e relativo, a utilização de processadores mais lentos favorece o valor de Speedup, bem como código menos eficiente. Deve ser sempre referido o tempo de execução paralelo.

22 Eficiência A eficiência mede a taxa de utilização dos processadores na execução do programa paralelo. É igual à razão entre o Speedup e o número de processadores utilizado. E = Speedup P A eficiência apresenta valores entre 0 e 1, e reflecte a qualidade da paralelização.

23 Speedup Superlinear Linear Superlinear Normal Em algumas situações podemos obter um valor de Speedup superior a P, o número de processadores utilizados. E consequentemente uma Eficiência superior a 1. Este comportamento deve-se ao facto de ao dividir o domínio pelos vários processadores, cada um deles precisar de menor quantidade de memória (essencialmente cache e primária). O computador sequencial poderá ter de utilizar com maior frequência memória secundária, aumentando consideravelmente o tempo de processamento. Se na versão paralela o ganho devido à gestão de memória feita pelo S.O. for superior aos tempos de comunicação e gestão de paralelismo, então poder-se-á obter desempenho superlinear.

24 Medidas de Expansibilidade Permite avaliar a adaptabilidade do conjunto algoritmo-máquina para resolver problemas de maior dimensão. Em muitos casos, mantendo P fixo e aumentando n, a eficiência aumenta até ao valor máximo 1. Devido à maior taxa de crescimento do trabalho paralelo, associado a n, em relação à componente sequencial mais dependente da máquina. Sistema Expansível: se é possível manter a eficiência constante, entre 0 e 1, com o aumento de P e de n. ou atendendo à definição de Eficiência: Um algoritmo paralelo é designado de escalável/expansível se a sua eficiência depender do tamanho do problema e do número de processadores apenas pelo seu rácio.

25 Análise de Expansibilidade: exemplo Para a operação de convolução apresentada anteriormente: S = 2(P-1 ).n.ß k.l + 18n 2 / S 18n + P. S 2 E = S P = 2 18n PS 2(P-1 ).n.ß k.l + 18n + P. S 2 = 1+ P 2 n kl 18 1 ( P + 2 n P) β 9 A paralelização obtida não é escalável devido às comunicações iniciais. Este factor não tende para zero. Se tivermos um switch podemos tornar o programa escalável?

26 Análise de Expansibilidade: exemplo Com um switch podemos ter comunicações paralelas entre diferentes computadores. Neste caso as comunicações são agora de 2 mensagem em 2 períodos de comunicação. A contabilização 2(P-1) passa para 4. E = S P = 1+ P 2 n 1 kl P n β 9 A solução algoritmo-máquina com switch é escalável. 1 2

27 Medidas de Expansibilidade Scaled Speedup Função de Isoeficiência

28 Medidas de Expansibilidade: Scaled Speedup A medida scaled speedup é sugerida por Gustafson, para obter uma medida de speedup mais realista atendendo a que num único computador não é possível obter o tempo sequencial por limitações de tempo e memória. Se T P for o tempo de processamento da componente paralela quando são usados P processadores, então o tempo que levaria um computador sequencial seria de T S +P.T P. TS + P. T ScaledSpeedup = T + T S ' P ' P Esta medida tem por base o facto de em alguns algoritmos a componente sequencial não aumentar com a dimensão do problema.

29 Medidas de Expansibilidade: Função de Isoeficiência A suposição de que a componente se mantém constante com o crescimento de P e n, só é válida para alguns casos algoritmo-máquina, não traduzindo os casos de máquinas de memória distribuída programadas com o modelo passagem de mensagens. Função de Isoeficiência Descreve a taxa de crescimento de n em relação a P que mantém a eficiência constante. Taxa de n em relação a P pequena (e.g. linear): sistema com factor de expansibilidade alto. Taxa de n em relação a P alta (e.g. exponencial): sistema com factor de expansibilidade baixo. Significa que é necessário um aumento significativo de n em relação a P para se manter a eficiência constante.

30 Medidas de Expansibilidade: Curvas de Isogranularidade Nos sistemas com factor de expansibilidade baixo, a determinação da função de Isoeficiência é pouco prática devido aos elevados tempos de computação. Em alternativa, determinam-se as Curvas de Isogranularidade que mostram a variação na capacidade da máquina quando se mantém constante o trabalho (granularidade) realizado por cada processador. M flop/s K, 250K p/lu2 QR TRD LU LU Processadores M flop/s Correlação de matrizes G1=90K G2=160K G3=250K Processadores