UMA IMPLEMENTAÇÃO PARALELA EFICIENTE DO MÉTODO DOS ELEMENTOS FINITOS PARA A EQUAÇÃO DE ADVECÇÃO E DIFUSÃO

Transcrição

1 UMA IMPLEMENTAÇÃO PARALELA EFICIENTE DO MÉTODO DOS ELEMENTOS FINITOS PARA A EQUAÇÃO DE ADVECÇÃO E DIFUSÃO Leonardo Muniz de Lima Bruno Zanetti Melotti Lucia Catabriga Andréa Maria Pedrosa Valli {lmuniz, bzmelotti, luciac, avalli}@inf.ufes.br Laboratório de Computação de Alto Desempenho - LCAD Departamento de Informática - Universidade Federal do Espírito Santo Av Fernando Ferrari, 51, Goiabeiras, 975/91, Vitória, ES, Brasil Resumo. O presente trabalho apresenta uma implementação do método dos elementos finitos para a equação de convecção-difusão bidimensional utilizando estratégia de decomposição de domínio com estruturas de blocos orientados da matriz de discretização resultante. O sistema linear de equações proveniente da formulação do método dos elementos finitos é resolvido através do método iterativo não-estacionário GMRES. São apresentados três formatos de armazenamento de matrizes esparsas oriundas da discretização sendo feito um estudo comparativo entre eles. Os esquemas de armazenamento empregam versões paralelas da estratégia elemento por elemento, aresta por aresta e do tradicional formato de linhas esparsas comprimidas. A implementação é desenvolvida para arquiteturas de memória distribuída, particularmente para clusters de estações de trabalho, e a troca de mensagens entre os processadores é efetuada através do padrão MPI. Palavras chaves. Elementos finitos, Estratégias especiais de armazenamento, GMRES, Processamento paralelo, MPI.

2 1. INTRODUÇÃO O método dos elementos finitos é uma técnica geral para construção de soluções aproximadas para problemas de valor de contorno que envolve divisão do domínio de solução em um número finito de subdomínios, denominados elementos finitos (Hughes, 1987). A discretização pelo método dos elementos finitos conduz à solução de sistemas lineares de equações. As matrizes geradas por essa discretização têm uma enorme esparsidade e seus coeficientes não nulos não são dispostos uniformemente. Os métodos iterativos não-estacionários, também conhecidos como métodos livres de matrizes, são mais indicados nesse caso, pois apresentam facilidades no armazenamento das matrizes esparsas (Saad, 1995). Além disso, a principal operação desses métodos, o produto matriz-vetor, pode ser realizada acessando apenas as posições não nulas da matriz dos coeficientes. Entretanto, para que essa vantagem dos métodos não-estacionários possa ser melhor aproveitada, há necessidade de se definir estratégias de armazenamentos especiais das matrizes envolvidas. Existem várias estratégias de armazenamento aplicadas ao método dos elementos finitos. A mais popular é o armazenamento elemento por elemento (EBE) (Hughes, 1987), mas existem outras conhecidas, como aresta por aresta (EDE) (Martins, 1996; Catabriga, ) e a tradicional estratégia de linhas esparsas comprimidas, do inglês, Compressed Sparse Row (CSR) (Saad, 1995). Mesmo utilizando estratégias de armazenamento especiais certas classes de problemas demandam grande tempo de processamento e alto consumo de memória. Atualmente, a programação paralela tem mostrado ser uma forma bastante eficaz na busca por um melhor desempenho para realizar essa tarefa. Diversas inovações têm sido apresentadas nessa área, desde arquiteturas específicas a versões paralelas de muitos algoritmos. Máquinas como os clusters (Anderson et al., 1995), por exemplo, trabalham com uma memória privada para cada processador. Para que um processador conheça dados que não pertençam à sua respectiva memória, são realizadas duas operações básicas, chamadas send e receive (Eicken et al., 199). Neste trabalho é utilizado o padrão MPI com a biblioteca lam-mpi, versão tcp.1. O objetivo deste trabalho é apresentar uma implementação considerando estratégias eficientes de armazenamento para paralelização do método dos elementos finitos utilizando estratégia de decomposição de domínio com estruturas de blocos orientados da matriz de discretização. O sistema linear de equações proveniente da formulação do método dos elementos finitos é resolvido através do método iterativo não-estacionário do resíduo mínimo generalizado (GMRES) (Saad, 1995). Para realizar as operações necessárias à resolução do sistema linear são consideradas versões paralelas das estratégias EBE, EDE e CSR e através de problemas compressíveis bidimensionais é discutido o desempenho de cada uma delas. O presente trabalho consta de mais 5 seções além dessa introdução. Na próxima seção é apresentado resumidamente o processo de discretização da equação de convecção e difusão pelo método dos elementos finitos. Um breve comentário sobre as técnicas e estruturas paralelas discutidas em Jimack e Touheed () e Nadeem (1) e três estratégias de armazenamento de matrizes esparsas são apresentados na seção 3. A seção seguinte apresenta a forma de realizar o produto matriz-vetor e o produto interno paralelos e apresenta um estudo resumido da complexidade dessas operações. A seção 5 apresenta os testes de desempenho realizados em um cluster linux comparando as três estratégias de armazenamento abordadas para dois problemas convectivos bidimensionais. Na última seção são apresentadas as principais conclusões obtidas.

3 . FORMULAÇÃO DE ELEMENTOS FINITOS PARA A EQUAÇÃO DE CONVECÇÃO E DIFUSÃO Considere a equação de convecção e difusão na forma conservativa definida em um domínio Ω com contorno Γ : u t + β. u.(κ u) = f. (1) onde u representa a quantidade sendo transportada (temperatura, concentração, por exemplo), β é o vetor de velocidade, f é uma função conhecida e κ é a matriz de difusividade volumétrica dada por, [ ] κx κ =. () κ y As condições de contorno essencial e natural adicionadas à equação (1) são: u = g em Γ g, n.κ u = h em Γ h, (3) onde g e h são funções prescritas de (x, y), n é o vetor unitário normal ao contorno, Γ g e Γ h são subconjuntos de Γ. As condições iniciais são dadas por: u() = u o em Ω. () Considere uma discretização de elementos finitos sobre o domínio Ω em elementos Ω e, e = 1,..., n el, onde n el é o número de elementos. Seja S h S e V h V subespaços das funções de base e funções de peso, detalhes podem ser vistos em Hughes (1987). A formulação estabilizada de elementos finitos da equação (1) pode ser escrita como a seguir. Encontrar u h S h tal que w h V h : ) (w h uh Ω t + wh β h. u h w h.κ u h dω + n el ( ) u τβ h. w h h e=1 Ω t + βh. u h dω = e n el w h fdω + τβ h. w h fdω, (5) Ω Ω e e=1 Na equação (5), τ é o parâmetro de estabilização da formulação SUPG dado por τ = α β, onde α o parâmetro de malha (Tezduyar et al., 199). Seja a aproximação de elementos finitos padrão (Hughes, 1987) dada da seguinte forma: u h (x, y) = nnodes i=1 N i (x, y)u i, (6) onde nnodes é o número de nós, N i é uma função de forma correspondente ao nó i e u i são os valores nodais de u. Então, substituindo (6) em (5) chega-se a um sistema de equações diferenciais, Ma + Kv = F, (7)

4 onde v = {u 1, u,..., u nnodes } T é o vetor de valores nodais de u, a é um vetor contendo as derivadas de u, M é chamada de matriz de massa, K é chamada a matriz de rigidez e F é chamado o vetor de cargas nodais. Para resolver o sistema (7) é utilizado o algoritmo preditormulticorretor descrito em Hughes e Tezduyar (198). Neste algoritmo, em cada multicorreção, é necessário resolver o sistema linear não-simétrico: M a = R, (8) onde M = M + α tk é uma matriz esparsa da ordem do número de nós incógnitas, R = F [Ma + Kv ] é o vetor de resíduos em função dos valores iniciais da multicorreção de v e a, ou seja, v, a, e a é a correção dos valores nodais de a para a próxima iteração. É considerado α =.5 que representa uma aproximação de segunda ordem no tempo e t é o tamanho do passo no tempo. A matriz M não varia em cada passo de tempo, mas o mesmo não acontece com o vetor R, pois depende dos valores atualizados v e a. Neste trabalho é considerado apenas triângulos lineares. Portanto, a interpolação dentro de um elemento é simplesmente, u e (x, y) = 3 N i (x, y)u i, (9) i=1 onde N 1,N e N 3 são as funções de forma convencionais (Hughes, 1987). Portanto, as matrizes M e K podem ser construídas a partir das contribuições dos elementos, sendo conveniente identificar seus termos em nível de cada elemento por: M = m e = nel A e=1 (me ) N T NdΩ e + Ωe Ωe τ SUP G B T β h NdΩ e (1) K = k e = nel A e=1 (ke ) (N T (β h ) T B + B T kb)dω e + Ωe Ωe τ SUP G B T (β h )(β h ) T BdΩ e (11) onde A é um operador de montagem, N = {N 1, N, N 3 } T é um vetor contendo as funções de forma e B é uma matriz contendo as derivadas parciais de N com respeito às suas coordenadas. O vetor F é armazenado de forma similar. 3. ESTRATÉGIAS PARALELAS DO MÉTODO DOS ELEMENTOS FINITOS Para resolver o sistema (8) é usado uma técnica especial de paralelização denominada decomposição de domínio utilizando blocos orientados para resolver sistemas lineares resultantes de formulações de elementos finitos, descrita em Saad (1995); Jimack e Touheed (); Nadeem (1). A partir dessa estratégia é possível montar as contribuições da matriz M e do vetor R de (8) independentemente e concorrentemente em cada processador. As partições resultantes possuem três tipos de nós, denominados por IntNodes, IBNodes e nós de valor prescrito. Os nós IntNodes são nós incógnitas que não pertencem a fronteira de particionamento. Já os nós IBNodes são nós incógnitas que pertencem a mais de uma partição simultaneamente, ou seja, pertencem à fronteira de particionamento. Como conseqüência do particionamento da malha,

5 as incógnitas do vetor de solução v ficam distribuídas ao longo dos p subdomínios tais que parte do vetor de solução, por exemplo u i, pertence unicamente ao processador i e u s(i) pertence ao processador i mas também a outros processadores. Essa mesma distribuição é aplicada ao vetor de resíduos R. A Fig. 1 representa uma malha com 5 nós e 7 elementos que foi particionada em quatro subdomínios. Os nós I e J, por exemplo, são nós IntNodes dos processadores 3 e, respectivamente. Já o nó K é um nó IBNodes tanto para o processador 1 como para os processadores 3 e. Com o objetivo de facilitar a compreensão dos conceitos empregados, será utilizada a partir Figura 1: Exemplo de uma malha particionada em subdomínios deste ponto a notação convencional para um sistema linear de equações. Portanto, um sistema linear Ax = b, resultante da discretização pelo método dos elementos finitos, pode ser descrito da seguinte forma: A 1 B 1 x 1 b 1 A B x b Ax =..... =. = b. (1) A p B p x p b p C 1 C... C p A s x s Os blocos de matrizes A i, B i, C i e A s, com i = 1,..., p, onde p é o número de processadores envolvidos na paralelização, armazenam as contribuições dos elementos que formam a matriz A. Os blocos A i representam as contribuições dos nós do tipo IntNodes do processador i nos nós do tipo IntNodes do mesmo processador i. Os blocos B i armazenam as contribuições que os nós do tipo IntNodes do processador i têm sobre os nós do tipo IBNodes, também do processador i. Similarmente, os blocos C i representam as contribuições dos nós do tipo IBNodes do processador i nos nós IntNodes do processador i. O bloco A s representa uma montagem de vários blocos ao longo dos p processadores, de modo que, A s = U p A s(i), onde cada um dos A s(i) i=1 b s

6 armazena as contribuições dos nós do tipo IBNodes nos nós do tipo IBNodes do processador i. Os blocos de vetores x i e b i, com i = 1,..., p, representam as incógnitas relativas aos nós do tipo IntNodes e seus respectivos termos independentes para o processador i. Já os blocos de vetores x s e b s, assim como o bloco A s, são formados por montagens dos vários blocos ao longo dos p processadores, ou seja, x s = U p x s(i) e b s = U p b s(i), onde x s(i) e b s(i) representam as incógnitas i=1 i=1 e os termos independentes dos nós do tipo IBNodes do processador i respectivamente. Levando em consideração que uma matriz A, obtida a partir da discretização por elementos finitos de uma malha de elementos triangulares lineares, tem ordem n n, onde n é o número de nós incógnitas, e A possui uma quantidade muita pequena de coeficientes não nulos por linha, conclui-se que os blocos A i, B i, C i e A s de (1) também apresentam grande esparsidade. A Tab. 1 apresenta a dimensão de cada um desses blocos e o consumo médio de memória utilizada para cada uma das estruturas. O termo n I representa o número de nós IntNodes e n B representa a quantidade de nós IBNodes. Estruturas Padrão Dimensões Consumo Médio A i n I n I n I B i n I n B n I n B C i n B n I n I n B A s(i) n B n B n B x i e b i n I e n I n I e n I x s(i) e b s(i) n B e n B n B e n B Tabela 1: Dimensões e consumo de memória das estruturas do sistema (1) Observações: 1. É importante ressaltar que para utilizar a estrutura (1) obtendo o desempenho desejado, deve-se aplicar alguma estratégia para armazenar seus blocos de forma compacta, evitando guardar os coeficientes nulos, os quais não têm influência alguma sobre os resultados das operações aritméticas envolvidas no processo. As estratégias elemento por elemento (EBE), aresta por aresta (EDE) e compressed sparse row (CSR) que serão apresentadas nos próximos itens, demonstraram ser eficazes nesse tipo de armazenamento.. O sistema (8) deve ser resolvido em cada multicorreção do algoritmo preditor-multicorretor. Como a Matriz M não varia ao longo do tempo, mas o vetor de termos independentes R varia, seria necessário armazenar as matrizes M, M e K, respectivamente, definidas em (8), (1) e (11). Porém, com o objetivo de otimizar a implementação, será considerado somente o armazenamento das matrizes M e K, sendo que as mesmas serão utilizadas para efetuar as operações sobre a matriz M e o vetor R. 3. Nos itens a seguir será mostrado como é construída uma matriz com as características da matriz K quando forem considerados armazenamentos dos tipos EBE, EDE e CSR. Considerações similares podem ser feitas para a matriz M. 3.1 Estratégia elemento por elemento - EBE Na estratégia elemento por elemento tradicional, os coeficientes da matriz global A são armazenados em cada elemento. Considerando elementos triangulares lineares, tem-se uma matriz de ordem 3 para cada elemento, ou seja, 9 coeficientes. Assim a matriz A, com dimensões

7 n n, onde n é o número de nós incógnitas, é armazenada de forma mais compacta, ou seja, passaria a contar com ebe linhas e 9 colunas, onde ebe é o número de elementos da malha. Entretanto os coeficientes da diagonal principal da matriz do elemento podem ser obtidos através de combinações dos outros coeficientes, não sendo necessário armazená-los (Hughes, 1987). Assim, tem-se 6 colunas por linha ao invés de 9. Na estratégia EBE paralela os blocos de matrizes A i, B i, C i e A s(i), cujas dimensões são descritas na Tab. 1, são redimensionados visando reduzir o número de coeficientes nulos armazenados. Esta estratégia relaciona os novos blocos com quatro tipos de elementos distintos: elementos ebe Ai, elementos ebe Bi, elementos ebe Ci e elementos ebe As. Os elementos ebe Ai são aqueles cujos nós armazenam suas contribuições em A i, da mesma forma que os elementos ebe Bi, ebe Ci e ebe As são aqueles cujos nós armazenam suas contribuições nos blocos B i, C i e A s( i), respectivamente. As matrizes dos elementos ebe Bi e ebe Ci não possuem contribuições na diagonal principal, sendo necessário apenas armazenar os coeficientes de fora da diagonal. A Tab. apresenta as dimensões das estruturas descritas em (1), reescritas elemento por elemento, bem como o consumo médio de memória utilizada. Conforme Lima (), cada nó Estruturas EBE Dimensões Consumo Médio A i 6 ebe Ai 1n I B i 6 ebe Bi 1n B C i 6 ebe Ci 1n B A s 6 ebe As 1n B Tabela : Dimensões e consumo de memória utilizada na estratégia EBE da malha, indenpedente de ser uma malha estruturada ou não, tem em média 6 elementos ao seu redor. Assim, a região em torno de um nó incógnita pode ser dividida em três sub-regiões contendo elementos, onde cada sub-região é associada a um nó incógnita diferente. Também é considerado que em média os elementos do tipo ebe Ai têm dimensão igual a n I e os elementos dos tipos ebe Bi, ebe Ci e ebe As têm dimensões iguais a n B, como está confirmado nos dados da Tab.. É importante ressaltar que um mesmo elemento pode ser classificado em mais de uma categoria, dependendo dos tipos de nós pelos quais é constituído. 3. Estratégia aresta por aresta - EDE A partir das matrizes dos elementos definidas em (1) e (11) é possível definir um desmembramento dos coeficientes gerando as contribuições de cada aresta dos elementos. Esta estratégia de armazenamento foi introduzida em Martins (1996) para problemas simétricos e estendida para problemas não simétricos em Catabriga et al. (1998); Catabriga (). Os coeficientes globais de A são agora armazenados em estruturas de arestas ao invés de elementos. Tem-se em cada aresta uma matriz de ordem, com coeficientes. Portanto, a nova matriz em função das arestas tem ede linhas e colunas, onde ede é o número de arestas da malha. Porém, assim como na estratégia elemento por elemento, os coeficientes da diagonal principal da matriz da aresta não precisam ser armazenados, reduzindo o número de colunas das novas estruturas para ao invés de (Catabriga, ). Na estratégia EDE paralela, analogamente ao processo descrito para a estratégia EBE, os blocos de matrizes A i, B i, C i e A s(i) são reestruturados em função das arestas, sendo esses relacionados a quatro tipos distintos de arestas: arestas ede Ai, arestas ede Bi, arestas ede Ci e arestas ede As. As arestas ede Ai armazenam as contribuições que os nós IntNodes que a compõem armazenam no bloco A i, e as arestas ede Bi, ede Ci e ede As armazenam as contribuições que os nós IntNodes e IBNodes que as constituem devem armazenar respectivamente nos blocos A i,

8 B i, C i e A s(i). É importante destacar que as arestas ede Bi e ede Ci estão associadas aos mesmos nós, e cada uma tem a necessidade de armazenar apenas metade das informações, ou seja, uma armazena informações em relação a um nó da aresta e a outra armazena informações em relação ao outro nó da aresta. A Tab. 3 contém as dimensões das estruturas de (1) definida aresta por aresta. Utilizando o mesmo raciocínio descrito na estratégia elemento por elemento, Estruturas EDE Dimensões Consumo Médio A i ede Ai 6n I B i ede Bi n B C i ede Ci n B A s(i) ede As n B Tabela 3: Dimensões e consumo de memória utilizada na estratégia EDE conclui-se que ao redor de um nó tem-se em média 6 arestas, mas como uma mesma aresta está associada a dois nós distintos, pode-se considerar que ao redor de um nó tem-se em média 3 arestas distintas. Desse modo, cada nó IntNodes tem ao seu redor, em média, 3 arestas ede Ai e cada nó IBNodes tem, em média, arestas ede Bi, arestas ede Ci e 1 aresta ede As. Assim como na estratégia por elemento, uma mesma aresta pode ser classificada em grupos distintos. 3.3 Estratégia compressed sparse row - CSR O armazenamento CSR tradicional substitui a matriz global de discretização A por três vetores auxiliares AA, JA e IA. O vetor AA armazena todas as contribuições não nulas da matriz global A. O vetor JA, por sua vez, armazena a coluna correspondente que cada coeficiente não nulo ocuparia em A. Já o vetor IA mapeia em AA o primeiro elemento não nulo de cada linha de A. A versão paralela pode ser derivada da tradicional, com algumas modificações. A Tab. apresenta as estruturas CSR que devem substituir as estruturas padrão de (1), bem como suas respectivas dimensões. Como já discutido nos armazenamentos anteriores, ao redor de um nó Padrão Estruturas CSR Consumo Médio A i (AA i,ja i,ia i ) (7n I, 7n I, n I ) B i (BB i,jb i,ib i ) (n B, n B, n I ) C i (CC i,jc i,ic i ) (n B, n B, n B ) A s(i) (AA s(i),ja s(i),ia s(i) ) (3n B, 3n B, n B ) Tabela : Dimensões e consumo de memória utilizada na estratégia CSR tem-se em média 6 elementos triangulares, e portanto cada linha da matriz A tem em média 7 coeficientes não nulos, representando as contribuições do nó nele mesmo e as contribuições do nó nos outros 6 nós ao seu redor. Portanto, cada nó IntNodes está relacionado com outros 6 nós IntNodes, em média, o que implica que os coeficientes de AA i são da ordem de 7 n I. Cada nó IBNodes está relacionado com outros nós IBNodes e 3 outros nós IntNodes, em média. Como conseqüência, as estruturas BB i e CC i têm dimensões da ordem de n B e AA s tem dimensões da ordem de 3 n B. Também vale lembrar que as estruturas B i e C i da formulação global (1) podem conter linhas inteiramente nulas, o que inviabilizaria essa paralelização, uma vez que IB i e IC i não conteriam informações precisas sobre o armazenamento CSR de BB i e CC i. Sendo assim, mais duas estruturas auxiliares necessitam ser criadas: os vetores AuxIB i e AuxIC i que gerenciam as posições dos vetores IB i e IC i referentes às possíveis linhas inteiramente nulas de B i e C i.

9 . SOLUÇÃO DO SISTEMA LINEAR No método iterativo não-estacionário GMRES as principais operações envolvidas são o produto matriz-vetor e o produto interno entre dois vetores. As estratégias de armazenamento descritas na seção anterior serão usadas para reduzir os esforços computacionais de acessos aos coeficientes armazenados e da memória necessária para realizar essas operações. Na versão paralela dos métodos iterativos não-estacionários, após a operação produto matriz-vetor deve ser feita uma atualização na parte dos vetores que contém valores relacionados com os nós IBNodes. Para isso, é considerada uma função, denominada Update (Jimack e Touheed, ), que utiliza as primitivas send e receive do padrão MPI. Qualquer que seja a estratégia de armazenamento considerada, a função de atualização da comunicação entre os processadores é absolutamente a mesma, uma vez que ela será aplicada a parcela referente aos IBNodes do vetor resultante do produto matriz-vetor. Nas próximas subseções são discutidos o produto matriz-vetor e o produto interno adaptados às estruturas paralelas de (1) e às estratégias de armazenamento da seção anterior..1 Produto matriz-vetor O produto matriz-vetor é a principal operação da resolução de sistemas lineares através de métodos iterativos não-estacionários, e portanto está relacionado diretamente com o desempenho do processo como um todo. Levando-se em consideração os blocos definidos em (1) o produto matriz-vetor paralelo escrito na forma: A 1 B 1 u 1 v 1 A B u v Au =..... =. = v, (13) A p B p u p v p C 1 C... C p A s u s pode ser calculado como sendo v i = A i u i + B i u s(i) no processador i, para i = 1,..., p e v s(i) = C i u i + A s(i) u s(i), nas fronteiras de comunicação. O produto matriz-vetor assim definido pode ser efetuado levando-se em consideração as três estratégia de armazenamento propostas. Utilizando os armazenamentos EBE e EDE a única diferença são as dimensões dos blocos de (1), que podem variar de acordo com a estratégia adotada (veja as Tab. 1, e 3). Com relação ao armazenamento CSR, os blocos de (1) são substituídos pelas estruturas correspondentes da Tab. e as operações são realizadas de acordo com a forma CSR tradicional descrita em Saad (1995).. Produto interno O produto interno utiliza todos os componentes de dois vetores para computar um simples ponto flutuante que deverá ser conhecido por todos os processadores. Essa é a operação que consome maior tempo na troca de mensagens entre os processadores, uma vez que ela exige uma comunicação ao longo de todos os processadores. Para isso, é utilizada uma função MPI, denominada MPI Allreduce (Forum, 199). Para elaborar essa comunicação global para o produto interno distribuído, são considerados dois vetores u e v dispostos de forma distribuída ao v s

10 longo de p processadores: u 1 u u =. u p v 1 v e v =., (1) v p u s v s onde u s = U p u s(i) e v s = U p v s(i). Os vetores u i e v i pertencem ao processador i, que também i=1 i=1 armazena u s(i) e v s(i). Finalmente, o produto interno pode ser expresso por u v = p i=1 (u i v i + u s(i) v s(i) ). Independente da estratégia de armazenamento adotada, essa definição do produto interno é precisamente a mesma..3 Número de operações e consumo de memoria do produto matriz-vetor e produto interno O produto matriz-vetor é a principal operação de todo o processo, sendo que nele é utilizado a grande maioria dos recursos de memória e onde são realizados quase todos os cálculos. Consequentemente, analisando o número de operações e o consumo médio de memória do produto matriz-vetor, tem-se uma idéia da eficiência de toda implementação. Em relação ao consumo de memória pode-se verificar nas Tab., 3 e que a estratégia EDE tem o menor consumo, seguida da estratégia CSR. Em relação ao número de médio de operações realizadas, pode-se encontrar na Tab. 5 uma comparação entre as 3 estratégias. O produto matriz-vetor é composto por operações de soma, e multiplicação de pontos flutuantes e acessos à memória. As operações de trocas de mensagens entre os processadores são realizadas apenas após o produto matriz-vetor e independente da estratégia de armazenamento adotada essa operação é a mesma. Entretanto, é considerado apenas o número de operações médias das multiplicações de pontos flutuantes. Na Tab. 5 observa-se que o produto matriz-vetor da versão CSR realiza menos operações que o EBE e EDE. Se a ordem da matriz A for muito grande, n I será muito maior que n B, ou seja, considerando que o número de nós IBNodes cresce linearmente, enquanto o número de nós IntNodes cresce quadraticamente, o tempo das comunicações torna-se propocionalmente menor em relação ao tempo de processamento. Assim as versões paralelas tendem a ser p vezes mais rápidas que as versões sequenciais. Considerações análogas podem ser feitas para o produto interno. As operações de comunicação entre os processadores Operação Paralelo Sequencial Matriz-vetor CSR 1 p I + 7n B ] 7n I Matriz-vetor EBE 1 [18n p I + n B ] 18n I Matriz-vetor EDE 1 [1n p I + 1n B ] 1n I Produto Interno 1 p I + n B ] n I Tabela 5: Número médio de operações do produto matriz-vetor e produto interno ocorrem apenas nas versões paralelas, e dependem apenas das parcelas que contêm termos em função dos IBNodes e o tempo de comunicação é o mesmo para cada uma das estratégias de armazenamento utilizadas, uma vez que a comunicação só é realizada após ter sido executado o produto matriz-vetor e o produto interno.

11 5. RESULTADOS NUMÉRICOS Nesta seção são mostrados os resultados obtidos para dois problemas regidos pela equação linear de advecção-difusão bidimensional: advecção em um campo de escoamento rotacional e o problema do cone em rotação. Nos dois exemplos é utilizado o método GMRES com tolerância de 1 6 e 1 vetores na base de Krylov. No algoritmo de avanço no tempo é considerado uma tolerância de 1 3 nas multicorreções para cada passo no tempo e um tempo final igual a 7 segundos. Os códigos foram implementados em linguagem C, utilizando a biblioteca lammpi versão tcp.1. Todos os testes de desempenho foram realizados no cluster Enterprise do Laboratório do Computação de Alto Desempenho (LCAD) do Departamento de Informática da UFES. O cluster é composto por 6 nós de processamento que utilizam o sistema operacional Linux Red Hat 7.1 (kernel.) e interligados através de dois switches Fast Ethernet de 8 portas de 1Mb/s cada. Cada um dos nós de processamento possui memória SDRAM de 56MB e processador ATHLON XP 18+. Informações adicionais sobre sobre o Enterprise, podem ser encontradas na página lcad. 5.1 Advecção em um campo de escoamento rotacional Considere um escoamento fortemente advectivo regido pela rotação de um fluido no centro de um domínio quadrado de dimensões [.5,.5] [.5,.5], conforme Fig., com velocidade e difusividade dadas por: β = [ y x ] κ = [ ] (15) Ao longo do contorno do domínio quadrado a solução é nula, e no contorno interno OA a u = Direção do Escoamento y u = O x u = A u = Figura : Advecção em um campo de escoamento rotacional - Descrição do problema. solução possui variação cossenoidal, como mostrado na Fig.. A solução exata para esse problema é essencialmente uma advecção pura da condição no contorno OA ao longo das linhas de corrente circulares. A Fig. 3 representa a solução obtida utilizando a estratégia de armazenamento CSR, considerando uma malha estruturada com células, contendo elementos triangulares em cada célula, executada em processadores. A solução aproximada corresponde à solução exata esperada. A solução obtida considerando as estratégias EBE e EDE, independente do número de processadores considerado, é essencialmente a mesma, ou seja, nas três estratégias são realizados os mesmos números de iterações lineares e o mesmo número de passos no tempo. Além disso, dentro da tolerância considerada, o resíduo do sistema linear em cada passo de tempo é absolutamente o mesmo. Para análise do desempenho paralelo foi con-

12 x y..6 Figura 3: Advecção em um campo de escoamento rotacional - Solução com processadores utilizando a estratégia de armazenamento CSR. siderada uma malha estruturada com células, sendo cada célula dividida em dois elementos triangulares, totalizando nós e 588 elementos. A Tab. 6 apresenta os tempos necessários para a convergência considerando as três estruturas de armazenamento e 1,,, 8, 16, 3, 6 processadores, além da quantidade de objetos processados em cada estratégia, sendo o número de elementos para a estratégia EBE, o número de arestas para a estratégia EDE e o número de coeficientes não nulos para a estratégia CSR. Observa-se que a estratégia CSR é a mais rápida dentre as três. Entretanto, as proporcionalidades referentes ao número médio de operações do produto matriz-vetor descritas na Tab. 5 não foram mantidas. Isto porque, primeiramente, nos exemplos utilizados, as funções relacionadas com o produto matriz-vetor ocuparam cerca de % a 6% do tempo total do processamento, o restante do tempo foi gasto nas funções que são comuns as três estratégias, como a produto interno, operações elementares do método GMRES e comunição entre os processadores. Comparando os desempenhos das estratégias EBE e EDE, verifica-se um tempo de processamento muito próximo, o que pode implicar em um melhor aproveitamento dos níves de memória cash (Hennessy e Patterson, 3) pela estratégia EBE. Outro ponto importante é a necessidade de acessos constantes às estruturas auxiliares presentes, por exemplo, na estratégia CSR. Estratégia Número de Número de processadores objetos processados EBE EDE CSR Tabela 6: Advecção em um campo de escoamento rotacional - Tempo de execução em segundos. As Fig. (a) e (b) apresentam os gráficos de speedup e eficiência do problema de advecção em um campo de escoamento rotacional. Observa-se que a estratégia EDE obteve um melhor speedup e melhor eficiência, seguida da estratégia CSR e EBE. Nota-se também que para 6 processadores o speedup e a eficiência foram maiores na estratégia EBE que na CSR. 5. O problema do cone em rotação O problema do cone em rotação vem sendo utilizado como um dos problemas padrão para escoamentos transientes fortemente compressíveis. O escoamento é caracterizado pela

13 7 CRS EBE EDE Ideal 1 CRS EBE EDE (a) Speedup. (b) Eficîencia (%). Figura : Advecção em um campo de escoamento rotacional - Desempenho paralelo. u = y u = A A x u = Direção do Escoamento rotação de um fluido ao longo de um cone no interior de um domínio quadrado com dimensões [ 5, 5] [ 5, 5], conforme Fig. 5. A velocidade e difusividade são as mesmas consideradas no exemplo anterior. Ao longo do contorno do domínio quadrado a solução é nula e a condição iniu = Figura 5: Cone em rotação - Descrição do problema. cial é dada pela variação cossenoidal, mostrada na Fig. 5. A Fig. 6 representa a solução obtida para os tempos t = 1, t = 3 e t = 7 segundos, utilizando a estratégia de armazenamento CSR e considerando uma malha estruturada com 6 6 células, contendo elementos triangulares em cada célula, executada em processadores. Como no exemplo anterior, a solução obtida considerando as estratégias EBE e EDE, independente do número de processadores considerado, é essencialmente a mesma. Considerando uma malha não estruturada composta por 5916 nós e 5163 elementos triangulares, a Tab. 7 apresenta os tempos necessários para a convergência considerando as três estruturas de armazanamento e 1,,, 8, 16, 3, 6 processadores e também a quantidade de objetos processados em cada estratégia: número de elementos na estratégia EBE, número de arestas na estratégia EDE e coeficientes não nulos na CSR. Como no exemplo anterior, a estratégia CSR é a mais rápida dentre as três e a estrutura EDE apresentou o maior speedup e maior eficiência como mostrado na Fig. 7. Observa-se na Fig. 7(a) um comportamento

14 x y x y 6 (a) t = 1 segundos. (b) t = 3 segundos x y (c) t = 7 segundos. Figura 6: Cone em rotação - Solução com processadores utilizando a estratégia de armazenamento CSR. superlinear para este exemplo em alguns casos para as estratégias EDE e CSR, tendo como consequência uma eficiência superior a 1% nesses casos. Esse comportamento acontece devido à hierarquia de memória, possibilitando que as operações sejam realizadas nos níveis L1 e L das memórias cache, tendo como conseqüência maior rapidez no processamento. Estratégia Número de Número de processadores objetos processados EBE EDE CSR Tabela 7: Cone em rotação - Tempo de execução em segundos. 6. CONCLUSÕES Uma implementação paralela para a equação linear de advecção-difusão bidimensional utilizando uma técnica de decomposição de domínio com estrutura de blocos orientados para a matriz dos coeficientes foi apresentada. Foi realizado um estudo comparativo entre as estratégias de armazenamento EBE, EDE e CSR para as matrizes resultantes da discretização por elementos finitos de dois problemas teste: advecção de um campo de escoamento rotacional e um cone em rotação. Além disso, foi apresentado um estudo sobre o consumo médio de memória utilizada nas nas três estratégias de armazenamento abordadas, assim como o número médio de operações aritméticas do produto matriz-vetor e do produto interno, que aparecem no método

15 7 CRS EBE EDE Ideal 1 CRS EBE EDE (a) Speedup. (b) Eficîencia (%). Figura 7: Cone em rotação - Desempenho paralelo. GMRES. Em relação ao tempo de processamento, a estratégia CSR obteve os melhores resultados nos dois exemplos testados. A estratégia EDE apresentou o menor consumo de memória, mas o tempo de processamento manteve-se bem próximo ao da estratégia EBE. O presente trabalho teve como objetivo principal apresentar três formas alternativas para realizar o armazenamento e conseqüentemente a solução de sistemas lineares oriundos da discretização pelo método dos elementos finitos. Embora os problemas exemplos utilizados sejam de pequeno porte, não justificando uma implementação paralela, eles tiveram um papel importante no desenvolvimento do tema abordado, de forma que os conceitos aplicados podem ser estendidos a problemas mais complexos. Agradecimentos O autor Leonardo M. Lima agradeçe à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) pela bolsa de mestrado e o autor Bruno Z. Melotti agradeçe ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pela bolsa de Iniciação Científica. Este trabalho também recebeu o apoio parcial da CAPES, dentro do projeto de cooperação internacional CAPES - Universidade do Texas, CAPES/UT N o 11/. Referências Anderson, T. E., Culler, D. E., & Patterson, D. A., A case for networks of workstations: NOW. feb, IEEE Micro. Catabriga, L.,. Soluções implícitas das equações de Euler empregando estruturas de dados por aresta. Tese de Doutorado, COPPE/UFRJ. Catabriga, L., Martins, M. D. A., Coutinho, A. L. G. A., & Alves, J. L. D., Clustered edgeby-edge preconditioners for non-symmetric finite element equations. In th World Congress on Computational Mechanics. Eicken, T., Culler, D. E., Goldstein, S. C., & Schauser, K. E., 199. Active messages: A mechanism for integrated communication and computation. In 19th International Symposium on Computer Architecture, pp , Gold Coast, Australia.

16 Forum, M. P. I., 199. MPI: A message-passing interface standard. Technical Report UT-CS- 93. Hennessy, J. L. & Patterson, D. A., 3. Computer Architecture: a Quantitative Approach. Morgan Kaufmann Publishers, Inc., 3nd edition. Hughes, T. J. R., The finite element method. Prentice-Hall International. Hughes, T. J. R. & Tezduyar, T. E., 198. Finite element methods for first-order hyperbolic systems with particular emphasis on the compressible Euler equations. Comput. Methods Appl. Mech. and Engrg., vol. 5, pp Jimack, P. K. & Touheed, N.,. Developing parallel finite element software using mpi. In Topping, B. & Lammer, L., eds, High Performance Computing for Computational Mechanics, pp Saxe-Coburg Publications. Lima, L. M.,. Estratégias de armazenamento para implementações paralelas para o método dos elementos finitos. Dissertação de Mestrado, Universidade Federal do Espírito Santo (UFES). Martins, M. A. D., Solução iterativa em paralelo de sistemas de equações do método dos elementos finitos empregando estruturas de dados por arestas. Dissertação de Mestrado, COPPE/UFRJ,. Nadeem, S. A., 1. Parallel domain decomposition preconditioning for the adaptive finite element solution of elliptic problems in three dimensions. PhD thesis, The Univerty of Leeds, Leeds, UK. Saad, Y., Iterative methods for sparse linear systems. PWS Publishing Company. Tezduyar, T. E., Lion, J., & Behr, M., 199. A new strategy for finite element computations involving moving boundaries and interfaces - the dsd/st procedure: I. the concept and the preliminary numerical tests. Computer Methods in Applied Mecanics and Engineering, vol. 9(3), pp