Computação Paralela: Algoritmos e Aplicações

Transcrição

1 Computação Paralela: Algoritmos e Aplicações Prof. Amit Bhaya, Programa de Engenharia Elétrica, COPPE/UFRJ 06/05/ /05/ NACAD = Núcleo de Computação de Alto Desempenho 5/7/2003 Amit Bhaya, 2003

2 Fatoração LU Fatoração LU Um sistema linear de equações Ax = b pode ser transformado, através de eliminação gaussiana, em dois sistemas triangulares. Equivalentemente, fatoramos A como LU onde a matriz L é triangular inferior e U triangular superior A = LU, L = l l l l l l , U 0 p 0 = 0 0 u p u u p u u u p Exemplo para n = 4 5/7/2003 Amit Bhaya,

3 5/7/2003 Amit Bhaya, sistema denso = 2 sistemas triangulares sistema denso = 2 sistemas triangulares { b LUx b Ax = = Ly = b y Ux = = b b b y y y l l l Substituição sucessiva = y y y x x x p u p u u p Retrosubstituição Obs.: Para simplicidade, supomos desnecessárias trocas de linhas (pivoteamento parcial ignorado)

4 Eliminação gaussiana Eliminação gaussiana Eliminação gaussiana: três malhas aninhadas. Índices i,j,k podem ser permutadas em 3! = 6 ordens diferentes. Desempenho dependerá de padrões de acesso a memória 5/7/2003 Amit Bhaya,

5 Eliminação gaussiana: forma kji Eliminação gaussiana: forma kji Multiplicadores calculados fora da malha interna para eficiência maior. Forma kji: Acesso por colunas, forma kij: acesso por linhas 5/7/2003 Amit Bhaya,

6 Eliminação gaussiana: complexidade Eliminação gaussiana: complexidade 3 Eliminação Gaussiana requer aproximadamente subtrações e multiplicações casadas, portanto modelamos tempo serial como: t c T = t n c onde é o tempo gasto em uma operação multiplicação/adição 3 / 3 n / 3 n / 2 2 Também precisamos de divisões, porém podemos desprezar este termo de ordem menor. 5/7/2003 Amit Bhaya,

7 Algoritmo paralelo: Granularidade fina Algoritmo paralelo: Granularidade fina Para obter decomposição de granularidade fina, podemos alocar computaçaõ de cada elemento dos fatores L e U a uma tarefa. Elementos nulos (no triângulo inferior (superior) de L (U)) não são computados/armazenados, bem como a diagonal unitária de L. Portanto, tarefa (i,j) computa u l ij ij, se i, se i > j j 2 Temos array bi-dimensional de n tarefas. 5/7/2003 Amit Bhaya,

8 Comunicação para fatoração LU paralela Comunicação para fatoração LU paralela 5/7/2003 Amit Bhaya,

9 Algoritmo paralelo para fatoração LU Algoritmo paralelo para fatoração LU 5/7/2003 Amit Bhaya,

10 Particionamento por linhas: LU paralelo Particionamento por linhas: LU paralelo Podemos agrupar m linhas por tarefa, gerando p = n/m tarefas (p = número de processadores, supondo que m divide n). Não há necessidade de transmissão horizontal de multiplicadores, uma vez que cada linha está contida (inteiramente) em única tarefa. Por outro lado, não há paralelismo na atualizaçao das linhas. Broadcasts verticais ainda são necessários para comunicar cada linha da matriz para as tarefas abaixo, para que estas possam atualizar suas linhas. 5/7/2003 Amit Bhaya,

11 Comunicação para LU com particionamento de linhas Comunicação para LU com particionamento de linhas 5/7/2003 Amit Bhaya, 2003

12 Particionamento por linha para LU Particionamento por linha para LU Cada tarefa fica ociosa quando acaba o cálculo da última linha Se cada tarefa contiver bloco de linhas contíguas, poderia ficar ociosa muito antes do término global. Atualização das linhas com índices maiores requer sucessivamente menos cálculo. Concorrência e balanceamento podem ser melhorados alocando linhas a tarefas ciclicamente: linha i alocada a tarefa (i módulo p). Outros mapeamentos (linha tarefa) também podem ser úteis: blococíclico, reflexão, etc. 5/7/2003 Amit Bhaya,

13 Algoritmo paralelo para LU: part. lin. Algoritmo paralelo para LU: part. lin. 5/7/2003 Amit Bhaya,

14 Particionamento por linhas: LU paralelo Particionamento por linhas: LU paralelo Desempenho pode ser melhorado pela sobreposição de comunicação e computação (como sempre!). No k-ésimo passo, cada tarefa termina sua parte da submatriz não reduzida restante, antes de passar para o k-ésimo passo. Porém, é possível iniciar o broadcast da linha k+ assim que esta estiver atualizada pelo dono, antes de completar o restante da atualização do k- ésimo passo. Esta estratégia, que obviamente poupa tempo de espera das demais tarefas, é chamada de send ahead (transmissão para frente). 5/7/2003 Amit Bhaya,

15 Particionamento em submatrizes para LU Particionamento em submatrizes para LU Podemos agrupar submatrizes (m por m) por tarefa. Se obtemos p tarefas alocadas, uma para cada processador. m = n/ então Algoritmo resultante possui características de algoritmos particionados por linhas e colunas. Especificamente, é preciso fazer broadcasts verticais e horizontais para comunicar segmentos de linhas e colunas de multiplicadores respetivamente. p 5/7/2003 Amit Bhaya,

16 Comunicação para LU com part. matricial Comunicação para LU com part. matricial 5/7/2003 Amit Bhaya,

17 Particionamento em submatrizes para LU Particionamento em submatrizes para LU Cada tarefa fica ociosa assim que calcular sua última linha e coluna. Como no caso de particionamento por linhas, concorrência e balanceamento podem ser melhorados através de alocação cíclica de tarefas a processadores: e.g. elemento a ij alocado a tarefa ( i mod p, j mod p). 5/7/2003 Amit Bhaya,

18 Algoritmo paralelo LU-submatriz Algoritmo paralelo LU-submatriz Valem as observações feitas antes em relação a sobreposição de comunicação e computação. 5/7/2003 Amit Bhaya,

19 LU com pivoteamento parcial LU com pivoteamento parcial PA = LU, PAx=LUx=Pb Ly = Pb seguido por Ux = y. Pivoteamento parcial complica implementação paralela e poderia afetar desempenho significativamente. Algumas alternativas para limitar busca pelos pivôs: Pivoteamento apenas dentro do bloco de linhas Pivoteamento com limiar Atenção: Estas estratégias não são comprovadamente estáveis perdemos acurácia e estabilidade para ganhar em velocidade. Podemos realizar fase final de refinamento iterativo (também tem seu custo) para recuperar acurácia e estabilidade. 5/7/2003 Amit Bhaya,

20 Referências 5/7/2003 Amit Bhaya,