2.3.8. MPI_Reduce (と MPI_Allreduce)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
#include <mpi.h>
#include <vector>

#include <iostream>
#include <cstdlib>

/*
 * 全 rank を通しての総和/積/最大/最小 演算
 *
 * 実行方法: mpiexec -n 4 mpi_sample8
 */

int main(int argc, char *argv[])
{
    MPI_Init(&argc, &argv);

    int num_procs;
    int my_rank;

    MPI_Comm_size(MPI_COMM_WORLD, &num_procs);
    MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);

    // なんらかの物理量 a と b が各rankで算出され、
    // それぞれの総和を求める必要があったとする
    double value_a = my_rank * 10.0;
    double value_b = my_rank * 0.1;
    // MPI_Reduce関数によって∑演算が可能だが、a と b のために2回
    // MPI_Reduceを発行するよりも、[ a, b ]という配列を作って
    // 一回の呼び出しで行った方が遥かに速い
    double send_data[2];
    send_data[0] = value_a;
    send_data[1] = value_b;
    int send_data_count = 2;

    std::cout << "rank: " << my_rank << ", send_data: [";
    for (int i = 0; i < send_data_count; i++)
    {
        std::cout << " " << send_data[i];
    }
    std::cout << " ]" << std::endl;

    int recv_data_count = 0;
    if (my_rank == 0)
    {
        recv_data_count = 2;
    }
    std::vector<double> recv_data(recv_data_count, 0);

    MPI_Reduce(
        &send_data[0], // 送信バッファ
        &recv_data[0], // 受信バッファ (rank == 0 でのみ利用される)
        send_data_count, // データの個数
        MPI_DOUBLE, // データ型
        MPI_SUM, // 演算の種類 SUM, PROD, MAX, MIN など
        0, // 受信するrank
        MPI_COMM_WORLD
    );

    if (my_rank == 0)
    {
        std::cout << "rank: 0, recv_data: [";
        for (int i = 0; i < send_data_count; i++)
        {
            std::cout << " " << recv_data[i];
        }
        std::cout << " ]" << std::endl;
    }

    MPI_Finalize();
    return EXIT_SUCCESS;
}

Download the source code

MPI_Reduce は各rankが提供するデータに対してなんらかの二項演算を実施します。 総和や最大値、最小値を求める時に利用できます。

MPI_Reduce では二項演算の結果がルートrankでのみ得られますが、MPI_Allreduce を 使うと、結果を全てのrankで受け取ることができます。

openmpi での実行例を示します。:

$ mpic++ -o mpi_sample8 mpi_sample8.cpp
$ mpiexec -n 4 mpi_sample8
rank: 0, send_data: [ 0 0 ]
rank: 1, send_data: [ 10 0.1 ]
rank: 3, send_data: [ 30 0.3 ]
rank: 2, send_data: [ 20 0.2 ]
rank: 0, recv_data: [ 60 0.6 ]