2.4.8. MPI_Reduce (と MPI_Allreduce)

 1#include <mpi.h>
 2#include <vector>
 3
 4#include <iostream>
 5#include <cstdlib>
 6
 7/*
 8 * 全 rank を通しての総和/積/最大/最小 演算
 9 *
10 * 実行方法: mpiexec -n 4 mpi_sample8
11 */
12
13int main(int argc, char *argv[])
14{
15    MPI_Init(&argc, &argv);
16
17    int num_procs;
18    int my_rank;
19
20    MPI_Comm_size(MPI_COMM_WORLD, &num_procs);
21    MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
22
23    // なんらかの物理量 a と b が各rankで算出され、
24    // それぞれの総和を求める必要があったとする
25    double value_a = my_rank * 10.0;
26    double value_b = my_rank * 0.1;
27    // MPI_Reduce関数によって∑演算が可能だが、a と b のために2回
28    // MPI_Reduceを発行するよりも、[ a, b ]という配列を作って
29    // 一回の呼び出しで行った方が遥かに速い
30    double send_data[2];
31    send_data[0] = value_a;
32    send_data[1] = value_b;
33    int send_data_count = 2;
34
35    std::cout << "rank: " << my_rank << ", send_data: [";
36    for (int i = 0; i < send_data_count; i++)
37    {
38        std::cout << " " << send_data[i];
39    }
40    std::cout << " ]" << std::endl;
41
42    int recv_data_count = 0;
43    if (my_rank == 0)
44    {
45        recv_data_count = 2;
46    }
47    std::vector<double> recv_data(recv_data_count, 0);
48
49    MPI_Reduce(
50        &send_data[0], // 送信バッファ
51        &recv_data[0], // 受信バッファ (rank == 0 でのみ利用される)
52        send_data_count, // データの個数
53        MPI_DOUBLE, // データ型
54        MPI_SUM, // 演算の種類 SUM, PROD, MAX, MIN など
55        0, // 受信するrank
56        MPI_COMM_WORLD
57    );
58
59    if (my_rank == 0)
60    {
61        std::cout << "rank: 0, recv_data: [";
62        for (int i = 0; i < send_data_count; i++)
63        {
64            std::cout << " " << recv_data[i];
65        }
66        std::cout << " ]" << std::endl;
67    }
68
69    MPI_Finalize();
70    return EXIT_SUCCESS;
71}

Download the source code

MPI_Reduce は各rankが提供するデータに対してなんらかの二項演算を実施します。 総和や最大値、最小値を求める時に利用できます。

MPI_Reduce では二項演算の結果がルートrankでのみ得られますが、MPI_Allreduce を 使うと、結果を全てのrankで受け取ることができます。

openmpi での実行例を示します。:

$ mpic++ -o mpi_sample8 mpi_sample8.cpp
$ mpiexec -n 4 mpi_sample8
rank: 0, send_data: [ 0 0 ]
rank: 1, send_data: [ 10 0.1 ]
rank: 3, send_data: [ 30 0.3 ]
rank: 2, send_data: [ 20 0.2 ]
rank: 0, recv_data: [ 60 0.6 ]