奇偶排序

odd-even-sort, using MPI

代码在 https://github.com/thkkk/odd-even-sort

使用 MPI 实现奇偶排序算法, 并且 MPI 进程 只能向其相邻进程发送消息

nprocs 是进程数。 每个进程拥有独立的一块数据 data[0 ~ block_len-1],组合起来为整个待排序的数组。

方法

每个阶段排序之后不进行check

此前,在每个阶段的奇偶排序进行完之后,都会进行一次进程之间的信息传递,以判断排序是否完成,这个过程要进行约\(3*nprocs\)次的send/recv。现在的优化是:总共只进行nprocs轮排序,不再进行check。这样的话,即使是目前在最小编号进程中的元素,而它值较大,本应排序到最大编号进程中,也可以在nprocs轮中排到正确的位置。

这样之后,大约有几十ms的优化。

进程之间互相传递数据,然后进行优化后的归并

在一个排序阶段中,相邻进程块互相发送自己的全部数据,之后在每个块内部将两个块的数据进行归并,但是只保留最小/最大的block_len个元素,将其拷贝到自己的data上。这样可以省掉一半的归并时间。

这样之后大约有100+ms的优化。

进程之间发送全部数据之前,先发送端点处的数据

进程之间发送全部数据之前,先发送端点处的数据,判断左边进程中的最大元素是否小于等于右边进程中的最小元素,如果是,那么无需进行后续数据的发送和归并。

这样之后大约有几十ms的优化。

代码

#include <algorithm>
#include <cassert>
#include <cstdio>
#include <cstdlib>
#include <mpi.h>
#include <cmath> #include "worker.h"
using namespace std; bool is_edge(int rank, bool odd_or_even, bool last_rank){
if (odd_or_even == 0){
return (rank & 1) == 0 && last_rank;
}
else{
return rank == 0 || ((rank & 1) == 1 && last_rank);
}
} void merge_left(float *A, int nA, float *B, int nB, float *C){ //make sure C[nA-1] is available
float *p1 = A, *A_end = A + nA, *p2 = B, *B_end = B + nB, *p = C, *C_end = C + nA; while( p != C_end && p1 != A_end && p2 != B_end)
*(p++) = ((*p1) <= (*p2)) ? *(p1++) : *(p2++);
while( p != C_end )
*(p++) = *(p1++);
}
void merge_right(float *A, int nA, float *B, int nB, float *C){
float *p1 = A + nA , *p2 = B + nB , *p = C + nB; while( p != C && p1 != A && p2 != B )
*(--p) = (*(p1-1) >= *(p2-1)) ? *(--p1) : *(--p2);
while( p != C )
*(--p) = *(--p2);
} void Worker::sort() {
//data[0, block_len)
if (out_of_range) return ;
std::sort(data, data + block_len);
//先把当前进程数据排好序
if (nprocs == 1) return ; bool odd_or_even = 0; // = 0: even; = 1: odd;
float *cp_data = new float [block_len];
float *adj_data = new float [ceiling(n, nprocs)]; int limit = nprocs;
while(limit--){
if(is_edge(rank, odd_or_even, last_rank)){
//边界情况,没有与其他进程存在于同一个进程块内 }
else if((rank & 1) == odd_or_even){ //receive info
size_t adj_block_len = std::min(block_len, n - (rank + 1) * block_len);
MPI_Request request[2]; MPI_Isend(data + block_len - 1, 1, MPI_FLOAT, rank + 1, 0, MPI_COMM_WORLD, &request[0]);
MPI_Irecv(adj_data, 1, MPI_FLOAT, rank + 1, 1, MPI_COMM_WORLD, &request[1]);
MPI_Wait(&request[0], MPI_STATUS_IGNORE);
MPI_Wait(&request[1], MPI_STATUS_IGNORE); //发送端点数据 if(data [block_len - 1] > adj_data[0]) {
//此时两块之间存在未排好序的数据,需要排序
MPI_Sendrecv(data, block_len, MPI_FLOAT, rank + 1, 0,
adj_data, adj_block_len, MPI_FLOAT, rank + 1, 1, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
//互相交换数据 // merge
merge_left(data, (int)block_len, adj_data, (int)adj_block_len, cp_data);
//进行归并排序,取前block_len个数据返回到cp_data中 memcpy(data, cp_data, block_len * sizeof(float)); //拷贝回data
}
}
else if ((rank & 1) == !odd_or_even){ //send info
size_t adj_block_len = ceiling(n, nprocs);
MPI_Request request[2]; MPI_Isend(data, 1, MPI_FLOAT, rank - 1, 1, MPI_COMM_WORLD, &request[1]);
MPI_Irecv(adj_data + adj_block_len - 1, 1, MPI_FLOAT, rank
- 1, 0, MPI_COMM_WORLD, &request[0]);
MPI_Wait(&request[1], MPI_STATUS_IGNORE);
MPI_Wait(&request[0], MPI_STATUS_IGNORE);
//发送端点数据 if (adj_data[adj_block_len - 1] > data[0]){
//此时两块之间存在未排好序的数据,需要排序
MPI_Sendrecv(data, block_len, MPI_FLOAT, rank - 1, 1,
adj_data, adj_block_len, MPI_FLOAT, rank - 1, 0, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
//互相交换数据 // merge
merge_right(adj_data, (int)adj_block_len, data, (int)block_len, cp_data);
//进行归并排序,取前block_len个数据返回到cp_data中 memcpy(data, cp_data, block_len * sizeof(float)); //拷贝回data
} }
odd_or_even ^= 1;
}
delete[] cp_data;
delete[] adj_data;
}

实验数据

n N\(\times\) P 耗时(ms) 相对单进程的加速比
100000000 1$\times$1 12728.326000 1
100000000 1$\times$2 6754.229000 1.884
100000000 1$\times$4 3559.514000 3.576
100000000 1$\times$8 2007.818000 6.339
100000000 1$\times$16 1340.771000 9.493
100000000 2$\times$16 870.302000 14.625

MPI实现并行奇偶排序的更多相关文章

  1. 【MPI】并行奇偶交换排序

    typedef long long __int64; #include "mpi.h" #include <cstdio> #include <algorithm ...

  2. Hark的数据结构与算法练习之奇偶排序

    算法说明 奇偶排序又叫奇偶换位排序,砖排序.它是一种交换排序,也是冒泡的一个变种 顾名思义,奇偶排序,其实就是先循环奇数位,然后将奇数位与偶数位比较计算. 然后再循环偶数位,再和奇数位比较运算.看一下 ...

  3. OpenJudge计算概论-整数奇偶排序

    /*===================================== 整数奇偶排序 总时间限制: 1000ms 内存限制: 65536kB 描述 输入10个整数,彼此以空格分隔 重新排序以后 ...

  4. 排序算法之奇偶排序 JAVA奇偶排序算法

    奇偶排序法的思路是在数组中重复两趟扫描.第一趟扫描选择所有的数据项对,a[j]和a[j+1],j是奇数(j=1, 3, 5……).如果它们的关键字的值次序颠倒,就交换它们.第二趟扫描对所有的偶数数据项 ...

  5. Openjudge-计算概论(A)-整数奇偶排序

    描述: 输入10个整数,彼此以空格分隔重新排序以后输出(也按空格分隔),要求:1.先输出其中的奇数,并按从大到小排列:2.然后输出其中的偶数,并按从小到大排列.输入任意排序的10个整数(0-100), ...

  6. LeetCode905.按奇偶排序数组

    905.按奇偶排序数组 问题描述 给定一个非负整数数组 A,返回一个由 A 的所有偶数元素组成的数组,后面跟 A 的所有奇数元素. 你可以返回满足此条件的任何数组作为答案. 示例 输入:[3,1,2, ...

  7. OpenJudge计算概论-奇偶排序

    /*==============================================总时间限制: 1000ms 内存限制: 65536kB描述 输入十个整数,将十个整数按升序排列输出,并且 ...

  8. P1021 整数奇偶排序

    整数奇偶排序 题目出处:<信息学奥赛一本通>第二章上机练习6,略有改编 题目描述 告诉你包含 \(n\) 个数的数组 \(a\) ,你需要把他们按照"奇数排前面,偶数排后面:奇数 ...

  9. 每日一题20201112(922. 按奇偶排序数组 II)

    题目链接: 922. 按奇偶排序数组 II 思路 很简单,搞懂问题的核心就行,假设现在有奇数在偶数位上,偶数在奇数位上. 那么我们要做的就是,找到分别在对方位置上的数字,然后交换他们就行. class ...

随机推荐

  1. 基于Docker在Win10平台搭建Ruby on Rails 6.0框架开发环境

    原文转载自「刘悦的技术博客」https://v3u.cn/a_id_170 2020年,"非著名Web框架"–Ruby on Rails已经15岁了.在今年,Rails 6.0趋于 ...

  2. linux-0.11分析:init文件 main.c的第一个初始化函数mem_int 第四篇随笔

    init文件夹 mian.c 参考 [github这个博主的 厉害][ https://github.com/sunym1993/flash-linux0.11-talk ] 首先先看看这个mian. ...

  3. GreatSQL季报(2021.12.26)

    欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 自从GreatSQL 8.0.25 于 2021.8.26发布以来,针对MGR的 ...

  4. 2021年5月15日海外 Meetup 演讲内容分享

    北京时间 2021 年 5 月 16 日 05:00-08:00 我们与Apache ShardingSphere 联合举办了第一场海外Meetup,感谢各位小伙伴的参与,让本次活动圆满结束. 同时我 ...

  5. LuoguP1858 多人背包(DP)

    第\(K\)优解这类问题可在\(DP\)过程中通过添维解决.归并出当前前\(K\)大的解. #include <iostream> #include <cstdio> #inc ...

  6. Taurus.MVC 微服务框架 入门开发教程:项目部署:5、微服务应用程序发布到Docker部署(下)。

    系列目录: 本系列分为项目集成.项目部署.架构演进三个方向,后续会根据情况调整文章目录. 开源地址:https://github.com/cyq1162/Taurus.MVC 本系列第一篇:Tauru ...

  7. 第六十九篇:vue项目的运行过程

    好家伙, 1.vue的目录结构分析 来看看项目的目录 (粗略的大概的解释) 2.vue项目的运行流程 在工程化项目中,vue要做的事情很单纯:通过main.js把App.vue渲染到index.htm ...

  8. 高阶 CSS 技巧在复杂动效中的应用

    最近我在 CodePen 上看到了这样一个有意思的动画: 整个动画效果是在一个标签内,借助了 SVG PATH 实现.其核心在于对渐变(Gradient)的究极利用. 完整的代码你可以看看这里 -- ...

  9. Windows 2019通过网页修改域用户密码

    对于域用户来说,定期修改密码是必须的.对于没有Exchange的组织,而且经常出差在外的人员,能及时修改密码就变得很重要了. 在Windows 2003的时候有iisadmpwd可以修改.但是这个页面 ...

  10. Docker安装MySQL并使用Navicat连接

    MySQL简单介绍: MySQL 是一个开放源码的关系数据库管理系统,开发者为瑞典 MySQL AB 公司.目前 MySQL 被广泛地应用在 Internet 上的大中小型网站中.由于其体积小.速度快 ...