如何利用MATLAB并行计算缩短程序运行时间

本来CPU就是双核，不过以前一直注重算法，没注意并行计算的问题。今天为了在8核的dell服务器上跑程序才专门看了一下。本身写的程序就很容易实现并行化，因为beamline之间并没有考虑相互作用。等于可以拆成n个线程并行，要是有550核的话，估计1ms就算完了。。。

先转下网上找到的资料。

一、Matlab并行计算原理梗概

Matlab的并行计算实质还是主从结构的分布式计算。当你初始化Matlab并行计算环境时，你最初的Matlab进程自动成为主节点，同时初始化多个（具体个数手动设定，详见下文）Matlab计算子节点。Parfor的作用就是让这些子节点同时运行Parfor语句段中的代码。Parfor运行之初，主节点会将Parfor循环程序之外变量传递给计算子节点。子节点运算过程时互不干扰，运算完毕，则应该有相应代码将各子节点得到的结果组合到同一个数组变量中，并返回到Matlab主节点。当然，最终计算完毕应该手动关闭计算子节点。

二十六、初始化Matlab并行计算环境

这里讲述的方法仅针对多核机器做并行计算的情况。设机器的CPU核心数量是CoreNum双核机器的CoreNum2，依次类推。CoreNum以不等于核心数量，但是如果CoreNum小于核心数量则核心利用率没有最大化，如果CoreNum大于核心数量则效率反而可能下降。因此单核机器就不要折腾并行计算了，否则速度还更慢。下面一段代码初始化Matlab并行计算环境：

%Initialize Matlab Parallel Computing Enviornment by Xaero | Macro2.cn

CoreNum=2; %设定机器CPU核心数量，我的机器是双核，所以CoreNum=2

if matlabpool('size')<=0 %判断并行计算环境是否已然启动

matlabpool('open','local',CoreNum); %若尚未启动，则启动并行环境

else

disp('Already initialized'); %说明并行环境已经启动。

end

运行成功后会出现如下语句：

Starting matlabpool using the 'local' configuration ... connected to 2 labs.

如果运行出错，按照下面的办法检测：

首先运行：

matlabpool size

如果出错，说明你没有安装Matlab并行工具箱。确认安装了此工具箱后，运行：

matlabpool open local 2;

如果出错，证明你的机器在开启并行计算时设置有问题。请联系MathWorks的售后服务。

二十七、终止Matlab并行计算环境

用上述语句启动Matlab并行计算环境的话，在你的内存里面有CoreNum个Matlab进程存在，每个占用内存都在百兆以上。（可以用Windows任务管理器查看），故完成运行计算后可以将其关闭。关闭的命令很简单：

matlabpool close

二十八、Matlab做Monte Carlo并行的算法

Matlab并行计算比较特别。下图节选自Matlab并行计算工具箱用户手册。这个列表告诉你Matlab如何处理Parfor并行计算程序段中的各种变量。所以写代码时要注意不少问题，否则写出的并行代码可能还不如非并行的代码快。

这里我推荐大家用Matlab写Monte Carlo并行代码时按照以下注意事项来写：

1．将Monte Carlo模拟过程中不会改变的参数都写在Parfor循环块外面

2．生成随机数、计算f(x)等过程都写在Parfor里面

3．不要将V0结果传递出Parfor，而是直接计算出V0的均值、方差传递出parfor。

4．最后用数学公式将传递出Parfor的V0的均值方差组合计算成最终结果

这些事项如何体现到程序中请参照示例代码文件并结合视频教程学习。这样的并行办法简单易行，对原始程序没有太大的改动，同时传递变量耗费时间也较少，效率比较高。

另外一个问题就是并行代码做模拟的次数问题。我们要达到用非并行的代码做N此模拟所能得到结果的精确程度，在核心为CoreNum并行代码中，Parfor语句段中只要做N/CoreNum次即可达到。

二十九、将例子改写为并行代码

附件中的pareg1.m，……，pareg5.m五个文件分别是前一章五个例子的并行代码。这里需要提到的是，这五个代码文件都是用向量化的代码编写。原因在于，在前一章大家都看到了，向量化的代码比循环语句代码一般快几十甚至上千倍，所以要提高速度，向量化代码是最重要的优化方法，并行计算倒是其次。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

由于要搜索多核运行，找到这个帖子里来了

刚才试了一下，我使用的MATLAB2010可以多核运行的。需要多核多线程跑的算法，在之前要让matlab在本地建立4个“实验室”（我的机器是4核，所以是4个）
>> matlabpool local 4
Starting matlabpool using the 'local' configuration ... connected to 4 labs.
显示正在进行多核配置，一会说，连接到4个“实验室”。我理解就是在本地虚拟出4台可以运行matlab的工作站，这样用分布式计算工具箱可以进行并行计算（matlabpool这个命令好像是在并行计算工具箱里的）。观察windows任务管理器，可以发现一共有5个MATLAB.exe进程。其中一个占内存较多的，我理解是主控的，他基本不干活，只负责分配，进行计算时他的cpu占用率只有1~2%，剩下四个进程专门用来计算的，跑起来各占cpu 25%左右。看上去还是每个matlab进程单核运算，但是一下开4个进程，所以能把cpu用满。
如果后续还需要多核运算，就直接用parfor好了，不用每次都用matlabpool命令。那个配置一次就好。
算完了，不再跑了，临退出时关闭配置就行。
>> matlabpool close
Sending a stop signal to all the labs ... stopped.

下面是我一个M文件的程序，测测4核并行计算和单核计算的差距，很简单。
function testtime

runtimes = 1e9;
dummy1   = 0;
dummy2   = 0;

%matlabpool local 4

tic
%for x= 1:runtimes;
parfor x= 1:runtimes;
    dummy1 = dummy1 + x;
    dummy2 = 2 * x + 1;
end
toc

plot([1 2], [dummy1, dummy2]);

第一次用普通for语句，单核跑，6.09秒
>> testtime
Elapsed time is 6.094267 seconds.

第二次用parfor语句，4核跑，1.63秒
>> matlabpool local 4
Starting matlabpool using the 'local' configuration ... connected to 4 labs.
>> testtime
Elapsed time is 1.631350 seconds.
>> matlabpool close

加速比 6.09 / 1.63 = 3.736，将近4倍（还有开销吧），还比较可观。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

 

然后说一下要注意的几个问题：

1、parfor效果好，但是用起来要注意程序的细节。很多地方都会报错。比如下标必须为连续的整数！否则会报下面这个错误“The variable xxx in a parfor cannot be classified.”具体可以看parfor帮助文件里面的sliced variables这一节，帮助建议仔细全部看过最好。

2、用了parfor之后，输出参数用nargout确定，会出错。不知道为什么。

3、变量在parfor内外的传进传出要非常小心，因为并行的关系，依赖循环下标的变量都要仔细考虑。

 

在我的程序里面，用profile监测，

不用并行计算的时候，CPU时间为 84.742 S，

用了并行计算的时候，CPU时间为 15.231 S

加速比达到了5.6！！！！！！

 

Oh my lady gaga！！！！！！

 

双核E6400，不知道为什么加速比这么恐怖.

 

明天在xeon 5310上面去试试，双CPU，一共8核，不知道会是什么样子，估计最多1S。。。。