Theano2.1.21-基础知识之theano中多核的支持

来自：http://deeplearning.net/software/theano/tutorial/multi_cores.html

Multi cores support in Theano

一、BLAS 操作

BLAS是一个针对于某些数学上操作的接口，其中包括两个向量、一个向量和一个矩阵、两个矩阵（即，介于向量/矩阵和矩阵/矩阵之间的点积操作）。当然有许多这样接口的不同的实现方法，有些还是可以并行的。

Theano是想尽可能使用这个接口来保证整体的性能。所以如果想要实现theano的并行，这些操作将会在thenao中并行的运行。

最频繁的来控制线程的数量的方法就是通过 OMP_NUM_THREADS 环境变量来设置。在开启python进程之前，将它设置成你想要使用到的线程的数量。一些BLAS实现也支持其他环境变量。

为了测试你的BLAS是否支持 OpenMP/Multiple 多核，你可以使用 theano/misc/check_blas.py 脚本来测试，命令如下：

OMP_NUM_THREADS=1 python theano/misc/check_blas.py -q
OMP_NUM_THREADS=2 python theano/misc/check_blas.py -q

ps：在windows的cmd上运行的时候，需要用到set OMP_NUM_THREADS=2。（set会临时的定义环境变量，当关闭一个cmd的时候，就会被清除的。）

个人：待分析

二、使用OpenMP来并行的逐元素ops

因为在每个张量元素上独立的进行逐元素操作可以很容易的通过OpenMP来并行化。

为了使用OpenMP，你需要设置 openmp flag 为 True.

你可以使用flag openmp_elemwise_minsize 来设置需要并行的最小的张量size。对于较短的张量来说，使用OpenMP反而可能会减慢该操作。默认的值是20w 。

对于简单的（快速）的操作来说，你可以在非常大的张量得到一个加速；而对于复杂的操作来说，你可以在较小的张量上得到一个不错的加速。

在theano/misc路径下有一个脚本 elemwise_openmp_speedup.py ，你可以用来针对你你的机器来调整 openmp_elemwise_minsize 的值。该脚本是对具有size为 openmp_elemwise_minsize的向量执行两个逐元素操作（一个快速操作，一个慢速操作） 并分别使用OpenMP和未使用两种情况下执行，从而来显示不同情况下的耗时情况。

唯一的用来控制线程数量的方法是通过 OMP_NUM_THREADS 环境变量。在开启python进程之前将它设置成你想要的线程数量。你可以用下面的命令来测试：

OMP_NUM_THREADS=2 python theano/misc/elemwise_openmp_speedup.py
#The output
 
Fast op time without openmp 0.000533s with openmp 0.000474s speedup 1.12
Slow op time without openmp 0.002987s with openmp 0.001553s speedup 1.92

个人：上面的没成功，错误待分析，所以没图。

参考资料：

[1]：官网：http://deeplearning.net/software/theano/tutorial/multi_cores.html