caffe中python接口的使用

下面是基于我自己的接口，我是用来分类一维数据的，可能不具通用性：

（前提，你已经编译了caffe的python的接口）

添加 caffe塻块的搜索路径，当我们import caffe时，可以找到。

对于这一步，一般我们都会把 cafffe 模块的搜索路经永久地加到先加$PYTHONPATH中去，如可以把 export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH 写到 .bashrc中。而下面的做法，只是临时的做法哦；

improt sys
#sys.path为一个列表，用什么方法加入都好啊，我用insert直接插到首位
sys.path.insert(0, ‘caffe_python的路径，我的为~/down/caffe/python/')

设置使用的设备:

在用显卡并行运算算的时候，如果多显卡的时候，输入它们的序号表示使用哪一块卡，如果单显卡的话（比如我的笔记本电脑，应该都为0,表示第一块）。

caffe.set_device(0）
caffe.set_mode_gpu()

caffe.set_mode_cpu()    #使用caffe的GPU模式

设定网络的solver:

选中我们的solver_prototxt文件，里面就是设定了网络的训练次数啦，各参数的值啦等啦。

solver = None
#选用SGD算法来进行运算；
solver = caffe.SGDSolver('你的网络的lenet_solver.prototxt 文件‘）

# 执行完上面的语句以后，网络的相应的权值与偏置会根据我们的定义进行赋值的；

caffe中的数据保存及调用：

在caffe中，我们的网络可以分为训练网络与测试网络哦，训练网络用solver.net.blobs、solver.net.params；对面测试网络，用solver.test_nets[i].blobs、solver.test_nets[i].params(其中 i 表示第几个测试网络，从0开始。例如，我们就一个测试网络的话，我们就写为：solver.test_nets[0].blobs。）

下面，我们以训练网络为例子，看看caffe中的数据的存储与调用方法。 caffe的数据都是放在 blobs块中的，我觉得这个好牛逼啊，太统一了。

solver.net.blobs 里面放的为每一层layer输出的data、对输出结点求的导数 diff，另外还有几个如count等参数，不过我们基本用不到的，不要关注一下data数据就可以了。

#solver.net.blobs为一个字典的数据类型，里面的key值为各个layer 的名字，value为caffe的blob块；

solver.net.blobs
#输出：

rderedDict([('data', <caffe._caffe.Blob at 0x7f7bde968398>),
            ('label', <caffe._caffe.Blob at 0x7f7bde968488>),
            ('conv1', <caffe._caffe.Blob at 0x7f7bde968578>),
            ('pool1', <caffe._caffe.Blob at 0x7f7bde968e60>),
            ('conv2', <caffe._caffe.Blob at 0x7f7bde9686e0>),
            ('pool2', <caffe._caffe.Blob at 0x7f7bde968cf8>),
            ('ip1', <caffe._caffe.Blob at 0x7f7bde968c80>),
            ('ip2', <caffe._caffe.Blob at 0x7f7bde968c08>),
            ('loss', <caffe._caffe.Blob at 0x7f7bde968b90>)])
 
#我们可以访问Blob块里的内容了，通过看Blob块的源码你会发现里面有data, diff,count等内容的。

#我们以conv1层为例子，我们访问 conv1的输出的数据，可以通过下面的语句：

solver.net.blobs['data'].data

solver.net.blobs['data'].diff

#如果想看它们的数据结构，可以通过下面的语句得到：

solver.net.blobs['data'].data.shape

solver.net.blobs['data'].diff.shape

#另外，还可以通过reshape()transpose()等操作对它们变形，应该是对数组的操作之类的吧。

solver.net.params为一个字典的数据类型，里面放的是与连接的权值及偏置相关的数据，如：data(表示权值的大小），diff(对于权值的导数），还有 count 之类的，我们只关注一个 data 就可以了吧。

solver.net.params[网络的名字][0]

#solver.net.params为一个字典的数据类型，key值为layer 的名字，value为caffe的blob块的容器哦；
solver.net.forward()
#输出为：
solver.net.params
orderedDict([ ('conv1', <caffe._caffe.BlobVec at 0x7f7bffd68578>),
            ('conv2', <caffe._caffe.BlobVec at 0x7f7bde9ff6e0>),
            ('ip1', <caffe._caffe.BlobVec at 0x7f7bde968f80>),
            ('ip2', <caffe._caffe.BlobVec at 0x7f7bde968408>)])

#下面，我们可以访问Blob块里的内容了。#们以conv1层为例子，具体如下：

#sover.net.params['conv1'][0]里面放是与连接权值相关的数据；可以通过下面方式访问：

solver.net.params['conv1'][0].data

solver.net.params['conv1'][0].diff

#solver.net.params['conv1'][1]里面放的是与偏置相关的的值、导数等；可以通过下面方式访问：

solver.net.params['conv1'][1].data

solver.net.params['conv1'][1].diff

#同样，我们可以还可以通过它们进行 shape()、reshape()、transpose()等操作

前向传播与反向传播

进行一次前向传播：使用 solver.net.forward或 solver.test_nets[i].forward 语句: 它干了点什么呢？它把数据从输入层到最后的输出层传播了一个遍,把相应的每一层网络的输出值赋于blobs，网络输入的的数据个数为你的net的定义文件里的patch_size的大小。

#训练数据作为输入，进行一次前向传播：
solver.net.forward()

#假如有300个数据，我们的patch_size的大小为100，那么：

solver.net.forward()    #数据为1－100；

solver.net.forward()    #数据为101－200

solver.net.forward()    #数据为201－300

solver.net.forward()    #数据为1－100

#另外，我们可以设置forward开始的地方，如下面所示：

solver.net.forward(start ='conv1')          #表示从conv1开始，这样的话，data层这不用传用新的数据了。

进行反向传播：使用：solver.net.forward，基本是都是我们的训练网络会进行反向传播的。反向传播做了点什么事呢？把会求出相应的导数啦，即blobs块里面的diff变量。

记住：它不会去更新权值与偏置的；

# 进行一次反向传播
solver.net.forward()

进行完整的一次计算（minibatch)：solver.step(1):（包括数据的前向传播，误差反向传播，以及网络权值的update)

#当我们完整地进行一次权值更新地时候，我们可以调用下面的语句
#把意思就是：训练网络进行一次正向与反向传播，并进行更新权值与偏置；
sover.step(n）表示进行n次训练。
 
# 表示进行n次训练。
sover.step(n）

注意：当我们用python接口运行caffe时，我们就可以控制它的Loop过程了，然后跟踪很多变量，干点自己想干的事啦等。除此之外，与直接用caffe的C++代码且没有什么差别，并且在sover prototxt定义的相关操作都会进行的，如logging, snapshot, test等。

2017年3月10日添加，有点乱，没有整理：

solver.solve(), 会进行完整的梯度训练，直至在solver中规定的max_iter.

用 caffe_root/python/draw_net.py 画出网络的结构图：

第一点：需要安装：graphviz, 可以直接通过 sudo apt-get install graphviz，安装就可以了。

第二点：安装pydot 模块，可以通过 pip pydot安装，注意：pydot 不支持python3, 所以，我们也可以安装 pydotplus来代替， pip install pydotplus；

现在，就可以运行 draw_net.py 画图了，例子如下：

./draw_net.py my_net.prototxt my_picture.png

caffe中，在训练过程中，关于进行snapshot的相关问题：

除了我们可以在solver.prototxt 文件里定义相关的snapshot外，我们呢，也可以在训练过程中，进行手动保存；在进行snapshot时，会保存下面两个文件：

.caffemodel :

The caffemodel, which is output at a specified interval while training, is a binary contains the current state of the weights for each layer of the network.

.solverstate:

The solverstate, which is generated alongside, is a binary contains the information required to continue training the model from where it last stopped.

方法一： solver.snapshot(), 可以在训练过程中，手动进行snapshot.，它会保存 .caffenodel与 .solverstate两个文件；常用于进行恢复训练过程；（保存的路径为solver.prototxt 文件里面定义的路径）

方法二：net.save(), 它只会保存一下 .caffemodel文件，常用于进行测试时。使用方法：如， net. save(‘my_path/my_weights.caffemodel’);

关于在pycaffe中载入solver.ptototxt 文件的问题：

两个方法：

第一，当使用 caffe.SGDSolver（‘solver文件’）时，无论你的solver文件中定义的solver_type是什么，都会用SGD方法；

第二，solver = caffe.get_solver(‘里面是solver.prototxt文件’);

怎么导入网络以及它的相关权值进行测试呢，可以这么做：

第一，直接进行导入权值进行测试时，我们可能用到：
net = caffe.Net(网络的定义文件， caffemodel的权值保存文件，选择：caffe.TEST）  ，因为一个.prototxt文件中可以即定义train，也定义test，对应的caffe.TRAIN与caffe.TEST.
如一个例子：
net = caffe.Net('models/bvlc_reference_caffenet/deploy.prototxt',
                'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel',
                caffe.TEST)
第二，在预训练的基础上再训练网络时，我们不仅仅导入了预训练的权值，还导入 solver.prototxt

如果我们要在预训练的基础上再用新定义的solver.prototxt文件训练我们的网络，我们可以这么做：（区别就是我们不会随机初始化权值，而是直接导入pretrained的权值）

my_solver = caffe.get_solver(net_solver.prototxt)

my_solver.net.copy_from(pretraind.caffemodel)

2017年8月14日补：

solver.iter : 这是一个变量，它会标识了迭代次数；

。