[caffe] caffe训练tricks

Tags: Caffe

Categories: Tools/Wheels

1. 将caffe训练时将屏幕输出定向到文本文件

caffe中自带可以画图的工具,在caffe路径下：

./tools/extra/parse_log.sh

./tools/extra/extract_seconds.py

./tools/extra/plot_training_log.py.example

日志重定向：在训练命令中加入一行参数，实现log日志定向到文件：

caffe train --sover=/path/to/solver >log/***.log 2>&1
解析训练数据

将前面说的三个脚本拷贝到log文件下

sh parse_log.sh xxxx.log
生成图片

python plot_traning_log.py [0-7] save.png xxxx.log

可以选择的各种图类型：

2. 均值文件计算和转换

c++中使用的是.binaryproto格式，python中使用的是.npy格式,因此会经常遇到二者之间相互转化的时候。

python .npy > .binaryproto

import caffe

import numpy as np

MEAN_PROTO_PATH = 'mean.binaryproto' # 待转换的pb格式图像均值文件路径

MEAN_NPY_PATH = 'mean.npy' # 转换后的numpy格式图像均值文件路径

blob = caffe.proto.caffe_pb2.BlobProto() # 创建protobuf blob

data = open(MEAN_PROTO_PATH, 'rb' ).read() # 读入mean.binaryproto文件内容

blob.ParseFromString(data) # 解析文件内容到blob

array = np.array(caffe.io.blobproto_to_array(blob))# 将blob中的均值转换成numpy格式，array的shape （mean_number，channel, hight, width）

mean_npy = array[0] # 一个array中可以有多组均值存在，故需要通过下标选择其中一组均值

np.save(MEAN_NPY_PATH ,mean_npy)

已知图像均值构造mean.npy

import numpy as np

MEAN_NPY_PATH = 'mean.npy'

mean = np.ones([3,256, 256], dtype=np.float)

mean[0,:,:] = 104

mean[1,:,:] = 117

mean[2,:,:] = 123

np.save(MEAN_NPY, mean)

3. 训练文件solver的配置

solver文件是协调整个模型运作的文件,里面可以配置迭代次数，训练策略，学习率的更新策略，训练多少次测试一次，使用GPU还是CPU等等.

net: "examples/mnist/lenet_train_test.prototxt"

test_iter: 100

test_interval: 500

base_lr: 0.01

momentum: 0.9

type: SGD

weight_decay: 0.0005

lr_policy: "inv"

gamma: 0.0001

power: 0.75

display: 100

max_iter: 20000

snapshot: 5000

snapshot_prefix: "examples/mnist/lenet"

solver_mode: CPU

net: 网络模型，网络模型中可以同时配置train和test model

test_iter: 遍历整个test数据集的次数

test_iterval: 训练迭代多少次进行一次测试(一般是遍历完一次训练集进行一次测试)

display: 迭代多少次将记录输出到屏幕

max_iter: 最大训练迭代次数

snapshot: 多少次保存训练的caffemodel和solverstate

snapshot_prefix: 中间文件保存地址

solver_mode: 使用GPU/还是CPU

debug_info:是否将网络每一层的数据输出到屏幕，这个在调试的时候很有用

type: 求解算法,SGD/AdaDelta/AdaGrad/Nesterov/Adam/RMSProp

solver配置的官方详细介绍:

https://github.com/BVLC/caffe/wiki/Solver-Prototxt

4. 在solver 文件中设置debug_infor: true可以看见网络的forward and backward propagation, 可以根据权值和微分计算，帮助调参

how to interprete caffe log with debug_info?

https://stackoverflow.com/questions/40510706/how-to-interpret-caffe-log-with-debug-info