caffe-windows之网络描述文件和参数配置文件注释(mnist例程)

caffe-windows之网络描述文件和参数配置文件注释(mnist例程)

lenet_solver.prototxt:在训练和测试时涉及到一些参数配置，训练超参数文件

<-----lenet_solver.prototxt----->

# The train/test net protocol buffer definition 网络配置文件的位置
net: "examples/mnist/lenet_train_test.prototxt"  

# 训练阶段迭代次数，这个要与test layer中的batch_size结合起来理解。
# mnist数据中测试样本总数为10000，一次性执行全部数据效率很低，因此我们将测试数据分成几个批次来执行，每个批次的数量就是batch_size。
# 假设我们设置batch_size为100，则需要迭代100次才能将10000个数据全部执行完，因此test_iter设置为100。执行完一次全部数据，称之为一个epoch。test_iter*test batch size =10000
test_iter: 100 

# Carry out testing every 500 training iterations.每训练500次，进行一次测试
test_interval: 500 

# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01  //基础学习率
momentum: 0.9  //学习率 改变的动量
weight_decay: 0.0005 //学习率衰减系数

# The learning rate policy  //学习策略 及相关参数
lr_policy: "inv"
gamma: 0.0001
power: 0.75

# Display every 100 iterations
display: 100   //迭代100次 打印输出一次结果

# The maximum number of iterations
max_iter: 10000   //最大迭代数

# snapshot intermediate results
# 快照，将训练出来的model和solver状态进行保存，snapshot用于设置训练多少次后进行保存，默认为0，不保存。snapshot_prefix设置保存路径。
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"

# solver mode: CPU or GPU // 使用CPU还是GPU
solver_mode: GPU   //打开GPU

<-----lenet_solver.prototxt在训练和测试时涉及到一些参数配置----->

name: "LeNet"     // 网络的名称为  LeNet

lenet_train_test.prototxt：定义网络每一层以及网络整体的结构，这里讲得很具体参考

<-----lenet_train_test.prototxt----->

	//  训练时数据层的定义
	layer {            // 定义一个网络层（Layer）
	  name: "mnist"    // 该网络层的名称为 mnist
	  type: "Data"    // 该网络层的类型是数据层
	  top: "data"      // 层的输出有两个： data 和 label
	  top: "label"
	  include {
	    phase: TRAIN     // 该层参数只在训练阶段有效
	  }
	  transform_param {
	    scale: 0.00390625  //将输入图像数据归一化为0-1，参数为1/255
	  }
	  data_param {    // 数据层参数
	    source: "examples/mnist/mnist_train_lmdb" //LMDB路径
	    batch_size: 64  // 一次训练的样本数
	    backend: LMDB //读入的训练数据格式，默认leveldb
	  }
	}

	// 测试（预测）时数据层的定义
	layer {
	  name: "mnist"
	  type: "Data"
	  top: "data"
	  top: "label"
	  include {
	    phase: TEST     // 该层的参数只 test 时使用
	  }
	  transform_param {
	    scale: 0.00390625  // 1/255 归一化数据
	  }
	  data_param {
	    source: "examples/mnist/mnist_test_lmdb"//测试数据路径
	    batch_size: 100  // 一次测试使用100个数据
	    backend: LMDB
	  }
	}

	// 第一卷积层的定义
	layer {
	  name: "conv1"     // 该网络层的名称
	  type: "Convolution"  // 该网络层类型：卷积层
	  bottom: "data"    // 输入是 data
	  top: "conv1"   // 输出命名为 conv1
	  param {
	    lr_mult: 1     //weights的学习率与全局相同
	  }
	  param {
	    lr_mult: 2   //biases的学习率是全局的2倍
	  }
	  convolution_param {   // 卷积参数设置
	    num_output: 20   // 输出 20个 featur maps
	    kernel_size: 5  // 卷积核 尺寸 5*5
	    stride: 1      // 卷积步长
	    weight_filler {
	      type: "xavier"  // 指定权值参数初始化方式
	    }
	    bias_filler {
	      type: "constant"   // bias用0初始化
	    }
	  }
	}

	// 第一池化层的定义
	layer {
	  name: "pool1"   // 该网络层的名称
	  type: "Pooling"  // 该网络层的类型：池化
	  bottom: "conv1"  // 该网络层的输入
	  top: "pool1"     // 输出的名称
	  pooling_param {   // 池化层的参数设置
	    pool: MAX     // 池化类型： 最大池化
	    kernel_size: 2  // 2*2区域池化
	    stride: 2   // 步长
	  }
	}

	// 第二卷积层定义
	layer {
	  name: "conv2"
	  type: "Convolution"
	  bottom: "pool1"
	  top: "conv2"
	  param {
	    lr_mult: 1
	  }
	  param {
	    lr_mult: 2
	  }
	  convolution_param {
	    num_output: 50
	    kernel_size: 5
	    stride: 1
	    weight_filler {
	      type: "xavier"
	    }
	    bias_filler {
	      type: "constant"
	    }
	  }
	}

	// 第二池化层定义
	layer {
	  name: "pool2"
	  type: "Pooling"
	  bottom: "conv2"
	  top: "pool2"
	  pooling_param {
	    pool: MAX
	    kernel_size: 2
	    stride: 2
	  }
	}

	//第一全链接层定义
	layer {
	  name: "ip1"
	  type: "InnerProduct"
	  bottom: "pool2"
	  top: "ip1"
	  param {
	    lr_mult: 1
	  }
	  param {
	    lr_mult: 2
	  }
	  inner_product_param {
	    num_output: 500
	    weight_filler {
	      type: "xavier"
	    }
	    bias_filler {
	      type: "constant"
	    }
	  }
	}

	// 激活函数层定义
	layer {
	  name: "relu1"
	  type: "ReLU"  // 使用ReLU激活函数
	  bottom: "ip1" // 输入输出都是ip1，这么做是为了减少变量
	  top: "ip1"
	}

	// 第二全链接层定义，完成分类
	layer {
	  name: "ip2"
	  type: "InnerProduct" // 网络层类型：全链接层
	  bottom: "ip1" //输入
	  top: "ip2"    //输出
	  param {
	    lr_mult: 1
	  }
	  param {
	    lr_mult: 2
	  }
	  inner_product_param {
	    num_output: 10  // 输出个数 0-9 完成分类
	    weight_filler {
	      type: "xavier"
	    }
	    bias_filler {
	      type: "constant"
	    }
	  }
	}

	//计算分类准确率的层，只在 test 阶段有效
	layer {
	  name: "accuracy"
	  type: "Accuracy" //类型
	  bottom: "ip2"    // 输入
	  bottom: "label"   //输入
	  top: "accuracy"   //输出
	  include {
	    phase: TEST   //只在 test 阶段有效

	  }
	}

	//损失层
	layer {
	  name: "loss"
	  type: "SoftmaxWithLoss" //指定采用 SoftmaxWithLoss 损失函数
	  bottom: "ip2"   //输入
	  bottom: "label" //输入
	  top: "loss"  //输出
	}