YOLO3训练widerface数据集

因为YOLO３速度精度都很棒，所以想训练一下人脸模型，废话不多，进入正题

１写所有的配置文件

1.1 YOLO3-face.cfg

个人感觉YOLO的配置文件骑士和caffe差不多

在cfg/YOLO3.cfg的文件上改，生成自己的cfg/yolo3-face.cfg

 [net]
 # Testing
 # batch=
 # subdivisions=
 # Training
 batch=
 subdivisions=
 width=
 height=
 channels=
 momentum=0.9
 decay=0.0005
 angle=
 saturation = 1.5
 exposure = 1.5
 hue=.

其中:

batch=64                          每batch个样本更新一次参数。

subdivisions=16               如果内存不够大，将batch分割为subdivisions个子batch，每个子batch的大小为batch/subdivisions。

训练的话把上面注释掉，测试就把训练部分的注释掉

学习率啥的就不改了，自己看着学吧

到配置文件底部更改最后的conv层参数

 [convolutional]
 batch_normalize=
 filters=
 size=
 stride=
 pad=
 activation=leaky

 [convolutional]
 batch_normalize=
 size=
 stride=
 pad=
 filters=
 activation=leaky

 [convolutional]
 size=
 stride=
 pad=
 filters=
 activation=linear

 [yolo]
 mask = ,,
 anchors = ,,  ,,  ,,  ,,  ,,  ,,  ,,  ,,  ,
 classes=
 num=
 jitter=.
 ignore_thresh = .
 truth_thresh =
 random=

多截取了一点，只要改最后一部分就可以，（友情提醒，ＹＯＬＯ里面这个模块有三处，都改，估计为了收敛用的辅助）

filter=３＊（４＋１＋classes）

classes=1

这里我的是人脸检测，so classes=1

下面的anchors懒得改了，理论上像我检测的人脸一般都是偏正方形，像（１６，３０）这种是没什么必要的

1.2 widerface.data

在cfg/voc.data基础上改

 classes=
 train  = /home/liuzg/yolo/darknet3/darknet/Pkj_face_scripts/train.txt
 valid  = /home/liuzg/yolo/darknet3/darknet/Pkj_face_scripts/test.txt
 names = data/widerface.names
 backup = backup

train和valid就是yolo需要的训练集和交叉训练集所需要的目录，后面讲生成方法

1.３ widerface.names

data/widerface.names　照抄coco.names格式，我这里检测人脸，整个文件只有一行face

2　数据集处理方法

记住你的唯一核心目的就是要生成上面1.2里面那两个txt文件，下面讲的所有方法都是辅助，你拿什么生成那两个文件和YOLO训练没有半毛钱关系

1 下载widerface数据集

2 转化成ＶＯＣ格式

我是按这位老兄的脚本搞得，新手拿这个上路其实还是有点坑的，先拿这个讲

https://blog.csdn.net/minstyrain/article/details/77986262

为什么讲他坑呢，因为他脚本里面第１２２行（可能我自己改过了，反正附近吧）

 filename=filename.replace("/","_")  

他把文件路径名里面的路径给换了，后来也知道他为什么要换了，但是会有其他坑，所以记住核心目的就行，脚本不行，后面配合部分人工简单操作凑合过吧，go on

运行脚本后你得到了一个类似于ＶＯＣ格式的数据集

3 接下来看官网　https://pjreddie.com/darknet/yolo/

官网大神已经给你写好脚本了，把ＶＯＣ格式转化成ＹＯＬＯ格式

wget https://pjreddie.com/media/files/voc_label.py

python voc_label.py

当然我前面说了我们的是类ＶＯＣ格式，所以还是要改滴，讲不清，直接贴代码吧，反正也就是各种路径找不到的问题，还有上面转ＶＯＣ格式的时候，

那老哥好像还把一部分不好的数据给删了，所以并不是所有widerface数据都在ＶＯＣ格式里面

 import xml.etree.ElementTree as ET
 import pickle
 import os
 import re
 from os import listdir, getcwd
 from os.path import join

 sets=[('trainval'), ('test')]

 classes = ["face"]

 def convert(size, box):
     dw = 1./(size[0])
     dh = 1./(size[1])
     x = (box[0] + box[1])/2.0 - 1
     y = (box[2] + box[3])/2.0 - 1
     w = box[1] - box[0]
     h = box[3] - box[2]
     x = x*dw
     w = w*dw
     y = y*dh
     h = h*dh
     return (x,y,w,h)

 def convert_annotation(image_id):
     image_id_chage=image_id.replace('/','_')
     dirname=image_id[:image_id.find('/')]
     if not os.path.exists('wider-faces/labels/%s/'%(dirname)):
         os.makedirs('wider-faces/labels/%s/'%(dirname))
     in_file = open('wider-faces/Annotations/%s.xml'%(image_id_chage))
     out_file = open('wider-faces/labels/%s.txt'%(image_id), 'w')
     tree=ET.parse(in_file)
     root = tree.getroot()
     size = root.find('size')
     w = int(size.find('width').text)
     h = int(size.find('height').text)

     for obj in root.iter('object'):
         difficult = obj.find('difficult').text
         cls = obj.find('name').text
         if cls not in classes or int(difficult)==1:
             continue
         cls_id = classes.index(cls)
         xmlbox = obj.find('bndbox')
         b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
         bb = convert((w,h), b)
         out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

 wd = getcwd()

 for image_set in sets:
     if not os.path.exists('wider-faces/labels/'):
         os.makedirs('wider-faces/labels/')
     image_ids = open('wider-faces/ImageSets/Main/%s.txt'%(image_set)).read().strip().split()
     list_file = open('%s.txt'%(image_set), 'w')
     for image_id in image_ids:
         if not os.path.exists('wider-faces/Annotations/%s.xml'%(image_id)):
             continue
         image_id=image_id[:image_id.find(re.findall("\d",image_id)[0],4)-1]+'/'+image_id[image_id.find(re.findall("\d",image_id)[0],4):]
         list_file.write('%s/wider-faces/WIDER_%s/images/%s.jpg\n'%(wd, image_set, image_id))
         convert_annotation(image_id)
     list_file.close()

 os.system("cat trainval.txt > train.txt")
 os.system("cat trainval.txt test.txt > train.all.txt")

估计我的要直接用也难，讲一下要改的地方吧

官网大神分三类，训练集，交叉集，测试集，我这里只有训练集trainval，交叉集test，不要问我为什么名字不对应，我自己也被搞了半天，烦死了

convert_annatation函数就是把ＶＯＣ的标记坐标格式转成ＹＯＬＯ认识的格式，中间我多了一个image_id_change就是因为上面那老哥把"/"换成"_"了，各种路径找不到

最后呢还需要一点人工操作

把widerface/labels复制拷贝到WINDER_trainval和WINDER_test下面，ok，到此为止，假设你一切顺利的话就可以训练了

3 官网下个预训练模型，把上面配置文件1.2里面的两个路径改成你自己的，训练吧，小伙子