前言

本文默认大家已经安装好TF-gpu环境，没有安装好的伙伴请先看下文
一文多图搞定Ubuntu安装Anaconda+GPU Driver+CUDA+CUDNN+TensorFlow-gpu+Pytorch(附网盘链接)

1 制作自己的数据集

1. 利用labelImg软件选择VOC格式给自己的数据集打标签，生成对应的xml标注文件。
2. 创建如下图所示的目录结构。
   
3. 在VOC2007文件夹内创建split.py，代码如下，用来划分数据集。

import os
import randomtrainval_percent = 0.1 # 比例可调
train_percent = 0.9 # 同上
xmlfilepath = 'Annotations' # 标注文件路径
txtsavepath = 'ImageSets/Main' # 划分后的数据集列表路径
total_xml = os.listdir(xmlfilepath)num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')for i in list:name = total_xml[i][:-4] + '\n'if i in trainval:ftrainval.write(name)if i in train:ftest.write(name)else:fval.write(name)else:ftrain.write(name)ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

4. 在VOC2007路径下执行如下命令，在Main文件夹下会生成4个txt文件：trainval.txt，test.txt，train.txt（训练样本名列表），val.txt

$ python split.py

2 安装darknet

1. 需要opencv，如果你想编译请看一文搞定Ubuntu编译安装OpenCV(附网盘链接)，这里可以不编译，直接执行如下命令即可。

$ sudo apt install libopencv-dev 

2. 克隆darknet

$ git clone https://github.com/pjreddie/darknet

3. 编译此项目

$ cd darknet
$ make

4. 下载yolo3预训练权重文件

$ wget https://pjreddie.com/media/files/yolov3.weights

5. 测试yolo3，结果如下图

$ ./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

3 建立软链接

为了方便数据集维护，此处不讲数据集放在darknet文件夹下，而是建立软链接。

$ cd darknet
$ mkdir VOCdevkit
$ ln -s /path/to/your/dataset/fold/VOC2007/ /path/to/your/darknet/fold/VOCdevkit/VOC2007

4 训练文件准备

1. 生成训练与测试文件
   打开darknet/scripts/voc_label.py文件，根据自己的数据集更改下面的代码

sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
classes = ["car"，"person"]

执行改文件，在darknet文件夹下生成3个txt文件：2007_val.txt（验证样本集路径），2007_train.txt和2007_test.txt。同时在数据集文件夹内生成了labels文件夹，里面存放着yolo格式（类别序号+左上角x归一化+左上角y归一化+w归一化+h归一化）的训练数据txt文件。

$ python voc_label.py

2. 配置文件修改

• 修改data/voc.names（记得备份），里面放你的所有类的名称

car
person

• 修改cfg/voc.data（记得备份）

classes= 2 #classes为训练样本集的类别总数
train  = /darknet/2007_train.txt # train的路径为训练样本集所在的路径，上一步中生成
valid  = /darknet/2007_val.txt # valid的路径为验证样本集所在的路径，上一步中生成
names = data/voc.names # names的路径为data/voc.names文件所在的路径
backup = backup

• 修改cfg / yolov3-voc.cfg（记得备份）
  这里推荐你看一下【YOLO3代码详解系列01】代码架构与配置文件

[net]
# Testing 注释掉测试部分
# batch=1        
# subdivisions=1
# Training 训练部分
batch=64            
subdivisions=16  # 显存大可设为8
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1learning_rate=0.001 
burn_in=1000 # 迭代次数超过1000，开始采用policy学习率更新方式
max_batches = 4000 # 最大迭代次数：2000x类别数，最少为4000
policy=steps # 学习率更新方式
steps=3200,3600 # max_batches的80%，90%
scales=.1,.1  # 与steps配合使用，更新学习率
......
[convolutional]
size=1
stride=1
pad=1
filters=21        #---------------修改为3*（5+classes）即3*（5+2）=18
activation=linear
[yolo]
mask = 6,7,8
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=2        #---------------修改为标签类别个数，2类
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1           
......
[convolutional]
size=1
stride=1
pad=1
filters=21        #---------------修改同上
activation=linear[yolo]
mask = 3,4,5
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=2        #---------------修改同上
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1      
......
[convolutional]
size=1
stride=1
pad=1
filters=21        #---------------修改同上
activation=linear[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=2        #---------------修改同上
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1

3. 下载darknet预训练权重文件

$ wget https://pjreddie.com/media/files/darknet53.conv.74

5 训练数据集

执行下面的命令

$ ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 

训练过程中输出信息如下

Region 106 Avg IOU: 0.794182, Class: 0.999382, Obj: 0.966953, No Obj:
0.000240, .5R: 1.000000, .75R: 0.750000, count: 4
299: 18.237528, 28.675016 avg, 0.000008 rate, 0.065416 seconds, 299 images

• Region 106 ：网络层的索引为106
• Region Avg IOU: 0.794182： 表示在当前l.batch（batch /= subdivs ）内的图片的平均IOU
• Class: 0.0.999382： 标注目标分类的正确率，期望该值趋近于1。
• Obj: 0.966953： 检测目标的平均目标置信度，越接近1越好。
• No Obj: 0.000793： 检测目标的平均目标性得分，越接近0越好。
• .5R: 1.0：模型检测出的正样本(iou>0.5)与实际的正样本的比值。
• .75R: 0.75 模型检测出的正样本(iou>0.75)与实际的正样本的比值。
• count: 4：count后的值是当前l.batch（batch /= subdivs ）内图片中包含正样本的图片的数量。
• 299：迭代次数
• 28.675016 avg：平均loss，一般最后要达到0.0x最好。
  注意：backup文件夹内始终只保存10个权重文件，每100轮保存一个权重文件，超过1000轮后，只更新最后一个权重文件；训练过程中注意观察loss始终不收敛，说明学习率等超参数需要调整甚至数据集有问题。

6 测试模型

1. 修改cfg / yolov3-voc.cfg（记得备份），切换到test模式。
2. 输入如下命令

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3_final.weights testfiles/img1.jpg