准备工作：

1、代码开源框架使用的是 fizyr/keras-retinanet
2、Keras版本要2.2.4以上

下面进入正题。

第一部分：模型准备

（1）模型下载地址：fizyr/keras-retinanet
（2）模型安装可以使用以下命令：

pip install numpy --user

pip install . --user

安装过程中，会检查依赖库，比如opencv-python，如果没有安装，会加载并安装。这里提一句，如果在安装时某个包下载安装不成功，自己记下来版本，比如opencv-python 3.4.5.20，可以直接先去利用pip或conda安装，但是一定要记得对应的版本。

（3）模型编译可以使用以下命令：

python setup.py build_ext --inplace

编译的时候可能会出现提示，没有某个版本C++的编译器，我提示的时没有2014版，把错误提示直接百度，就会出现解决方法，我是下载了一个3M的14版的编译工具。（当然，最好就是有相应版本的完整C++）

第二部分：数据准备

（1）在keras-retinanet-master/keras_retinanet/文件夹下面新建一个文件夹CSV用来存放自己制作的数据集。

数据文件夹格式如下：

<CSV>
|———— train_annotations.csv # 必须
|———— val_annotations.csv # 必须
|———— classes.csv # 必须
|
|____ data  # （可选），这样 annotations.csv可以使用图片的相对路径       └─ *.jpg

（2）根据官网的样例，自己制作的Annotations数据集格式如下：

path/to/image.jpg,x1,y1,x2,y2,class_name

如果一张图片中没有包含任何要检测的物体，则格式如下：

path/to/image.jpg,,,,,

一个完整的例子：

/data/imgs/img_001.jpg,837,346,981,456,cow
/data/imgs/img_002.jpg,215,312,279,391,cat
/data/imgs/img_002.jpg,22,5,89,84,bird
/data/imgs/img_003.jpg,,,,,

下面，我就贴出自己写的一个代码：

def restrict_image_info(label_path):with open(label_path, 'r') as load_f:load_dict = json.load(load_f)image_collect = load_dict['images']image_num = len(image_collect)anno_collect = load_dict['annotations']anno_num = len(anno_collect)img_path_list = []x1_list = []y1_list = []x2_list = []y2_list = []category_list = []img_path_val_list = []x1_val_list = []y1_val_list = []x2_val_list = []y2_val_list = []category_val_list = []mapper = {0: 'tieke', 1: 'heiding',2: 'daoju', 3: 'dian', 4: 'jiandao'}train_rate = 0.9hight = image_num*train_ratetrain_img_id = np.random.randint(0, image_num, size=int(hight))print(len(train_img_id))for i in range(image_num):img = image_collect[i]img_name = img['file_name']img_id = img['id']img_height = img['height']img_width = img['width']if i in train_img_id:for j in range(anno_num):if anno_collect[j]['image_id'] == img_id:bbox = anno_collect[j]['bbox']img_path_list.append(restrict_rele_path+img_name)x1_list.append(int(np.rint(bbox[0])))y1_list.append(int(np.rint(bbox[1])))x2_list.append(int(np.rint(bbox[0] + bbox[2])))y2_list.append(int(np.rint((bbox[1]+bbox[3]))))category_list.append(anno_collect[j]['category_id']-1)anno = pd.DataFrame()anno['img_path'] = img_path_listanno['x1'] = x1_listanno['y1'] = y1_listanno['x2'] = x2_listanno['y2'] = y2_listanno['class'] = category_listanno['class'] = anno['class'].map(mapper)else:for j in range(anno_num):if anno_collect[j]['image_id'] == img_id:bbox = anno_collect[j]['bbox']img_path_val_list.append(restrict_rele_path+img_name)x1_val_list.append(int(np.rint(bbox[0])))y1_val_list.append(int(np.rint(bbox[1])))x2_val_list.append(int(np.rint(bbox[0] + bbox[2])))y2_val_list.append(int(np.rint((bbox[1]+bbox[3]))))category_val_list.append(anno_collect[j]['category_id']-1)anno_val = pd.DataFrame()anno_val['img_path'] = img_path_val_listanno_val['x1'] = x1_val_listanno_val['y1'] = y1_val_listanno_val['x2'] = x2_val_listanno_val['y2'] = y2_val_listanno_val['class'] = category_val_listanno_val['class'] = anno_val['class'].map(mapper)anno.to_csv('CSV/train_annotations.csv', index=None, header=None)anno_val.to_csv('CSV/val_annotations.csv', index=None, header=None)

训练图片生成的数据格式如下：

data/jinnan2_round1_train_20190305/restricted/190119_184244_00166940.jpg,88,253,206,295,daoju
data/jinnan2_round1_train_20190305/restricted/190119_184244_00166940.jpg,296,244,414,344,jiandao
data/jinnan2_round1_train_20190305/restricted/190119_184244_00166940.jpg,231,239,299,341,jiandao
data/jinnan2_round1_train_20190305/restricted/190119_184244_00166940.jpg,99,278,194,320,dian

验证图片生成的数据格式如下：

data/jinnan2_round1_train_20190305/restricted/190119_182957_00166754.jpg,314,237,326,265,dian
data/jinnan2_round1_train_20190305/restricted/190127_100838_00177153.jpg,246,229,304,279,tieke
data/jinnan2_round1_train_20190305/restricted/190119_184522_00166980.jpg,668,409,717,432,dian
data/jinnan2_round1_train_20190305/restricted/190119_183142_00166782.jpg,565,326,708,432,jiandao
data/jinnan2_round1_train_20190305/restricted/190127_143529_00178527.jpg,8,262,45,326,heiding

（3）根据官网的样例，自己制作的classes数据集格式如下：

class_name,id

一个完整的例子：

cow,0
cat,1
bird,2

最后生成的数据格式如下：

tieke,0
heiding,1
daoju,2
dian,3
jiandao,4

注意：保存的csv文件是没有头部行的，不然后续代码会报错！

（4）检查生成的数据是否合格

要进行这一步，必须先要完成第一步中模型的下载与编译！

检查数据可以使用以下命令：

python keras_retinanet/bin/debug.py csv keras_retinanet/CSV/train_annotations.csv keras_retinanet/CSV/classes.csv

其中第一个参数csv代表要检查的数据是自己制作的数据集，第二个参数是train_annotations.csv对应的路径，第三个参数是classes.csv对应的路径。

（5）图片存放位置

这个可以根据自己的需要定，但是最好放在上面新建的CSV文件夹下面，这个使用路径比较方便。在我自己这个代码中，我是在CSV文件夹下新建一个data文件夹下存放自己的图片，此时注意与train_annotations.csv文件中的图片路径要一致，比如我这时候就应该是这样：

data/jinnan2_round1_train_20190222/restricted/190119_185206_00167075.jpg,125,279,177,339,tieke
data/jinnan2_round1_train_20190222/restricted/190119_185206_00167075.jpg,153,363,238,549,daoju

（6）关于模型的图片输入尺寸

在https://github.com/fizyr/keras-retinanet/blob/master/keras_retinanet/bin/train.py中的409、410行有设置输入的默认参数（800*1333）：

parser.add_argument('--image-min-side',   help='Rescale the image so the smallest side is min_side.', type=int, default=800)
parser.add_argument('--image-max-side',   help='Rescale the image if the largest side is larger than max_side.', type=int, default=1333)

第三部分：模型训练

模型训练可以使用以下命令：

python keras_retinanet/bin/train.py csv keras_retinanet/CSV/train_annotations.csv keras_retinanet/CSV/classes.csv --val-annotations keras_retinanet/CSV/val_annotations.csv

其中第一个参数csv代表要检查的数据是自己制作的数据集，第二个参数是train_annotations.csv对应的路径，第三个参数是classes.csv对应的路径，第四个参数--val-annotations是val_annotations.csv对应的路径。

多卡训练可用如下命令：

python keras_retinanet/bin/train.py --multi-gpu-force --multi-gpu 2 --batch-size 2 csv keras_retinanet/CSV/train_annotations.csv keras_retinanet/CSV/classes.csv --val-annotations keras_retinanet/CSV/val_annotations.csv

替换backbone可用如下命令（可选的包括vgg16，vgg19，resnet50，resnet101，densenet121，densenet169，densenet201）：

python keras_retinanet/bin/train.py --steps 1000 --backbone vgg16 --gpu 2 csv keras_retinanet/CSV/train_annotations.csv keras_retinanet/CSV/classes.csv --val-annotations keras_retinanet/CSV/val_annotations.csv

第四部分：模型测试

#!/usr/bin/env python
# coding=UTF-8
'''
@Description: 
@Author: HuangQinJian
@LastEditors: HuangQinJian
@Date: 2019-03-07 08:59:34
@LastEditTime: 2019-03-07 11:13:20
'''import os
import timeimport keras
# import miscellaneous modules
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
# set tf backend to allow memory to grow, instead of claiming everything
import tensorflow as tf
from skimage.io import imsaveimport cv2
from keras_retinanet import models
from keras_retinanet.utils.colors import label_color
from keras_retinanet.utils.image import (preprocess_image, read_image_bgr,resize_image)
from keras_retinanet.utils.visualization import draw_box, draw_captionif not os.path.exists('result'):os.mkdir('result')def get_session():config = tf.ConfigProto()config.gpu_options.allow_growth = Truereturn tf.Session(config=config)os.environ["CUDA_VISIBLE_DEVICES"] = "1"def predict_save(model, test_img_fold, test_img_list):# load imageimg_name_list = []bboxes_list = []class_list = []score_list = []for i in range(len(test_img_list)):# for i in range(1):img_name = test_img_list[i]img_path = os.path.join(test_img_fold, img_name)image = read_image_bgr(img_path)# copy to draw ondraw = image.copy()draw = cv2.cvtColor(draw, cv2.COLOR_BGR2RGB)# preprocess image for networkimage = preprocess_image(image)image, scale = resize_image(image)# process imagestart = time.time()# print(image.shape)# print(scale)boxes, scores, labels = model.predict_on_batch(np.expand_dims(image, axis=0))print("processing time: ", time.time() - start)# correct for image scaleboxes /= scalei = 0for box, score, label in zip(boxes[0], scores[0], labels[0]):# scores are sorted so we can breakif score < 0.5:breakcolor = label_color(label)b = box.astype(int)img_name_list.append(img_name)bboxes_list.append(b)class_list.append(labels[0][i])score_list.append(score)i += 1draw_box(draw, b, color=color)caption = "{} {:.3f}".format(labels_to_names[label], score)draw_caption(draw, b, caption)imsave('result/'+img_name, draw)submit = pd.DataFrame()submit['img_name'] = img_name_listsubmit['bbox'] = bboxes_listsubmit['class'] = class_listsubmit['score'] = score_list# submit.to_csv('submit.csv', index=None)submit.to_pickle('submit.pkl')if __name__ == "__main__":# set the modified tf session as backend in keraskeras.backend.tensorflow_backend.set_session(get_session())# adjust this to point to your downloaded/trained model# models can be downloaded here: https://github.com/fizyr/keras-retinanet/releasesmodel_path = os.path.join('snapshots', 'old.h5')# load retinanet modelmodel = models.load_model(model_path, backbone_name='resnet50')# if the model is not converted to an inference model, use the line below# see: https://github.com/fizyr/keras-retinanet#converting-a-training-model-to-inference-modelmodel = models.convert_model(model)# print(model.summary())# load label to names mapping for visualization purposeslabels_to_names = {0: 'tieke', 1: 'heiding',2: 'daoju', 3: 'dian', 4: 'jiandao'}test_img_fold = 'keras_retinanet/CSV/data/jinnan2_round1_test_a_20190306/'test_img_list = os.listdir(test_img_fold)print(len(test_img_list))predict_save(model, test_img_fold, test_img_list)

可能会遇到的错误：

（1）ImportError: No module named 'keras_resnet'

解决办法：pip install keras-resnet --user

（2）在第四部分模型预测的时候，必须运行：

 # if the model is not converted to an inference model, use the line below# see: https://github.com/fizyr/keras-retinanet#converting-a-training-model-to-inference-modelmodel = models.convert_model(model)

否则会报如下错误：

'boxes, scores, labels ' not enough values to unpack (expected 3, got 2)

参考资料：
1、Retinanet训练自己的数据（2）：模型准备