本文档是在NVIDIA Jetson Xavier NX (Jetpack的版本为4.4.1)上部署PaddleDetection的c++推理教程。
Jetpack 4.4.1的环境配置为：
CUDA 10.2
cuDNN 8.8.0
1. 获取部署代码
笔者下载的是2.3版本。
下载链接如下：https://github.com/PaddlePaddle/PaddleDetection.git
2. 下载paddle_inference预测库，下载链接如下：https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html

解压后的文件夹内容如下；
paddle_inference
├── paddle # paddle核心库和头文件
├── third_party # 第三方依赖库和头文件
└── version.txt # 版本和编译信息
3. 进入PaddleDetection-release-2.3\deploy\cpp\scripts文件中
编译cmake的命令在scripts/build.sh中，通过vim修改主要参数，修改后的例子如下：

# 是否使用GPU(即是否使用 CUDA)
WITH_GPU=ON# 是否使用MKL or openblas，TX2需要设置为OFF
WITH_MKL=ON# 是否集成 TensorRT(仅WITH_GPU=ON 有效)
WITH_TENSORRT=ON# paddle 预测库lib名称，由于不同平台不同版本预测库lib名称不同，请查看所下载的预测库中`paddle_inference/lib/`文件夹下`lib`的名称
PADDLE_LIB_NAME=libpaddle_inference# TensorRT 的include路径
TENSORRT_INC_DIR=/usr/include/aarch64-linux-gnu# TensorRT 的lib路径
TENSORRT_LIB_DIR=/usr/lib/aarch64-linux-gnu# Paddle 预测库路径（上一步下载的paddle_inference解压后的路径）
PADDLE_DIR=/path/to/paddle_inference# CUDA 的 lib 路径
CUDA_LIB=/usr/local/cuda-10.2/lib64# CUDNN 的 lib 路径
CUDNN_LIB=/usr/lib/aarch64-linux-gnu/# 是否开启关键点模型预测功能
WITH_KEYPOINT=ON# 是否开启跟踪模型预测功能
WITH_MOT=OFFMACHINE_TYPE=`uname -m`
echo "MACHINE_TYPE: "${MACHINE_TYPE}if [ "$MACHINE_TYPE" = "x86_64" ]
thenecho "set OPENCV_DIR for x86_64"# linux系统通过以下命令下载预编译的opencvmkdir -p $(pwd)/deps && cd $(pwd)/depswget -c https://paddledet.bj.bcebos.com/data/opencv-3.4.16_gcc8.2_ffmpeg.tar.gztar -xvf opencv-3.4.16_gcc8.2_ffmpeg.tar.gz && cd ..# set OPENCV_DIROPENCV_DIR=$(pwd)/deps/opencv-3.4.16_gcc8.2_ffmpegelif [ "$MACHINE_TYPE" = "aarch64" ]
thenecho "set OPENCV_DIR for aarch64"# TX2平台通过以下命令下载预编译的opencvmkdir -p $(pwd)/deps && cd $(pwd)/depswget -c https://bj.bcebos.com/v1/paddledet/data/TX2_JetPack4.3_opencv_3.4.6_gcc7.5.0.tar.gztar -xvf TX2_JetPack4.3_opencv_3.4.6_gcc7.5.0.tar.gz && cd ..# set OPENCV_DIROPENCV_DIR=$(pwd)/deps/TX2_JetPack4.3_opencv_3.4.6_gcc7.5.0/elseecho "Please set OPENCV_DIR manually"
fiecho "OPENCV_DIR: "$OPENCV_DIR# 以下无需改动
rm -rf build
mkdir -p build
cd build
cmake .. \-DWITH_GPU=${WITH_GPU} \-DWITH_MKL=${WITH_MKL} \-DWITH_TENSORRT=${WITH_TENSORRT} \-DTENSORRT_LIB_DIR=${TENSORRT_LIB_DIR} \-DTENSORRT_INC_DIR=${TENSORRT_INC_DIR} \-DPADDLE_DIR=${PADDLE_DIR} \-DWITH_STATIC_LIB=${WITH_STATIC_LIB} \-DCUDA_LIB=${CUDA_LIB} \-DCUDNN_LIB=${CUDNN_LIB} \-DOPENCV_DIR=${OPENCV_DIR} \-DPADDLE_LIB_NAME=${PADDLE_LIB_NAME} \-DWITH_KEYPOINT=${WITH_KEYPOINT} \-DWITH_MOT=${WITH_MOT}make
echo "make finished!"

修改脚本设置好主要参数后，执行build脚本：

sh ./scripts/build.sh

执行完build脚本后，会在deploy/cpp文件中生成build文件夹，编译后的文件在build文件中。
4. 预测和可视化
编译成功后，预测程序为build/main，其主要命令参数说明如下：

参数说明：
--model_dir	导出的检测预测模型所在路径
--model_dir_keypoint	Option
--image_file	要预测的图片文件路径
--image_dir	要预测的图片文件夹路径
--video_file	要预测的视频文件路径
--camera_id	Option
--device	运行时的设备，可选择CPU/GPU/XPU，默认为CPU
--gpu_id	指定进行推理的GPU device id(默认值为0)
--run_mode	使用GPU时，默认为paddle, 可选（paddle/trt_fp32/trt_fp16/trt_int8）
--batch_size	检测模型预测时的batch size，在指定image_dir时有效
--batch_size_keypoint	关键点模型预测时的batch size，默认为8
--run_benchmark	是否重复预测来进行benchmark测速 ｜
--output_dir	输出图片所在的文件夹, 默认为output ｜
--use_mkldnn	CPU预测中是否开启MKLDNN加速
--cpu_threads	设置cpu线程数，默认为1
--use_dark	关键点模型输出预测是否使用DarkPose后处理，默认为true

例子如下：

./main --model_dir=/path/to/yolov3_darknet --image_file=/path/to/test.jpg --device=GPU