Ubuntu18 yolov5使用ncnn部署

准备工作

• yolov5 v5.0：

git clone https://github.com/ultralytics/yolov5.git
git checkout v5.0

• ncnn源码

git clone https://github.com/Tencent/ncnn.git
cd ncnn
git submodule update --init

• 安装依赖

sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libvulkan-dev vulkan-utils libopencv-dev

• 安装vulkan_sdk（作者下载的是vulkansdk-linux-x86_64-1.2.148.1.tar.gz）

# https://vulkan.lunarg.com/sdk/home
wget https://sdk.lunarg.com/sdk/download/1.2.154.0/linux/vulkansdk-linux-x86_64-1.2.154.0.tar.gz?Human=true -O vulkansdk-linux-x86_64-1.2.154.0.tar.gz
tar -xf vulkansdk-linux-x86_64-1.2.154.0.tar.gz
export VULKAN_SDK=$(pwd)/1.2.154.0/x86_64
sudo apt install mesa-vulkan-drivers

• 安装protobuf3.1.0（坑最多）

wget https://github.com/google/protobuf/archive/v3.1.0.tar.gz
tar xvzf protobuf-3.1.0.tar.gz
./autogen.sh
./configure  --prefix=/usr/local/protobuf
sudo make
sudo make check
sudo make install
sudo ldconfig

编译ncnn

cd ncnn
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DNCNN_VULKAN=ON -DNCNN_SYSTEM_GLSLANG=ON -DNCNN_BUILD_EXAMPLES=ON ..
make -j$(nproc)

此时如果报错

tools/caffe/CMakeFiles/caffe2ncnn.dir/build.make:70: recipe for target 'tools/caffe/CMakeFiles/caffe2ncnn.dir/caffe2ncnn.cpp.o' failed
make[2]: *** [tools/caffe/CMakeFiles/caffe2ncnn.dir/caffe2ncnn.cpp.o] Error 1
CMakeFiles/Makefile2:203: recipe for target 'tools/caffe/CMakeFiles/caffe2ncnn.dir/all' failed
make[1]: *** [tools/caffe/CMakeFiles/caffe2ncnn.dir/all] Error 2
Makefile:127: recipe for target 'all' failed
make: *** [all] Error 2

解决方案：

在ncnn/cmakelist.txt中加一句add_definitions(-std=c++11)

.pt文件转.onnx文件

将yolov5从torch框架转到ncnn上前需要用onnx工具先将.pt模型文件转化为.onnx文件，这里主要有两个中的步骤

# pip install onnx
# pip install onnx-simplifier
python models/export.py --weights yolov5s.pt --img 640 --batch 1    #将.pt文件用onnx转化为.onnx文件
python -m onnxsim yolov5s.onnx yolov5s-sim.onnx   #onnxsim 精简模型

onnx2ncnn(有坑)

在yolov5的环境下执行，./onnx2ncnn 在build/tools/onnx/下

./onnx2ncnn yolov5s-sim.onnx yolov5s.param yolov5s.bin #这里yolov5s-sim.onnx为“.pt文件转.onnx文件”生成的文件，输出yolov5s.param yolov5s.bin

这里会出现以下问题，这是由于ncnn不支持focus，这是focus模块转换的报错，我们需要手动修改生成的.param文件的参数。

可以用vim或者其他文本编辑器打开.param文件，该文件主要修改两个大的地方，如图所示：

修改之后

这里主要是删除了不支持的层，并在ncnn中实现focus,删除10层 添加一层 减少了9层
添加的一层的输出可以根据下一层的输入填写，图中已标红,这里176的计算方法为原始层数185-10+1（添加的Yolov5Focus层），167是下一个卷积层的输入。
主要完成下面的转化：


第二处 修改网络输出的shape,例如原图：

第二处修改后：

这里输出全部改为-1(修改位置为绿色框选的部分)，否则回归会出来一堆bounding box，同时记住红色框出的字段，该字段为网络输出的name,在预测代码中，会根据该字段去结果，所以不同的网络需要修改此处。

ncnnoptimize优化

./ncnnoptimize yolov5s.param yolov5s.bin yolov5s-opt.param yolov5s-opt.bin 1

其中最后的flag 如果是0指的的是fp32，如果是1指的是fp16

C++代码处理

路径：ncnn/examples/yolov5.cpp
这里主要修改网络的输入和输出，输入为模型训练时image 的size,输出层name为第四步中红色框出的字段。

测试

加载模型更改为自己的模型yolov5s-opt.param 和yolov5s-opt.bin

再次编译和运行展示

cd build
sudo make install
cd examples
./yolov5 example.jpg