米尔嵌入式Linux入门级板卡的神经**框架ncnn移植与测试
本帖最后由 swiftman 于 2023-2-18 16:46 编辑本篇测评由优秀测评者“ALSET”提供。
米尔 MYD-Y6ULX-V2 开发板，基于 NXP i.MX6UL/i.MX6UL L处理器，该开发板被米尔称之为经典王牌产品。本次测试目标是在此开发板上进行神经**框架ncnn的移植与测试开发，测试ncnn在此开发板上的性能与应用测试。http://www.myir.cn/public/uploads/images/20230217/22d193ef99c452f406c8702168d3af8e.png
01.什么是ncnnncnn 是腾讯优图推出的在手机端极致优化的高性能神经**前向计算框架。也能够在移动设备上的高性能神经**前向计算框架。ncnn 从设计之初深刻考虑移动端的部署和使用。无第三方依赖，跨平台，其中手机端 cpu的速度快于目前所有已知的开源框架。基于ncnn，能够将深度学习算法轻松移植到手机端和移动设备上高效执行，开发人工智能应用。以腾讯内部应用为例，ncnn目前已在QQ，Qzone，微信，天天P图等上得到应用。ncnn支持大部分常用的CNN **：Classical CNN: VGG AlexNetGoogleNet Inception …Practical CNN: ResNetDenseNet SENet FPN …Light-weight CNN:SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet …Detection: MTCNNfacedetection …Detection: VGG-SSDMobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite …Detection: Faster-RCNNR-FCN …Detection: YOLOV2 YOLOV3MobileNet-YOLOV3 …Segmentation: FCN PSPNetUNet …
腾讯优图实验室是主要研究计算机视觉技术，ncnn的许多应用方向也都在图像方面，如人像自动美颜，照片风格化，超分辨率，物体识别。腾讯优图ncnn提供的资料显示：对比目前已知的同类框架，ncnn是cpu框架中最快的，安装包体积最小，跨平台兼容性中也是最好的。以苹果主推的CoreML为例，CoreML是苹果主推的 iOS gpu计算框架，速度非常快，但仅支持 iOS11以上的 iphone手机受众太狭窄。非开源也导致开发者无法自主扩展功能。
02.ncnn功能简介ncnn支持卷积神经**，支持多输入和多分支结构，可计算部分分支无任何第三方库依赖，不依赖 BLAS/NNPACK 等计算框架纯 C++ 实现，跨平台，支持 android ios 等ARM NEON 汇编级良心优化，计算速度极快精细的内存管理和数据结构设计，内存占用极低支持多核并行计算加速，ARM big.LITTLE cpu 调度优化。支持基于全新低消耗的 vulkan api GPU 加速整体库体积小于 700K，并可轻松精简到小于 300K可扩展的模型设计，支持 8bit 量化和半精度浮点存储，可导入 caffe/pytorch/mxnet/onnx 模型支持直接内存零拷贝引用加载**模型可注册自定义层实现并扩展。ncnn与同类框架对比http://www.myir.cn/public/uploads/images/20230217/d633a6047671f59ed5d2bbb78f50c5dd.png
03.在i.MX 6ull上移植编译ncnn
工程地址：
githubhttps://github.com/Tencent/ncnn 从工程的readme文件看，该工程已经支持很多嵌入式CPU的架构，其中就有arm 32位版本。http://www.myir.cn/public/uploads/images/20230217/4d5b2404e50df1e7e0c1d229076dae88.png
既然支持arm32位，那么ixm6ull处理器也应该支持，即着手编译MYD-Y6ULX-V2开发板上的版本。1.从github 上拉取ncnn源码在主机上执行命令：Sudo git clone https://github.com/Tencent/ncnn.githttp://www.myir.cn/public/uploads/images/20230217/d091902d254c20b187065458c7e1c5a1.png
可见是一个 cmake工程，那么尝试cmake 编译。2.初次使用camke编译先进入ixml6ull的SDK下，切换到交叉编译环境，然后创建 build 目录，进入build目录下，执行cmake命令cmake ../从输出信息上看 cmake失败，查看cmake 日志，发现错误原因是cmake在生成开发板的makefile文件时，需要指定使用的编译工具链。3.添加imx6ull开发板的编译配置根据脚本的过程，在toolchains目录下，有很多其它开发板的编译配置文件，参照其它开发板的配置文件，添加一个该开发板的配置文件。文件名：arm-poky-linux-gnueabi.cmake内容如下：set(CM***E_SYSTEM_NAME Linux)set(CM***E_SYSTEM_PROCESSOR arm)
http://www.myir.cn/public/uploads/images/20230217/154923c76acd916066c995147923f7ed.png
4.再使用cmake生成编译文件添加完该开发板的编译工具链后，就可以使用cmake来生成编译所需的makefile文件了。在cmake时，可以指定除了编译ncnn库外，还可以编译ncnn例子程序。命令如下：cmake-DCM***E_BUILD_TYPE=Release -DNCNN_SIMPLEOCV=ON-DCM***E_TOOLCHAIN_FILE=../toolchains/arm-poky-linux-gnueabi.cmake-DNCNN_BUILD_EXAMPLES=ON ..http://www.myir.cn/public/uploads/images/20230217/648489712cbea1ff36959e282abebb7f.png
查看目录下，已经顺利地生成了 Makefile文件。5.使用make编译文件然后可以正式编译ncnn库和测试样例程序了。直接执行make –j4就开始愉快地编译了。http://www.myir.cn/public/uploads/images/20230217/46984bfe1749a4be1a62c7ada4b7d158.pnghttp://www.myir.cn/public/uploads/images/20230217/04ffc09a49e4d3e023d79642b1889849.png
编译libncnn库文件成功，会继续自动编译 examples 下的例子文件。http://www.myir.cn/public/uploads/images/20230217/eca82c62441bfc823e0e7202c4f5c238.png
大约10多分钟，顺利地全部编译完成。在编译测试用例时，会出现库格式错误的提示，此时需要设置一下交叉编译环境下的库归档工具，系统默认使用的是arm-poky-linux-gnueabi-ar 工具，这个工具产生的 .a文件有问题，经过测试使用 arm-poky-linux-gnueabi-gcc-ar 即可。只需要在执行切换交叉环境脚本后，再单独执行一下以下命令即可修改该问题：export ar=arm-poky-linux-gnueabi-gcc-ar再进行编译即可。6.查看编译结果编译完成后，在build目录下，可以看到 benchmark 目录，该目录下就是ncnn的基准测试工具，可以看到目标板执行文件已经编译出来。http://www.myir.cn/public/uploads/images/20230217/809cf9f91544b1f1d09b6a802c931012.png
再进入到 build/example 下，可以看到所有例程也编译出来了。http://www.myir.cn/public/uploads/images/20230217/336a73b6240c091ccd18d88ac84d71d8.png
04.板上运行测试ncnn编译完成把可执行文件与模型文件复制到开发板里进行测试。
把 build/benchmark 下的benchmark 复制到开发板/home/root/ncnn 目录下，同时把工程根目录下的benchmark 目录下所有文件也复制到开发板 /home/root/ncnn目录下，http://www.myir.cn/public/uploads/images/20230217/1f35e7d63af5fd58b1631da1a76b8dce.png
然后就可以执行 benchmark 执行文件来测试开发板的人工神经**的计算能力。
先把开发环境下目标文件系统arm目录下/usr/lib下的libgomp.so.1文件复制到开发板的/usr/lib下，这个文件是并行计算库，ncnn编译时用到了这个库，这个库在多核处理器上能够支持执行并行计算。然后再在本开发板执行benchmark，执行输出结果如下图：http://www.myir.cn/public/uploads/images/20230217/6fff285d3ac9712528b63eaf220e429f.png
可见大部分的模型能够跑通了，有部分模型运行出现异常。
从抛出的分值可以评估该开发板的神经**推理计算能力了。
这个分值是一个模型推理一次的耗时，所以数值越小意味着算力越强。考虑到这个开发板是一个arm v7入门级的开发板，这样的性能已经超乎预料了。
05.测试基于ncnn的应用这里在MYD-Y6ULX-V2开发板上测试ncnn的应用例子，这里就用ncnn下的例程来做测试，在上面编译完example后，在build目录下会产生example的目标板的可执行文件。编译出来的例子程序如下,把他们全部传到开发板上。
http://www.myir.cn/public/uploads/images/20230217/88e81202e8185cce347abe9da725a3fc.png
需要注意的是，除了ncnn的应用执行文件，在这些例子执行的时候，还需要模型和测试的资源文件，而这些文件体积都比较大，因此不能传送到开发板的系统目录上，需要单独存在扩展的存储空间上。
经过观察板上的文件系统，发现有3.1G的空间没有使用，此时可以使用fdisk 来格式化该空间，格式化成 ext4 格式，重启板子后，就可以看到这部分空间了，然后把ncnn的所有测试执行文件和资源文件传到该目录下，这样就够用了。http://www.myir.cn/public/uploads/images/20230217/4184e6d0d1bcca55d40b54d0eb82b809.png
在板上执行各个测试例子，会提示缺少相关模型文件和参数文件，这些模型和参数文件在这个github上面，下载相应的文件到当前目录下就可以。
https://github.com/nihui/ncnn-assets/tree/master/modelshttp://www.myir.cn/public/uploads/images/20230217/75a8ddd0ed8ff10d0ab1cb3bdc7e90c3.png
1. 测试图片分类器
准备被测试图片,test,jpg ,传到上ncnn当前目录下http://www.myir.cn/public/uploads/images/20230217/f7f26d49732e8a62afc4237f5760350d.png
并且下载好 squeezenet_v1.1.param和 squeezenet_v1.1.bin 文件到 ncnn当前目录下，然后执行一下命令：
./squeezenet./test.jpg
很快就输出识别结果，输出结果如下图http://www.myir.cn/public/uploads/images/20230217/a28c121affed3a9ca0462ac1c61571e7.png
输出结果前面的编号和分类号，具体可以参考：
mageNet20121000分类名称和编号
https://zhuanlan.zhihu.com/p/315368462
但不知本测试模型所用分类的版本是否和这个一致。
2测试图片内容多目标识别
测试图片内容识别，先用上面的图，再使用 squeezenetssd 来执行。执行前先下载 squeezenet_ssd_voc.bin和 squeezenet_ssd_voc.param 到板上ncnn当前目录下，然后执行：
./squeezenetssd./test.jpg
大约3秒左右输出结果如图：http://www.myir.cn/public/uploads/images/20230217/78249cb7acadff882a2287d24bf3301c.png
输出的分类编号，可见代码的定义：http://www.myir.cn/public/uploads/images/20230217/0340137badc983a35bf492cb5308807a.png
同时输出了识别结果图：http://www.myir.cn/public/uploads/images/20230217/f7da21bce56f6ec2db0985266189d51a.png
再测试另外一张图：http://www.myir.cn/public/uploads/images/20230217/7f9dbc9903ee06f467b631623d6dc063.png
执行结果如下：http://www.myir.cn/public/uploads/images/20230217/05b5a3af86e7c295c83e0ee983e8cdf2.png
输出识别结果图：http://www.myir.cn/public/uploads/images/20230217/366e939aaa27de8ff5a4e3392d16562e.png
上面的识别，因为输出的第二个目标被第三个目标遮盖，第二个识别为“Dog”，所以识别准确度还是比较高的。
再测试了一张图：
输出：http://www.myir.cn/public/uploads/images/20230217/0d46fa4bad30761d2558283f0aa45728.pnghttp://www.myir.cn/public/uploads/images/20230217/a12cd01ce5c9c4cc1e1ec140ccf8f959.png识别效果也比较理想。
06.ncnn移植测试总结经过在MYD-Y6ULX-V2开发板上，进行这次的ncnn移植测试，总体非常顺利，在移植中只需要针对开发板的编译器，修改添加相应的编译脚本即可顺利的编译ncnn库和所有例程。并不需要对代码做任何改动或者调整，因此过程很快，短暂的时间就可以完成ncnn这样一个神经**框架在本开发板上运行起来。
对ncnn的benchmark的性能测试来看，因为本开发板仅为arm v7单核处理器，处于入门级的一款开发板，能跑出这样的成绩已经出乎意料。
在对实际图像分类和图像内容识别测试中，其中图像分类仅百十毫秒就出结果，对多目标识别单张图在2秒左右，这对一些静态的环境下已经能够达到业务使用的需求了，再综合其硬件性能，可见效能比是非常高的。同时工程里还带有一些各种其它框架模型转化ncnn的工具，方便将其它模型转化到ncnn上来使用，非常方便。
同时也测试出ncnn的良好的可移植性和对不同嵌入式硬件的支持较好，其它任何一个神经**框架恐怕无法在这样一个系统上运行，因此也为这样一个有效的国产开源神经**项目点赞。
页:
[1]