imx6ull pro图像检测功能实现

之前无意间看到韦东山老师的imx6ull的视频监控方案,就想学会然后加点ai的东西进去,倒腾了三四天终于完成了,为了简化开发流程只用了mjpg-streamer的代码进行开发,ffmepg和nginx都没使用。
图像检测功能使用的是腾讯的ncnn推理框架,模型用的nanodet,imx6ull pro只有两核,也没有ai加速模块,所以在ai速度上瓶颈挺大的,简单的做法其实就是减少采样的fps让模型能出结果。初步实验的效果如下:
1970_01_01_16_23_22_picture_000000035
1970_01_01_16_23_22_picture_000000036
1970_01_01_16_23_35_picture_000000070
1970_01_01_16_23_35_picture_000000072
在mjpg-streamer的demo 页面的效果如下(不能传mp4,只能压缩了)
QQ录屏20230710151345_Trim.7z (3.1 MB)

后面其实还有许多需要改进的地方,ai模型的参数改进我可能能力不够, 我后面打算主要研究一下从采集到推理如何更好适配,来提升图像检测速度的改进

1 个赞

如果各位有什么好的改进意见或者相关的改进文章,都可以交流 :grinning: :grinning:

imx6ull主频跑图像检测有点吃力,可以尝试使用D1开发板,nncn官方有支持D1开发板。或者使用我们的全志V853或嘉楠K510,这两款开发板带npu算力。