之前无意间看到韦东山老师的imx6ull的视频监控方案,就想学会然后加点ai的东西进去,倒腾了三四天终于完成了,为了简化开发流程只用了mjpg-streamer的代码进行开发,ffmepg和nginx都没使用。
图像检测功能使用的是腾讯的ncnn推理框架,模型用的nanodet,imx6ull pro只有两核,也没有ai加速模块,所以在ai速度上瓶颈挺大的,简单的做法其实就是减少采样的fps让模型能出结果。初步实验的效果如下:
在mjpg-streamer的demo 页面的效果如下(不能传mp4,只能压缩了)
QQ录屏20230710151345_Trim.7z (3.1 MB)
后面其实还有许多需要改进的地方,ai模型的参数改进我可能能力不够, 我后面打算主要研究一下从采集到推理如何更好适配,来提升图像检测速度的改进