100ASK_V853-PRO开发板支持MPP媒体处理平台

100ASK_V853-PRO开发板支持MPP媒体处理平台

0.前言

​ MPP 系统控制模块,根据芯片特性,完成硬件各个部件的复位、基本初始化工作,同时负责完成 MPP(Media Process Platform 媒体处理平台)系统各个业务模块的初始化、去初始化以及管 理 MPP 系统各个业务模块的工作状态、提供当前 MPP 系统的版本信息等功能。 应用程序启动 MPP 业务前,必须完成 MPP 系统初始化工作。同理,应用程序退出 MPP 业务 后,也要完成 MPP 系统去初始化工作,释放资源。

​ 本章主要讲述如何在Tina SDK中增加MPP补丁包和如何编译使用,该补丁包含有MPP部分的源码。具体MPP如何开发可以参考位于百度网盘中的100ASK_V853-PRO开发板的资料光盘中01_学习手册/《100ASK-V853_Pro系统开发手册》,该手册中的第四篇 基础组件开发中的第七章 Tina Linux 多媒体MPP 开发指南,此章节详细说明了100ASK_V853-PRO开发板针对MPP 系统控制模块的开发指导。

100ASK_V853-PRO开发板的资料光盘:

链接:https://pan.baidu.com/s/1TX742vfEde9bMLd9IrwwqA?pwd=sp6a
提取码:sp6a

MPP扩展包已经更新至百度网盘的资料光盘中的08_MPP扩展包,可自行去获取。

全志MPP_sample_使用说明:简述 - 全志Linux Tina-SDK开发完全手册

测试资源包:

1.增加MPP扩展包

MPP扩展包:

链接:https://pan.baidu.com/s/1TX742vfEde9bMLd9IrwwqA?pwd=sp6a
提取码:sp6a

位于08_MPP扩展包目录下。

下载完成后,将sunxi-mpp.tar.gz压缩包放入虚拟机的任意目录,假设放在/home/book/workspaces目录下,

例如:

ook@100ask:~/workspaces$ ls
100ASK_V853-PRO_TinaSDK  sunxi-mpp.tar.gz  tina-v853-open

解压sunxi-mpp.tar.gz压缩包,输入

tar -xzvf sunxi-mpp.tar.gz 

例如:

book@100ask:~/workspaces$ tar -xzvf sunxi-mpp.tar.gz 
sunxi-mpp/
sunxi-mpp/CMake/
sunxi-mpp/CMake/sunxi_mpp_lib.cmake
sunxi-mpp/CMake/sunxi_mpp_include.cmake
...

等待解压完成后进入sunxi-mpp目录下,即可查看当前目录下的文件

book@100ask:~/workspaces$ cd sunxi-mpp/
book@100ask:~/workspaces/sunxi-mpp$ ls
CMake  CMakeLists.txt  include  lib  README.md  sample  STAGING_DIR.sh  toolchain

下面对各文件夹进行说明

CMake:设置mpp各文件的头文件和依赖目录
CMakeLists.txt:设置编译文件、交叉编译工具链位置、依赖等位置和规则信息
include:包含MPP扩展包所需的头文件
lib:包含MPP扩展包所需的依赖文件
sample:包含MPP个应用示例源码
STAGING_DIR.sh:设置环境变量
toolchain:包含V853交叉编译工具链

2.编译MPP扩展包

添加交叉编译环境变量,这里仅需要增加sunxi-mpp的位置的环境变量,输入

book@100ask:~/workspaces/sunxi-mpp$ export CMAKE_CURRENT_SOURCE_DIR=~/workspaces/sunxi-mpp

激活环境变量,输入

book@100ask:~/workspaces/sunxi-mpp$ source STAGING_DIR.sh

创建build目录,用于编译和存储编译后的应用程序

book@100ask:~/workspaces/sunxi-mpp$ mkdir build

进入build目录下,执行cmake .. ,配置工具链、暂存目录和编译规则

book@100ask:~/workspaces/sunxi-mpp$ cd build/
book@100ask:~/workspaces/sunxi-mpp/build$ cmake ..
-- The C compiler identification is GNU 7.5.0
-- The CXX compiler identification is GNU 7.5.0
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Detecting CXX compile features
-- Detecting CXX compile features - done
-- STAGING_DIR: build
-- Configuring done
-- Generating done
-- Build files have been written to: /home/book/workspaces/sunxi-mpp/build

执行完成后会在build目录下生成以下文件,其中bin目录用于存储生成后的二进制应用程序。

book@100ask:~/workspaces/sunxi-mpp/build$ ls
bin  CMakeCache.txt  CMakeFiles  cmake_install.cmake  Makefile  sample  STAGING_DIR.sh

编译mpp应用程序,输入

book@100ask:~/workspaces/sunxi-mpp/build$ make
Scanning dependencies of target sample_virvi2vo
[  1%] Building C object sample/sample_virvi2vo/CMakeFiles/sample_virvi2vo.dir/sample_virvi2vo.c.o
[  2%] Linking C executable ../../bin/sample_virvi2vo
[  2%] Built target sample_virvi2vo
...
Scanning dependencies of target sample_demux2adec2ao
[ 99%] Building C object sample/sample_demux2adec2ao/CMakeFiles/sample_demux2adec2ao.dir/sample_demux2adec2ao.c.o
[100%] Linking C executable ../../bin/sample_demux2adec2ao
[100%] Built target sample_demux2adec2ao

编译完成后可以进入bin目录下查看编译生成的二进制文件。

book@100ask:~/workspaces/sunxi-mpp/build$ cd bin/
book@100ask:~/workspaces/sunxi-mpp/build/bin$ ls
sample_adec               sample_CodecParallel         sample_MotionDetect         sample_uvc2vo        sample_virvi2venc
sample_aec                sample_demux2adec            sample_multi_vi2venc2muxer  sample_uvcout        sample_virvi2venc2muxer
sample_aenc               sample_demux2adec2ao         sample_rtsp                 sample_uvc_vo        sample_virvi2vo
sample_ai                 sample_demux2vdec            sample_smartIPC_demo        sample_venc          sample_virvi2vo_zoom
sample_ai2aenc            sample_demux2vdec2vo         sample_smartPreview_demo    sample_venc2muxer    sample_vo
sample_ai2aenc2muxer      sample_demux2vdec_saveFrame  sample_timelapse            sample_vi_g2d        yuv420pTobmp
sample_ao                 sample_driverVipp            sample_UILayer              sample_vin_isp_test
sample_ao_resample_mixer  sample_g2d                   sample_uvc2vdec_vo          sample_vi_reset
sample_aoSync             sample_glog                  sample_uvc2vdenc2vo         sample_virvi

关于如何测试使用MPP应用程序,请一定要参考:

全志MPP_sample_使用说明:简述 - 全志Linux Tina-SDK开发完全手册

如果《全志MPP_sample_使用说明》中没有测试说明,可查看每个示例程序中的Readme.txt。例如,假设我需要sample_driverVipp程序,需要进入该源码目录下,输入

book@100ask:~/workspaces/sunxi-mpp$ cd sample/sample_driverVipp/
book@100ask:~/workspaces/sunxi-mpp/sample/sample_driverVipp$ ls
CMakeLists.txt  Readme.txt  sample_driverVipp.c  sample_driverVipp.h

可以看到源码目录中有一个Readme.txt文件,该文件详细说明了如何进行测试。

book@100ask:~/workspaces/sunxi-mpp/sample/sample_driverVipp$ cat Readme.txt 
sample_driverVipp:
    该sample演示直接调用linux内核驱动获取frame。按下ctrl+c,终止测试。
    每隔若干帧保存一帧到指定的目录。

读取测试参数的流程:
    sample只支持命令行模式输入参数。如果不输入参数,会提示输入。
    从命令行启动sample_driverVipp的指令:
    ./sample_driverVipp
    或
    ./sample_driverVipp 0 1920 1080 8 60 0 10 60 /mnt/extsd

测试参数的说明:
(1)video device: 0~3 (vipp0~vipp3)
(2)capture_width:指定camera采集的图像宽度
(3)capture_height:指定camera采集的图像高度
(4)pixel_format:指定camera采集的图像格式
(5)fps:指定camera采集的帧率
(6)test frame count:指定测试采集的frame总数,0表示无限。
(7)store count: 指定保存的图像数量。
(8)store interval: 指定保存图像的周期,即每n帧图像保存1帧。
(9)frame saving path: 指定保存图像的目录,该目录要确保存在。

​ 如果您想使用MPP进行开发,编写自己的应用程序,请阅读位于百度网盘资料中的100ASK_V853-PRO开发板的资料光盘中01_学习手册/《100ASK-V853_Pro系统开发手册》,该手册中的第四篇 基础组件开发中的第七章 Tina Linux 多媒体MPP 开发指南,此章节详细说明了100ASK_V853-PRO开发板针对MPP 系统控制模块的开发指导。

3.测试MPP应用程序

测试MPP应用程序需要增加开发板的依赖文件,该依赖文件位于sunxi-mpp/lib目录下,如下图所示

将该目录下的全部文件拷贝到开发板的lib目录下,假设我使用TF卡将其拷贝到开发板上,将lib文件夹拷贝到TF卡中,在将TF插入100ASK_V853-PRO开发板上,挂载TF卡,输入

root@TinaLinux:/# mount /dev/mmcblk1p1 /mnt/extsd/

挂载完成后进入TF目录下

root@TinaLinux:/# cd /mnt/extsd/
root@TinaLinux:/mnt/extsd# ls
System Volume Information        lib

可以看到lib文件夹,将lib目录下的全部文件拷贝到开发板的lib目录下,输入

root@TinaLinux:/mnt/extsd# cp lib/* /lib/

等待拷贝完成即可。

3.1 测试LCD上实时预览摄像头数据应用程序

​ 硬件要求:100ASK_V853-PRO开发板、4寸MIPI显示屏、MIPI摄像头。

​ 示例名称为:sample_virvi2vo

​ 源码路径:sunxi-mpp/sample/sample_virvi2vo/

​ 该示例演示了通过摄像头获取数据并实时显示在LCD屏幕上,下面演示如何将编译好的应用程序在100ASK_V853-PRO开发板上运行。

​ 编译mpp扩展包后,会在sunxi-mpp/build/bin目录下生成sample_virvi2vo文件,将生成的文件拷贝到TF卡上备用。

​ 将sunxi-mpp/sample/sample_virvi2vo目录下的sample_virvi2vo.conf拷贝到TF卡下备用。

​ 将sunxi-mpp/lib整个目录拷贝到TF卡备用。

拷贝完成后,将TF卡插入100ASK_V853-PRO开发板后,将TF卡挂载到开发板上,输入mount /dev/mmcblk1p1 /mnt/extsd/

root@TinaLinux:/# mount /dev/mmcblk1p1 /mnt/extsd/
[  168.601231] FAT-fs (mmcblk1p1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck.

进入挂载目录/mnt/extsd/

root@TinaLinux:/# cd /mnt/extsd/

查看对应文件是否存在

root@TinaLinux:/mnt/extsd# ls
System Volume Information  sample_virvi2vo
sample_virvi2vo.conf

运行测试程序,输入./sample_virvi2vo -path ./sample_virvi2vo.conf

 root@TinaLinux:/mnt/extsd# ./sample_virvi2vo -path ./sample_virvi2vo.conf

执行完后,会在MIPI屏上实时显示摄像头获取的图像数据。

应用程序执行设定时间后会自动结束,也可以通过按下Crtl+C提前结束测试。

3.2 测试实时预览人脸识别和人形识别应用程序

​ 硬件要求:100ASK_V853-PRO开发板、4寸MIPI显示屏、MIPI摄像头。

​ 示例名称为:sample_smartPreview_demo

​ 源码路径:sunxi-mpp/sample/sample_smartPreview_demo

​ 该示例演示了通过摄像头获取图像数据后使用人脸模型或人形模型进行处理后,将打框后的结果实时显示在LCD屏幕上,下面演示如何将编译好的应用程序在100ASK_V853-PRO开发板上运行。

​ 编译mpp扩展包后,会在sunxi-mpp/build/bin目录下生成sample_smartPreview_demo文件,将生成的文件拷贝到TF卡上备用。

​ 将sunxi-mpp/sample/sample_smartPreview_demo/models/fdet目录下的face.nb人脸模型拷贝到TF卡中备用。

​ 将sunxi-mpp/sample/sample_smartPreview_demo/models/pdet目录下的2.0.0_Gamma.nb人形模型文件拷贝到TF卡中备用。

​ 将sunxi-mpp/sample/sample_smartPreview_demo目录下的sample_smartPreview_demo.conf参数文件拷贝到TF卡中备用。

拷贝完成后,将TF卡插入100ASK_V853-PRO开发板后,将TF卡挂载到开发板上,输入mount /dev/mmcblk1p1 /mnt/extsd/

root@TinaLinux:/# mount /dev/mmcblk1p1 /mnt/extsd/
[  168.601231] FAT-fs (mmcblk1p1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck.

进入挂载目录/mnt/extsd/

root@TinaLinux:/# cd /mnt/extsd/

查看对应文件是否存在

root@TinaLinux:/mnt/extsd# ls
2.0.0_Gamma.nb                   sample_smartPreview_demo
System Volume Information        sample_smartPreview_demo.conf
face.nb

修改sample_smartPreview_demo.conf文件,假设我这里使用的是百问网的4寸MIPI屏和2Line MIPI摄像头,需要测试的是人脸识别模型,需要修改该文件为:

########### paramter (ref to tulip_cedarx.conf)############
[parameter]
main_isp_dev = 0
main_vipp_dev = 0
main_capture_width = 360
main_capture_height = 640
main_layer_num = 0
main_display_x = 0
main_display_y = 0
main_display_width = 480
main_display_height = 800
main_nn_nbg_type = 1                    #-1:disable, 0:human, 1:face
main_nn_isp = 0
main_nn_vipp = 8
main_nn_vi_buf_num = 3
main_nn_src_frame_rate = 20             #fps
main_nn_nbg_file_path = "face.nb"
main_nn_draw_orl_enable = 1

sub_isp_dev = 1
sub_vipp_dev = 1
sub_capture_width = 1920
sub_capture_height = 1080
sub_layer_num = 1
sub_display_x = 0
sub_display_y = 00
sub_display_width = 480
sub_display_height = 800
sub_nn_nbg_type = 1                    #-1:disable, 0:human, 1:face
sub_nn_isp = 1
sub_nn_vipp = 9
sub_nn_vi_buf_num = 3
sub_nn_src_frame_rate = 20             #fps
sub_nn_nbg_file_path = "face.nb"
sub_nn_draw_orl_enable = 1

disp_type = "lcd"                      #disp_type is lcd, hdmi, cvbs
pic_format = "nv21"                    #pic_format is yu12, yv12, nv21, nv12
frame_rate = 20                        #fps

orl_thick=200
test_duration = 0                      #unit:s, 0:Infinite duration.

如果需要测试人形检测,也需要修改sample_smartPreview_demo.conf文件中的,将main_nn_nbg_type设置为0、main_nn_nbg_file_path设置为人形模型的路径名称,例如:

main_nn_nbg_type = 1 
main_nn_nbg_file_path = "2.0.0_Gamma.nb"

运行测试程序:

root@TinaLinux:/mnt/extsd# ./sample_smartPreview_demo -path sample_smartPreview_demo.conf 

执行后,显示屏端会接收摄像头的数据,但一开始会丢弃部分图像数据,可能会导致一开始的画面卡顿。测试成功后会在显示屏上实时显示摄像头的数据,并可以对摄像头的图像中的人脸进行打框。

4.总结

​ 对于其他应用程序这里就不逐一去演示,大家可以参考每个示例的程序的Readme.txt或《全志MPP_sample_使用说明》进行测试体验,参考《Tina Linux 多媒体MPP 开发指南》进行开发。MPP媒体处理平台的可玩性和公开程度都适合大家去开发自己的应用程序,希望通过这章节可以让大家了解MPP的使用。

请问下涉及到显示的mpp测试,例如sample_smartPreview_demo,是否支持RGB屏幕,还是只能使用MIPI屏幕

可以使用,上层应用都会去调同一个fb接口,镜像适配好了RGB屏即可。

麻烦请教下,我可以直接讲这些库文件拷贝到板端使用不,不使用SD卡挂载,直接在打包编译的时候就放在文件系统中去使用。emmc空间应该也是够的。

可以的,您可以参考官方的自定义文件系统:Tina 应用打包、配置 - V853

您好,麻烦问一下,您说的这个官方文档我看了,讲的不是很详细,我理解是不是我在busybox-init-base-files目录下新建一个人文件夹,网里面放东西,最后烧写在开发板端,板端就会有这个目录以及目录下的文件?

可以这么理解,具体可以参考:https://v853.docs.aw-ol.com/soft/soft_start/#tina-linux

麻烦请教下,我根据教程上的mpp进行编译,在sample_virvi2vo/目录中,并没有sample_virvi2vo.conf这个配置文件,这个文件具体需要配置哪些参数呢?

论坛中有对应的帖子说明:MPP示例程序sample_virvi2vo中缺少sample_virvi2vo.conf文件

请问一下,我编译成功了MPP扩展包,但发现里面没有sample_takePicture这个应用程序,请问是什么原因呀?

公开的MPP拓展包是没有这个示例应用程序,因为当时移植的时候还没有更新这个程序

https://forums.100ask.net/t/topic/3560,那这个论坛中的镜像是如何编译生成的呢,有点好奇,想自己尝试搞一下

我们已经给您提供Tina SDK,您可以基于TinaSDK开发,定制化自己的系统

可不可以分享sample_venc使用的视频文件?

我在使用sample_venc的时候有如下报错

author: jenkins
iniparser: cannot open /etc/cedarx.conf
iniparser: cannot open /vendor/etc/cedarx.conf
I0101 04:13:57.887878  1145 mpi_sys.c:1280]                 <AW_MPI_SYS_Init> ISP init
I0101 04:13:58.296865  1146 media_debug.c:45]               <getDictByConfPath> MPP_DEDI[  197.886956] L1 PageTable Invalid
[  197.891128] 0x5d800000 is not mapped!
[  197.895229] VE invalid address: 0x5d800000, data:0x0, id:0x1
A_DEBUG_FILE_PATH=(null)

最后当然也没成功运行,修改例程里的注释后可以看到

I0101 00:02:22.425661  1146 sample_venc.c:1147]             <readInFrameThread> idle list empty!!
I0101 00:02:22.425713  1146 sample_venc.c:1063]             <readInFrameThread> ready list empty

这好像是没获取到输入缓冲区?是venc没初始化好的缘故吗?希望能指点指点

请问一下可以提供一下 sample_takePicture这个测试例程的源码吗?

sample_takePicture.zip (10.4 KB)

请问一下有没有V853 方便ISP的调试工具?

TigerISP是一款专门用于全志专业图像质量调试的工具,可以通过局域网络连接单板在线调试 ISP 各个模块的参数,使用标定分析工具进行各类数据分析,使用 rtsp 工具实时预览图像效果等。

81984fd9-66e2-46e9-885a-5b1fc7efe509-image.png

进入build目录下,执行cmake … ,配置工具链、暂存目录和编译规则 这个命令是 cmake …吗 我这边找不到这个命令 为什么还带两个小数点 我不是太理解