100ASK_V853-PRO开发板配置NPU工具包

100ASK_V853-PRO开发板配置NPU工具包

0.前言

NPU 使用的模型是 NPU 自定义的一类模型结构,不能直接将网络训练出的模型直接导入 NPU 进行计算。这就需要将网络训练出的转换模型到 NPU 的模型上。

NPU 系统的模型部署流程一般包括以下四个部分:

image-20220712110126757

V853 支持的常用深度学习框架模型有:

  • TensorFlow
  • Caffe
  • TFLite
  • Keras
  • Pytorch
  • Onnx NN
  • Darknet

本文针对NPU使用的模型转换工具的安装使用进行讲解,本文主要使用 Verisilicon Tool Acuity Toolkit工具和仿真IDE,主要用于模型转换,该工具目前只支持Linux 发行版Ubuntu 20.04。

Verisilicon Tool Acuity Toolkit工具下载地址:Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgz

VivanteIDE 模型仿真IDE工具:Verisilicon_Tool_VivanteIDE_IDEv5.7.1_CL505709_SDK_p6.4.x_dev_6.4.10_22Q1_CL507183_20220719.tgz

1.配置模型转换工具环境

下载虚拟机环境:Ubuntu 20.04 VM Images | Ubuntu 20.04 VirtualBox Image | Ubuntu 20.04 VMware Image

下载完成后解压,解压完成后使用VMware软件打开Ubuntu_20.04.4_VM_LinuxVMImages.COM.vmx文件。

等待Ubuntu20.04虚拟机打开,打开完成后,下载对应依赖。

sudo apt install -y python3 python3-dev python3-pip build-essential 

2.下载NPU工具包

Verisilicon Tool Acuity Toolkit工具下载地址:Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgz

VivanteIDE 模型仿真IDE:Verisilicon_Tool_VivanteIDE_IDEv5.7.1_CL505709_SDK_p6.4.x_dev_6.4.10_22Q1_CL507183_20220719.tgz

将上述两个文件下载到您的PC电脑中,并传入虚拟机Ubuntu20.04中

3.安装模型仿真工具

安装前声明:如果是个人开发者可能无法申请到Lincese使用全部功能。我们仅需要使用其模型转换的功能,该部分功能不需要申请Lincese

将下载的Verisilicon_Tool_VivanteIDE,传入虚拟机Ubuntu20.04的任意目录。假设我将模型仿真工具压缩包传入到虚拟机中的用户目录中,如下所示:

ubuntu@ubuntu2004:~$ ls
Verisilicon_Tool_VivanteIDE_IDEv5.7.1_CL505709_SDK_p6.4.x_dev_6.4.10_22Q1_CL507183_20220719.tgz

在用户目录下,解压压缩包文件,输入

tar xvf Verisilicon_Tool_VivanteIDE_IDEv5.7.1_CL505709_SDK_p6.4.x_dev_6.4.10_22Q1_CL507183_20220719.tgz

解压完成后,会在当前目录下解压出以下文件

ubuntu@ubuntu2004:~$ tar xvf Verisilicon_Tool_VivanteIDE_IDEv5.7.1_CL505709_SDK_p6.4.x_dev_6.4.10_22Q1_CL507183_20220719.tgz
./
./Vivante_IDE-5.7.1_CL505709-Linux-x86_64-07-20-2022-11.55.09-plus-W-p6.4.x_dev_6.4.10_22Q1_CL507183-Install
./doc/
./doc/Vivante.IDE.Release.Notes.pdf
./doc/Vivante_IDE_User_Guide.pdf
./Vivante_IDE-5.7.1_CL505709-Win32-x86_64-07-20-2022-11.47.13-plus-W-p6.4.x_dev_6.4.10_22Q1_CL507183-Setup.exe

doc/目录下有:

仿真工具的IDE版本说明Vivante.IDE.Release.Notes.pdf

仿真工具的用户指南Vivante_IDE_User_Guide.pdf

当前目录下有:

Linux仿真工具安装包:

Vivante_IDE-5.7.1_CL505709-Linux-x86_64-07-20-2022-11.55.09-plus-W-p6.4.x_dev_6.4.10_22Q1_CL507183-Install

Windows仿真工具安装包:

Vivante_IDE-5.7.1_CL505709-Win32-x86_64-07-20-2022-11.47.13-plus-W-p6.4.x_dev_6.4.10_22Q1_CL507183-Setup.exe

由于我们是在Ubuntu下的Linux环境中安装仿真工具,所以需要使用Linux仿真工具安装包,输入

ubuntu@ubuntu2004:~$ ./Vivante_IDE-5.7.1_CL505709-Linux-x86_64-07-20-2022-11.55.09-plus-W-p6.4.x_dev_6.4.10_22Q1_CL507183-Install

执行完后,会弹出以下对话框,点击Yes

image-20230804153607571

点击Next

image-20230804153624417

阅读许可协议,选择接受许可协议后,再点击Next

image-20230804153648193

可以自定义安装路径,这里我使用默认安装路径。

image-20230804153712905

选择 License 许可文件, 没有许可文件点击 Next 跳过,之后在IDE中添加。企业客户可以根据后续步骤获取 License ,个人开发者不申请 License 也可以使用模型转换功能。

image-20230804153729189

点击Next

image-20230804153750282

等待安装完成

image-20230804153809261

安装完成后,点击Finish

image-20230804153833592

经过上述步骤仿真工具IDE就已经安装完成了,我们可以进入VeriSilicon/VivanteIDE5.7.1/ide/目录下

ubuntu@ubuntu2004:~$ cd VeriSilicon/VivanteIDE5.7.1/ide/
ubuntu@ubuntu2004:~/VeriSilicon/VivanteIDE5.7.1/ide$ ls
3ds            epl-v10.html     p2                         VivanteIDE
about_files    features         plugins                    vivanteide5.7.1
about.html     history.txt      readme                     VivanteIDE.ini
acuityc        icon.xpm         resources
artifacts.xml  libcairo-swt.so  setenv-vivanteide5.7.1
configuration  notice.html      uninstall-vivanteide5.7.1

该目录下vivanteide5.7.1即为仿真工具IDE的应用程序,使用如下命令即可运行应用程序

ubuntu@ubuntu2004:~/VeriSilicon/VivanteIDE5.7.1/ide$ vivanteide5.7.1

启动后,会需要您创建工作空间,这里我使用默认配置,点击OK即可。

image-20230804154037289

等待IDE工具配置完成后,会进入应用程序,这里会需要您输入License

如果您是个人开发者,那您可直接关闭该应用程序,后续开发不使用该仿真工具也是可以正常进行开发的。

如果您是企业客户,您可进入芯原官网,填写公司相关信息后,获取到License

License申请地址:VIP Acuity IDE许可申请

注意:申请License时需要使用企业邮箱,不能使用个人邮箱申请。

4.安装模型转换工具

4.1 配置环境

将下载的Verisilicon Tool Acuity Toolkit模型转换工具,传入虚拟机的任意目录中。假设我将文件传入用户目录下,如下所示:

ubuntu@ubuntu2004:~$ ls
Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgz

拷贝完成后解压该工具包,输入

ubuntu@ubuntu2004:~$ tar xvf Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgz

等待解压完成,解压完成后会在当前目录下得到一个acuity-toolkit-binary-6.6.1文件夹

ubuntu@ubuntu2004:~$ ls
buntu@ubuntu2004:~$ ls
acuity-toolkit-binary-6.6.1
VeriSilicon
Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgz

将该文件夹移动到仿真IDE目录下

ubuntu@ubuntu2004:~$ mv acuity-toolkit-binary-6.6.1 /home/ubuntu/VeriSilicon/

注意:/home/ubuntu/VeriSilicon/该路径需要更换成之前您的IDE安装路径。

进入acuity-toolkit-binary-6.6.1文件夹下

ubuntu@ubuntu2004:~$ cd VeriSilicon/acuity-toolkit-binary-6.6.1/
ubuntu@ubuntu2004:~/VeriSilicon/acuity-toolkit-binary-6.6.1$ ls
bin  build_linux.sh  COPYRIGHTS  lenet  LICENSE  README.md  requirements.txt

由于模型转换还需要安装一些包,所需的包已经放在了requirements.txt目录下,所以需要输入

ubuntu@ubuntu2004:~/VeriSilicon/acuity-toolkit-binary-6.6.1$ pip install -r requirements.txt

等待下载完成。由于默认PIP源下载较慢,所以推荐换源后,再下载包。换源方法例如更换清华源:

ubuntu@ubuntu2004:~/VeriSilicon/acuity-toolkit-binary-6.6.1$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
Writing to /home/ubuntu/.config/pip/pip.conf
ubuntu@ubuntu2004:~/VeriSilicon/acuity-toolkit-binary-6.6.1$ pip install -r requirements.txt

FAQ

注意安装时如果提示:

RROR: launchpadlib 1.10.13 requires testresources, which is not installed.

需要手动安装launchpadlib

ubuntu@ubuntu2004:~/VeriSilicon/acuity-toolkit-binary-6.6.1$ pip install launchpadlib

安装完成后重新执行pip install -r requirements.txt即可。

4.2 配置路径

配置路径,使您可以再任意目录都可以使用。这里提供 2 种方法配置。

(1)使用命令配置

home目录下,进入仿真工具IDE的安装路径VeriSilicon

ubuntu@ubuntu2004:~$ cd VeriSilicon/
ubuntu@ubuntu2004:~/VeriSilicon$ pwd
/home/ubuntu/VeriSilicon

运行下面的命令一键设置。

export ACTU_BASE=$(ls | grep acu*) && \
    export ACTU_IDE_BASE=$(ls | grep *IDE*) && \
    echo -e "ACUITY_TOOLS_METHOD='$PWD/$ACTU_BASE'\nexport ACUITY_PATH='$PWD/$ACTU_BASE/bin/'\nexport VIV_SDK='$PWD/$ACTU_IDE_BASE/cmdtools'\nexport PATH=$PATH:$PWD/$ACTU_BASE/bin/:$PWD/$ACTU_IDE_BASE/ide/\nexport pegasus=$PWD/$ACTU_BASE/bin/pegasus\nalias pegasus=$PWD/$ACTU_BASE/bin/pegasus" >> ~/.bashrc && \
    source ~/.bashrc

(2)手动编辑配置

手动编辑 ~/.bashrc ,配置下列内容。在终端中输入:

vi ~/.bashrc 

在文件的末尾,添加

/home/ubuntu/VeriSilicon/ 修改为之前的安装路径。

ACUITY_TOOLS_METHOD='/home/ubuntu/VeriSilicon/acuity-toolkit-binary-6.6.1'
export ACUITY_PATH='/home/ubuntu/VeriSilicon/acuity-toolkit-binary-6.6.1/bin/'
export VIV_SDK='/home/ubuntu/VeriSilicon/VivanteIDE5.7.1/cmdtools'
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/home/ubuntu/VeriSilicon/acuity-toolkit-binary-6.6.1/bin/:/home/ubuntu/VeriSilicon/VivanteIDE5.7.1/ide/
export pegasus=/home/ubuntu/VeriSilicon/acuity-toolkit-binary-6.6.1/bin/pegasus
alias pegasus=/home/ubuntu/VeriSilicon/acuity-toolkit-binary-6.6.1/bin/pegasus

配置完成后 .bashrc 是这样的

配置完成后,保存并退出配置界面,在终端输入source ~/.bashrc,激活配置文件。

ubuntu@ubuntu2004:~$ source ~/.bashrc

至此模型转换工具就安装完成了,

5.测试模型转换工具

在终端命令行输入pegasus help命令,测试工具是否生效。