Atlas200DK介绍

Atlas 200开发者套件又称Atlas 200 Developer Kit，是以Atlas 200 AI加速模块为核心的开发者板形态的终端类产品。主要功能是将Atlas 200的接口对外开放，方便用户快速简捷的使用Atlas 200，可以运用于平安城市、无人机、机器人、视频服务器等众多领域的预研开发。

Atlas 200 AI加速模块（简称Atlas 200）是一款高性能的AI智能计算模块，集成了海思Ascend 310 AI处理器，可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。

Atlas 200 DK主要包含Atlas 200 AI加速模块、图像/音频接口芯片（Hi3559C）和LAN SWITCH或PHY三部分，系统框图如下所示。

1.73.0.0版本介绍

基于Atlas产品，华为推出了1.3.0.0、1.32.0.0、1.73.0.0三个版本。1.73.0.0版本是华为基于全新架构打造的最新版本，更易于开发者阅读、了解、开发属于自己的AI代码。
该版本适配多种安装方式，此处主要介绍下开发环境和运行环境。
开发环境：安装toolkit包，主要用于模型转换、代码编写和编译等开发过程。
运行环境：安装硬件执行包，主要用于编译好的代码运行（因为AI加速硬件设备在运行环境上）。
当开发环境和运行环境在同一系统中安装时，此系统即为合设系统。当开发环境和运行环境不在同一系统中安装时，此系统即为分设系统。

由于Mindstudio只支持ubuntu-x86的系统，所以当用户想要使用配套的Mindstudio开发者工具时，则需要按照分设系统安装。
以下我们介绍的安装方式即为分设安装。开发环境为ubuntu18.04-x86系统的虚拟机或双系统环境（需要自行建立一个新的环境），运行环境为ubuntu18.04-arm的开发板环境（制卡时已经做好）。

资源要求

1. Atlas200DK开发者板套件（按照第一章内容已经搭建好环境的开发者板）。
2. 两个可上网的网络端口（一个用来本机联网，一个用来开发者板联网）。

环境准备

按照前两章的内容，大家已经搭建好了开发环境（本地Mindstudio环境）和运行环境（开发者板）。并且已经成功运行起来Mindstudio自带的Classification（resnet50）样例和黑白图像上色图片版本样例。这些样例并没有用到presenter这个视频所依赖的第三方库。所以在使用我们本章要运行的黑白图像上色（视频版）样例时，需要安装presentagent，也就是本章环境准备的内容。

开发环境安装第三方库

第三方库已经在第二章安装ffmpeg和opencv，这里运行视频版本的样例时，需要再安装一个presentagent。

1. 登录普通用户家目录。
   cd $HOME

2. 下载PresentAgent。
   git clone https://gitee.com/ascend/common.git

3. 安装tornado包
   python3.7.5 -m pip install tornado==5.1.0 --user

4. 安装autoconf、automake、libtool依赖。
   sudo apt-get install autoconf automake libtool

5. 安装protobuf（按照如下命令一步步执行即可）。
   git clone -b 3.8.x https://gitee.com/mirrors/protobufsource.git protobuf
   cd protobuf
   git submodule update --init --recursive
   ./autogen.sh
   bash configure
   make -j8
   sudo make install
   sudo ldconfig

6. 编译并安装PresentAgent。
   cd $HOME/common/install_presenteragent/for_atlas200dk/presenteragent/
   make -j8
   make install

样例运行

本章介绍的样例为黑白图像上色（视频到视频版）样例。

更多样例可以在码云Ascend/samples仓中获取：https://gitee.com/ascend/samples。

注：以下步骤都是在开发环境中进行的

样例介绍

本应用支持运行在Atlas 200 DK上，实现了对黑白视频自动上色的功能。

黑白上色是利用卷积计算提取特征，然后用卷积进行分类，从而计算出每个灰度图片的色彩预期。其中处理的帧图片为LAB图片，L通道即为亮度通道，AB通道为色彩通道，黑白上色模型就是推理AB通道数据然后叠加到L通道上，生成彩色LAB的图片，再将对应帧图片转换为BGR格式，即可以观看。

原理可以在华为资深布道师毛红朝老师的直播中了解：http://live.vhall.com/880314441

软件准备

运行此Sample前，需要执行以下步骤获取源码包并转换模型。

1. 普通用户在开发环境中下载样例源码包
   cd $HOME/AscendProjects
   wget https://c7xcode.obs.cn-north-4.myhuaweicloud.com/code_Ascend/colorization_video.zip
   unzip colorization_video.zip

2. 获取此应用中所需要的原始网络模型。
   获取此应用中所用到的原始网络模型及其对应的权重文件，并将其存放到Ubuntu服务器的任意目录，例如：$HOME/models/colorization_video。
   mkdir -p $HOME/models/colorization_video
   cd $HOME/models/colorization_video
   wget https://obs-model-ascend.obs.cn-east-2.myhuaweicloud.com/colorization/colorization.caffemodel
   wget https://obs-model-ascend.obs.cn-east-2.myhuaweicloud.com/colorization/colorization.prototxt

3. 将原始网络模型转换为适配昇腾AI处理器的模型。
   执行以下命令，为模型转换添加临时环境变量。
   export LD_LIBRARY_PATH=${install_path}/atc/lib64:$LD_LIBRARY_PATH:/home/HwHiAiUser/ascend_ddk/arm/lib:/home/HwHiAiUser/Ascend/ascend-toolkit/20.0.RC1/arm64-linux_gcc7.3.0/acllib/lib64

   执行以下命令，进行模型转换。

   atc --model=colorization.prototxt --weight=colorization.caffemodel --framework=0 --output=colorization --soc_version=Ascend310
   

   模型转换成功后，屏幕打印如下所示。
   

4. 执行以下命令，将模型拷贝到样例中。
   cp $HOME/models/colorization_video/colorization.om $HOME/AscendProjects/colorization_video/model

5. 环境变量恢复
   由于LD_LIBRARY_PATH为模型转换和样例运行公用的环境变量。所以在模型转换时在命令行临时重新定义了LD_LIBRARY_PATH变量。模型转换结束后，需要重新设置该环境变量，否则样例会运行失败。

   执行以下命令，在命令行中清空环境变量，然后重新导入bashrc中的环境变量。
   export LD_LIBRARY_PATH=
   source ~/.bashrc

   命令行中执行以下命令，如果结果如下所示，则环境变量重置成功。
   echo $LD_LIBRARY_PATH

   HwHiAiUser@davinci-mini:~/models/colorization_video$ echo $LD_LIBRARY_PATH
   /home/HwHiAiUser/Ascend/acllib/lib64
   

样例编译

1. 修改Presenter Server的ip.
   将案例目录下的script/presentserver/display/config/config.conf中的presenter_server_ip修改为开发者板和windows连接所用的的ip地址（此处是通过USB虚拟网卡连接，所以需要填写usb0的ip地址，也就是192.168.1.2），如下所示。
   cd $HOME/AscendProjects/colorization_video
   vi script/presenterserver/display/config/config.conf
   
   将案例目录下的src/colorize_process.cpp中的 param.host_ip 修改为开发者板和windows连接所用的的ip地址（此处是通过USB虚拟网卡连接，所以需要填写usb0的ip地址，也就是192.168.1.2），如下所示。
   vi src/colorize_process.cpp
   

2. 执行以下命令，启动presentserver。
   python3 script/presenterserver/presenter_server.py --app=display &
   启动成功后，如下图所示。
   
   注：执行完命令后，命令行会卡在输入窗口。直接回车就可以唤出命令行，继续下面的操作

3. 执行以下命令，在普通用户样例目录下创建编译目录。
   mkdir -p build/intermediates/host

4. 执行以下命令，切换到编译文件夹下，并执行cmake生成编译文件。
   cd build/intermediates/host
   cmake ../../../src -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE

5. 执行以下命令，进行代码编译。
   make
   如下所示，则编译成功。

   -- env INC_PATH: /home/HwHiAiUser/Ascend/ascend-toolkit/20.0.RC1//arm64-linux_gcc7.3.0
   -- env LIB_PATH: /home/HwHiAiUser/Ascend/ascend-toolkit/20.0.RC1//arm64-linux_gcc7.3.0/acllib/lib64/stub
   -- Configuring done
   -- Generating done
   -- Build files have been written to: 	/home/HwHiAiUser/AscendProjects/colorization_video/build/intermediates/host
   [ 20%] Building CXX object CMakeFiles/main.dir/utils.cpp.o
   [ 40%] Building CXX object CMakeFiles/main.dir/model_process.cpp.o
   [ 60%] Building CXX object CMakeFiles/main.dir/colorize_process.cpp.o
   [ 80%] Building CXX object CMakeFiles/main.dir/main.cpp.o
   [100%] Linking CXX executable 	/home/HwHiAiUser/AscendProjects/colorization_video/out/main
   [100%] Built target main
   

样例运行

1. 普通用户下切换到可执行文件main所在的目录，并给该目录下的main文件加执行权限。
   cd $HOME/AscendProjects/colorization_video/out
   chmod +x main

2. windows中浏览器打开presentserver界面，如下所示。
   本样例网址：http://192.168.1.2:7009/
   

3. 执行以下命令运行样例。
   ./main ../data/black-white_video.mp4
   成功后，屏幕中会有如下打印信息。
   
   注：这里data下的mp4视频是一段黑白视频。如果需要使用别的黑白视频查看效果，可以直接将自己的黑白视频上传到data目录下，命令行对应参数中输入自己的视频文件运行即可

4. 查看运行结果
   等待Presenter Agent传输数据给服务端，单击“Refresh“刷新，当有数据时相应的Channel 的Status变成绿色，如下图所示。
   单击右侧对应的View Name链接，比如上图的“video”，查看结果，最终显示如下。
   

5. 关闭presentserver
   当视频运行完毕，程序会自行关闭应用。但是presentserver会一直在后台运行。此时需要执行以下命令，获取presentserver在后台的pid，然后使用kill命令杀死即可。
   ps -ef | grep presenter
   kill -9 pid

   HwHiAiUser@davinci-mini:~/AscendProjects/colorization_video/out$ ps -ef | grep presenter
   HwHiAiU+ 10366 10169  1 06:52 pts/1    00:00:14 python3 script/presenterserver/presenter_server.py --app=display
   HwHiAiU+ 10493 10169  0 07:14 pts/1    00:00:00 grep --color=auto presenter
   HwHiAiUser@davinci-mini:~/AscendProjects/colorization_video/out$ kill -9 10366
   HwHiAiUser@davinci-mini:~/AscendProjects/colorization_video/out$ ps -ef | grep presenter
   HwHiAiU+ 10495 10169  0 07:14 pts/1    00:00:00 grep --color=auto presenter
   [1]+  Killed                  python3 script/presenterserver/presenter_server.py --app=display  (wd: ~/AscendProjects/colorization_video)
   (wd now: ~/AscendProjects/colorization_video/out)
   HwHiAiUser@davinci-mini:~/AscendProjects/colorization_video/out$
   

结束语

自此，黑白图像上色视频版就已经运行成功了。
大家可以尝试用自己的黑白视频去运行样例，当然也可以下载老电影，运行样例进行上色。
当然，这里仅提供大家使用，所以性能方面可能并没有做到极致，大家可以发挥自己的能力，改造代码，实现自己的上色，或者其它功能。
大家也可以从以下资源中来了解AI和产品相关的知识。
1.华为昇腾开发者论坛：https://bbs.huaweicloud.com/forum/forum-726-1.html
2.华为昇腾开发者社区：https://www.huaweicloud.com/ascend/home.html
3.ascned技术交流qq群：965804873