2. 开发环境介绍¶
2.1. RKNN开发环境¶
在PC端主要是进行模型训练和模型转换等, 可以选择Windows系统，或者Windows上的虚拟机ubuntu，Docker的linux系统，或者云服务器等等。
在PC端需要安装常用软件和库，比如pycharm、Python、交叉编译器等， 安装一些深度学习框架，比如Pytorch，TensorFlow，PaddlePaddle等等。 各种软件的使用，建议创建虚拟环境来隔离，常用Python 虚拟环境和Anaconda或者Miniconda。
在鲁班猫板卡上，系统使用Ubuntu或者debian，内核默认适配rknn驱动，其他rknn相关组件均包含，如果需要更新请参考后面相关教程。 另外，还有一些常用的软件和库，例如python，cmake，make，gcc，opencv等等。
后面教程测试，PC端是使用 WSL2 （可以结合pycharm使用等等）， 进行模型训练和转换，鲁班猫板卡系统是以Debian11、ubuntu20.04为主，进行部署推理测试。
2.2. RKNN开发流程¶
深度学习模型工作流程大致可分为训练和推理，而在板块上部署模型，具体的步骤如下：
模型训练，模型训练前需要根据具体项目问题，选择模型，数据采集，然后使用适合的深度学习框架进行模型训练， 其中关于RKNN模型算子的支持请参考 RKNN_Compiler_Support_Operator_List 。
模型转换，将训练的深度学习模型会被转化为RKNN格式的模型。
模型评估，将使用RKNN-Toolkit2工具量化和分析模型性能，包括精度、连板推理性能和内存占用等关键指标， 根据模型的评估尝试修改和优化模型，一些模型的优化可以参考下 RKNPU_User_Guide_RKNN_SDK 。
板端推理，将转换的RKNN模型部署到板卡上,具体可以查看下rknpu运行库和 RKNN-Toolkit-lite2 的使用。
2.3. 相关软件安装¶
以下软件和工具都是在个人电脑上安装。
2.3.1. Anaconda安装¶
Anaconda是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的众多流行的科学计算、数据分析包。
Anaconda安装可以从官网网页直接下载，打开 https://www.anaconda.com/download#downloads ，根据系统选择不同的版本安装， 教程测试使用ubuntu20.04，选择linux的安装包：
或者使用下面命令直接获取安装包：
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh
如果下载很慢，安装包也可以从镜像源获取，打开网址 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ ，选择对应的版本。 获取安装包后，在linux系统中使用默认shell执行下面命令安装：
./Anaconda3-2023.07-2-Linux-x86_64.sh
然后回车，一直往下滑动看完license，最后输入yes后，继续按下回车,然后进入安装，安装完成后输入yes初始化anaconda3：
# ...省略
The following packages listed on https://www.anaconda.com/cryptography are included in the repository accessible through Anaconda Distribution
that relate to cryptography.
Last updated February 25, 2022
Do you accept the license terms? [yes|no]
[no] >>> yes
Anaconda3 will now be installed into this location:
/home/llh/anaconda3
- Press ENTER to confirm the location
- Press CTRL-C to abort the installation
- Or specify a different location below
[/home/llh/anaconda3] >>>
PREFIX=/home/llh/anaconda3
Unpacking payload ...
Installing base environment...
Downloading and Extracting Packages
Downloading and Extracting Packages
Preparing transaction: done
Executing transaction: |
Installed package of scikit-learn can be accelerated using scikit-learn-intelex.
More details are available here: https://intel.github.io/scikit-learn-intelex
For example:
$ conda install scikit-learn-intelex
$ python -m sklearnex my_application.py
done
installation finished.
Do you wish the installer to initialize Anaconda3
by running conda init? [yes|no]
[no] >>> yes
no change /home/llh/anaconda3/condabin/conda
no change /home/llh/anaconda3/bin/conda
no change /home/llh/anaconda3/bin/conda-env
no change /home/llh/anaconda3/bin/activate
no change /home/llh/anaconda3/bin/deactivate
no change /home/llh/anaconda3/etc/profile.d/conda.sh
no change /home/llh/anaconda3/etc/fish/conf.d/conda.fish
no change /home/llh/anaconda3/shell/condabin/Conda.psm1
no change /home/llh/anaconda3/shell/condabin/conda-hook.ps1
no change /home/llh/anaconda3/lib/python3.11/site-packages/xontrib/conda.xsh
no change /home/llh/anaconda3/etc/profile.d/conda.csh
modified /home/llh/.bashrc
==> For changes to take effect, close and re-open your current shell. <==
If you'd prefer that conda's base environment not be activated on startup,
set the auto_activate_base parameter to false:
conda config --set auto_activate_base false
Thank you for installing Anaconda3!
重启系统或者使用命令source ~/.bashrc 后打开终端会进入默认anaconda环境里(命令行提示符前面有一个base)，就可以使用conda来创建虚拟环境和包管理：
# 重启或者使用命令source ~/.bashrc进入anaconda环境
source ~/.bashrc
# 下面列出一些常用conda命令，更多命令参考conda --help
# 创建一个环境，env_name是环境名称，后面可以指定python的版本等等
conda create -n env_name ....
# 列出创建的虚拟环境
#conda env list
conda info --envs
# 激活环境，不指定env_name时，默认进入base环境
conda activate env_name
# 移除环境，其中env_name是环境名称
conda remove -n env_name --all
# 退出当前conda环境
conda deactivate
# 每次开启终端都会默认进入anaconda环境，使用下面命令后重启就不会默认启动虚拟环境
conda config --set auto_activate_base false
默认Anaconda安装会带很多默认的库，要轻量版的可以使用 Miniconda ， 默认只包含了python和conda，通过pip和conda来安装所需要的包。可以点击 链接 去下载安装，安装和使用操作类似。
Anaconda配置使用国内镜像源（可选）：
# 查看默认的源
conda config --show channels
# 使用清华源，也可以自行添加其他第三方源等等
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --set custom_channels.auto https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes
Anaconda清华源的使用请参考下：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda 。
2.3.2. rknn-toolkit2安装¶
RKNN Toolkit2 开发套件运行在PC (x86_64/arm64)平台上，提供了模型转换、量化功能、模型推理、性能和内存评估、量化精度分析、模型加密等功能。
rknn-toolkit2安装可以参考下后面 RKNN Toolkit2介绍 章节， 或者参考下这里使用Anaconda（教程测试时toolkit2的版本是1.6.0）：
# 创建一个名为toolkit2_1.6的环境，并指定python版本，
conda create -n toolkit2_1.6 python=3.8
conda activate toolkit2_1.6
# 拉取toolkit2源码
git clone https://github.com/airockchip/rknn-toolkit2
# 配置pip源
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
# pip安装指定版本的库（教程测试时toolkit2版本是1.6.0，请根据python版本选择文件安装）
cd rknn-toolkit2
pip3 install -r packages/requirements_cp38-1.6.0.txt
# 需要根据python版本和rknn_toolkit2版本选择whl文件，例如这里创建的是python3.8环境，使用带”cp38”的whl文件。
pip3 install packages/rknn_toolkit2-1.6.0+81f21f4d-cp38-cp38-linux_x86_64.whl
安装成功后会显示Successfully，我们也可以简单测试下：
(toolkit2_1.6) llh@YH-LONG:/xxx$ python
Python 3.8.18 (default, Sep 11 2023, 13:40:15)
[GCC 11.2.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from rknn.api import RKNN
>>> rknn = RKNN()
W __init__: rknn-toolkit2 version: 1.6.0+81f21f4d
>>>
2.3.3. Jupyter Notebook安装¶
Jupyter Notebook是基于网页的用于交互计算的应用程序。 Jupyter Notebook以网页的形式打开，能够在每条命令编写好后，实时地查看到代码执行后的数据变化， 如在编程过程中需要编写说明文档，可在同一个页面中直接编写，便于作及时的说明和解释。
教程中一些章节有Jupyter Notebook文件，可以使用conda命令安装Jupyter Notebook，然后查看或者操作。
# 在一个环境中安装Jupyter
conda install jupyter notebook
也可以使用pip3安装：
# 安装Jupyter
pip3 install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple
详细修改配置，可以参考下 Jupyter官网 或者 参考下 https://doc.embedfire.com/linux/rk356x/Python/zh/latest/toolpackages/jupyter.html 。
2.3.4. 一些深度学习框架的安装¶
下面将演示一些深度学习框架的安装，具体详情可以参考下深度学习框架对应的官网。
1、paddlepaddle的安装
这里演示conda安装paddlepaddle，具体命令参考下 官网 选择对应的版本，操作系统，conda安装方式以及计算平台，就可得到对应的安装命令：
# 使用conda创建一个名为paddle的环境，并指定python版本
conda activate
conda create -n paddle python=3.8
# 进入环境
conda activate paddle
# 安装最新版本的paddlepaddle计算平台是cpu（测试安装时最新版本是2.5.1）
conda install paddlepaddle==2.5.1 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/
# 验证安装成功，检测版本
python3 -c "import paddle;paddle.utils.run_check()"
如果要安装gpu版本，英伟达GPU，先使用命令nvidia-smi查看cuda支持的最高版本， 如果没有该命令需要更新或者安装下 显卡驱动 。
PS C:\Users\Administrator> nvidia-smi
Thu Sep 7 16:45:29 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 474.14 Driver Version: 474.14 CUDA Version: 11.4 |
|-------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 NVIDIA GeForce ... WDDM | 00000000:01:00.0 N/A | N/A |
| 40% 0C P0 N/A / N/A | 715MiB / 2048MiB | N/A Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
提示
如果是WSL2，只需要windows下安装最新的nvidia显卡驱动，就可以在WSL2中使用nvidia-smi命令，在WSL2中安装CUDA，请参考下 NVIDIA CUDA in WSL 。
查看上面显示支持的最高版本CUDA，然后找paddlepaddle支持该CUDA版本以下的安装命令，然后安装paddlepaddle：
# 使用conda创建一个名为paddle_gpu的环境，并指定python版本
conda create -n paddle_gpu python=3.8
# 进入环境
conda activate paddle_gpu
# 安装gpu版本的paddlepaddle，cuda版本为11.2
conda install paddlepaddle-gpu==2.5.1 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
# 验证安装成功，检测版本
python3 -c "import paddle;paddle.utils.run_check()"
也可以自行安装CUDA和cudnn（这时需要注意实际使用的是Conda中安装cuda和自己安装cuda）， 参考下网址：https://developer.nvidia.com/cuda-toolkit-archive 、https://developer.nvidia.com/rdp/cudnn-archive 。
2、TensorFlow安装
可以使用python3-venv或者anaconda创建一个虚拟环境，然后使用pip安装。
使用python虚拟环境：
# 安装python，更新pip，需要使用Python 3.6-3.9 和 pip 19.0及更高版本
sudo apt update
sudo apt install python3-dev python3-pip python3-venv
sudo python3 -m pip install pip --upgrade
# 一般都创建一个虚拟环境使用
sudo python3 -m venv .tensorflow_venv
# 激活环境
source .tensorflow_venv/bin/activate
# 直接命令安装最新稳定版tensorfolw，也可以指定下以前版本（GPU和CPU版本已经合并），
# GPU版本使用需要安装CUDA和cudnn，参考下前面链接
pip3 install tensorflow
# 验证安装成功，查看版本
python3 -c "import tensorflow as tf;print(tf.__version__)"
或者使用conda创建一个虚拟环境：
# 使用conda创建一个名为paddle的环境，并指定python版本
conda create -n TensorFlow python=3.8
# 进入环境
conda activate TensorFlow
# 直接命令安装最新稳定版tensorfolw，也可以指定下以前版本（GPU和CPU版本已经合并），
# GPU版本使用需要安装CUDA和cudnn，参考下前面链接
pip3 install tensorflow
# 验证安装成功，查看版本
python3 -c "import tensorflow as tf;print(tf.__version__)"
更多安装参考下 https://tensorflow.google.cn/install?hl=zh-cn 。
提示
使用pip3安装包时可能很慢，可以设置下源，使用命令 pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
3、pytorch安装
安装pytorch，可以参考下 官网，选择对应版本，系统，语言，cuda，然后查看安装命令：
没有符合要求的，也可以点击上面的安装以前的版本。下面用Conda创建虚拟环境，然后使用pip安装pytorch：
# 使用conda创建一个名为pytorch的环境，并指定python版本
conda create -n pytorch python=3.8
# 进入环境
conda activate pytorch
# 这里使用pip3安装最新版本的pytorch计算平台是gpu，你也可以查看pytorch官网，根据自己系统环境选择安装命令
pip3 install torch torchvision torchaudio
# 验证安装成功，检测版本,也可以使用conda list查看
python3 -c "import torch;print(torch.__version__)"
# 如果是安装gpu版本的，检测是否可用，正常就输出True
python3 -c "import torch;print(torch.cuda.is_available())"