5.2. 使用 TPU-MLIR 生成FLOAT BModel

算丰系列智能视觉深度学习处理器平台仅支持BModel模型加速, 用户需要首先进行模型迁移, 把其他框架下训练好的模型转换为BModel才能在算丰系列智能视觉深度学习处理器上运行。

TPU-MLIR工具包

TPU-MLIR工具包目前支持的框架有PyTorch、ONNX、TFLite以及Caffe的模型, 转换后会生成算丰系列平台支持的BModel模型进行加速, 更多的网络层和模型也在持续支持中, 具体使用指导方法如下所示：

备注

目前MLIR已支持PyTorch、ONNX、TFLite和Caffe框架, 更多网络层和模型也在持续支持中, 具体步骤请参考以下使用指导：

功能

使用指导

编译PyTorch模型

Torch使用

编译ONNX模型

ONNX使用

编译TFLite模型

TFLite使用

编译Caffe模型

Caffe使用

本文通过ONNX框架的例子介绍TPU-MLIR如何转换模型为FP32格式的BModel并部署。开发环境的配置，可以参考 TPU-MLIR快速入门手册

备注

本章以 yolov5s.onnx 为例, 介绍如何编译迁移一个onnx模型至BM1684X 平台运行，其他模型请参考上面表格中的 模型使用指导。

该模型来自yolov5的官网: https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.onnx

本节需要如下文件(其中xxxx对应实际的版本信息): tpu-mlir_xxxx.tar.gz (tpu-mlir的发布包)

5.2.1. 加载tpu-mlir

以下操作需要在Docker容器中。关于Docker的使用, 请参考 TPU-MLIR快速入门手册

1$ tar zxf tpu-mlir_xxxx.tar.gz
2$ source tpu-mlir_xxxx/envsetup.sh

envsetup.sh 会添加以下环境变量:

表 5.1 环境变量

变量名

值

说明

TPUC_ROOT

tpu-mlir_xxx

解压后SDK包的位置

MODEL_ZOO_PATH

${TPUC_ROOT}/../model-zoo

model-zoo文件夹位置, 与SDK在同一级目录

REGRESSION_PATH

${TPUC_ROOT}/regression

regression文件夹的位置

envsetup.sh 对环境变量的修改内容为:

 1 export PATH=${TPUC_ROOT}/bin:$PATH
 2 export PATH=${TPUC_ROOT}/python/tools:$PATH
 3 export PATH=${TPUC_ROOT}/python/utils:$PATH
 4 export PATH=${TPUC_ROOT}/python/test:$PATH
 5 export PATH=${TPUC_ROOT}/python/samples:$PATH
 6 export PATH=${TPUC_ROOT}/customlayer/python:$PATH
 7 export LD_LIBRARY_PATH=$TPUC_ROOT/lib:$LD_LIBRARY_PATH
 8 export PYTHONPATH=${TPUC_ROOT}/python:$PYTHONPATH
 9 export PYTHONPATH=${TPUC_ROOT}/customlayer/python:$PYTHONPATH
10 export MODEL_ZOO_PATH=${TPUC_ROOT}/../model-zoo
11 export REGRESSION_PATH=${TPUC_ROOT}/regression

5.2.2. 准备工作目录

建立 model_yolov5s 目录, 注意是与tpu-mlir同级目录；并把模型文件和图片文件都放入 model_yolov5s 目录中。

操作如下:

1$ mkdir yolov5s_onnx && cd yolov5s_onnx
2$ wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.onnx
3$ cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
4$ cp -rf $TPUC_ROOT/regression/image .
5$ mkdir workspace && cd workspace

这里的 $TPUC_ROOT 是环境变量, 对应tpu-mlir_xxxx目录。

5.2.3. ONNX转MLIR

如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。如果模型用预处理后的npz文件做输入, 则不需要考虑预处理。 预处理过程用公式表达如下( \(x\) 代表输入):

\[y = (x - mean) \times scale\]

官网yolov5的图片是rgb, 每个值会乘以 1/255 , 转换成mean和scale对应为 0.0,0.0,0.0 和 0.0039216,0.0039216,0.0039216 。

模型转换命令如下:

$ model_transform.py \
    --model_name yolov5s \
    --model_def ../yolov5s.onnx \
    --input_shapes [[1,3,640,640]] \
    --mean 0.0,0.0,0.0 \
    --scale 0.0039216,0.0039216,0.0039216 \
    --keep_aspect_ratio \
    --pixel_format rgb \
    --output_names 350,498,646 \
    --test_input ../image/dog.jpg \
    --test_result yolov5s_top_outputs.npz \
    --mlir yolov5s.mlir

model_transform.py 主要参数说明如下（完整介绍请参见TPU-MLIR开发参考手册用户界面章节）:

表 5.2 model_transform 参数功能

参数名

必选？

说明

model_name

是

指定模型名称

model_def

是

指定模型定义文件, 比如`.onnx`或`.tflite`或`.prototxt`文件

input_shapes

否

指定输入的shape, 例如[[1,3,640,640]]; 二维数组, 可以支持多输入情况

input_types

否

指定输入的类型, 例如int32; 多输入用,隔开; 不指定情况下默认处理为float32

resize_dims

否

原始图片需要resize之后的尺寸; 如果不指定, 则resize成模型的输入尺寸

keep_aspect_ratio

否

在Resize时是否保持长宽比, 默认为false; 设置时会对不足部分补0

mean

否

图像每个通道的均值, 默认为0.0,0.0,0.0

scale

否

图片每个通道的比值, 默认为1.0,1.0,1.0

pixel_format

否

图片类型, 可以是rgb、bgr、gray、rgbd四种情况, 默认为bgr

channel_format

否

通道类型, 对于图片输入可以是nhwc或nchw, 非图片输入则为none, 默认为nchw

output_names

否

指定输出的名称, 如果不指定, 则用模型的输出; 指定后用该指定名称做输出

test_input

否

指定输入文件用于验证, 可以是图片或npy或npz; 可以不指定, 则不会正确性验证

test_result

否

指定验证后的输出文件

excepts

否

指定需要排除验证的网络层的名称, 多个用,隔开

mlir

是

指定输出的mlir文件名称和路径

转成mlir文件后, 会生成一个 ${model_name}_in_f32.npz 文件, 该文件是模型的输入文件。

将mlir文件转换成f32的bmodel, 操作方法如下:

$ model_deploy.py \
     --mlir yolov5s.mlir \
     --quantize F32 \
     --processor bm1684x \
     --test_input yolov5s_in_f32.npz \
     --test_reference yolov5s_top_outputs.npz \
     --tolerance 0.99,0.99 \
     --model yolov5s_1684x_f32.bmodel

model_deploy.py 的主要参数说明如下（完整介绍请参见TPU-MLIR开发参考手册用户界面章节）:

表 5.3 model_deploy 参数功能

参数名

必选？

说明

mlir

是

指定mlir文件

quantize

是

指定默认量化类型, 支持F32/F16/BF16/INT8

processor

是

指定模型将要用到的平台, 支持bm1684x/bm1684/cv183x/cv182x/cv181x/cv180x

calibration_table

否

指定校准表路径, 当存在INT8量化的时候需要校准表

tolerance

否

表示 MLIR 量化后的结果与 MLIR fp32推理结果相似度的误差容忍度

test_input

否

指定输入文件用于验证, 可以是图片或npy或npz; 可以不指定, 则不会正确性验证

test_reference

否

用于验证模型正确性的参考数据(使用npz格式)。其为各算子的计算结果

compare_all

否

验证正确性时是否比较所有中间结果, 默认不比较中间结果

excepts

否

指定需要排除验证的网络层的名称, 多个用,隔开

model

是

指定输出的model文件名称和路径

编译完成后, 会生成名为 yolov5s_1684x_f32.bmodel 的文件。

备注

具体部署及测试方法，请参考 5.1.3.7模型性能测试 。