BMNETU 使用¶

编译UFW模型¶

BMNETU是针对BM1684的UFW(Unified Framework)模型编译器，可将某网络的umodel(Unified Model)和 prototxt编译成BMRuntime所需要的文件。而且在编译的同时，支持每一层的NPU模型计算结果和CPU的计算结果进行对比，保证正确性。下面介绍该编译器的使用方式。

安装需求
- python 3.x
- linux
配置步骤

参见sdk初始化步骤(https://sophgo-doc.gitbook.io/sophonsdk3/)

使用方法

方式一：命令形式

Command name: bmnetu - BMNet compiler command for UFW model

/path/to/bmnetu [--model=<path>] \
                [--weight=<path>] \
                [--shapes=<string>] \
                [--net_name=<name>] \
                [--opt=<value>] \
                [--dyn=<bool>] \
                [--outdir=<path>] \
                [--cmp=<bool>]

参数介绍如下：

参数dyn=false表示使用静态编译，dyn=true表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

表 6 bmnetu参数说明¶
args	type	Description
model	string	Necessary. UFW prototxt path
weight	string	Necessary. Umodel(weight) path
target	string	Optional. BM1684 or BM1684X; default: BM1684
outdir	string	Optional. Output directory, default “compilation”
shapes	string	Optional. Shapes of all inputs, default use the shape in prototxt, format [x,x,x,x],[x,x]…, these correspond to inputs one by one in sequence
net_name	string	Optional. Name of the network, default use the name in prototxt
opt	int	Optional. Optimization level. Option: 0, 1, 2, default 1.
dyn	bool	Optional. Use dynamic compilation, default false.
cmp	bool	Optional.Check result during compilation. Default: true
use_wino	bool	Optional. Use winograd convolution. If not given, the flag value will be determined by model files. Note that it’s a global flag for all conv layers, and it can be overridden by the layer-level flag use_winograd (which is false by default). ONLY for BM1684

examples:

以下是编译int8的umodel命令示例

/path/to/bmnetu --model=/path/to/prototxt --weight=/path/to/umodel --shapes=[1,3,224,224] --net_name=resnet18 --outdir=./resnet18

方式二：python接口

bmnetu的python接口如下, 需要pip3 install –user bmnetu-x.x.x-py2.py3-none-any.whl。

以下是编译int8的umodel的python接口。

import bmnetu
## compile int8 model
bmnetu.compile(
  model = "/path/to/prototxt",    ## Necessary
  weight = "/path/to/caffemodel", ## Necessary
  target = "BM1684",              ## Necessary
  outdir = "xxx",                 ## optional, default 'compilation'
  shapes = [[x,x,x,x], [x,x,x]],  ## optional, if not set, default use shape in prototxt
  net_name = "name",              ## optional, if not set, default use the network name in prototxt
  opt = 2,                        ## optional, if not set, default equal to 2
  dyn = False,                    ## optional, if not set, default equal to False
  cmp = True                      ## optional, if not set, default equal to True
)

以下是使用bmnetu python的例子：

import bmnetu

model = r'../../../umodel/tf_models/accuracy_test/inception/inception_v1_bmnett_deploy_int8_unique_top.prototxt'
weight = r'../../../umodel/tf_models/accuracy_test/inception/inception_v1_bmnett.int8umodel'
export_dir = r"./compilation"
shapes = [[1,3,224,224]]

bmnetu.compile(model = model, weight = weight, outdir = export_dir, shapes = shapes)

bmnetu输出和log

bmnetu若成功，输出的log最后会看到以下信息。

######################################
# Store bmodel of BMCompiler.
######################################

bmnetu成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

若用户在bmnetu时使用了cmp=true模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，分别是UFW产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

若没有上述信息，则bmnetu失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。然后请用户将失败的问题告知我们的客户支持。