BMNETU 使用

编译UFW模型

BMNETU是针对BM1684的UFW(Unified Framework)模型编译器,可将某网络的umodel(Unified Model)和 prototxt编译成BMRuntime所需要的文件。而且在编译的同时,支持每一层的NPU模型计算结 果和CPU的计算结果进行对比,保证正确性。下面介绍该编译器的使用方式。

  1. 安装需求

    • python 3.x

    • linux

  2. 配置步骤

    参见bmnnsdk初始化步骤(https://sophgo-doc.gitbook.io/bmnnsdk2-bm1684/)

  3. 使用方法

    1. 方式一:命令形式

    Command name: bmnetu - BMNet compiler command for UFW model

    /path/to/bmnetu [--model=<path>] \
                    [--weight=<path>] \
                    [--shapes=<string>] \
                    [--net_name=<name>] \
                    [--opt=<value>] \
                    [--dyn=<bool>] \
                    [--outdir=<path>] \
                    [--cmp=<bool>]
    

    参数介绍如下:

    参数dyn=false表示使用静态编译,dyn=true表示使用动态编译。静态编译意思是model编译后,在runtime时只能运行编译所设置的shapes。 动态编译意思是model编译后,runtime时可以运行任意shapes,只要实际shapes中的数值小于等于编译所设置shapes中的数值。 一般来说,动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况, 如果shapes固定或者只需要几种shapes,建议采用静态编译。关于静态编译下如何支持若干种shapes,请见bmodel说明。

    表 5 bmnetu参数说明

    args

    type

    Description

    model

    string

    Necessary. UFW prototxt path

    weight

    string

    Necessary. Umodel(weight) path

    target

    string

    Necessary. currently support {BM1684}

    shapes

    string

    Optional. Shapes of all inputs, default use the shape in prototxt, format [x,x,x,x],[x,x]…, these correspond to inputs one by one in sequence

    net_name

    string

    Optional. Name of the network, default use the name in prototxt

    opt

    int

    Optional. Optimization level. Option: 0, 1, 2, default 1.

    dyn

    bool

    Optional. Use dynamic compilation, default false.

    outdir

    string

    Necessary. Output directory

    cmp

    bool

    Optional.Check result during compilation. Default: true

    use_wino

    bool

    Optional. Use winograd convolution. If not given, the flag value will be determined by model files. Note that it’s a global flag for all conv layers, and it can be overridden by the layer-level flag use_winograd (which is false by default).

    examples:

    以下是编译int8的umodel命令示例

    /path/to/bmnetu --model=/path/to/prototxt --weight=/path/to/umodel --shapes=[1,3,224,224] --net_name=resnet18 --outdir=./resnet18
    
    1. 方式二:python接口

    bmnetu的python接口如下, 需要pip3 install –user bmnetu-x.x.x-py2.py3-none-any.whl。

    以下是编译int8的umodel的python接口。

    import bmnetu
    ## compile int8 model
    bmnetu.compile(
      model = "/path/to/prototxt",    ## Necessary
      weight = "/path/to/caffemodel", ## Necessary
      target = "BM1684",              ## Necessary
      outdir = "xxx",                 ## optional, default 'compilation'
      shapes = [[x,x,x,x], [x,x,x]],  ## optional, if not set, default use shape in prototxt
      net_name = "name",              ## optional, if not set, default use the network name in prototxt
      opt = 2,                        ## optional, if not set, default equal to 2
      dyn = False,                    ## optional, if not set, default equal to False
      cmp = True                      ## optional, if not set, default equal to True
    )
    

    以下是使用bmnetu python的例子:

    import bmnetu
    
    model = r'../../../umodel/tf_models/accuracy_test/inception/inception_v1_bmnett_deploy_int8_unique_top.prototxt'
    weight = r'../../../umodel/tf_models/accuracy_test/inception/inception_v1_bmnett.int8umodel'
    export_dir = r"./compilation"
    shapes = [[1,3,224,224]]
    
    bmnetu.compile(model = model, weight = weight, outdir = export_dir, shapes = shapes)
    
    1. bmnetu输出和log

    bmnetu若成功,输出的log最后会看到以下信息。

    ######################################
    # Store bmodel of BMCompiler.
    ######################################
    

    bmnetu成功后,将在指定的文件夹中生成一个compilation.bmodel的文件,该文件则是转换成功的bmodel,用户可以重命名。

    若用户在bmnetu时使用了cmp=true模式,则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat, 分别是UFW产生的网络输入参考数据和网络输出参考数据,可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

    若没有上述信息,则bmnetu失败。目前失败的话,用户可以修改opt优化选项,可能其它优化级别会成功,从而不会耽误用户部署。 然后请用户将失败的问题告知我们的客户支持。