模型编译
==========
BMNETC 使用
_________________

BMNETC是针对caffe的模型编译器，可将某网络的caffemodel和prototxt编译
成BMRuntime所需要的文件。而且在编译的同时，支持每一层的NPU模型计算结
果都会和CPU的计算结果进行对比，保证正确性。下面介绍该编译器的使用方式。


* 使用方法

   1. 方式一：命令形式

   Command name: bmnetc    - BMNet compiler command for Caffe model

   .. code-block:: shell

      /path/to/bmnetc [--model=<path>] \
                      [--weight=<path>] \
                      [--shapes=<string>] \
                      [--net_name=<name>] \
                      [--opt=<value>] \
                      [--dyn=<bool>] \
                      [--outdir=<path>] \
                      [--target=<name>] \
                      [--cmp=<bool>] \
                      [--mode=<string>] \
                      [--enable_profile=<bool>] \
                      [--show_args] \
                      [--list_ops]


   参数介绍如下：

   其中mode为compile表示编译float模型。
   为GenUmodel表示生成SOPHGO定义的统一model，可后续通过SOPHGO定点化工具进行INT8定点化生成INT8 model。
   为check表示检查网络graph算子是否支持。

   GenUmodel模式下，参数opt、dyn、target、cmp将没有意义，无需指定。

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmnetc参数说明
      :widths: 15 10 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. Caffe prototxt path                    |
      +---------------+-----------+-------------------------------------------------------+
      |    weight     |  string   | **Necessary**. Caffemodel(weight) path                |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Optional**. Shapes of all inputs, default use       |
      |    shapes     |  string   | the shape in prototxt, format [x,x,x,x],[x,x]…,       |
      |               |           | these correspond to inputs one by one in sequence     |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default use the    |
      |               |           | name in prototxt                                      |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 2.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**.Check result during compilation.         |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmnetc mode. Option: compile,       |
      |               |           | GenUmodel, check. Default: compile.                   |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|  bool     | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      |    show_args  |           | **Optional**. Display arguments passed to bmnetc      |
      |               |           | compiler.                                             |
      +---------------+-----------+-------------------------------------------------------+
      |    list_ops   |           | **Optional**. List bmnetc supported ops.              |
      +---------------+-----------+-------------------------------------------------------+

   examples:

   以下是编译float32的caffe model命令示例

   .. code-block:: shell

     /path/to/bmnetc --model=/path/to/prototxt --weight=/path/to/caffemodel --shapes=[1,3,224,224] --net_name=resnet18 --outdir=./resnet18 target=BM1684

   以下是生成Umodel的示例

   .. code-block:: shell

     /path/to/bmnetc --mode=GenUmodel --model=/path/to/prototxt --weight=/path/to/caffemodel --shapes=[1,3,224,224] --net_name=resnet18 --outdir=./resnet18
   

   1. 方式二：python接口

   bmnetc的python接口如下, 需要 ``pip3 install --user bmnetc-x.x.x-py2.py3-none-any.whl`` 。

   以下是编译float32的caffe model的python接口。

   .. code-block:: python

      import bmnetc
      ## compile fp32 model
      bmnetc.compile(
        model = "/path/to/prototxt",    ## Necessary
        weight = "/path/to/caffemodel", ## Necessary
        target = "BM1684",              ## Necessary
        outdir = "xxx",                 ## optional, default 'compilation'
        shapes = [[x,x,x,x], [x,x,x]],  ## optional, if not set, default use shape in prototxt
        net_name = "name",              ## optional, if not set, default use the network name in prototxt
        opt = 2,                        ## optional, if not set, default equal to 2
        dyn = False,                    ## optional, if not set, default equal to False
        cmp = True,                     ## optional, if not set, default equal to True
        enable_profile = False          ## optional, if not set, default equal to False
      )

   以下是生成Umodel的python接口。

   .. code-block:: python

      import bmnetc
      ## Generate SOPHGO U model
      bmnetc.GenUmodel(
        model = "/path/to/prototxt",    ## Necessary
        weight = "/path/to/caffemodel", ## Necessary
        outdir = "xxx",                 ## optional, default 'compilation'
        shapes = [[x,x,x,x], [x,x,x]],  ## optional, if not set, default use shape in prototxt
        net_name = "name"               ## optional, if not set, default use the network name in prototxt
      )

   以下是使用bmnetc python的例子：

   .. code-block:: python

      import bmnetc
      
      model = r'../../../nnmodel/caffe_models/lenet/lenet_train_test_thin_4.prototxt'
      weight = r'../../../nnmodel/caffe_models/lenet/lenet_thin_iter_1000.caffemodel'
      target = r"BM1684"
      export_dir = r"./compilation"
      shapes = [[1,1,28,28],[1]]
      
      bmnetc.compile(model = model, weight = weight, target = target, outdir = export_dir, shapes = shapes)
      bmnetc.GenUmodel(weight = weight, model = model, net_name = "lenet")

   以下是list_ops的python接口。

   .. code-block:: python

      import bmnetc
      ## List all supported ops
      bmnetc.list_ops()

   以下是check_graph的python接口。

   .. code-block:: python

      import bmnetc
      ## Check supported ops in model
      bmnetc.check_graph(MODEL_FILE)

   1. bmnetc输出和log

   bmnetc若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmnetc成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmnetc时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是Caffe产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmnetc失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。



BMNETD 使用
_________________

BMNETD是针对Darknet的模型编译器，可将某网络的weight和cfg编译
成BMRuntime所需要的文件(目前只支持yolo)。而且在编译的同时，支持每一层的NPU模型计算结
果都会和CPU的计算结果进行对比，保证正确性。下面介绍该编译器的使用方式。

1. 环境需求

   * python 3.x
   * linux

2. 使用方法

   1. 方式一：命令形式

   Command name: bmnetd    - BMNet compiler command for Darknet model

   .. code-block:: shell

      /path/to/bmnetd [--model=<path>] \
                      [--weight=<path>] \
                      [--shapes=<string>] \
                      [--net_name=<name>] \
                      [--opt=<value>] \
                      [--dyn=<bool>] \
                      [--outdir=<path>] \
                      [--target=<name>] \
                      [--cmp=<bool>] \
                      [--mode=<string>] \
                      [--enable_profile=<bool>]

   参数介绍如下：

   其中mode为compile表示编译float模型。为GenUmodel表示生成SOPHGO定义的统一model，可后续通过SOPHGO定点化工具进行INT8定点化生成INT8 model。

   GenUmodel模式下，参数opt、dyn、target、cmp将没有意义，无需指定。

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmnetd参数说明
      :widths: 15 10 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. Darknet cfg path                       |
      +---------------+-----------+-------------------------------------------------------+
      |    weight     |  string   | **Necessary**. Darknet weight path                    |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Optional**. Shapes of all inputs, default use       |
      |    shapes     |  string   | the shape in prototxt, format [x,x,x,x],[x,x]…,       |
      |               |           | these correspond to inputs one by one in sequence     |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default "network"  |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 2.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**.Check result during compilation.         |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmnetd mode. Option: compile,       |
      |               |           | GenUmodel. Default: compile.                          |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|  bool     | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      |     log_dir   |  string   | **Optional**. Specify the log directory Default: "\\" |
      +---------------+-----------+-------------------------------------------------------+
      |       v       |  string   | **Optional**. Set log verbose level. Default: 0       |
      |               |           | (0: FATAL, 1: ERROR, 2: WARNING, 3: INFO, 4: DEBUG).  |
      +---------------+-----------+-------------------------------------------------------+
      |     dump_ref  |  bool     | **Optional**. Enable dump input&output ref data when  |
      |               |           | compile without compare. Default: False.              |
      +---------------+-----------+-------------------------------------------------------+

   examples:

   以下是编译float32的Darknet model命令示例

   .. code-block:: shell

     /path/to/bmnetd --model=/path/to/cfg --weight=/path/to/weight --net_name=net_name --outdir=./net_name --target=BM1684

   以下是生成Umodel的示例

   .. code-block:: shell

     /path/to/bmnetd --mode=GenUmodel --model=/path/to/cfg --weight=/path/to/weight --net_name=net_name --outdir=./net_name


   2. 方式二：python接口

   bmnetd的python接口如下, 需要pip3 install --user bmnetd-x.x.x-py2.py3-none-any.whl。

   以下是编译float32的Darknet model的python接口。

   .. code-block:: python

      import bmnetd
      ## compile fp32 model
      bmnetd.compile(
        model = "/path/to/cfg",         ## Necessary
        weight = "/path/to/weight",     ## Necessary
        outdir = "xxx",                 ## Necessary
        target = "BM1684",              ## Necessary
        net_name = "name",              ## optional, if not set, default use the path of cfg
        shapes = [[x,x,x,x], [x,x,x]],  ## optional, if not set, default use shape in weights
        opt = 2,                        ## optional, if not set, default equal to 2
        dyn = False,                    ## optional, if not set, default equal to False
        cmp = True,                     ## optional, if not set, default equal to True
        enable_profile = False          ## optional, if not set, default equal to False
      )

   以下是生成Umodel的python接口。

   .. code-block:: python

      import bmnetd
      ## Generate SOPHGO U model
      bmnetd.GenUmodel(
        model = "/path/to/cfg",         ## Necessary
        weight = "/path/to/weight",     ## Necessary
        outdir = "xxx",                 ## Necessary
        net_name = "name",              ## optional, if not set, default use the path of cfg
        shapes = [[x,x,x,x], [x,x,x]],  ## optional, if not set, default use shape in weights
      )

   以下是使用bmnetd python的例子：

   .. code-block:: python

      import bmnetd

      model = r'../../../nnmodel/darknet_models/yolov3-tiny/yolov3-tiny.cfg'
      weight = r'../../../nnmodel/darknet_models/yolov3-tiny/yolov3-tiny.weights'
      target = r"BM1684"
      export_dir = r"./compilation"
      shapes = [[1,3,416,416]]

      bmnetd.compile(model = model, weight = weight, target = target, outdir = export_dir, shapes = shapes)
      bmnetd.GenUmodel(weight = weight, model = model, net_name = "yolov3-tiny")

   3. bmnetd输出和log

   bmnetd若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmnetd成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmnetd时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是Darknet产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmnetd失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。

常见问题
`````````````

  1. 编译模型段错误
     检查xxx.cfg文件，是否是在windows系统下保存或修改的，由于和linux系统对换行符表示不同，会导致解析出错引起段错误
     可以用dos2unix xxx.cfg命令转换一下


BMNETM 使用
_________________

BMNETM是针对mxnet的模型编译器，可以将mxnet格式的模型结构文件和参数文件（比如：lenet-symbol.json和lenet-0100.params）在经过图编译优化后，转换成BMRuntime所需的文件。可选择将每一个操作的NPU模型计算结果和原始模型在mxnet框架上的计算结果进行对比，保证模型转换的正确性。下面分别介绍该编译器的环境需求、配置步骤和使用方法及命令参数简介。

1. 环境需求

   * python 3.x
   * mxnet>=1.3.0
   * linux

2. 使用方法

   1. 方式一：命令形式

   Command name: python3 -m bmnetm    - BMNet compiler command for MxNet model

   .. code-block:: shell

      python3 -m bmnetm [--model=<path>] \
                        [--weight=<path>] \
                        [--shapes=<string>] \
                        [--input_names=<string>] \
                        [--net_name=<name>] \
                        [--opt=<value>] \
                        [--dyn=<bool>] \
                        [--outdir=<path>] \
                        [--target=<name>] \
                        [--cmp=<bool>] \
                        [--mode=<string>] \
                        [--enable_profile=<bool>] \
                        [--input_data=<path>] \
                        [--log_dir=<path>] \
                        [--v=<int>] \
                        [--list_ops]

   参数介绍如下：

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmnetm参数说明
      :widths: 15 10 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. MxNet symbol .json path                |
      +---------------+-----------+-------------------------------------------------------+
      |    weight     |  string   | **Necessary**. MxNet weight .params path              |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Necessary**. Shapes of all inputs, default use      |
      |    shapes     |  string   | the shape in prototxt, format [x,x,x,x],[x,x]…,       |
      |               |           | these correspond to inputs one by one in sequence     |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |   input_names |  string   | **Optional**. Set input name according to .json. They |
      |               |           | correspond to shapes one by one. Default: "data".     |
      |               |           | Format "name1,name2,...".                             |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default "network"  |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 1.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**. Check result during compilation.        |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmnetm mode. Option: compile,       |
      |               |           | GenUmodel, check. Default: compile.                   |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|   bool    | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      |  input_data   |   int     | **Optional**. Specify input data from a data file path|
      +---------------+-----------+-------------------------------------------------------+
      |   log_dir     |  string   | **Optional**. Log Output directory                    |
      +---------------+-----------+-------------------------------------------------------+
      |     v         |  string   | **Optional**. Option: set verbose level               |
      +---------------+-----------+-------------------------------------------------------+
      |   list_ops    |           | **Optional**. List supported ops.                     |
      +---------------+-----------+-------------------------------------------------------+

   2. 方式二：python接口

   bmnetm的python接口如下：

   .. code-block:: python

      import bmnetm
      ## compile fp32 model
      bmnetm.compile(
        model = "/path/to/.json",       ## Necessary
        weight = "/path/to/.params",    ## Necessary
        outdir = "xxx",                 ## Necessary
        target = "BM1684",              ## Necessary
        shapes = [[x,x,x,x], [x,x,x]],  ## Necessary
        net_name = "name",              ## Necessary
        input_names=["name1","name2"]   ## optional, if not set, default is "data"
        opt = 2,                        ## optional, if not set, default equal to 1
        dyn = False,                    ## optional, if not set, default equal to False
        cmp = True,                     ## optional, if not set, default equal to True
        enable_profile = True           ## optional, if not set, default equal to False
      )

   以下是list_ops的python接口。

   .. code-block:: python

      import bmnetm
      ## List all supported ops
      bmnetm.list_ops()

   以下是check_graph的python接口。

   .. code-block:: python

      import bmnetm
      ## Check supported ops in model
      bmnetm.check_graph(MODEL_FILE)

   3. bmnetm输出和log

   bmnetm若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmnetm成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmnetm时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是Mxnet产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmnetm失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。



BMNETO 使用
_________________

BMNETO是针对ONNX的模型编译器，可以把ONNX格式的model经过图编译优化后，转换成BMRuntime所需的文件。在编译模型的同时，可选择将每一个操作的NPU模型计算结果和CPU的计算结果进行对比，保证正确性。下面分别介绍该编译器的环境需求、安装步骤和使用方法。

1. 环境需求

   * python 3.x
   * linux
   * onnx == 1.7.0 (Opset version == 12)
   * onnxruntime == 1.3.0
   * protobuf >= 3.8.0

2. 使用方法

   1. 方式一：命令形式

   Command name: python3 -m bmneto    - BMNet compiler command for ONNX model

   .. code-block:: shell

     python3 -m bmneto [--model=<path>] \
                       [--input_names=<string>] \
                       [--shapes=<string>] \
                       [--outdir=<path>] \
                       [--target=<name>] \
                       [--net_name=<name>] \
                       [--opt=<value>] \
                       [--dyn=<bool>] \
                       [--cmp=<bool>] \
                       [--mode=<string>] \
                       [--descs=<string>] \
                       [--enable_profile=<bool>] \
                       [--output_names=<string>] \
                       [--list_ops]

   参数介绍如下：

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmneto参数说明
      :widths: 15 10 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. ONNX model (.onnx) path                |
      +---------------+-----------+-------------------------------------------------------+
      |  input_names  |  string   | **Optional**. Set name of all network inputs one by   |
      |               |           | one in sequence. Format "name1,name2,name3"           |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Necessary**. Shapes of all inputs, default use      |
      |    shapes     |  string   | the shape in prototxt, format [x,x,x,x],[x,x]…,       |
      |               |           | these correspond to inputs one by one in sequence     |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default "network"  |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 1.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**. Check result during compilation.        |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmneto mode. Option: compile,       |
      |               |           | GenUmodel, check. Default: compile.                   |
      +---------------+-----------+-------------------------------------------------------+
      |     descs     |  string   | **Optional**. Describe data type and value range of   |
      |               |           | some input in format:                                 |
      |               |           | "[ index, data format, lower bound, upper bound ]",   |
      |               |           | where data format could be fp32, int64. For example,  |
      |               |           | [0, int64, 0, 100], meaning input of index 0 has data |
      |               |           | type as int64 and values in [0, 100). If no           |  
      |               |           | description of some input given, the data type will be|
      |               |           | fp32 as default and uniformly distributed in 0 ~ 1.   |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|   bool    | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      | output_names  |  string   | **Optional**. Set name of all network outputs one by  |
      |               |           | one in sequence. Format "name1,name2,name3"           |
      +---------------+-----------+-------------------------------------------------------+
      |   list_ops    |           | **Optional**. List supported ops.                     |
      +---------------+-----------+-------------------------------------------------------+

   2. 方式二：python接口

   bmneto的python接口如下：

   .. code-block:: python

      import bmneto
      ## compile fp32 model
      bmneto.compile(
        model = "/path/to/.onnx",        ## Necessary
        outdir = "xxx",                 ## Necessary
        target = "BM1684",              ## Necessary
        shapes = [[x,x,x,x], [x,x,x]],  ## Necessary
        net_name = "name",              ## optional
        input_names = ['name0','name1'] ## optional
        opt = 2,                        ## optional, if not set, default equal to 1
        dyn = False,                    ## optional, if not set, default equal to False
        cmp = True,                     ## optional, if not set, default equal to True
        enable_profile = True           ## optional, if not set, default equal to False
        descs = "[0, int32, 0, 128]"    ## optional, if not set, default equal to [[x, float32, 0, 1]]
        output_names = ['oname0','oname1']  ## optional, if not set, default equal to graph output names
      )

   以下是list_ops的python接口。

   .. code-block:: python

      import bmneto
      ## List all supported ops
      bmneto.list_ops()

   以下是check_graph的python接口。

   .. code-block:: python

      import bmneto
      ## Check supported ops in model
      bmneto.check_graph(MODEL_FILE)

   3. bmneto输出和log

   bmneto若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmneto成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmneto时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是ONNXruntime产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmneto失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。


常见问题
`````````````

1. pytorch转换onnx示例

  .. code-block:: python

    model = ExampleModel() # or torch.load(model_path)
    dummy_input = Variable(torch.randn(input_shape))
    dummy_output = model(dummy_input)
    torch.onnx.export(model,                                                                                                              
                      dummy_input,
                      new_name,
                      opset_version=12,  # opset version must be 12
                      example_outputs = dummy_output,
                      )



BMNETP 使用
_________________

BMNETP是针对pytorch的模型编译器，可以把pytorch的model直接编译成BMRuntime所需的执行指令。pytorch的模型在编译前要经过torch.jit.trace（见pytorch文档），trace后的模型才能用于编译。在编译模型的同时，可选择将每一个操作的NPU模型计算结果和CPU的计算结果进行对比，保证正确性。下面分别介绍该编译器的环境需求、安装步骤和使用方法。

1. 环境需求

   * python 3.x
   * linux

2. 使用方法

   1. 方式一：命令形式

   Command name: python3 -m bmnetp    - BMNet compiler command for PyTorch model

   .. code-block:: shell

     python3 -m bmnetp [--model=<path>] \
                       [--shapes=<string>] \
                       [--net_name=<name>] \
                       [--opt=<value>] \
                       [--dyn=<bool>] \
                       [--outdir=<path>] \
                       [--target=<name>] \
                       [--cmp=<bool>] \
                       [--enable_profile=<bool>]

   参数介绍如下：

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmnetp参数说明
      :widths: 15 10 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. Traced PyTorch model (.pt) path        |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Necessary**. Shapes of all inputs, default use      |
      |    shapes     |  string   | the shape in prototxt, format [x,x,x,x],[x,x]…,       |
      |               |           | these correspond to inputs one by one in sequence     |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default "network"  |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 1.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**. Check result during compilation.        |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmnetp mode. Option: compile,       |
      |               |           | GenUmodel, dump. Default: compile.                    |
      +---------------+-----------+-------------------------------------------------------+
      |     descs     |  string   | **Optional**. Describe data type and value range of   |
      |               |           | some input in format:                                 |
      |               |           | "[ index, data format, lower bound, upper bound ]",   |
      |               |           | where data format could be fp32, int64. For example,  |
      |               |           | [0, int64, 0, 100], meaning input of index 0 has data |
      |               |           | type as int64 and values in [0, 100). If no           |
      |               |           | description of some input given, the data type will be|
      |               |           | fp32 as default and uniformly distributed in 0 ~ 1.   |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|   bool    | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      |   list_ops    |           | **Optional**. List supported ops.                     |
      +---------------+-----------+-------------------------------------------------------+


   2. 方式二：python接口

   bmnetp的python接口如下：

   .. code-block:: python

      import bmnetp
      ## compile fp32 model
      bmnetp.compile(
        model = "/path/to/.pth",        ## Necessary
        outdir = "xxx",                 ## Necessary
        target = "BM1684",              ## Necessary
        shapes = [[x,x,x,x], [x,x,x]],  ## Necessary
        net_name = "name",              ## Necessary
        opt = 2,                        ## optional, if not set, default equal to 1
        dyn = False,                    ## optional, if not set, default equal to False
        cmp = True,                     ## optional, if not set, default equal to True
        enable_profile = True           ## optional, if not set, default equal to False
      )

   以下是list_ops的python接口。

   .. code-block:: python

      import bmnetp
      ## List all supported ops
      bmnetp.list_ops()

   以下是check_graph的python接口。

   .. code-block:: python

      import bmnetp
      ## Check supported ops in model
      bmnetp.check_graph(MODEL_FILE)

   3. bmnetp输出和log

   bmnetp若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmnetp成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmnetp时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是Pytorch产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmnetp失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。
   
   4. 查看原始模型结构

   以下命令可以将模型结构以文本方式打印出来，方便看到原始模型的输入与输出，以及内部连接关系

   .. code-block:: shell

      python -m bmnetp --mode dump --model model.pt


常见问题
`````````````

  1. 模型格式问题

     pytorch预训练模型通常是以pt或pth为后缀名，但可能文件中只包含权重字典，并不包含完整网络信息，可以通过import torch; torch.jit.load(pt_file_path)是否报错来测试
     创建model的实例，并恢复权重，具体可以见项目源码，然后用以下代码保存：

     .. code-block:: python
       
        import torch
        model = ...
        input_data = torch.randn(input_shape)
        model.cpu()  # 将权重放置到cpu上
        model.eval() # 采用推理模式
        traced_model = torch.jit.trace(model, [iput_data])
        traced_model_name = "traced_model.pt"
        traced_model.save(traced_modelname)

  2. 如果权值在gpu上的traced_model如何处理？

     我们支持的是用torch.jit.trace函数保存出来的模型，并且权值要在cpu上，不能放到gpu上。可以通过以下代码转到cpu上

     .. code-block:: python

        model = torch.jit.load(gpu_traced_model_name, map_location="cpu")  # 转成cpu模型
        model.eval() # 采用推理模式
        # 重新trace
        input_data = torch.randn(input_shape)
        traced_model = torch.jit.trace(model, [iput_data])
        traced_model_name = "traced_model.pt"
        traced_model.save(traced_modelname)



BMNETT 使用
_____________________

BMNETT是针对tensorflow的模型编译器，可以将模型文件(\*.pb）编译成BMRuntime所需的文件。而且在编译的同时，可选择将每一个操作的NPU模型计算结果和CPU的计算结果进行对比，保证正确性。下面分别介绍该编译器的环境需求、安装步骤和使用方法。

1. 环境需求

   * python 3.x
   * tensorflow>=1.10.0
   * linux

2. 使用方法

   1. 方式一：命令形式

   Command name: python3 -m bmnett    - BMNet compiler command for TensorFlow model

   .. code-block:: shell

     python3 -m bmnett [--model=<path>] \
                       [--input_names=<string>] \
                       [--shapes=<string>] \
                       [--descs=<string>] \
                       [--output_names=<string>] \
                       [--net_name=<name>] \
                       [--opt=<value>] \
                       [--dyn=<bool>] \
                       [--outdir=<path>] \
                       [--target=<name>] \
                       [--cmp=<bool>] \
                       [--mode=<string>] \
                       [--enable_profile=<bool>] \
                       [--list_ops]

   参数介绍如下：

   其中mode为compile表示编译float模型。为GenUmodel表示生成SOPHGO定义的统一model，可后续通过SOPHGO定点化工具进行INT8定点化生成INT8 model。
   为summay或者show模式表示显示网络graph。
   为check表示检查网络graph算子是否支持。

   GenUmodel模式下，参数opt、dyn、target、cmp将没有意义，无需指定。

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmnett参数说明
      :widths: 15 25 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. Tensorflow .pb path                    |
      +---------------+-----------+-------------------------------------------------------+
      |  input_names  |  string   | **Necessary**. Set name of all network inputs one by  |
      |               |           | one in sequence. Format "name1,name2,name3"           |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Necessary**. Shapes of all inputs, format           |
      |    shapes     |  string   | [x,x,x,x],[x,x]…, these correspond to inputs          |
      |               |           | one by one in sequence                                |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default "network"  |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Optional**. Descriptions of inputs, format          |
      |    descs      |  string   | [serial number, data type, lower bound, upper bound], |
      |               |           | e.g., [0, uint8, 0, 256], default [x, float, 0, 1]    |
      +---------------+-----------+-------------------------------------------------------+
      | output_names  |  string   | **Optional**. Set name of all network outputs one by  |
      |               |           | one in sequence. Format "name1,name2,name3"           |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 1.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**.Check result during compilation.         |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmnett mode. Option: compile,       |
      |               |           | GenUmodel, summary, show, check. Default: compile.    |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|   bool    | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      |   list_ops    |           | **Optional**. List supported ops.                     |
      +---------------+-----------+-------------------------------------------------------+

   2. 方式二：python接口

   bmnett编译float32 tf model的python接口如下：

   .. code-block:: python

      import bmnett
      ## compile fp32 model
      bmnett.compile(
        model = "/path/to/model(.pb)",     ## Necessary
        outdir = "xxx",                    ## Necessary
        target = "BM1684",                 ## Necessary
        shapes = [[x,x,x,x], [x,x,x]],     ## Necessary
        net_name = "name",                 ## Necessary
        input_names=["name1", "name2"],    ## Necessary, when .h5 use None
        output_names=["out_name1", "out_name2"], ## Necessary, when .h5 use None
        opt = 2,                           ## optional, if not set, default equal to 1
        dyn = False,                       ## optional, if not set, default equal to False
        cmp = True,                        ## optional, if not set, default equal to True
        enable_profile = True              ## optional, if not set, default equal to False
      )

   bmnett转化float32 tf model为SOPHGO U Model的python接口如下：

   .. code-block:: python

      import bmnett
      ## compile fp32 model
      bmnett.GenUmodel(
        model = "/path/to/model(.pb,.h5)", ## Necessary
        outdir = "xxx",                    ## Necessary
        shapes = [[x,x,x,x], [x,x,x]],     ## Necessary
        net_name = "name",                 ## Necessary
        input_names=["name1", "name2"],    ## Necessary
        output_names=["out_name1", "out_name2"] ## Necessary
      )

   以下是list_ops的python接口。

   .. code-block:: python

      import bmnett
      ## List all supported ops
      bmnett.list_ops()

   3. bmnett输出和log

   bmnett若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmnett成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmnett时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是Tensorflow产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmnett失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。



BMPADDLE 使用
_____________________

BMPADDLE是针对paddlepaddle的模型编译器，可以将模型文件(\inference.pdmodel \inference.pdiparams）编译成BMRuntime所需的文件。而且在编译的同时，可选择将每一个操作的NPU模型计算结果和CPU的计算结果进行对比，保证正确性。下面分别介绍该编译器的环境需求、安装步骤和使用方法。

1. 环境需求

   * python 3.x
   * paddlepaddle>=1.8.0
   * linux

2. 安装步骤

安装该编译器的安装包。选择以下命令其一使用。使用命令（1）则安装在本地目录中，不需要root权限，而命令（2）则安装在系统目录中，需要root权限。

``pip install --user bmpaddle-x.x.x-py2.py3-none-any.whl``

``pip install bmpaddle-x.x.x-py2.py3-none-any.whl``

设置LD_LIBRARY_PATH。可以使用以下方式在当前shell中设置该库的路径，或者也可以选择将该路径的设置永久地添加到 .bashrc 文件中。

``export LD_LIBRARY_PATH=path_to_bmcompiler_lib``

3. 使用方法

   1. 方式一：命令形式

   Command name: python3 -m bmpaddle    - BMNet compiler command for paddlepaddle model

   .. code-block:: shell

     python3 -m bmpaddle [--model=<path>] \
                       [--input_names=<string>] \
                       [--shapes=<string>] \
                       [--descs=<string>] \
                       [--output_names=<string>] \
                       [--net_name=<name>] \
                       [--opt=<value>] \
                       [--dyn=<bool>] \
                       [--outdir=<path>] \
                       [--target=<name>] \
                       [--cmp=<bool>] \
                       [--mode=<string>] \
                       [--enable_profile=<bool>] \
                       [--list_ops]

   参数介绍如下：

   其中mode为compile表示编译float模型。为GenUmodel表示生成SOPHGO定义的统一model，可后续通过SOPHGO定点化工具进行INT8定点化生成INT8 model。
   为summay或者show模式表示显示网络graph。
   为check表示检查网络graph算子是否支持。

   GenUmodel模式下，参数opt、dyn、target、cmp将没有意义，无需指定。

   参数dyn=False表示使用静态编译，dyn=True表示使用动态编译。静态编译意思是model编译后，在runtime时只能运行编译所设置的shapes。
   动态编译意思是model编译后，runtime时可以运行任意shapes，只要实际shapes中的数值小于等于编译所设置shapes中的数值。
   一般来说，动态编译后神经网络在芯片上的性能要小于等于静态编译。所以一般建议动态编译用于实际网络的shapes会大范围变化的情况，
   如果shapes固定或者只需要几种shapes，建议采用静态编译。关于静态编译下如何支持若干种shapes，请见bmodel说明。

   .. table:: bmpaddle参数说明
      :widths: 15 25 50

      +---------------+-----------+-------------------------------------------------------+
      |    args       |    type   |                   Description                         |
      +===============+===========+=======================================================+
      |    model      |  string   | **Necessary**. paddlepaddle model directory           |
      +---------------+-----------+-------------------------------------------------------+
      |  input_names  |  string   | **Necessary**. Set name of all network inputs one by  |
      |               |           | one in sequence. Format "name1,name2,name3"           |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Necessary**. Shapes of all inputs, format           |
      |    shapes     |  string   | [x,x,x,x],[x,x]…, these correspond to inputs          |
      |               |           | one by one in sequence                                |
      +---------------+-----------+-------------------------------------------------------+
      |               |           | **Optional**. Descriptions of inputs, format          |
      |    descs      |  string   | [serial number, data type, lower bound, upper bound], |
      |               |           | e.g., [0, uint8, 0, 256], default [x, float, 0, 1]    |
      +---------------+-----------+-------------------------------------------------------+
      | output_names  |  string   | **Necessary**. Set name of all network outputs one by |
      |               |           | one in sequence. Format "name1,name2,name3"           |
      +---------------+-----------+-------------------------------------------------------+
      |    net_name   |  string   | **Optional**. Name of the network, default "network"  |
      +---------------+-----------+-------------------------------------------------------+
      |      opt      |   int     | **Optional**. Optimization level. Option: 0, 1, 2,    |
      |               |           | default 1.                                            |
      +---------------+-----------+-------------------------------------------------------+
      |      dyn      |   bool    | **Optional**. Use dynamic compilation, default False. |
      +---------------+-----------+-------------------------------------------------------+
      |     outdir    |  string   | **Optional**. Output directory, default "compilation" |
      +---------------+-----------+-------------------------------------------------------+
      |     target    |  string   | **Optional**. BM168X or BM1684X; default: BM168X      |
      +---------------+-----------+-------------------------------------------------------+
      |      cmp      |   bool    | **Optional**.Check result during compilation.         |
      |               |           | Default: True                                         |
      +---------------+-----------+-------------------------------------------------------+
      |     mode      |  string   | **Optional**. Set bmpaddle mode. Option: compile,     |
      |               |           | GenUmodel, summary, show, check. Default: compile.    |
      +---------------+-----------+-------------------------------------------------------+
      | enable_profile|   bool    | **Optional**. Enable profile log.                     |
      |               |           | Default: False                                        |
      +---------------+-----------+-------------------------------------------------------+
      |   list_ops    |           | **Optional**. List supported ops.                     |
      +---------------+-----------+-------------------------------------------------------+

   2. 方式二：python接口

   bmpaddle编译float32 paddle model的python接口如下：

   .. code-block:: python

      import bmpaddle
      ## compile fp32 model
      bmpaddle.compile(
        model = "/path/to/model(directory)",     ## Necessary
        outdir = "xxx",                    ## Necessary
        target = "BM1684",                 ## Necessary
        shapes = [[x,x,x,x],[x,x,x]],      ## Necessary
        net_name = "name",                 ## Necessary
        input_names=["name1","name2"],     ## Necessary, when .h5 use None
        output_names=["out_name1","out_name2"], ## Necessary, when .h5 use None
        opt = 2,                           ## optional, if not set, default equal to 1
        dyn = False,                       ## optional, if not set, default equal to False
        cmp = True,                        ## optional, if not set, default equal to True
        enable_profile = True              ## optional, if not set, default equal to False
      )

   bmpaddle转化float32 paddle model为SOPHGO U Model的python接口如下：

   .. code-block:: python

      import bmpaddle
      ## compile fp32 model
      bmpaddle.GenUmodel(
        model = "/path/to/model(directory)",     ## Necessary
        outdir = "xxx",                    ## Necessary
        shapes = [[x,x,x,x],[x,x,x]],     ## Necessary
        net_name = "name",                 ## Necessary
        input_names=["name1","name2"],    ## Necessary
        output_names=["out_name1","out_name2"] ## Necessary
      )

   以下是list_ops的python接口。

   .. code-block:: python

      import bmpaddle
      ## List all supported ops
      bmpaddle.list_ops()

   3. bmpaddle输出和log

   bmpaddle若成功，输出的log最后会看到以下信息。

   .. code-block:: shell

     ######################################
     # Store bmodel of BMCompiler.
     ######################################

   bmpaddle成功后，将在指定的文件夹中生成一个compilation.bmodel的文件，该文件则是转换成功的bmodel，用户可以重命名。

   若用户在bmpaddle时使用了cmp=True模式，则会在指定的文件夹中生成一个input_ref_data.dat和一个output_ref_data.dat，
   分别是paddlepaddle产生的网络输入参考数据和网络输出参考数据，可用于bmrt_test验证生成的bmodel在芯片运行时结果是否正确。

   若没有上述信息，则bmpaddle失败。目前失败的话，用户可以修改opt优化选项，可能其它优化级别会成功，从而不会耽误用户部署。
   然后请用户将失败的问题告知我们的客户支持。