NNToolChain 中文文档

声明

• 声明

快速开始

• NNToolChain 基本概念介绍
• 版本特性
• NNToolChain 整体架构
• NNToolChain 安装说明

模型编译器

• BMNETC 使用
  • 编译Caffe模型
  • 实现Caffe自定义Layer
• BMNETT 使用
  • 编译TensorFlow模型
• BMNETM 使用
  • 编译MxNet模型
  • 实现MxNet自定义layer
• BMNETP 使用
  • 编译Pytorch模型
  • 常见问题
• BMNETD 使用
  • 编译Darknet模型
  • 常见问题
• BMNETU 使用
  • 编译UFW模型
• BMNETO 使用
  • 编译ONNX模型
  • 常见问题
• BMPADDLE 使用
  • 编译PADDLE模型

BModel

• BModel
  • BModel 介绍
  • bm_model.bin 使用

运行时库

• BMRuntime 使用
  • BMLIB Interface
    • Device
    • Device Memory
    • Device Memory Mmap
    • Program synchronize
  • C Interface
    • Tensor information
    • bmrt_create
    • bmrt_destroy
    • bmrt_get_bm_handle
    • bmrt_load_bmodel
    • bmrt_load_bmodel_data
    • bmrt_show_neuron_network
    • bmrt_get_network_number
    • bmrt_get_network_names
    • bmrt_get_network_info
    • bmrt_print_network_info
    • bmrt_launch_tensor
    • bmrt_launch_tensor_ex
    • bmrt_launch_data
    • bmrt_trace
  • C++ Interface
    • class Context
    • class Network
    • class Tensor
    • Global APIs
  • Other Interface
    • C++ Interface (lagacy)
    • C Interface (bmtap2)
    • C Interface (legacy)
  • Multi-thread Program
    • single runtime
    • multi runtime
    • how to choose
• BMRuntime 示例代码
  • Example with basic C interface
    • Common Example
    • MMAP Example
  • Example with basic C++ interface
    • Common Example
    • MMAP Example

bmrt_test工具使用及bmodel验证

• bmrt_test工具使用及bmodel验证
  • bmrt_test工具
  • bmrt_test参数说明
  • bmrt_test输出
  • bmrt_test常用方法
  • 比对数据生成与验证举例
  • 常见问题

编程语言

• BMLang 编程
• TPUKernel(原okkernel)介绍

插件工具

• BMNET 前端插件
  • BMNETC 插件
    • 基于BMLang开发
    • 基于BMCPU开发
    • 基于BMKernel开发
  • BMNETM 插件
    • 基于BMLang开发
  • BMNETU 插件
• 编译优化器插件
  • 编译与使用
    • 编译步骤
    • 使用方法
  • 自定义图优化filter
    • bmcompiler内部图的表示
    • bmcompiler图基本操作
    • filter的运行流程
    • filter的编写
      • filter的通用接口
      • filter的优先级
      • filter通过plugin注册
  • 自定义后端优化器PASS
    • 自定义优化器
    • 添加自定义优化PASS
    • LgPassIR介绍
    • 内部接口说明
  • Demo示例
• 编译器自定义TPU层插件
  • 1. 目录说明
  • 2. envsetup.sh中的工具
  • 3. 接口代码修改
    • 相关数据结构说明
    • global layer与local layer说明
    • 4. bmkernel代码结构建议
  • 4. 使用说明
  • 5. 自定义bmkernel层接入
  • 6. demo使用说明
  • 7. 注意事项
• BMCPU 插件使用
  • 环境构建
  • 编程说明
  • 编译说明
  • 调试优化

Graph模型构建指南

• 模型构建方法

Profiling工具

• BMProfile 使用
  • BM1684 Profile
    • 1. profile安装
    • 2. profile使用方法
    • 3. 数据显示说明
    • 4. 静态指令解析说明

Appendix

• DL Ops&Models支持情况
  • Caffe支持情况
  • TensorFlow支持情况
  • Pytorch支持情况
  • MxNet支持情况
  • Darknet支持情况
  • ONNX支持情况
  • PADDLE支持情况