TPU-MLIR开发参考手册

法律声明

版权所有 © 算能 2024. 保留一切权利。

非经本公司书面许可, 任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部, 并不得以任何形式传播。

注意

您购买的产品、服务或特性等应受 算能 商业合同和条款的约束, 本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。 除非合同另有约定, 算能 对本文档内容不做任何明示或默示的声明或保证。 由于产品版本升级或其他原因, 本文档内容会不定期进行更新。 除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

技术支持

地址

北京市海淀区丰豪东路9号院中关村集成电路设计园(ICPARK)1号楼

邮编

100094

网址

https://www.sophgo.com/

邮箱

sales@sophgo.com

电话

+86-10-57590723

+86-10-57590724

发布记录

版本	发布日期	说明
v0.6.0	2022.11.05	增加章节介绍混精度操作过程
v0.5.0	2022.10.20	增加指定model-zoo, 测试其中的所有模型
v0.4.0	2022.09.20	支持Caffe, 增加章节介绍转Caffe模型
v0.3.0	2022.08.24	支持TFLite, 增加章节介绍转TFLite模型。
v0.2.0	2022.08.02	增加了运行SDK中的测试样例章节。
v0.1.0	2022.07.29	初版发布, 支持 resnet/mobilenet/vgg/ssd/yolov5s , 并用yolov5s作为用例。

目录

• 1. TPU-MLIR简介
• 2. 开发环境配置
  • 2.1. 代码下载
  • 2.2. Docker配置
  • 2.3. ModelZoo(可选)
  • 2.4. 代码编译
• 3. 用户界面
  • 3.1. 模型转换过程
    • 3.1.1. 支持图片输入
    • 3.1.2. 支持多输入
    • 3.1.3. 支持INT8对称和非对称
    • 3.1.4. 支持混精度
    • 3.1.5. 支持量化模型TFLite
    • 3.1.6. 支持Caffe模型
  • 3.2. 工具参数介绍
    • 3.2.1. model_transform.py
    • 3.2.2. run_calibration.py
    • 3.2.3. run_qtable.py
    • 3.2.4. model_deploy.py
    • 3.2.5. model_runner.py
    • 3.2.6. npz_tool.py
    • 3.2.7. visual.py
    • 3.2.8. gen_rand_input.py
    • 3.2.9. model_tool
• 4. 整体设计
  • 4.1. 分层
  • 4.2. Top Passes
  • 4.3. Tpu Passes
  • 4.4. Other Passes
• 5. 前端转换
  • 5.1. 主要工作
  • 5.2. 工作流程
  • 5.3. 算子转换样例
• 6. 量化
  • 6.1. 基本概念
    • 6.1.1. 非对称量化
    • 6.1.2. 对称量化
  • 6.2. Scale转换
  • 6.3. 量化推导
    • 6.3.1. Convolution
    • 6.3.2. InnerProduct
    • 6.3.3. Add
    • 6.3.4. AvgPool
    • 6.3.5. LeakyReLU
    • 6.3.6. Pad
    • 6.3.7. PReLU
• 7. Calibration
  • 7.1. 总体介绍
  • 7.2. 校准数据筛选及预处理
    • 7.2.1. 筛选原则
    • 7.2.2. 输入格式及预处理
  • 7.3. 算法实现
    • 7.3.1. kld算法
    • 7.3.2. auto-tune算法
  • 7.4. 示例-yolov5s校准
  • 7.5. 可视化工具visual说明
• 8. Lowering
  • 8.1. 基本过程
  • 8.2. 混合精度
• 9. SubNet
• 10. LayerGroup
  • 10.1. 基本概念
  • 10.2. BackwardH
  • 10.3. 划分Mem周期
  • 10.4. LMEM分配
  • 10.5. 划分最优Group
• 11. GMEM分配
  • 11.1. 目的
  • 11.2. 原理
    • 11.2.1. weight tensor分配gmem
    • 11.2.2. global neuron tensors分配gmem
• 12. CodeGen
  • 12.1. 主要工作
  • 12.2. 工作流程
  • 12.3. TPU-MLIR中BM168X及其相关类
  • 12.4. 后端函数的加载
  • 12.5. 后端Store_cmd
• 13. MLIR定义
  • 13.1. Top Dialect
    • 13.1.1. Operations
• 14. 精度验证
  • 14.1. 整体介绍
    • 14.1.1. 验证对象
    • 14.1.2. 评估指标
    • 14.1.3. 数据集
  • 14.2. 精度验证接口
  • 14.3. 精度验证样例
    • 14.3.1. mobilenet_v2
    • 14.3.2. yolov5s
• 15. QAT量化感知训练
  • 15.1. 基本原理
  • 15.2. tpu-mlir QAT实现方案及特点
    • 15.2.1. 主体流程
    • 15.2.2. 方案特点
  • 15.3. 安装方法
    • 15.3.1. 从源码安装
  • 15.4. 基本步骤
    • 15.4.1. 步骤一:接口导入及模型prepare
    • 15.4.2. 步骤2：用于量化参数初始化的校准及量化训练
    • 15.4.3. 步骤3：导出调优后的fp32模型及量化参数文件
    • 15.4.4. 步骤4：启动训练
    • 15.4.5. 步骤5：转换部署
  • 15.5. 使用样例-resnet18
  • 15.6. QAT测试环境
    • 15.6.1. 添加cfg文件
    • 15.6.2. 修改并执行run_eval.py
  • 15.7. 使用样例-yolov5s
  • 15.8. 使用样例-bert
• 16. TpuLang接口
  • 16.1. 主要工作
  • 16.2. 工作流程
  • 16.3. 算子转换样例
  • 16.4. Tpulang接口使用方式
    • 16.4.1. 初始化
    • 16.4.2. 准备Tensor
    • 16.4.3. 构建graph
    • 16.4.4. compile
    • 16.4.5. deinit
    • 16.4.6. deploy
• 17. 用户自定义算子
  • 17.1. 概述
  • 17.2. 自定义算子添加流程
    • 17.2.1. TpuLang自定义算子添加
    • 17.2.2. Caffe自定义算子添加
  • 17.3. 自定义算子示例
    • 17.3.1. TpuLang示例
    • 17.3.2. Caffe示例
  • 17.4. 自定义AP（application processor）算子添加流程
    • 17.4.1. TpuLang自定义AP算子添加
  • 17.5. 自定义AP算子示例
    • 17.5.1. TpuLang示例
• 18. 附录01：从 NNTC 迁移至 TPU-MLIR
  • 18.1. ONNX模型导入
  • 18.2. 制作量化校准表
  • 18.3. 生成int8模型
• 19. 附录02：TpuLang的基本元素
  • 19.1. 张量(Tensor)
  • 19.2. 张量前处理(Tensor.preprocess)
  • 19.3. 标量(Scalar)
  • 19.4. Control Functions
    • 19.4.1. 初始化函数
    • 19.4.2. compile
    • 19.4.3. 反初始化
  • 19.5. Operator
    • 19.5.1. NN/Matrix Operator
    • 19.5.2. Base Element-wise Operator
    • 19.5.3. Element-wise Compare Operator
    • 19.5.4. Activation Operator
    • 19.5.5. Data Arrange Operator
    • 19.5.6. Sort Operator
    • 19.5.7. Shape About Operator
    • 19.5.8. Quant Operator
    • 19.5.9. Up/Down Scaling Operator
    • 19.5.10. Normalization Operator
    • 19.5.11. Vision Operator
    • 19.5.12. Select Operator