SOPHONSDKUserGuide
v23.09.01-lts
目录
1. 声明
2. 引言
3. SDK软件包
4. 快速入门
5. 网络模型迁移
5.1. MLIR-模型迁移流程
5.1.1. MLIR-迁移工具概述
5.1.2. FLOAT 模型生成(MLIR)
5.1.3. 使用 TPU-MLIR 进行模型量化
5.2. NNTC-模型迁移流程
5.2.1. NNTC-迁移工具概述
5.2.2. FP32 模型生成(NNTC)
5.2.3. TPU-NNTC INT8模型生成
6. 算法移植
7. 性能测试
8. 附录
SOPHONSDKUserGuide
»
5.
网络模型迁移
查看页面源码
5.
网络模型迁移
5.1.
MLIR-模型迁移流程
5.1.1. MLIR-迁移工具概述
5.1.2. FLOAT 模型生成(MLIR)
5.1.2.1. 加载tpu-mlir
5.1.2.2. 准备工作目录
5.1.2.3. ONNX转MLIR
5.1.3. 使用 TPU-MLIR 进行模型量化
5.1.3.1. 加载tpu-mlir
5.1.3.2. 准备工作目录
5.1.3.3. ONNX转MLIR
5.1.3.4. MLIR转F16模型
5.1.3.5. MLIR转INT8模型
5.1.3.5.1. 生成校准表
5.1.3.5.2. 编译为INT8对称量化模型
5.1.3.6. 效果对比
5.1.3.7. 模型性能测试
5.1.3.7.1. 安装
libsophon
环境
5.1.3.7.2. 检查
BModel
的性能
5.2.
NNTC-模型迁移流程
5.2.1. NNTC-迁移工具概述
5.2.2. FP32 模型生成(NNTC)
5.2.3. TPU-NNTC INT8模型生成
5.2.3.1. 准备lmdb数据集
5.2.3.2. 生成FP32 Umodel
5.2.3.3. 生成INT8 Umodel
5.2.3.3.1. 数据预处理
5.2.3.3.2. 量化网络
5.2.3.3.3. 优化网络
5.2.3.3.4. 级联网络量化
5.2.3.4. 精度测试
5.2.3.5. 生成INT8 Bmodel
5.2.3.6. auto_cali一键量化工具