Quantization-Tools User Guide

发布记录

版本	发布日期	说明
V2.0.0	2019.11.11	第一次发布。
V2.4.0	2021.07.15	V2.4.0版本发布。
V2.5.0	2021.07.30	V2.5.0版本发布。
V2.6.0	2021.10.18	V2.6.0版本发布。

目录

• 1. 声明
• 2. 引言
  • 2.1. 术语解释
  • 2.2. 授权
  • 2.3. 版本信息
  • 2.4. 版本特性
  • 2.5. 帮助与支持
• 3. Quantization-Tools简介
  • 3.1. 简介
  • 3.2. 量化步骤
• 4. 安装与配置
  • 4.1. 安装
    • 4.1.1. 安装需求
    • 4.1.2. 安装过程
    • 4.1.3. 目录结构
    • 4.1.4. 示例程序
• 5. 量化步骤
  • 5.1. auto_cali一键量化工具
    • 5.1.1. 量化用数据集类型可二选一：
    • 5.1.2. Caffe框架下的MobileNet SSD一键量化
    • 5.1.3. auto_cali一键量化结果：
  • 5.2. 准备lmdb数据集
  • 5.3. 生成fp32umodel
    • 5.3.1. Caffe框架下的网络模型生成fp32umodel
    • 5.3.2. Tensorflow框架下的网络模型生成fp32umodel
    • 5.3.3. Pytorch框架下的网络模型生成fp32umodel
    • 5.3.4. Mxnet框架下的网络模型生成fp32umodel
    • 5.3.5. Darknet框架下的网络模型生成fp32umodel
    • 5.3.6. ONNX网络模型生成fp32umodel
    • 5.3.7. PaddlePaddle网络模型生成fp32umodel
  • 5.4. 量化，生成int8umodel
    • 5.4.1. 使用lmdb数据集
    • 5.4.2. 修改data_param指向生成的lmdb数据集
    • 5.4.3. 数据预处理
    • 5.4.4. TransformOp定义
    • 5.4.5. 量化网络
    • 5.4.6. 优化网络
    • 5.4.7. 级联网络量化
  • 5.5. 精度测试（optional）
    • 5.5.1. 分类网络的精度测试
    • 5.5.2. 检测网络的精度测试
    • 5.5.3. 量化误差定性分析
  • 5.6. 部署
• 6. 量化技巧
  • 6.1. 阈值计算
    • 6.1.1. 分布统计
    • 6.1.2. 阈值调整
  • 6.2. 混合执行
    • 6.2.1. 复杂网络的前处理/ 后处理
    • 6.2.2. 对量化损失敏感的层
  • 6.3. 精度优化参数
  • 6.4. auto_cali量化优化策略
    • 6.4.1. Caffe框架下的MobileNet SSD自动搜索量化策略
    • 6.4.2. Caffe框架下的MobileNet SSD手工配置量化策略
• 7. 常见异常
  • 7.1. 没有正确设置lmdb数据集的路径
  • 7.2. 有不支持的层
  • 7.3. 整个网络输入为0
• 8. 附录 1
  • 8.1. 支持的layer
  • 8.2. U-FrameWork python接口
• 9. 附录 2
  • 9.1. 示例1：classify_demo
  • 9.2. 示例2：create_lmdb_demo
  • 9.3. 示例3：face_demo
  • 9.4. 示例4：object_detection_python_demo
  • 9.5. 示例5：caffemodel_to_fp32umodel_demo
  • 9.6. 示例6：tf_to_fp32umodel_demo
  • 9.7. 示例7：pt_to_fp32umodel_demo
  • 9.8. 示例8：mx_to_fp32umodel_demo
  • 9.9. 示例9：dn_to_fp32umodel_demo
  • 9.10. 示例10：on_to_fp32umodel_demo
  • 9.11. 示例11：pp_to_fp32umodel_demo
  • 9.12. 示例11：mtcnn_demo
  • 9.13. 示例12：auto_cali