Quantization-Tools User Guide

发布记录

版本	发布日期	说明
V2.0.0	2019.11.11	第一次发布。
V2.4.0	2021.07.15	V2.4.0版本发布。
V2.5.0	2021.07.30	V2.5.0版本发布。
V2.6.0	2021.10.18	V2.6.0版本发布。
V2.7.0	2022.03.16	V2.7.0版本发布。
V3.0.0	2022.06.16	V3.0.0版本发布。

目录

• 1. 声明
• 2. 引言
  • 2.1. 术语解释
  • 2.2. 授权
  • 2.3. 版本信息
  • 2.4. 版本特性
  • 2.5. 帮助与支持
• 3. Quantization-Tools简介
  • 3.1. 简介
  • 3.2. 量化步骤
• 4. 安装与配置
  • 4.1. 安装需求
  • 4.2. 安装过程
  • 4.3. 目录结构
  • 4.4. 示例程序
• 5. auto-cali量化
  • 5.1. 量化数据集准备
    • 5.1.1. 准备lmdb数据集
    • 5.1.2. 准备图片数据集
  • 5.2. 一键量化参数说明
  • 5.3. auto_cali一键量化结果
• 6. 分步量化
  • 6.1. 准备lmdb数据集
  • 6.2. 生成fp32umodel
    • 6.2.1. Caffe框架下的网络模型生成fp32umodel
    • 6.2.2. Tensorflow框架下的网络模型生成fp32umodel
    • 6.2.3. Pytorch框架下的网络模型生成fp32umodel
    • 6.2.4. Mxnet框架下的网络模型生成fp32umodel
    • 6.2.5. Darknet框架下的网络模型生成fp32umodel
    • 6.2.6. ONNX网络模型生成fp32umodel
    • 6.2.7. PaddlePaddle网络模型生成fp32umodel
  • 6.3. 量化，生成int8umodel
    • 6.3.1. 使用lmdb数据集
    • 6.3.2. 修改data_param指向生成的lmdb数据集
    • 6.3.3. 数据预处理
    • 6.3.4. TransformOp定义
    • 6.3.5. 量化网络
    • 6.3.6. 优化网络
    • 6.3.7. 级联网络量化
  • 6.4. 精度测试（optional）
    • 6.4.1. 分类网络的精度测试
    • 6.4.2. 检测网络的精度测试
    • 6.4.3. 量化误差定性分析
  • 6.5. 部署
• 7. 示例——YOLOv5s量化
  • 7.1. 使用auto-cali一键量化工具量化
    • 7.1.1. 准备量化数据集
    • 7.1.2. 使用auto-cali编译模型并进行调优
  • 7.2. 分步量化YOLOv5s
    • 7.2.1. 准备量化数据集
    • 7.2.2. pt文件转fp32umodel
    • 7.2.3. 修改prototxt
    • 7.2.4. 量化生成int8umodel
    • 7.2.5. 生成int8bmodel
    • 7.2.6. 精度测试
• 8. 量化技巧
  • 8.1. 阈值计算
    • 8.1.1. 分布统计
    • 8.1.2. 阈值调整
  • 8.2. 混合执行
    • 8.2.1. 复杂网络的前处理/ 后处理
    • 8.2.2. 对量化损失敏感的层
  • 8.3. 精度优化参数
  • 8.4. auto_cali量化优化策略
    • 8.4.1. pytorch框架下的yolov5s自动搜索量化策略
    • 8.4.2. Caffe框架下的MobileNet SSD手工配置量化策略
• 9. 常见异常
  • 9.1. 没有正确设置lmdb数据集的路径
  • 9.2. 有不支持的层
  • 9.3. 整个网络输入为0
• 10. 附录 1
  • 10.1. 支持的layer
  • 10.2. U-FrameWork python接口
• 11. 附录 2
  • 11.1. 示例1：classify_demo
  • 11.2. 示例2：create_lmdb_demo
  • 11.3. 示例3：face_demo
  • 11.4. 示例4：object_detection_python_demo
  • 11.5. 示例5：caffemodel_to_fp32umodel_demo
  • 11.6. 示例6：tf_to_fp32umodel_demo
  • 11.7. 示例7：pt_to_fp32umodel_demo
  • 11.8. 示例8：mx_to_fp32umodel_demo
  • 11.9. 示例9：dn_to_fp32umodel_demo
  • 11.10. 示例10：on_to_fp32umodel_demo
  • 11.11. 示例11：pp_to_fp32umodel_demo
  • 11.12. 示例11：auto_cali_demo
  • 11.13. 示例12：yolov5s_demo
  • 11.14. 示例13：view_demo