TPU-MLIR快速入门手册

发布记录

版本	发布日期	说明
v0.3.0	2022.08.24	支持TFlite，增加章节介绍转TFLite模型。
v0.2.0	2022.08.02	增加了运行SDK中的测试样例章节。
v0.1.0	2022.07.29	初版发布，支持 resnet/mobilenet/vgg/ssd/yolov5s ，并用yolov5s作为用例。

目录

• 1. TPU-MLIR简介
• 2. 开发环境配置
• 3. 编译ONNX模型
  • 3.1. 加载tpu-mlir
  • 3.2. 准备工作目录
  • 3.3. ONNX转MLIR
  • 3.4. MLIR转F32模型
  • 3.5. MLIR转INT8模型
    • 3.5.1. 生成量化表
    • 3.5.2. 编译为INT8对称量化模型
    • 3.5.3. 编译为INT8非对称量化模型
  • 3.6. 效果对比
  • 3.7. 模型性能测试
    • 3.7.1. 安装 libsophon 环境
    • 3.7.2. 检查 BModel 的性能
• 4. 编译TFLite模型
  • 4.1. 加载tpu-mlir
  • 4.2. 准备工作目录
  • 4.3. TFLite转MLIR
  • 4.4. MLIR转模型
• 5. 编译Caffe模型
  • 5.1. 加载tpu-mlir
  • 5.2. 准备工作目录
  • 5.3. Caffe转MLIR
  • 5.4. MLIR转F32模型
  • 5.5. MLIR转INT8模型
    • 5.5.1. 生成量化表
    • 5.5.2. 编译为INT8对称量化模型
    • 5.5.3. 编译为INT8非对称量化模型
• 6. 使用TPU-PERF测试SDK发布包
  • 6.1. 配置系统环境
  • 6.2. 获取 model-zoo 模型
  • 6.3. 获取 tpu-perf 工具
  • 6.4. 测试流程
    • 6.4.1. 解压SDK并创建Docker容器
    • 6.4.2. 设置环境变量并安装 tpu-perf
    • 6.4.3. 运行测试
    • 6.4.4. 配置SOC设备
    • 6.4.5. 运行测试