SOPHONSDK 开发指南

目录

• 1. 声明
• 2. 引言
  • 2.1. 术语解释
  • 2.2. 对比说明
  • 2.3. 注意事项
  • 2.4. 授权
  • 2.5. 帮助与支持
• 3. SDK软件包
  • 3.1. SDK 简介
    • 3.1.1. SOPHONSDK 包括基础工具包与高阶工具包
      • 3.1.1.1. 基础工具包
      • 3.1.1.2. 高阶工具包
    • 3.1.2. SOPHONSDK文件夹目录
    • 3.1.3. SOPHONSDK解压后的文件目录
    • 3.1.4. SDK主要模块
  • 3.2. 资料简介
  • 3.3. 获取SDK
  • 3.4. 安装SDK
    • 3.4.1. 环境配置-Linux
      • 3.4.1.1. 解压SDK压缩包
      • 3.4.1.2. tpu-mlir 环境初始化
      • 3.4.1.3. tpu-nntc 环境初始化
      • 3.4.1.4. libsophon 环境搭建
      • 3.4.1.5. sophon-mw 环境搭建
      • 3.4.1.6. 交叉编译环境搭建
      • 3.4.1.7. 验证
    • 3.4.2. 环境配置-SoC
      • 3.4.2.1. 开发环境配置
      • 3.4.2.2. 运行环境配置
  • 3.5. 更新SDK
    • 3.5.1. PCIe模式下的更新
    • 3.5.2. SoC模式下的更新
  • 3.6. SDK更新记录
  • 3.7. 发行说明
  • 3.8. SDK已知问题
• 4. 快速入门
  • 4.1. 移植开发综述
    • 4.1.1. 算法移植流程
    • 4.1.2. 典型视频深度学习分析任务
  • 4.2. 重要概念
    • 4.2.1. 工作模式
    • 4.2.2. 硬件内存
    • 4.2.3. BModel
    • 4.2.4. bm_image
  • 4.3. 常用样例
• 5. 网络模型迁移
  • 5.1. MLIR-模型迁移流程
    • 5.1.1. MLIR-迁移工具概述
    • 5.1.2. FLOAT 模型生成(MLIR)
      • 5.1.2.1. 加载tpu-mlir
      • 5.1.2.2. 准备工作目录
      • 5.1.2.3. ONNX转MLIR
    • 5.1.3. 使用 TPU-MLIR 进行模型量化
      • 5.1.3.1. 加载tpu-mlir
      • 5.1.3.2. 准备工作目录
      • 5.1.3.3. ONNX转MLIR
      • 5.1.3.4. MLIR转F16模型
      • 5.1.3.5. MLIR转INT8模型
        • 5.1.3.5.1. 生成校准表
        • 5.1.3.5.2. 编译为INT8对称量化模型
      • 5.1.3.6. 效果对比
      • 5.1.3.7. 模型性能测试
        • 5.1.3.7.1. 安装 libsophon 环境
        • 5.1.3.7.2. 检查 BModel 的性能
  • 5.2. NNTC-模型迁移流程
    • 5.2.1. NNTC-迁移工具概述
    • 5.2.2. FP32 模型生成(NNTC)
    • 5.2.3. TPU-NNTC INT8模型生成
      • 5.2.3.1. 准备lmdb数据集
      • 5.2.3.2. 生成FP32 Umodel
      • 5.2.3.3. 生成INT8 Umodel
        • 5.2.3.3.1. 数据预处理
        • 5.2.3.3.2. 量化网络
        • 5.2.3.3.3. 优化网络
        • 5.2.3.3.4. 级联网络量化
      • 5.2.3.4. 精度测试
      • 5.2.3.5. 生成INT8 Bmodel
      • 5.2.3.6. auto_cali一键量化工具
• 6. 算法移植
  • 6.1. 算法移植概述
  • 6.2. C/C++编程详解
    • 6.2.1. 加载bmodel
    • 6.2.2. 预处理
      • 6.2.2.1. 预处理初始化
      • 6.2.2.2. 打开视频流
      • 6.2.2.3. 解码视频帧
      • 6.2.2.4. Mat 转换 bm_image
      • 6.2.2.5. 预处理
    • 6.2.3. 推理
    • 6.2.4. 后处理
    • 6.2.5. 算法开发注意事项汇总
  • 6.3. Python编程详解
    • 6.3.1. 加载模型
    • 6.3.2. 预处理
    • 6.3.3. 推理
  • 6.4. 解码模块
    • 6.4.1. OpenCV解码
    • 6.4.2. FFmpeg解码
  • 6.5. 图形运算加速模块
    • 6.5.1. C语言编程接口
    • 6.5.2. Python语言编程接口
  • 6.6. 模型推理
    • 6.6.1. BMLib模块C接口介绍
    • 6.6.2. BMRuntime模块C接口介绍
    • 6.6.3. Python接口
• 7. 性能测试
  • 7.1. 概述
  • 7.2. 视频编解码性能
    • 7.2.1. 视频解码性能测试
    • 7.2.2. 视频编码性能测试
    • 7.2.3. 视频转码性能测试
  • 7.3. 智能视觉深度学习处理器算力测试
    • 7.3.1. BM1684-SoC模式性能测试
    • 7.3.2. BM1684-PCIe模式性能测试
    • 7.3.3. BM1684X-SoC模式性能测试
    • 7.3.4. BM1684X-PCIe模式性能测试
• 8. 附录
  • 8.1. 微服务器定制化软件包
    • 8.1.1. 第一步：在微服务器[SE5/SE7]上执行系统打包脚本
    • 8.1.2. 第二步：在X86机器上制作定制的系统包
  • 8.2. SoC模式内存修改工具
    • 8.2.1. 工具1:在SoC上使用脚本进行修改
    • 8.2.2. 工具2:使用图像化程序远程修改
  • 8.3. SE6/8易用性工具说明
    • 8.3.1. 安装与更新
    • 8.3.2. 运行方式
    • 8.3.3. 主要功能列表
    • 8.3.4. 注意事项
  • 8.4. 批量部署工具
    • 8.4.1. 工具的获取
    • 8.4.2. 图形化模式使用指引
      • 8.4.2.1. 图形化模式启动方式
      • 8.4.2.2. 图形化模式操作指引
    • 8.4.3. 图形化模式使用指引
      • 8.4.3.1. 命令行模式启动方式
      • 8.4.3.2. 命令行模式操作指引
  • 8.5. 微服务器对外接口文档说明
    • 8.5.1. 介绍
      • 8.5.1.1. C语言demo，可以点击下载demo
      • 8.5.1.2. 协议介绍
      • 8.5.1.3. IN/OUT 引脚介绍
      • 8.5.1.4. 继电器介绍
    • 8.5.2. 微服务器设备端口说明
      • 8.5.2.1. 微服务器外观1
      • 8.5.2.2. 微服务器外观2
      • 8.5.2.3. 微服务器外观3
    • 8.5.3. 测试RS232使用说明
      • 8.5.3.1. 回环测试
      • 8.5.3.2. 两两对测
    • 8.5.4. 测试RS485使用说明
      • 8.5.4.1. 两两对测
    • 8.5.5. 测试IN使用说明
    • 8.5.6. 测试OUT使用说明
    • 8.5.7. 测试继电器使用说明
  • 8.6. 刷机包类型转换工具与tftp刷机方法
    • 8.6.1. 刷机包类型转换工具的获取
    • 8.6.2. 刷机包类型转换工具使用指引
    • 8.6.3. tftp刷机方法