SOPHONSDK 开发指南

目录

• 1. 声明
• 2. 重要概念
  • 2.1. 名词解释
  • 2.2. 工作模式
  • 2.3. 开发环境与运行环境
  • 2.4. 硬件内存
  • 2.5. BModel
  • 2.6. bm_image
• 3. SDK移植开发综述与软件包
  • 3.1. SDK移植开发综述
    • 3.1.1. SDK学习路线
    • 3.1.2. 算法移植流程
    • 3.1.3. 典型视频深度学习分析任务
    • 3.1.4. 常用样例
  • 3.2. SDK软件包内容简介
    • 3.2.1. 获取SDK
    • 3.2.2. SDK主要模块
    • 3.2.3. SDK文件目录
    • 3.2.4. SDK在线资料链接
• 4. 快速入门
  • 4.1. 快速跑通SoC模式
    • 4.1.1. 开发环境
      • 4.1.1.1. tpu-mlir 环境搭建
    • 4.1.2. 运行环境
    • 4.1.3. SoC模式跑通Yolov5
  • 4.2. 快速跑通PCIe模式
    • 4.2.1. 开发环境
      • 4.2.1.1. tpu-mlir 环境搭建
      • 4.2.1.2. libsophon环境搭建
      • 4.2.1.3. sophon-mw 环境搭建
      • 4.2.1.4. sophon-sail 环境搭建
    • 4.2.2. 运行环境
    • 4.2.3. PCIe模式跑通Yolov5
• 5. MLIR-模型迁移流程
  • 5.1. MLIR-迁移工具概述
  • 5.2. 使用 TPU-MLIR 生成FLOAT BModel
    • 5.2.1. 加载tpu-mlir
    • 5.2.2. 准备工作目录
    • 5.2.3. ONNX转MLIR
  • 5.3. 使用 TPU-MLIR 进行模型量化
    • 5.3.1. 加载tpu-mlir
    • 5.3.2. 准备工作目录
    • 5.3.3. ONNX转MLIR
    • 5.3.4. MLIR转F16模型
    • 5.3.5. MLIR转INT8模型
      • 5.3.5.1. 生成校准表
      • 5.3.5.2. 编译为INT8对称量化模型
    • 5.3.6. 效果对比
    • 5.3.7. 模型性能测试
      • 5.3.7.1. 安装 libsophon 环境
      • 5.3.7.2. 检查 BModel 的性能
• 6. 算法移植
  • 6.1. 算法移植概述
    • 6.1.1. 硬件加速支持情况
    • 6.1.2. C/C++/Python三种编程接口
  • 6.2. C/C++编程详解
    • 6.2.1. 加载bmodel
    • 6.2.2. 预处理
      • 6.2.2.1. 预处理初始化
      • 6.2.2.2. 打开视频流
      • 6.2.2.3. 解码视频帧
      • 6.2.2.4. Mat 转换 bm_image
      • 6.2.2.5. 预处理
    • 6.2.3. 推理
    • 6.2.4. 后处理
    • 6.2.5. 算法开发注意事项汇总
  • 6.3. Python编程详解
    • 6.3.1. 加载模型
    • 6.3.2. 预处理
    • 6.3.3. 推理
  • 6.4. 解码模块
    • 6.4.1. OpenCV解码
    • 6.4.2. FFmpeg解码
  • 6.5. 图形运算加速模块
    • 6.5.1. C语言编程接口
    • 6.5.2. Python语言编程接口
  • 6.6. 模型推理
    • 6.6.1. BMLib模块C接口介绍
    • 6.6.2. BMRuntime模块C接口介绍
    • 6.6.3. Python接口
• 7. 附录
  • 7.1. 微服务器定制化软件包
    • 7.1.1. 功能一：打包做包功能
    • 7.1.2. 功能二：只打包功能
      • 7.1.2.1. BM1688 & CV186AH
      • 7.1.2.2. BM1684 & BM1684X
  • 7.2. SoC模式内存修改工具
    • 7.2.1. 工具1:在SoC上使用脚本进行修改
      • 7.2.1.1. SE9：
      • 7.2.1.2. SE5、SE7、SE6算力板：
    • 7.2.2. 工具2:使用图像化程序远程修改
      • 7.2.2.1. SE9:
      • 7.2.2.2. SE5、SE7、SE6算力板：
  • 7.3. SE6/8易用性工具说明
    • 7.3.1. 安装与更新
    • 7.3.2. 运行方式
    • 7.3.3. 主要功能列表
    • 7.3.4. 注意事项
  • 7.4. 批量部署工具
    • 7.4.1. 工具的获取
    • 7.4.2. 图形化模式使用指引
      • 7.4.2.1. 图形化模式启动方式
      • 7.4.2.2. 图形化模式操作指引
    • 7.4.3. 命令行模式使用指引
      • 7.4.3.1. 命令行模式启动方式
      • 7.4.3.2. 命令行模式操作指引
  • 7.5. 微服务器对外接口文档说明
    • 7.5.1. 介绍
      • 7.5.1.1. C语言demo，可以点击下载demo
      • 7.5.1.2. 协议介绍
      • 7.5.1.3. IN/OUT 引脚介绍
      • 7.5.1.4. 继电器介绍
    • 7.5.2. 微服务器设备端口说明
      • 7.5.2.1. 微服务器外观1
      • 7.5.2.2. 微服务器外观2
      • 7.5.2.3. 微服务器外观3
    • 7.5.3. 测试RS232使用说明
      • 7.5.3.1. 回环测试
      • 7.5.3.2. 两两对测
    • 7.5.4. 测试RS485使用说明
      • 7.5.4.1. 两两对测
    • 7.5.5. 测试IN使用说明
    • 7.5.6. 测试OUT使用说明
    • 7.5.7. 测试继电器使用说明
  • 7.6. 刷机包类型转换工具与tftp刷机方法
    • 7.6.1. 刷机包类型转换工具的获取
    • 7.6.2. 刷机包类型转换工具使用指引
    • 7.6.3. tftp刷机方法
  • 7.7. BM1688/CV186AH SDK源码下载以及编译方法
  • 7.8. BM1684(X)_to_BM1688(CV186AH)兼容性文档
    • 7.8.1. 获取BM1688/CV186AH SOPHONSDK
    • 7.8.2. 准备BM1688/CV186AH的bmodel
    • 7.8.3. 准备编译依赖的SDK
    • 7.8.4. SDK版本≥1.7 兼容性适配
      • 7.8.4.1. 头文件改动
      • 7.8.4.2. bmcv改动
      • 7.8.4.3. ffmpeg改动
      • 7.8.4.4. bmlib改动
      • 7.8.4.5. bmrt改动
    • 7.8.5. 准备BM1688/CV186AH运行环境
    • 7.8.6. 其他注意事项