Sophon Inference 用户手册

发布记录

版本	发布时间	说明
V2.0.1	2019/11/15	第一次发布
V2.0.3	2020/01/01	增加示例程序
V2.6.0	2021/11/17	修复文档错误
V2.6.0	2021/12/28	修复文档错误

目录

• 1. 声明
• 2. 快速入门
  • 2.1. 算丰硬件产品概览
    • 2.1.1. 算丰加速卡(SC)系列
    • 2.1.2. 算丰边缘端小盒子(SE)系列
    • 2.1.3. 算丰服务器(SA)系列
    • 2.1.4. 算丰模组(SM)系列
  • 2.2. 算丰软件产品概览
    • 2.2.1. 模型部署
    • 2.2.2. BMNNSDK
    • 2.2.3. Sophon Inference
    • 2.2.4. 软件安装指南
      • 2.2.4.1. 获取软件包并安装链接库
      • 2.2.4.2. 离线模型编译工具安装
      • 2.2.4.3. 运行时工具安装
  • 2.3. 小试牛刀：模型部署
    • 2.3.1. 依赖软件安装
    • 2.3.2. 使用 bmnett 将 mobilenet 编译为 bmodel
    • 2.3.3. 使用SAIL驱动TPU加载bmodel并进行推理
• 3. 示例程序
  • 3.1. 前言
    • 3.1.1. Demo 摘要
    • 3.1.2. 返回值
    • 3.1.3. 测试验证
  • 3.2. 使用 Resnet-50 进行图像分类
    • 3.2.1. 运行demo
      • 3.2.1.1. 获取bmodel和图片
      • 3.2.1.2. 运行C++程序
      • 3.2.1.3. 运行python程序
    • 3.2.2. C++ 代码解析
      • 3.2.2.1. Case 0: 基础示例程序
      • 3.2.2.2. Case 1: 单模型多线程
      • 3.2.2.3. Case 2: 多线程多模型
      • 3.2.2.4. Case 3: 多线程多 TPU 模式
    • 3.2.3. Python 代码解析
      • 3.2.3.1. Case 0: 基础示例程序
      • 3.2.3.2. Case 1: 单模型多线程
      • 3.2.3.3. Case 2: 多线程多模型
      • 3.2.3.4. Case 3: 多线程多 TPU 模式
  • 3.3. 使用 SSD 进行目标检测
    • 3.3.1. 运行demo
      • 3.3.1.1. 获取bmodel、图像、视频
      • 3.3.1.2. 运行C++程序
      • 3.3.1.3. 运行python程序
    • 3.3.2. C++代码解析
      • 3.3.2.1. Case 0: 使用 opencv 解码和数据预处理
      • 3.3.2.2. Case 1: 使用 bm-ffmpeg 解码、使用 bmcv 做预处理
      • 3.3.2.3. Case 2: case 1 的 4N 模式
      • 3.3.2.4. Case 3: 使用 bm-opencv 进行解码和预处理
      • 3.3.2.5. Case 4: 使用 bm-opencv 解码、使用 bmcv 做预处理
    • 3.3.3. Python代码解析
      • 3.3.3.1. Case 0: 使用 opencv 解码和数据预处理
      • 3.3.3.2. Case 1: 使用 bm-ffmpeg 解码、使用 bmcv 做预处理
      • 3.3.3.3. Case 2: case 1 的 4N 模式
  • 3.4. 使用Yolov3对多路视频做目标检测
    • 3.4.1. 运行demo
      • 3.4.1.1. 获取bmodel和视频
      • 3.4.1.2. 运行C++程序
      • 3.4.1.3. 运行python程序
    • 3.4.2. C++代码解析
      • 3.4.2.1. Case 0: 使用 opencv 做解码和数据预处理
      • 3.4.2.2. Case 1: 使用 bm-ffmpeg 解码，使用 bmcv 做预处理
    • 3.4.3. Python代码解析
      • 3.4.3.1. Case 0: 使用 opencv 做解码和数据预处理
  • 3.5. 使用MTCNN进行人脸检测
    • 3.5.1. 运行demo
      • 3.5.1.1. 获取bmodel和图片
      • 3.5.1.2. 运行C++程序
      • 3.5.1.3. 运行python程序
    • 3.5.2. C++代码解析
      • 3.5.2.1. Case 0
    • 3.5.3. Python代码解析
      • 3.5.3.1. Case 0
• 4. API 参考
  • 4.1. SAIL
  • 4.2. SAIL C++ API
    • 4.2.1. Basic function
    • 4.2.2. Data type
    • 4.2.3. PaddingAtrr
    • 4.2.4. Handle
    • 4.2.5. Tensor
    • 4.2.6. IOMode
    • 4.2.7. Engine
    • 4.2.8. BMImage
    • 4.2.9. Decoder
    • 4.2.10. Bmcv
  • 4.3. SAIL Python API
    • 4.3.1. Basic function
    • 4.3.2. Data type
    • 4.3.3. PaddingAtrr
    • 4.3.4. sail.Handle
    • 4.3.5. sail.IOMode
    • 4.3.6. sail.Tensor
    • 4.3.7. sail.Engine
    • 4.3.8. sail.bm_image
    • 4.3.9. sail.BMImage
    • 4.3.10. sail.BMImageArray
    • 4.3.11. sail.Decoder
    • 4.3.12. sail.Bmcv