3.2. 资料简介
目录
SophonSDK 是一个一站式SDK,其中包含了模型转换、模型量化、算法移植等相关模块,我们提供了包括文档、视频、论坛、开源仓库等一系列资料帮助用户进行算法移植和开发工作。
请先阅读开发指南,熟悉环境配置及SDK使用。 当您在某个环节遇到问题时,可以根据下面的表格指引,阅读相应的模块文档了解更加详细的信息。SDK相关的开发参考资料如下:
开发指南:其中包括:基本概念及SDK简介;资料简介、文档说明;SDK的获取、安装、配置及更新;快速入门例子、模型转换及模型量化、示例代码的讲解等内容。
网络和算子支持情况: 关于网络和算子的支持情况,请查看《 TPU-NNTC开发参考手册 》中的附录 算子支持情况 。也可以通过工具链中的转换命令查看。
多媒体客户常见问题手册 :https://doc.sophgo.com/sdk-docs/v23.05.01/docs_latest_release/docs/sophon-mw/faq/html/index.html, 其中包含了多媒体方面的常见问题及解答。
官网视频教程 :https://developer.sophgo.com/site/index/course/all/all.html, 其中包括:智算卡、智算盒子、智算服务器等产品介绍视频;快速跑通PCIE模式的例程、快速跑通SoC模式的例程、SDK算法移植介绍、BMCV编程示例、编解码编程示例、BMLang编程示例、TPUKernel编程示例。
官网资料中心 : https://developer.sophgo.com/site/index/material/28/all.html,开发和使用手册主要包括关于多媒体(视频及图片编解码)、LIBSOPHON(硬件驱动及运行时库)、TPU-NNTC(模型转换与量化)、BMLib(硬件基础接口:设备Handle的管理,内存管理、数据搬运、API的发送和同步、A53使能等)、BMCV(图像运算处理库)、BMRuntime(推理时库)、TPUMLIR(编译器工具链)、TPUKernel(基于Sophon芯片底层原子操作接口的底层编程接口,可开发并行计算加速程序)等模块。
官网下载中心 :其中有:SDK、 K8S Device Plugin & Prometheus Exporter相关(https://developer.sophon.ai/site/index/material/11/74.html、https://developer.sophgo.com/site/index/material/11/75.html)等文件的下载链接。
官网论坛 :https://developer.sophgo.com/forum/view/43.html(欢迎在官网论坛向我们发起技术支持提问帖)
云开发平台 (SOPHGO TEAM):https://cloud.sophgo.com/developer/platform/index(提供在线的TPU开发软硬件环境)
开源仓库:
针对单模型或场景的综合示例 sophon-demo: https://github.com/sophgo/sophon-demo。
基于pipeline的高性能推理框架 sophon-pipeline:https://github.com/sophgo/sophon-pipeline。
对底层接口进行C++/Python封装的高级接口库 sophon-sail:位于官网SDK解压后的文件夹内。
SE5盒子通过QT使用HDMI接口显示图像:https://github.com/sophon-ai-algo/sophon-qt
BSP:https://gitee.com/sophon-ai/bsp-sdk
BM-FFmpeg:https://github.com/sophgo/sophon_ffmpeg
同时,也欢迎各位通过github issues向我们反馈您在使用过程中遇到的问题,并向我们提交PR共同参与开源仓库的建设。
资料中心 |
说明 |
LIBSOPHON包含BMCV、BMRuntime、BMLib等库,用来驱动VPP、TPU等硬件,完成图像处理、张量运算、模型推理等操作。 |
|
BMCV 提供了一套基于Sophon AI芯片优化的机器视觉库,可对图像处理和张量运算加速,通过利用芯片TPU、VPP、JPU等模块,完成色彩空间转换、尺度变换、仿射变换、透射变换、线性变换、画框、JPEG 编解码、BASE64 编解码、NMS、 排序、特征匹配等操作。 |
|
BMLIB 是在内核驱动之上封装的一层底层软件库,负责设备Handle的管理、内存管理、数据搬运、API的发送和同步、A53使能、设置TPU工作频率等 |
|
BMRuntime 提供了丰富的接口,驱动BMODEL在 SOPHON TPU芯片中执行 |
|
驱动VPU进行RTSP流、GB28181流的解析以及视频编解码等多媒体相关 |
|
多媒体方面的常见问题及解答 |
|
多媒体工具用户手册 |
|
包含模型的编译与量化工具套件 |
|
模型转换工具套件用户手册 |
|
基于Sophon芯片底层原子操作接口的底层编程接口 |
|
TPUKernel的开发流程和步骤 |
|
芯片的TPU编译器工程 |
|
TPUMLIR的样例程序 |
|
BM1684X系列AI计算模组(含开发板)的详细手册 |