Sophon设备和SDK使用常见问题及解答

发布记录

版本	发布日期	说明
V0.1.0	2022.05.12	第一次发布。

目录

• 1. 声明
• 2. 基础概念常见问题
  • 2.1. 算丰系列产品有哪些硬件形态？
  • 2.2. BM1684中的设备内存？
    • 2.2.1. SoC内存映射分区表
    • 2.2.2. 各个内存间数据搬运速度说明
  • 2.3. BM1684的基本架构？
    • 2.3.1. BM1684 TPU的基本架构？
    • 2.3.2. 什么是DTCM？
    • 2.3.3. TPU的峰值算力是多少？
  • 2.4. 名词解释
• 3. 环境配置常见问题
  • 3.1. 开发环境配置常见问题
    • 3.1.1. 如何安装和使用SDK？
    • 3.1.2. 如何在docker容器内使用宿主机上的显示设备显示图像？
    • 3.1.3. 关于ABI0和ABI1版本的问题？
    • 3.1.4. 关于CentOS与程序ABI版本的问题？
      • 3.1.4.1. 在CentOS7.6上使用gcc 6.5编译程序链接BM-OpenCV库时报找不到符号链接的错误
      • 3.1.4.2. BM-OpenCV的abi和客户的其他库的abi不一样，是否可以提供各种abi版本的BM-OpenCV, 或者BM-OpenCV的源码，自行进行编译？
    • 3.1.5. 在ARM主机上编译SDK/examples/SSD_object中的示例，程序编译最后阶段输出local symbol的信息，是否是编译成功?
    • 3.1.6. 如何在开发环境中的Python环境下使用我们提供的BM-OpenCV?
    • 3.1.7. CentOS宿主机上在官方ubuntu开发docker中使用sail模块报找不到符号错误？
  • 3.2. 常用工具有哪些？
    • 3.2.1. bm-smi等设备管理工具
    • 3.2.2. bm_model.bin
    • 3.2.3. bmrt_test
    • 3.2.4. view_demo
    • 3.2.5. BMProfile
  • 3.3. 如何查看版本信息？
  • 3.4. 使用bm-smi查看信息时发现，没有程序运行，但是设备内存被占用？
• 4. 设备使用常见问题
  • 4.1. 通用问题
    • 4.1.1. 如果遇到bm send api failed，TPU 无法正常工作怎么办？
  • 4.2. 智算卡常见问题
    • 4.2.1. SC5+在主机运行过热的情况
    • 4.2.2. SC5安装
      • 4.2.2.1. SC5快速安装指南
      • 4.2.2.2. PCIe模式驱动安装的步骤与注意事项？
      • 4.2.2.3. 内核更新与驱动重装
      • 4.2.2.4. 编译驱动过程报gcc/make/linux header找不到的错误？
      • 4.2.2.5. 驱动安装的其他注意事项？
    • 4.2.3. SC5+三芯卡无法被识别？
      • 4.2.3.1. 在X86服务器主机上安装卸载驱动的方法:
      • 4.2.3.2. 在ARM64(飞腾/鲲鹏)服务器主机上安装卸载驱动的方法:
      • 4.2.3.3. 在MIPS3000/4000服务器主机上安装卸载驱动的方法:
    • 4.2.4. PCIe模式如何查看VPU内存分配情况？
    • 4.2.5. 如何判断机器上是否有sophon设备
  • 4.3. 智算盒子（模组）常见问题
    • 4.3.1. 刷机问题
      • 4.3.1.1. 手动升级SM5/SE5固件的方式
      • 4.3.1.2. SE5如何刷新固件
      • 4.3.1.3. SM5刷机方案
        • 4.3.1.3.1. 本地刷机方案
        • 4.3.1.3.2. 网络刷机方案
    • 4.3.2. SE5使用问题
      • 4.3.2.1. SE5支持的外围设备有哪些？
      • 4.3.2.2. SE5维护窗里的Micro-USB如何使用
      • 4.3.2.3. 若系统故障，无法进入SE5/SM5的操作系统，该如何升级或恢复固件？
      • 4.3.2.4. SE5如何在Python中使用SAIL？
      • 4.3.2.5. SE5安装openVPN？
      • 4.3.2.6. 如何通过串口查询SE5的IP地址
      • 4.3.2.7. SE5经常自动重启，大约十几分钟到二十分钟左右重启一次？
      • 4.3.2.8. SE5是否可以刷Ubuntu系统？有没有版本要求？
      • 4.3.2.9. 使用卡刷方式升级为2.6.0版本，刷完后原来的web页面不能登录？
      • 4.3.2.10. SE5盒子磁盘仍然有空间，但使用apt安装软件时或进行其他操作时，都会提示系统磁盘空间不足？
      • 4.3.2.11. SE5盒子如何修改IP？执行bm_set_ip提示没有该命令？
      • 4.3.2.12. SE5盒子如何扩展存储空间？
      • 4.3.2.13. 如何实现扩展硬盘的开机自动挂载？
      • 4.3.2.14. 关于内核版本以及增加内核模块？
      • 4.3.2.15. SE5盒子中使用卡刷后，使用lsmod查看内核模块，比之前多了br_netfilter，它的作用是什么？和之前没有的盒子有什么区别？
      • 4.3.2.16. k8s plugin 在哪里下载？
      • 4.3.2.17. SoC中如何使用OpenCV？导入cv2，程序提示找不到numpy或numpy导入失败？
      • 4.3.2.18. 使用ffmpeg命令时报错，找不到vpu驱动怎么办？
      • 4.3.2.19. 使用hdmi连接显示器，过一会儿不显示黑屏的问题
      • 4.3.2.20. SoC查看内存使用情况？
    • 4.3.3. BSP问题
      • 4.3.3.1. BSP SDK
      • 4.3.3.2. SM5使用时过热的情况
        • 4.3.3.2.1. SM5MW（SM5）散热设计说明
        • 4.3.3.2.2. SM5W（SM5）散热设计说明
        • 4.3.3.2.3. SM5模块散热参考设计
      • 4.3.3.3. BSP常见问题
        • 4.3.3.3.1. 日志文件太大怎么办
        • 4.3.3.3.2. 如何控制看门狗
        • 4.3.3.3.3. windows操作SD卡分区导致SD卡无法升级问题
        • 4.3.3.3.4. 不同规格的BM1684 Soc mode产品区别
        • 4.3.3.3.5. ion_allocate_buffer failed错误如何处理
        • 4.3.3.3.6. 如何修改IP地址
        • 4.3.3.3.7. 使用K3S遇到问题
        • 4.3.3.3.8. SE5上使用QT输出图形界面
        • 4.3.3.3.9. apt update时出现public key无效提示
      • 4.3.3.4. SM5参考方案
        • 4.3.3.4.1. 图形界面
        • 4.3.3.4.2. 用Perfetto工具分析性能
        • 4.3.3.4.3. 提高业务程序的实时性
        • 4.3.3.4.4. 4G模块方案
        • 4.3.3.4.5. 如何增加板类型
        • 4.3.3.4.6. 定制化rootfs
        • 4.3.3.4.7. 使用eFuse和SPACC进行加解密
  • 4.4. 智算服务器常见问题
    • 4.4.1. SG6服务器常见问题
      • 4.4.1.1. SG6服务器有两个网卡，但是有一个电口和两个光口，具体应该怎么连接？
      • 4.4.1.2. SG6-10的BMC密码忘记了，如何重置？
      • 4.4.1.3. SG6-10的风扇噪音太高，怎样能把噪音降低？
      • 4.4.1.4. SG6-10在配置10张加速卡时，位于CPU后方两个半高PCIE槽位的加速卡温度偏高，如何能调高服务器CPU前部的两个风扇转速？
• 5. 模型转换及量化常见问题
  • 5.1. 基本使用
    • 5.1.1. pytorch模型转换需要注意的事项？
    • 5.1.2. 模型转换失败怎么办？
    • 5.1.3. 如何使用BMLang开发自定义的算子？
    • 5.1.4. 是否支持模型的在线编译？
  • 5.2. fp32模型转换
    • 5.2.1. fp32模型的输出和原始模型输出差异比较大怎么办？
    • 5.2.2. 使用bmpaddle转换模型时应该如何填写参数？descs 参数是选填还是必填？
  • 5.3. int8模型量化
    • 5.3.1. int8的输出和fp32模型输出差异比较大怎么办？
    • 5.3.2. 关于模型量化工具 calibration_use_pb 指定校准参数的问题？
    • 5.3.3. 如何提高模型的量化效率和精度？
    • 5.3.4. 关于量化方法的问题？
    • 5.3.5. 可以使用已有的量化表（比如 TensorRT 量化后得到的量化表）作为输入 来完成BModel模型的量化吗？
    • 5.3.6. YOLOv3的darknet模型先转为caffe模型后再转为fp32bmodel，模型输出和原始模型输出存在偏差？
    • 5.3.7. 使用bmnetd编译Darknet出现段错误Unknown error 27620053？
    • 5.3.8. 使用BMNNSDK2.7.0_20220316 auto_calib工具时报错base_conv_layer.cpp43] Check failed: num_spatial_axes_ == 2 (3 vs. 2) kernel_h & kernel_w can only be used for 2D convolution
    • 5.3.9. 一键量化会不会遍历KL、MAX这些量化策略，策略的细节有哪些？
    • 5.3.10. 量化策略里的MAX方法是指min-max吗？
• 6. 多媒体用户常见问题
  • 6.1. 4K图片的问题
  • 6.2. Opencv读取图片后，cvMat转为bmimage, 之后，调用bmcv_image_vpp_convert做缩放或者颜色空间转换，得到的图片不一致
  • 6.3. Opencv imread读取图片性能问题。
  • 6.4. VideoWriter.write性能问题，有些客户反应，存文件慢。
  • 6.5. Ffmpeg的阻塞问题
  • 6.6. 关于什么时候调用uploadMat/downloadMat接口的问题。
  • 6.7. opencv下如何获取视频帧的timestamp？
  • 6.8. SA3 opencv下videocapture经常5分钟左右断网的解决方案
  • 6.9. 如何获取rtsp中原来的timestamp
  • 6.10. 如何判断视频花屏的原因
  • 6.11. 无法连接rtsp？
  • 6.12. 确认解码器是否能正常工作：（url为文件名或者rtsp连接地址）
  • 6.13. 确认解码器和vpp的OpenCV接口是否正常工作：
  • 6.14. 解码不正确或者无法解码的最终调试手段
  • 6.15. 判断rtsp是否正常工作
  • 6.16. 高密度服务器播放rtsp流出现断连情况验证
  • 6.17. 验证当前rtsp服务输出的视频是否有花屏
  • 6.18. 查看rtsp服务是否实时推流
  • 6.19. 对于cvQueryFrame等老的opencv接口支持状况
  • 6.20. 对于VPP硬件不支持的YUV格式转换，采取什么样的软件方式最快？
  • 6.21. OpenCV中的BGR格式，在libyuv中对应的那个格式？OpenCV中的RGB格式呢？
  • 6.22. 若是采用libyuv处理JPEG方面的输出或者输入，需要注意什么事项？
  • 6.23. 高密度及小盒子支持gb28181 协议，部署步骤如下
  • 6.24. 配置文件[GB28181.cfg]说明
  • 6.25. ffmpeg&opencv 支持 gb28181 协议，传入的url地址形式如下
  • 6.26. 现在opencv中默认是使用ION内存作为MAT的data空间，如何指定Mat对象基于system memory内存去创建使用？
  • 6.27. FFMPEG JPEG example for encode and transcode.
  • 6.28. How to read bitstream from input buffer in FFMPEG?
  • 6.29. 从内存读取图片，用AVIOContext *avio =avio_alloc_context()，以及avformat_open_input()来初始化，发现初始化时间有290ms；但是如果从本地读取图片，只有3ms。为啥初始化时间要这么长？怎样减少初始化时间？
  • 6.30. how to know the jpeg demuxer name supported in FFMPEG?
  • 6.31. how to know all bm hardware decoder names supported in FFMPEG?
  • 6.32. How to show the decoder info, for example, jpeg_bm, in FFMPEG?
  • 6.33. How to show the encoder info, for example, jpeg_bm, in FFMPEG?
  • 6.34. A jpeg encoder example for calling api function
  • 6.35. example to set decoder jpeg_bm when calling ffmpeg api for decoding still jpeg picture
  • 6.36. example to set decoder jpeg_bm when calling ffmpeg api for decoding motion jpeg picture
  • 6.37. BM1684解码性能对于H264/H265有差别吗？如果调整码率的话，最多可以解多少路呢？有没有对应的数据参考？
  • 6.38. 是否可以通过抽帧来提高BM1684的解码路数
  • 6.39. 是否支持avi, f4v, mov, 3gp, mp4, ts, asf, flv, mkv封装格式的H264/H265视频解析？
  • 6.40. 是否支持png, jpg, bmp, jpeg等图像格式
  • 6.41. Valgrind内存检查为什么有那么多警告，影响到应用的调试了
  • 6.42. 使用opencv的video write编码，提示物理内存(heap2)分配失败
  • 6.43. Bm_opencv的imread jpeg解码结果和原生opencv的imread jpeg结果不同，有误差
  • 6.44. 如何查看vpu/jpu的内存、使用率等状态
  • 6.45. 视频支持32路甚至更多的时候，报视频内存不够使用，如何优化内存使用空间
  • 6.46. Opencv中mat是如何分配设备内存和系统内存的？
  • 6.47. ffmpeg中做图像格式/大小变换导致视频播放时回退或者顺序不对的情况处理办法
  • 6.48. 启动设备首次执行某个函数慢，重启进程再次运行正常
  • 6.49. Opencv mat创建失败，提示“terminate called after throwing an instance of ‘cv::Exception’ what(): OpenCV(4.1.0) …… matrix.cpp:452: error: (-215:Assertion failed) u != 0 in function ‘creat’”
  • 6.50. opencv转bm_image的时候，报错“Memory allocated by user, no device memory assigned. Not support BMCV!”
  • 6.51. Opencv用已有Mat的内存data，宽高去创建新的Mat后，新Mat保存的图像数据错行，显示不正常
  • 6.52. 在soc模式下客户用ffmpeg解码时拿到AVframe将data[0-3] copy到系统内存发现copy时间是在20ms左右而相同数据量在系统内存两块地址copy只需要1-3ms
  • 6.53. 在opencv VideoCapture 解码视频时提示: maybe grab ends normally, retry count = 513
  • 6.54. [问题分析]客户反馈碰到如下错误提示信息”VPU_DecRegisterFrameBuffer failed Error code is 0x3”, 然后提示Allocate Frame Buffer内存失败。
  • 6.55. SOC模式下，opencv在使用8UC1 Mat的时候报错，而当Mat格式为8UC3的时候，同样的程序完全工作正常。
  • 6.56. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”。
  • 6.57. [问题分析]程序提示“VPU_DecGetOutputInfo decode fail framdIdx xxx error(0x00000000) reason(0x00400000), reasonExt(0x00000000)”是可能什么问题，这里reason的具体数值可能不同
  • 6.58. [问题分析]程序提示“coreIdx 0 InstIdx 0: VPU interrupt wait timeout”，这是怎么回事?
  • 6.59. 采用TCP传输码流的时候如果码流服务器停止推流，ffmpeg阻塞在av_read_frame
  • 6.60. 调用 bmcv_image_vpp_basic 接口时，csc_type_t csc_type 和 csc_matrix_t* matrix该如何填？
  • 6.61. [问题分析]不同线程对同一个bm_imag调用 bm_image_destroy 时，程序崩溃。
  • 6.62. cv::Mat如何转换为bm_image？
  • 6.63. 如何将host上的bgr planar cv::Mat变成host上的BGR packed cv::Mat？
  • 6.64. 使用NV12原始数据，创建bm_image的注意事项？
  • 6.65. 是否可以提供OpenCV contrib库？
  • 6.66. BMCV相关接口，输入和输出可以使同一个bm_image吗？
  • 6.67. cv::bmcv::resize 看代码底层调用的是bmcv_image_resize，cv::resize用的是cpu吗，处理的是mat中cpu内存中的那部分数据吗？还有1个cv::hal::resize, bmcv::hwResize，这些是什么关系啊。cv::bmcv::resize和cv::resize 是否支持输入和输出是同一个对象，原地进行转换呢？
  • 6.68. 关于BM-OpenCV中GB28181接口，说的是接国标流是吧？本身支持转国标流功能吗？
  • 6.69. 如何进行编解码性能测试？是否有参考程序？
  • 6.70. BM1684芯片的编解码性能数据是怎样的？
  • 6.71. BM1684编解码性能是同时支持32路解码和2路编码吗？内存大小和内存带宽会不会成为瓶颈？
  • 6.72. 解码会占用多少内存？使用vpp进行图像处理，最大可能会消耗多少内存？
  • 6.73. 前处理时图片数据格式转换需要HWC转CHW和NCHW， 1684是否相关接口可以使用？
  • 6.74. 硬编的画面输出是绿屏
  • 6.75. 解码器卡住
  • 6.76. 使用bmcv_image_vpp_resize_padding时报错提示”vpp input image param err”？
  • 6.77. bmcv库中是否有和OpenCV相对应的 cvtColor、 subtract、 bitwise_and、 findContours 等这几个方法？
  • 6.78. SoC模式使用cv::Mat的数据地址初始化另外一个cv::Mat时有可能会出现乱码？
  • 6.79. SoC模式对cv::Mat的内存进行操作
  • 6.80. Sophon gate 人脸应用中gate_webserver.py 的 sophonface 是如何导入的？
  • 6.81. OpenCV的imread接口读取进来的JPG图片尺寸问题
  • 6.82. 如何将bm_image转为cv.Mat?
  • 6.83. rtsp流使用ffmpeg和opencv可以正常解码，但是使用sail.Decoder无法正常解码
• 7. 程序优化常见问题
  • 7.1. 前后处理加速
  • 7.2. 模型编译
  • 7.3. 推理加速
  • 7.4. bmlang开发
  • 7.5. 流程优化