6. 多媒体用户常见问题

开发文档：《 多媒体用户开发手册 》

BM-FFmpeg开源仓库：https://gitee.com/sophon-ai/bm_ffmpeg

• 6.1. 4K图片的问题
• 6.2. Opencv读取图片后，cvMat转为bmimage, 之后，调用bmcv_image_vpp_convert做缩放或者颜色空间转换，得到的图片不一致
• 6.3. Opencv imread读取图片性能问题。
• 6.4. VideoWriter.write性能问题，有些客户反应，存文件慢。
• 6.5. Ffmpeg的阻塞问题
• 6.6. 关于什么时候调用uploadMat/downloadMat接口的问题。
• 6.7. opencv下如何获取视频帧的timestamp？
• 6.8. SA3 opencv下videocapture经常5分钟左右断网的解决方案
• 6.9. 如何获取rtsp中原来的timestamp
• 6.10. 如何判断视频花屏的原因
• 6.11. 无法连接rtsp？
• 6.12. 确认解码器是否能正常工作：（url为文件名或者rtsp连接地址）
• 6.13. 确认解码器和vpp的OpenCV接口是否正常工作：
• 6.14. 解码不正确或者无法解码的最终调试手段
• 6.15. 判断rtsp是否正常工作
• 6.16. 高密度服务器播放rtsp流出现断连情况验证
• 6.17. 验证当前rtsp服务输出的视频是否有花屏
• 6.18. 查看rtsp服务是否实时推流
• 6.19. 对于cvQueryFrame等老的opencv接口支持状况
• 6.20. 对于VPP硬件不支持的YUV格式转换，采取什么样的软件方式最快？
• 6.21. OpenCV中的BGR格式，在libyuv中对应的那个格式？OpenCV中的RGB格式呢？
• 6.22. 若是采用libyuv处理JPEG方面的输出或者输入，需要注意什么事项？
• 6.23. 高密度及小盒子支持gb28181 协议，部署步骤如下
• 6.24. 配置文件[GB28181.cfg]说明
• 6.25. ffmpeg&opencv 支持 gb28181 协议，传入的url地址形式如下
• 6.26. 现在opencv中默认是使用ION内存作为MAT的data空间，如何指定Mat对象基于system memory内存去创建使用？
• 6.27. FFMPEG JPEG example for encode and transcode.
• 6.28. How to read bitstream from input buffer in FFMPEG?
• 6.29. 从内存读取图片，用AVIOContext *avio =avio_alloc_context()，以及avformat_open_input()来初始化，发现初始化时间有290ms；但是如果从本地读取图片，只有3ms。为啥初始化时间要这么长？怎样减少初始化时间？
• 6.30. how to know the jpeg demuxer name supported in FFMPEG?
• 6.31. how to know all bm hardware decoder names supported in FFMPEG?
• 6.32. How to show the decoder info, for example, jpeg_bm, in FFMPEG?
• 6.33. How to show the encoder info, for example, jpeg_bm, in FFMPEG?
• 6.34. A jpeg encoder example for calling api function
• 6.35. example to set decoder jpeg_bm when calling ffmpeg api for decoding still jpeg picture
• 6.36. example to set decoder jpeg_bm when calling ffmpeg api for decoding motion jpeg picture
• 6.37. BM1684解码性能对于H264/H265有差别吗？如果调整码率的话，最多可以解多少路呢？有没有对应的数据参考？
• 6.38. 是否可以通过抽帧来提高BM1684的解码路数
• 6.39. 是否支持avi, f4v, mov, 3gp, mp4, ts, asf, flv, mkv封装格式的H264/H265视频解析？
• 6.40. 是否支持png, jpg, bmp, jpeg等图像格式
• 6.41. Valgrind内存检查为什么有那么多警告，影响到应用的调试了
• 6.42. 使用opencv的video write编码，提示物理内存(heap2)分配失败
• 6.43. Bm_opencv的imread jpeg解码结果和原生opencv的imread jpeg结果不同，有误差
• 6.44. 如何查看vpu/jpu的内存、使用率等状态
• 6.45. 视频支持32路甚至更多的时候，报视频内存不够使用，如何优化内存使用空间
• 6.46. Opencv中mat是如何分配设备内存和系统内存的？
• 6.47. ffmpeg中做图像格式/大小变换导致视频播放时回退或者顺序不对的情况处理办法
• 6.48. 启动设备首次执行某个函数慢，重启进程再次运行正常
• 6.49. Opencv mat创建失败，提示“terminate called after throwing an instance of ‘cv::Exception’ what(): OpenCV(4.1.0) …… matrix.cpp:452: error: (-215:Assertion failed) u != 0 in function ‘creat’”
• 6.50. opencv转bm_image的时候，报错“Memory allocated by user, no device memory assigned. Not support BMCV!”
• 6.51. Opencv用已有Mat的内存data，宽高去创建新的Mat后，新Mat保存的图像数据错行，显示不正常
• 6.52. 在soc模式下客户用ffmpeg解码时拿到AVframe将data[0-3] copy到系统内存发现copy时间是在20ms左右而相同数据量在系统内存两块地址copy只需要1-3ms
• 6.53. 在opencv VideoCapture 解码视频时提示: maybe grab ends normally, retry count = 513
• 6.54. [问题分析]客户反馈碰到如下错误提示信息”VPU_DecRegisterFrameBuffer failed Error code is 0x3”, 然后提示Allocate Frame Buffer内存失败。
• 6.55. SOC模式下，opencv在使用8UC1 Mat的时候报错，而当Mat格式为8UC3的时候，同样的程序完全工作正常。
• 6.56. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”。
• 6.57. [问题分析]程序提示“VPU_DecGetOutputInfo decode fail framdIdx xxx error(0x00000000) reason(0x00400000), reasonExt(0x00000000)”是可能什么问题，这里reason的具体数值可能不同
• 6.58. [问题分析]程序提示“coreIdx 0 InstIdx 0: VPU interrupt wait timeout”，这是怎么回事?
• 6.59. 采用TCP传输码流的时候如果码流服务器停止推流，ffmpeg阻塞在av_read_frame
• 6.60. [问题分析]当用ffmpeg jpeg_bm解码超大JPEG图片的时候，有时候会报“ERROR:DMA buffer size(5242880) is less than input data size(xxxxxxx)”，如何解决？
• 6.61. 调用 bmcv_image_vpp_basic 接口时，csc_type_t csc_type 和 csc_matrix_t* matrix该如何填？
• 6.62. [问题分析]不同线程对同一个bm_imag调用 bm_image_destroy 时，程序崩溃。
• 6.63. cv::Mat如何转换为bm_image？
• 6.64. 如何将host上的bgr planar cv::Mat变成host上的BGR packed cv::Mat？
• 6.65. 使用NV12原始数据，创建bm_image的注意事项？
• 6.66. 是否可以提供OpenCV contrib库？
• 6.67. BMCV相关接口，输入和输出可以使同一个bm_image吗？
• 6.68. cv::bmcv::resize 看代码底层调用的是bmcv_image_resize，cv::resize用的是cpu吗，处理的是mat中cpu内存中的那部分数据吗？还有1个cv::hal::resize, bmcv::hwResize，这些是什么关系啊。cv::bmcv::resize和cv::resize 是否支持输入和输出是同一个对象，原地进行转换呢？
• 6.69. 关于BM-OpenCV中GB28181接口，说的是接国标流是吧？本身支持转国标流功能吗？
• 6.70. 如何进行编解码性能测试？是否有参考程序？
• 6.71. BM1684芯片的编解码性能数据是怎样的？
• 6.72. BM1684编解码性能是同时支持32路解码和2路编码吗？内存大小和内存带宽会不会成为瓶颈？
• 6.73. 解码会占用多少内存？使用vpp进行图像处理，最大可能会消耗多少内存？
• 6.74. 前处理时图片数据格式转换需要HWC转CHW和NCHW， 1684是否相关接口可以使用？
• 6.75. 硬编的画面输出是绿屏
• 6.76. 解码器卡住
• 6.77. 使用bmcv_image_vpp_resize_padding时报错提示”vpp input image param err”？
• 6.78. bmcv库中是否有和OpenCV相对应的 cvtColor、 subtract、 bitwise_and、 findContours 等这几个方法？
• 6.79. SoC模式使用cv::Mat的数据地址初始化另外一个cv::Mat时有可能会出现乱码？
• 6.80. SoC模式对cv::Mat的内存进行操作
• 6.81. Sophon gate 人脸应用中gate_webserver.py 的 sophonface 是如何导入的？
• 6.82. OpenCV的imread接口读取进来的JPG图片尺寸问题
• 6.83. 如何将bm_image转为cv.Mat?
• 6.84. rtsp流使用ffmpeg和opencv可以正常解码，但是使用sail.Decoder无法正常解码