6.5. 图形运算加速模块

BMCV提供了一套基于算丰深度学习处理器优化的机器视觉库，目前可以完成色彩空间转换、尺度变换、仿射变换、投射变换、线性变换、画框、JPEG编码、BASE64编码、NMS、排序、特征匹配等操作。

C++接口实现请参考《算能边缘产品BMCV开发参考指南》。

​Python接口的实现请参考《sophon-sail_zh》。

​BMCV API均是围绕bm_image来进行的。一个bm_image结构对应于一张图片。

6.5.1. C++语言编程接口

bm_image结构体

struct bm_image {
    int width;
    int height;
    bm_image_format_ext image_format;
    bm_data_format_ext data_type;
    bm_image_private* image_private;
};

bm_image 结构成员包括图片的宽高，图片格式，图片数据格式，以及该结构的私有数据。

图片格式 image_format枚举类型

typedef enum bm_image_format_ext_{
    FORMAT_YUV420P,
    FORMAT_NV12,
    FORMAT_NV21,
    FORMAT_NV16,
    FORMAT_NV61,
    FORMAT_RGB_PLANAR,
    FORMAT_BGR_PLANAR,
    FORMAT_RGB_PACKED,
    FORMAT_BGR_PACKED,
    FORMAT_GRAY,
    FORMAT_COMPRESSED
}bm_image_format_ext;

格式	说明
FORMAT_YUV420P	表示预创建一个YUV420格式的图片，有三个plane
FORMAT_NV12	表示预创建一个NV12格式的图片，有两个plane
FORMAT_NV21	表示预创建一个NV21格式的图片，有两个plane
FORMAT_RGB_PLANAR	表示预创建一个RGB格式的图片，RGB分开排列，有一个plane
FORMAT_BGR_PLANAR	表示预创建一个BGR格式的图片，BGR分开排列，有一个plane
FORMAT_RGB_PACKED	表示预创建一个RGB格式的图片，RGB交错排列，有一个plane
FORMAT_BGR_PACKED	表示预创建一个BGR格式的图片，BGR交错排列，有一个plane
FORMAT_GRAY	表示预创建一个灰度图格式的图片，有一个plane
FORMAT_COMPRESSED	表示预创建一个VPU内部压缩格式的图片，有四个plane

数据存储格式枚举

typedef enum bm_image_data_format_ext_{
    DATA_TYPE_EXT_FLOAT32,
    DATA_TYPE_EXT_1N_BYTE,
    DATA_TYPE_EXT_4N_BYTE,
    DATA_TYPE_EXT_1N_BYTE_SIGNED,
    DATA_TYPE_EXT_4N_BYTE_SIGNED,
}bm_image_data_format_ext;

数据格式	说明
DATA_TYPE_EXT_FLOAT32	表示所创建的图片数据格式为单精度浮点数
DATA_TYPE_EXT_1N_BYTE	表示所创建图片数据格式为普通带符号1N INT8
DATA_TYPE_EXT_4N_BYTE	表示所创建图片数据格式为4N INT8，即四张带符号INT8图片数据交错排列
DATA_TYPE_EXT_1N_BYTE_SIGNED	表示所创建图片数据格式为普通无符号1N UINT8
DATA_TYPE_EXT_4N_BYTE	表示所创建图片数据格式为4N UINT8，即四张无符号INT8图片数据交错排列

更多BMCV接口使用方法请参考《算能边缘产品BMCV开发参考指南》

6.5.2. Python语言编程接口

本章节只简要介绍了用例 YOLOv5 所用到的接口函数。

更多接口定义请查阅《 sophon-sail_zh 》。

• init

def __init__(handle):
""" Constructor.
Parameters
---------
handle : sail.Handle Handle instance
"""

• convert_to

def convert_to(input, alpha_beta):
""" Applies a linear transformation to an image.
Parameters
---------
input : sail.BMImage Input image
alpha_beta: tuple (a0, b0), (a1, b1), (a2, b2) factors
Returns
---------
output : sail.BMImage Output image
"""

• convert_format

def convert_format(input, output):
"""Convert input to output format.

Parameters
----------
input : sail.BMImage
    BMimage instance
output : sail.BMImage
    output image
"""

• vpp_crop_and_resize_padding

def vpp_crop_and_resize_padding(input, crop_x0, crop_y0, crop_w, crop_h, resize_w, resize_h, padding):
""" Crop then resize an image using vpp.

Parameters
----------
input : sail.BMImage
    Input image
crop_x0 : int
    Start point x of the crop window
crop_y0 : int
    Start point y of the crop window
crop_w : int
    Width of the crop window
crop_h : int
    Height of the crop window
resize_w : int
    Target width
resize_h : int
    Target height
padding : PaddingAtrr
    padding info

Returns
----------
output : sail.BMImage
    Output image
"""