6. 量化

量化理论源于论文: Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

该论文地址: https://arxiv.org/abs/1712.05877

本章介绍TPU-MLIR的量化设计, 重点在该论文在实际量化中的应用。

6.1. 基本概念

INT8量化分为非对称量化和对称量化。对称量化是非对称量化的一个特例, 通常对称量化的性能会优于非对称量化, 而精度上非对称量化更优。

6.1.1. 非对称量化

如上图(非对称量化)所示, 非对称量化其实就是把[min,max]范围内的数值定点到[-128, 127]或者[0, 255]区间。

从int8到float的量化公式表达如下:

\begin{aligned} r & = S (q - Z) \\ S & = \frac{m a x - m i n}{q m a x - q m i n} \\ Z & = R o u n d (- \frac{m i n}{S} + q m i n) \end{aligned}

其中r是真实的值, float类型; q是量化后的值, INT8或者UINT8类型;

S表示scale, 是float; Z是zeropoint, 是INT8类型;

当量化到INT8时, qmax=127,qmin=-128; UINT8时, qmax=255,qmin=0

反过来从float到int8的量化公式如下:

q = \frac{r}{S} + Z

6.1.2. 对称量化

对称量化是非对称量化Z=0时的特例, 公式表达如下:

\begin{aligned} i 8_v a l u e & = f 32_v a l u e \times \frac{128}{t h r e s h o l d} \\ f 32_v a l u e & = i 8_v a l u e \times \frac{t h r e s h o l d}{128} \end{aligned}

threshold是阈值, 可以理解为Tensor的范围是[-threshold, threshold]

这里 $S = t h r e s h o l d / 128$ , 通常是activation情况;

对于weight, 一般 $S = t h r e s h o l d / 127$

对于UINT8, Tensor范围是[0, threshold], 此时 $S = t h r e s h o l d / 255.0$

6.2. Scale转换

论文中的公式表达:

M = 2^{- n} M_{0}, 其 中 M_{0} 取 值 [0.5, 1], n 是 一 个 非 负 数

换个表述来说, 就是浮点数Scale, 可以转换成Multiplier和rshift, 如下表达:

S c a l e = \frac{M u l t i p l i e r}{2^{r s h i f t}}

举例说明:

\begin{aligned} y = x \times 0.1234 \\ => y = x \times 0.9872 \times 2^{- 3} \\ => y = x \times (0.9872 \times 2^{31}) \times 2^{- 34} \\ => y = x \times \frac{2119995857}{1 ≪ 34} \\ => y = (x \times 2119995857) ≫ 34 \end{aligned}

Multiplier支持的位数越高, 就越接近Scale, 但是性能会越差。一般硬件会用32位或8位的Multiplier。

6.3. 量化推导

我们可以用量化公式, 对不同的OP进行量化推导, 得到其对应的INT8计算方式。

对称和非对称都用在Activation上, 对于权重一般只用对称量化。

6.3.1. Convolution

卷积的表示式简略为: $Y = X_{(n, i c, i h, i w)} \times W_{(o c, i c, k h, k w)} + B_{(1, o c, 1, 1)}$

代入int8量化公式, 推导如下:

\begin{aligned} f l o a t : & Y = X \times W + B \\ s t e p 0 & => S_{y} (q_{y} - Z_{y}) = S_{x} (q_{x} - Z_{x}) \times S_{w} q_{w} + B \\ s t e p 1 & => q_{y} - Z_{y} = S_{1} (q_{x} - Z_{x}) \times q_{w} + B_{1} \\ s t e p 2 & => q_{y} - Z_{y} = S_{1} q_{x} \times q_{w} + B_{2} \\ s t e p 3 & => q_{y} = S_{3} (q_{x} \times q_{w} + B_{3}) + Z_{y} \\ s t e p 4 & => q_{y} = (q_{x} \times q_{w} + b_{i 32}) * M_{i 32} >> r s h i f t_{i 8} + Z_{y} \end{aligned}

非对称量化特别注意的是, Pad需要填入Zx

对称量化时, Pad填入0, 上述推导中Zx和Zy皆为0

在PerAxis(或称PerChannal)量化时, 会取Filter的每个OC做量化, 推导公式不变, 但是会有OC个Multiplier、rshift

6.3.2. InnerProduct

表达式和推导方式与(Convolution)相同

6.3.3. Add

加法的表达式为: $Y = A + B$

代入int8量化公式, 推导如下:

\begin{aligned} f l o a t : & Y = A + B \\ s t e p 0 & => S_{y} (q_{y} - Z_{y}) = S_{a} (q_{a} - Z_{a}) + S_{b} (q_{b} - Z_{b}) \\ s t e p 1 (对 称) & => q_{y} = (q_{a} * M_{a} + q_{b} * M_{b})_{i 16} >> r s h i f t_{i 8} \\ s t e p 1 (非 对 称) & => q_{y} = r e q u a n t (d e q u a n t (q_{a}) + d e q u a n t (q_{b})) \end{aligned}

加法最终如何用智能深度学习处理器实现, 与处理器具体的指令有关。

这里对称提供的方式是用INT16做中间buffer;

在网络中，输入A、B已经是量化后的结果 $q_{a}$ 、 $q_{b}$ ，因此非对称是先反量化成float, 做加法后再重量化成INT8

6.3.4. AvgPool

平均池化的表达式可以简写为: $Y_{i} = \frac{\sum_{j = 0}^{k} (X_{j})}{k}, 其中 k = k h \times k w$

代入int8量化公式, 推导如下:

\begin{aligned} f l o a t : & Y_{i} = \frac{\sum_{j = 0}^{k} (X_{j})}{k} \\ s t e p 0 : & => S_{y} (y_{i} - Z_{y}) = \frac{S_{x} \sum_{j = 0}^{k} (x_{j} - Z_{x})}{k} \\ s t e p 1 : & => y_{i} = \frac{S_{x}}{S_{y} k} \sum_{j = 0}^{k} (x_{j} - Z_{x}) + Z_{y} \\ s t e p 2 : & => y_{i} = \frac{S_{x}}{S_{y} k} \sum_{j = 0}^{k} (x_{j}) - (Z_{y} - \frac{S_{x}}{S_{y}} Z_{x}) \\ s t e p 3 : & => y_{i} = (S c a l e_{f 32} \sum_{j = 0}^{k} (x_{j}) - O f f s e t_{f 32})_{i 8} \\ 其 中 S c a l e_{f 32} = \frac{S_{x}}{S_{y} k}, O f f s e t_{f 32} = Z_{y} - \frac{S_{x}}{S_{y}} Z_{x} \end{aligned}

6.3.5. LeakyReLU

LeakyReLU的表达式可以简写为: $Y = {\begin{cases} X, i f X \geq 0 \\ α X, i f X < 0 \end{cases}$

代入int8量化公式, 推导如下:

\begin{aligned} f l o a t : & Y = {\begin{cases} X, i f X \geq 0 \\ α X, i f X < 0 \end{cases} \\ s t e p 0 : & => S_{y} (q_{y} - Z_{y}) = {\begin{cases} S_{x} (q_{x} - Z_{x}), i f q_{x} \geq 0 \\ α S_{x} (q_{x} - Z_{x}), i f q_{x} < 0 \end{cases} \\ s t e p 1 : & => q_{y} = {\begin{cases} \frac{S_{x}}{S_{y}} (q_{x} - Z_{x}) + Z_{y}, i f q_{x} \geq 0 \\ α \frac{S_{x}}{S_{y}} (q_{x} - Z_{x}) + Z_{y}, i f q_{x} < 0 \end{cases} \end{aligned}

对称量化时, $S_{y} = \frac{t h r e s h o l d_{y}}{128}, S_{x} = \frac{t h r e s h o l d_{x}}{128}$ , 非对称量化时, $S_{y} = \frac{m a x_{y} - m i n_{y}}{255}, S_{x} = \frac{m a x_{x} - m i n_{x}}{255}$ 。通过BackwardCalibration操作后, $m a x_{y} = m a x_{x}, m i n_{y} = m i n_{x}, t h r e s h o l d_{y} = t h r e s h o l d_{x}$ , 此时Sx/Sy = 1。

\begin{aligned} s t e p 2 : & => q_{y} = {\begin{cases} (q_{x} - Z_{x}) + Z_{y}, i f q_{x} \geq 0 \\ α (q_{x} - Z_{x}) + Z_{y}, i f q_{x} < 0 \end{cases} \\ s t e p 3 : & => q_{y} = {\begin{cases} q_{x} - Z_{x} + Z_{y}, i f q_{x} \geq 0 \\ M_{i 8} >> r s h i f t_{i 8} (q_{x} - Z_{x}) + Z_{y}, i f q_{x} < 0 \end{cases} \end{aligned}

当为对称量化时, Zx和Zy均为0。

6.3.6. Pad

Pad的表达式可以简写为: $Y = {\begin{cases} X, o r i g i n l o c a t i o n \\ v a l u e, p a d d e d l o c a t i o n \end{cases}$

代入int8量化公式, 推导如下:

\begin{aligned} f l o a t : & Y = {\begin{cases} X, o r i g i n l o c a t i o n \\ v a l u e, p a d d e d l o c a t i o n \end{cases} \\ s t e p 0 : & => S_{y} (q_{y} - Z_{y}) = {\begin{cases} S_{x} (q_{x} - Z_{x}), o r i g i n l o c a t i o n \\ v a l u e, p a d d e d l o c a t i o n \end{cases} \\ s t e p 1 : & => q_{y} = {\begin{cases} \frac{S_{x}}{S_{y}} (q_{x} - Z_{x}) + Z_{y}, o r i g i n l o c a t i o n \\ \frac{v a l u e}{S_{y}} + Z_{y}, p a d d e d l o c a t i o n \end{cases} \end{aligned}

通过ForwardCalibration操作后, $m a x_{y} = m a x_{x}, m i n_{y} = m i n_{x}, t h r e s h o l d_{y} = t h r e s h o l d_{x}$ , 此时Sx/Sy = 1。

\begin{aligned} s t e p 2 : & => q_{y} = {\begin{cases} (q_{x} - Z_{x}) + Z_{y}, o r i g i n l o c a t i o n \\ \frac{v a l u e}{S_{y}} + Z_{y}, p a d d e d l o c a t i o n \end{cases} \end{aligned}

对称量化时, Zx和Zy均为0, pad填入 round(value/Sy), 非对称量化时, pad填入round(value/Sy + Zy)。

6.3.7. PReLU

PReLU的表达式可以简写为: $Y_{i} = {\begin{cases} X_{i}, i f X_{i} \geq 0 \\ α_{i} X_{i}, i f X_{i} < 0 \end{cases}$

代入int8量化公式, 推导如下:

\begin{aligned} f l o a t : & Y_{i} = {\begin{cases} X_{i}, i f X_{i} \geq 0 \\ α_{i} X_{i}, i f X_{i} < 0 \end{cases} \\ s t e p 0 : & => S_{y} (y_{i} - Z_{y}) = {\begin{cases} S_{x} (x_{i} - Z_{x}), i f x_{i} \geq 0 \\ S_{α} q_{α_{i}} S_{x} (x_{i} - Z_{x}), i f x_{i} < 0 \end{cases} \\ s t e p 1 : & => y_{i} = {\begin{cases} \frac{S_{x}}{S_{y}} (x_{i} - Z_{x}) + Z_{y}, i f x_{i} \geq 0 \\ S_{α} q_{α_{i}} \frac{S_{x}}{S_{y}} (x_{i} - Z_{x}) + Z_{y}, i f x_{i} < 0 \end{cases} \end{aligned}

通过BackwardCalibration操作后, $m a x_{y} = m a x_{x}, m i n_{y} = m i n_{x}, t h r e s h o l d_{y} = t h r e s h o l d_{x}$ , 此时Sx/Sy = 1。

\begin{aligned} s t e p 2 : & => y_{i} = {\begin{cases} (x_{i} - Z_{x}) + Z_{y}, i f x_{i} \geq 0 \\ S_{α} q_{α_{i}} (x_{i} - Z_{x}) + Z_{y}, i f x_{i} < 0 \end{cases} \\ s t e p 3 : & => y_{i} = {\begin{cases} (x_{i} - Z_{x}) + Z_{y}, i f x_{i} \geq 0 \\ q_{α_{i}} * M_{i 8} (x_{i} - Z_{x}) >> r s h i f t_{i 8} + Z_{y}, i f x_{i} < 0 \end{cases} \end{aligned}

一共有oc个Multiplier和1个rshift。当为对称量化时, Zx和Zy均为0。