码率控制有两种模式：

VBR和CBR，即可变比特控制和固定比特控制。VBR模式是一种开环处理，输入为视频源和一个QP值。由于实际视频序列中的图像复杂度是不断变化的，细节多少、运动快慢等等，比特率也相应变化，不稳定。CBR模式是一种闭环处理，输入为视频源和目标比特。

它根据对源复杂度估计、解码缓冲的大小及网络带宽估计动态调整QP，得到符合要求的码率。

二、H.264码率控制结构

作为新一代的视频压缩编码标准，H.264对多编码模式、编码参数自适应选择、上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误码能力等方面进行了精雕细刻，采取了一系列切合实际的技术措施，大大提高了编码效率和网络自适应能力。

但H.264标准草案并没有很好地研究RC，主要精力放在了编码码流及解码方法上。它将QP同时用于码率控制算法和率失真优化，导致了蛋鸡悖论：为了计算当前帧中宏块的RDO，需利用当前帧或宏块的MAD预测每个宏块的QP，而每个当前帧或宏块的MAD只有在RDO后才能计算出。

H.264码率控制方法的提案主要有两个[2]：JVT-F086中MPEG-2TM5改进版本及JVT-G012中提出用流量往返模型来分配每个基本单元目标比特数，并在宏块层编码采用二次率失真函数计算量化参数的算法。JVT-G012还比较了这两种算法，认为其算法优于F086算法。

本节主要介绍H.264的码率控制结构，并与MPEG-2的控制模型相比较。

H.264码率控制的主要部分类似于其他RC方案[1]。图2只是一个概念性的结构，并不是其软件的实际反映，如P帧和B帧需分别处理，一些估计是前面值的平均等等。

*1.码率量化模型Rate-QuantizationModel*

RC算法的核心是一个定量的描述QP、实际比特率和编码复杂度代理的关系的模型。比特率和复杂度与残差有关，QP只能影响变换残差信息的细节，对包含头信息、预测数据、运动矢量信息的比特流没有直接影响。预测误差的平均残差绝对值（MeanAverageDifference，MAD）被引用，用来估计复杂度。

*2.复杂度估计ComplexityEstimation*

MAD是预测器精度和帧内预测情形下临近图像时间相似度的逆操作。MAD可以在对当前图像编码完以后进行估计，但是，在QP选择以后再编码一次，负荷太重。相反可以假设MAD随图像变化而变化，可根据前一图像的实际值估计而得。但该假设在场景切换时失效。

*3.QP限制QP-Limiter*

闭环控制系统须能够保证稳定性和视觉变化最小。对一些复杂度快速改变的序列，QP变化显著，须设置以码率限制器来限制图像的QP变化不超过±2。

*4.虚拟缓存模型VirtualBufferModel*

解码器都有一个缓存来平滑码率变换和数据的到达时间。相应编码器产生的比特流须满足解码器的限制，所以用一个虚拟缓存模型来仿真实际解码器的满度。

虚拟缓存满度的改变即编码成流的总比特数的差异。缓存满度的下届为0，上界为缓存容量。用户需根据解码器支持的级别设置缓存容量和初始值。

*5.QP初始化QPInitializer*

QP须在视频序列的开始初始化，并人为输入初值，

，但更好的方法是根据每个像素的比特数估计，并可根据QP和DemandedBitsPerPixel表查找。

*6.GOP比特分配GOPBitAllocation*

根据需求的比特率和虚拟缓存的当前满度，计算GOP的目标码率，I图像和第一个P图像的QP。

*7.基本单元比特分配BasicUnitBitAllocation*

如果基本单元小于图像，图2则分为两层：图像层和基本单元层。对H.264而言，重点是计算每个存储图像（通常为P图像）的QP。严格地讲H.264是允许B图像用作参考的，只是通常不用。非存储图像（通常为B图像）则通过邻近P图像的QP内插或偏移得出。首先，考虑到图像的MAD，可为缓存满度设置一目标级。接着，利用该级别，计算图像的目标比特数。

与MPEG-2的TM5模型相比，类似之处有：虚拟缓存的设立，GOP和图像层的目标比特的计算，为每个基本单元生成QP等。不同之处有：基本单元是宏块，且同一图像中的不同宏块的QP可能相差很大；I/P/B三帧之间只是目标比特分配的不同，其余处理类似；MPEG-2预测模式没有H.264的多样性。由于其没有高级的帧内预测，也没有必要对关联QP和残差时那么严格；宏块级的空间复杂度由源活动性估计而得。忽略复杂度是否由MV和残差数据体现；对图像分配比特，需考虑图像类型、GOP结构、需要的比特率，而非图像的复杂度。但在图像中，缓存满度和相关的空间活动性用来分配图像比特等。

三、H.264码率控制算法

如上所述，H.264码率控制方案主要有JVT-F086和JVT-G012提出的两种。JVT-G012通过引入基本单元和线性模型的概念，提出一种自适应基本单元层码率控制方案。基本单元可能是一帧、片或者一个宏块。线性模型用于预测当前基本单元的MAD，它是通过前一帧相应位置的基本单元得到。

蛋鸡悖论解决如下：当前帧的目标比特率根据预先定义的帧率、当前缓冲容量、目标缓冲级别和可利用信道带宽，利用漏斗模型和线性跟踪理论计算得出。剩余比特分配给当前帧未编码基本单元。当前基本单元的MAD利用前一帧相同位置基本单元的MAD实际值线性预测而得。相应的QP通过一个二次RD模型获得。该方案同样适用于VBR情形。该方案利用一个虚拟缓存，根据信道带宽的动态特征，来帮助调节编码操作。该缓存既不上溢也不下溢。由于该模型类似于漏斗模型，该RC算法与HRD是一致的。

为了验证该方案，JVT-G012在VBR和CBR两种情形下进行实验。

VBR的比特率曲线是一预先确定的曲线，即实际产生的比特接近于比特率曲线且缓存不上溢和下溢。CBR情形下，与QP固定的编码器比较了编码效率。目标比特率由以固定QP编码测试序列产生。计算出的码率由该方案编码产生。该方案编码效率上升1.02dB，所有测试序列的平均PSNR改善2dB。并利用软件AHM2.0和F086提出的方案进行了比较。PSNR改善了最高达1.73dB，平均达0.5dB。且该方案只一个通道而F086是两个通道。

四、结束语

随着H.264的不断改进和推广，其码率控制的算法也在不断改进更新。比如HeZhi

hai等[3]提出线性率失真函数，通过变换量化后零值在变换系数中的比例（认为这对码码率的影响最大）来选取量化参数，可避免蛋鸡悖论；陈川等[4]提出联合编码模式选择、信源的码率控制算法；XueJinzhu[5]等提出基于块活动性和缓冲状态的算法；MaSiwei等[6]提出结合HRD的控制算法，并被H.264采用等等。还有学者提出考虑解码端（通过其反馈信息控制码率）的控制模型。上述的算法都在其实验范围内体现出了编码效率的改进。可见，H.264码率控制的改进有许多方向，主要有：考虑编码器端的编码参数（如量化参数、编码模式或直接影响比特流的参数等）的率失真控制模型，结合信源信道失真和缓冲状态的码率控制模型，考虑解码端反馈信息的控制模型等。

H.264采用了多种改进编码效率的技术，针对不同的应用可以选择不同的技术，其码率控制模型的建立也应该结合实际应用做出调整，而不是一定要建立一个适应各种场合的控制模型。

 

■参考文献

[1]WiegandT，SchwarzH，JochA，SullivanG．RateConstrainedCoderControlandComparisonofVideoCodingStandards．IEEETrans，CircuitsSyst，VideoTechnol，2003，13（7）

[2]LiZ，etal．AdaptiveBasicUnitLayerRateControlforJVT．JVT-G012，7thMeeting：Pattaya，Thailand，2003（3）

[3]HeZhihai．AUnifiedApproachtoRate-DistortionAnalysisandRateControlforVisualCodingAndCommunication．PHDThesisUCSB，2001

[4]陈川等．联合编码模式选择的码率控制算法．电子学报，2004（5）

[5]XueJinzhu，ShenLansun．RateControlAlgorithmforH.264VideoEncoding，JournalofElectronics（China），2003，20（6）

[6]MaSiwei，WenGao．RateControlForJVTVideoCodingSchemeWithHRDConsiderations．IEEEICIP2003