H.264流媒体协议格式中的Annex B格式和AVCC格式深度解析

原文链接：https://blog.csdn.net/Romantic_Energy/article/details/50508332

版权声明：本文为CSDN博主「Chucky_Hu」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Romantic_Energy/article/details/50508332

本文需要读者对H.264流有一定的了解才可以理解2种格式差异。

首先要理解的是没有标准的H.264基本流格式。文档中的确包含了一个Annex，特别是描述了一种可能的格式Annex B格式，但是这个并不是一个必须要求的格式。标准文档中指定了视频怎样编码成独立的包，但是这些包是怎样存储和传输的却是开放的。

一. Annex B

A.Network Abstraction Layer Units

视频编码成的包叫做Network Abstraction Layer Units, 也简称为NALU、NAL，每个NALU包都可以被单独的解析和处理，每个NALU包的第一个字节包含了NALU类型，bit3-bit7包含的内容尤其重要(bit 0一定是off的，bit1-2指定了这个NALU是否被其他NALU引用)。
NALU格式分为2类，VCL和non-VCL，总共有19种不同的NALU格式。

VCL, Video Coding Layer packets contain the actual visual information. 即视频编码后的数据
Non-VCL, contain metadata that may or may not be required to decode the video. 非视频数据，配置信息

一个单独的NALU包、或者甚至一个VCL NALU包都不意味着是一个独立的帧，一帧数据可以被分割成几个NALU，一个或多个NALU组成了一个Access Units(AU)，AU包含了一个完整的帧。把帧分割成几个独立的NALU需要耗费许多CPU资源，所以分割帧数据并不经常使用。
以下是所有定义了的NALU类型：
0 Unspecified non-VCL
1 Coded slice of a non-IDR picture VCL
2 Coded slice data partition A VCL
3 Coded slice data partition B VCL
4 Coded slice data partition C VCL
5 Coded slice of an IDR picture VCL
6 Supplemental enhancement information (SEI) non-VCL
7 Sequence parameter set non-VCL
8 Picture parameter set non-VCL
9 Access unit delimiter non-VCL
10 End of sequence non-VCL
11 End of stream non-VCL
12 Filler data non-VCL
13 Sequence parameter set extension non-VCL
14 Prefix NAL unit non-VCL
15 Subset sequence parameter set non-VCL
16 Depth parameter set non-VCL
17..18 Reserved non-VCL
19 Coded slice of an auxiliary coded picture without partitioning non-VCL
20 Coded slice extension non-VCL
21 Coded slice extension for depth view components non-VCL
22..23 Reserved non-VCL
24..31 Unspecified non-VCL

有几种NALU格式的包包含了非常有用的信息。

Sequence Parameter Set (SPS). This non-VCL NALU contains information required to configure the decoder such as profile, level, resolution, frame rate.
Picture Parameter Set (PPS). Similar to the SPS, this non-VCL contains information on entropy coding mode, slice groups, motion prediction and deblocking filters.
Instantaneous Decoder Refresh (IDR). This VCL NALU is a self contained image slice. That is, an IDR can be decoded and displayed without referencing any other NALU save SPS and PPS.
Access Unit Delimiter (AUD). An AUD is an optional NALU that can be use to delimit frames in an elementary stream. It is not required (unless otherwise stated by the container/protocol, like TS), and is often not included in order to save space, but it can be useful to finds the start of a frame without having to fully parse each NALU.

B. NALU Start Codes， NALU包开始码

一个NALU包中的数据并不包含它的大小(长度)信息,因此不能简单的连接NALU包来建立一个流，因为你不知道一个包从哪里结束，另一个包从哪里开始。
Annex B格式用开始码来解决这个问题，即给每个NALU加上前缀码：2个或者3个0x00,后面再加一个0x01, 如：0x000001或者0x00000001。
4字节类型的开始码在在连续的数据传输中非常有用，因为用字节来对齐、分割流数据，比如：用连续的31个bit0后接一个bit1来分割流数据，是很容易的。
如果接下来的bit是0(因为每个NALU都以bit0开始)，那么这就是一个NALU包数据的起始位置了。4字节类型的开始码通常只用于标识流中的随机访问点，
如SPS PPS AUD和IDR，然后其他地方都用3字节类型的开始码以减少数据量。

C. Emulation Prevention Bytes，防竞争字节

开始码能起作用是因为3字节的序列0x000000,0x000001,0x000002和0x000003(应该是所有的0x0000**)在non-VCL(原文是non-RBSP,译者修改)NALU包中是非法的，所以在构建ANLU包时，必须确保排除这些数值序列，这是由向每个这种类型的序列插入防竞争字节0x03实现的，那么插入防竞争字节后，0x000001变成了0x00000301。
当解码的时候，查找和去除防竞争字节非常重要。因为防竞争字节可能出现在NALU包的任意位置，在文档中通常更方便的做法是假定它们已经被去除了，Raw Byte Sequence Payload原始字节序列负载 (RBSP)表示没有防竞争字节的数据序列(包)。

D. Example

以下是一个完整的例子：

这是一个完整的访问单元（AU），包括3个NALU包，如你所见，数据序列以开始码开始，后面接了一个SPS（SPS 以0x67开始），在SPS中，你可以看到有2个防竞争字节。没有这些字节那么非法的数据序列就会出现在这些位置。然后可以看到一个开始码后面接着一个PPS（PPS 以0x68开始），然后是一个最后的开始码，后面跟着一个IDR包。这是一个完整的H.264流，如果你把这些数据以16进制的方式保存到一个以.264为后缀名的文件中，可以把这些数据转换成以下图片：

Annex B格式通常用于实时的流格式，比如说传输流，通过无线传输的广播、DVD等。在这些格式中通常会周期性的重复SPS和PPS包，经常是在每一个关键帧之前，
因此据此建立解码器可以一个随机访问的点，这样就可以加入一个正在进行的流，及播放一个已经在传输的流。

二. AVCC

另一个存储H.264流的方式是AVCC格式，在这种格式中，每一个NALU包都加上了一个指定其长度(NALU包大小)的前缀(in big endian format大端格式)，这种格式的包非常容易解析，但是这种格式去掉了Annex B格式中的字节对齐特性，而且前缀可以是1、2或4字节，这让AVCC格式变得更复杂了，指定前缀字节数(1、2或4字节)的值保存在一个头部对象中(流开始的部分)，这个头通常称为'extradata'或者'sequence header'，它的基本格式如下：

bits
8 version ( always 0x01 )
8 avc profile ( sps[0][1] )
8 avc compatibility ( sps[0][2] )
8 avc level ( sps[0][3] )
6 reserved ( all bits on )
2 NALULengthSizeMinusOne // 这个值是（前缀长度-1），值如果是3，那前缀就是4，因为4-1=3
3 reserved ( all bits on )
5 number of SPS NALUs (usually 1)
repeated once per SPS:
16 SPS size
variable SPS NALU data
8 number of PPS NALUs (usually 1)
repeated once per PPS
16 PPS size
variable PPS NALU data

使用上面的例子，那么AVCC extradata看起来像是这样的：
0x0000 | 01 64 00 0A FF E1 00 19 67 64 00 0A AC 72 84 44
0x0010 | 26 84 00 00 03 00 04 00 00 03 00 CA 3C 48 96 11
0x0020 | 80 01 07 68 E8 43 8F 13 21 30
你会发现SPS和PPS被存储在了非NALU包中（out of band带外），即独立于基本流数据。这些数据的存储和传输是文件容器的任务，超出了本文的范畴。
注意：虽然AVCC格式不使用起始码，防竞争字节还是有的。

另外，extradata中有一个命名比较容易让人困惑的变量NALULengthSizeMinusOne，这个变量告诉我们用几个字节来存储NALU的长度（前缀：1、2或4），如果NALULengthSizeMinusOne是0，那么每个NALU使用一个字节的前缀来指定长度，那么每个NALU包的最大长度是255字节，这个明显太小了，这种方式对于存储一个完整的关键帧来说太小了。使用2个字节的前缀来指定长度，那么每个NALU包的最大长度是64K字节，这个对于我们的例子来说是足够了，但是限制还是比较大；3字节是比较完美的，但是因为一些原因没有被广泛支持；因此，4字节长度的前缀是目前使用最多的方式，也是这里我们使用的方式：

0x0000 | 00 00 02 41 65 88 81 00 05 4E 7F 87 DF 61 A5 8B
0x0010 | 95 EE A4 E9 38 B7 6A 30 6A 71 B9 55 60 0B 76 2E
0x0020 | B5 0E E4 80 59 27 B8 67 A9 63 37 5E 82 20 55 FB
0x0030 | E4 6A E9 37 35 72 E2 22 91 9E 4D FF 60 86 CE 7E
0x0040 | 42 B7 95 CE 2A E1 26 BE 87 73 84 26 BA 16 36 F4
0x0050 | E6 9F 17 DA D8 64 75 54 B1 F3 45 0C 0B 3C 74 B3
0x0060 | 9D BC EB 53 73 87 C3 0E 62 47 48 62 CA 59 EB 86
0x0070 | 3F 3A FA 86 B5 BF A8 6D 06 16 50 82 C4 CE 62 9E
0x0080 | 4E E6 4C C7 30 3E DE A1 0B D8 83 0B B6 B8 28 BC
0x0090 | A9 EB 77 43 FC 7A 17 94 85 21 CA 37 6B 30 95 B5
0x00A0 | 46 77 30 60 B7 12 D6 8C C5 54 85 29 D8 69 A9 6F
0x00B0 | 12 4E 71 DF E3 E2 B1 6B 6B BF 9F FB 2E 57 30 A9
0x00C0 | 69 76 C4 46 A2 DF FA 91 D9 50 74 55 1D 49 04 5A
0x00D0 | 1C D6 86 68 7C B6 61 48 6C 96 E6 12 4C 27 AD BA
0x00E0 | C7 51 99 8E D0 F0 ED 8E F6 65 79 79 A6 12 A1 95
0x00F0 | DB C8 AE E3 B6 35 E6 8D BC 48 A3 7F AF 4A 28 8A
0x0100 | 53 E2 7E 68 08 9F 67 77 98 52 DB 50 84 D6 5E 25
0x0110 | E1 4A 99 58 34 C7 11 D6 43 FF C4 FD 9A 44 16 D1
0x0120 | B2 FB 02 DB A1 89 69 34 C2 32 55 98 F9 9B B2 31
0x0130 | 3F 49 59 0C 06 8C DB A5 B2 9D 7E 12 2F D0 87 94
0x0140 | 44 E4 0A 76 EF 99 2D 91 18 39 50 3B 29 3B F5 2C
0x0150 | 97 73 48 91 83 B0 A6 F3 4B 70 2F 1C 8F 3B 78 23
0x0160 | C6 AA 86 46 43 1D D7 2A 23 5E 2C D9 48 0A F5 F5
0x0170 | 2C D1 FB 3F F0 4B 78 37 E9 45 DD 72 CF 80 35 C3
0x0180 | 95 07 F3 D9 06 E5 4A 58 76 03 6C 81 20 62 45 65
0x0190 | 44 73 BC FE C1 9F 31 E5 DB 89 5C 6B 79 D8 68 90
0x01A0 | D7 26 A8 A1 88 86 81 DC 9A 4F 40 A5 23 C7 DE BE
0x01B0 | 6F 76 AB 79 16 51 21 67 83 2E F3 D6 27 1A 42 C2
0x01C0 | 94 D1 5D 6C DB 4A 7A E2 CB 0B B0 68 0B BE 19 59
0x01D0 | 00 50 FC C0 BD 9D F5 F5 F8 A8 17 19 D6 B3 E9 74
0x01E0 | BA 50 E5 2C 45 7B F9 93 EA 5A F9 A9 30 B1 6F 5B
0x01F0 | 36 24 1E 8D 55 57 F4 CC 67 B2 65 6A A9 36 26 D0
0x0200 | 06 B8 E2 E3 73 8B D1 C0 1C 52 15 CA B5 AC 60 3E
0x0210 | 36 42 F1 2C BD 99 77 AB A8 A9 A4 8E 9C 8B 84 DE
0x0220 | 73 F0 91 29 97 AE DB AF D6 F8 5E 9B 86 B3 B3 03
0x0230 | B3 AC 75 6F A6 11 69 2F 3D 3A CE FA 53 86 60 95
0x0240 | 6C BB C5 4E F3

AVCC格式的一个优点是在开始配置解码器的时候可以跳到流的中间播放，这种格式通常用于可以被随机访问的多媒体数据，如存储在硬盘的文件。
也因为这个特性，MP4、MKV通常用AVCC格式来存储。
————————————————
版权声明：本文为CSDN博主「Chucky_Hu」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Romantic_Energy/article/details/50508332

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

信息检索研究与开发国际会议SIGIR 2020于西安召开！摘要截止日期为1月15日！
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/ConferenceEye/article/details/103256666关注“会议之眼”，第一时间送达会议之眼A类，CCF A类信息检索研究与开发国际会…...
2024/3/29 11:28:25
国标GB/T28181协议下EasyGBS互联网无插件视频播放器起播慢或延迟高问题解决方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/EasyGBS/article/details/100983126引言28181协议全称为GB/T28181《安全防范视频监控联网系统信息传输、交换、控制技术要求…...
2024/4/19 7:28:47
夜光带你走进C# 游戏开发等（八十四）擅长的领域
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_41987706/article/details/103194048夜光序言：如果人生永远是一条直路，那一定很单调；如果人生永远停留在某个阶段…...
2024/4/14 18:03:08
夜光带你走进C# 游戏开发等（八十五）擅长的领域
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_41987706/article/details/103194489夜光序言：不要问，雨，为何如此凄凉？那天，诗人独自忧伤，没有日落的帷幕…...
2024/4/20 19:41:08
（C语言）求1-n的阶乘之和
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/hua12ng/article/details/103256838求1-n的阶乘之和题目：输入正整数n（1-10）,求1-n的阶乘之和，最后必须输出回车。遇到…...
2024/4/19 18:01:34
Hadoop的集群安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u010395024/article/details/103256897今天开始hadoop学习。一开虚拟机就出现各种状况。状况一vim 编辑器出现中文乱码。 …...
2024/4/20 4:43:57
Python的安装及环境变量配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/xiaoyaGrace/article/details/1032569211.去python官网下载安装镜像，地址：https://www.python.org/downloads/Python的安…...
2024/4/20 13:19:59
阅读笔记（TIP2019）Subjective and Objective Quality Assessment of Stitched Images for Virtual Reality
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/Miracle0_0/article/details/103256950#2019年11月26日...
2024/4/19 16:31:34
推导投影矩阵
原文链接：https://www.codeguru.com/cpp/misc/misc/graphics/article.php/c10123/Deriving-Projection-Matrices.htm#page-3参考:添加链接描述在任何3D图形程序员工具包中的基本矩阵变换中，投影矩阵都更为复杂。一眼就能理解平移和缩放，任何对三角学有基本了解的人都可以想…...
2024/4/10 5:47:22
redis desktop manager安装以及使用教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/luanzongke5704/article/details/1032569791.下载redis desktop manager 版本0.9.99 官网下载： https://redisdesktop.com…...
2024/4/20 18:13:04
EVS(Enhance Voice Services) Codec 增强语音服务编码
原文链接：https://blog.csdn.net/shij19/article/details/52946592一、什么是EVS 当前视频业务有标清、高清、超清、1080P等等技术，不断在增强视频清晰度，语音业务为了增强清晰度从2G时代的NB(窄带)通信到目前3G和4G在用的WB（宽带)通信。语音业务和视频业务一样，在WB宽带通…...
2024/4/18 3:49:10
Netty-粘包，半包和使用Json方式传输数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq1010234991/article/details/103257013文章目录JSON和ProtoBuf序列化背景详解粘包和拆包粘包和半包半包问题的实践案例运…...
2024/4/20 6:17:22
java线程池-异步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_43166227/article/details/103176689进程与线程进程：一个正在运行的应用程序在操作系统中被称为一个进程，进程包…...
2024/4/18 16:25:11
python_数据筛选查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/wj1298250240/article/details/103257043python_数据筛选查询 #显示使用了优惠券消费的商品，正样本 t2 = merchant3[(merc…...
2024/4/15 21:53:18
git&github操作流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/XiaoJiang0505/article/details/103256982Administrator@XPWY-41-WJW MINGW64 ~/Desktop $ pwd /c/Users/Administrator/Deskt…...
2024/4/15 21:53:48
条款05：了解C++默默编写并调用哪些函数——64
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/HCCQ1/article/details/103257139文章目录总结——67 主要内容如总结中所讲。总结——67 编译器可以暗自为class创建默认构…...
2024/4/4 5:26:41
windows7上使用docker容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/heima201907/article/details/1032571481.安装下载DockerToolbox，并安装。下载地址：https://dn-dao-github-irror.daoc…...
2024/4/20 2:08:23
angluarjs后台模板
我们为您提供关于angluarjs后台模板的精彩内容,我们为您分享本站的原创内容,我们还提供关于angluarjs后台模板的经验内容。...
2024/3/28 11:57:45

H.264流媒体协议格式中的Annex B格式和AVCC格式深度解析

相关文章

最新文章