mp4文件格式之fragment mp4 简称为FMP4 与常见mp4有区别

ffmpeg -formats
DE mp3 MP3 (MPEG audio layer 3)
E mp4 MP4 (MPEG-4 Part 14) //mp4中的视频封装有多种，解封装应该交给具体的demux，例如h264、mpeg4等demux👉没有D？？？

ffmpeg -h demuxer=mp4 查看 MP4 文件的 Demuxer 信息：
Demuxer mov,mp4,m4a,3gp,3g2,mj2 (QuickTime I MOV):
Common extensions: mov,mp4,m钮， 3gp, 3g2 ,mj2.
可以 看到 MP4 的 Demuxer 与mov 、 3gp 、 m4 a 、 3g2 、 mj2 的 Demuxer 相同

1、 MP4基本单元box(又称atom)

box = box_header + box_databox_header{UINT32 size;		//包括 box header 和 box body 整个 box 的大小，这样我 们就可以在文件中定位各个 box。==1👉box长度需要更多位才能表示👉用64位的largesize表示==0👉这是文件最后一个box（不再需要以size定位）UINT32 type;		//一般是 4 个字符，如“ftyp”、“moov”等，这 些 box type 都是已经预定义好的，分别表示固定的意义。=uuid👉用户自定义扩展类型的boxUINT64 largesize;  if(size==1)	//如果box很大超过了uint32的最大数值，size就被设置为1，并用接下来的 largesize来存放大小。
}fullbox是Box的扩展，Box结构的基础上在Header中增加8bits version和24bits flagsbox_data{情况A、实际数据情况B、包含更多子box（此时这个box又称为Container容器）				即box可以嵌套
}

box(又称atom)格式：

ftyp							file type and compatibility
moov							container for all the metadata
mvhd						movie header, overall declarations
trak						container for an individual track or stream
tkhd					track header, overall information about the track
tref					track reference container
mdia					container for the media information in a track
mdhd				media header, overall information about the media
hdlr				handler, declares the media (handler) type
minf				media information container
vmhd			video media header, overall information (video track only)
…			sound/hint/Null media header
dinf			data information box, container
dref		data reference box, declares source(s) of media data in track
stbl			sample table box, container for the time/space map
stsd		sample descriptions (codec types, initialization etc.)
stts		(decoding) time-to-sample
stsc		sample-to-chunk, partial data-offset information
stco		chunk offset, partial data-offset information
moof							movie fragment
…							
mdat							media data container

2、mp4中的容器

MP4文件的3个顶级atom（不能被其他atom嵌套）：
1、ftyp：标示了MP4文件，必须出现在第一个。
2、moov：保存了视频的基本信息
3、mdat：保存视频和音频数据

moov和人mdat的相对前后没有强制要求
1、在互联网视频中，若希望mp4文件被快速打开👉moov放在mdat前；
2、若需要将mp4文件下载完成后才可以进行播放👉moov放在后面；
3、分摄像设备生成的MP4文件中，moov在mdat之前，两者之间可能还存在一个Atom free，即moov-free-mdat。free中为全0，只是用于占位。

mp4中的一些重要容器：

0 FREE

free是可选的，如果存在，则通常出现在moov与mdat之间，即moov-free-mdat。
free中的数据通常为全0，其作用相当于占位符，在实时拍摄视频，moov数据增多时分配给moov使用。
因为设备录制视频时并不能预先知道视频数据大小，如果moov在mdat之前，随着拍摄mdat的数据会增加，moov数据也会增多，如果没有free预留的空间，则要不停的向后移动mdat数据以腾出moov空间。

1 ftyp—File Type Box

{32位size  一般为一个固定值32位type = “0x66 74 79 70 = ftyp”32 位的 major brand(4 个字符)  例如“0x6D 70 34 32 = mp42”32 位的 minor version(整数)	例如0x00 00 00 0以 32 位(4 个字符)为单位元素的数组 compatible brands			这些都是用来指示文件应用级别的信息。
}

该 box 有且只有 1 个，并且只能被包含在文件层，而不能被其他 box 包含。该 box 应该被放在文件的最开 始，指示该 MP4 文件应用的相关信息。

2 moov

“moov”是一个 container box，具体内容信息由子 box 诠释。

moov中主要保存了媒体的时间信息、trak信息和媒体索引等。
1 媒体时间信息
moov-mvhd中有一个time scale，以1/n秒的形式给出一个总的时间粒度，moov-trak-tkhd中以此时间粒度给出各个track的duration；2 trak信息
moov中通常包含两个trak，一个视频索引，一个音频索引。2.1 trak类型
trak的类型在moov-trak-mdia-hdlr中给出，包括'vide', 'soun'和'hint'三种。2.2 trak的时间	moov-trak-mdia-mdhd
moov-trak-mdia-mdhd中以1/n秒的形式给出各个媒体的时间粒度以及以此时间粒度为单位的duration。
moov-trak-mdia-minf-stbl-stts中有媒体帧之间的时间间隔，单位是moov-trak-tkhd中的时间粒度。2.3 索引信息		moov-trak-mdia-minf-stbl
moov-trak-mdia-minf-stbl比较重要，其中保存了解码器需要的信息和索引信息，以下Atom都是stbl Atom的孩子。
stsd中保存了解码器需要的媒体描述信息。3 用户定义数据	udta
udta中保存了用户定义数据，例如iTune使用的meta数据就保存在udta中。4 用户扩展数据	uuid
Atom的扩展通过uuid实现。用户可以使用类型为'uuid'的Atom，以16个特定的字节作为标识，定义自己的数据格式。

moov{mvhd（Movie Header Atom ，存放未压缩过的影片信息的头容器）		为 header box，一般作为“moov”的第一个子box出现。//也可能是cmov 标签， Compressed Movie Atom ， 压缩过的电影信息容器，此容器不常用//       rmra 标签， Reference Movie Atom ， 参考电影信息容器，此容器不常用//这三种必有其一Clipping atom(clip）影片剪辑信息 若干track视频track音频trackColor Table Atom( ctab）User Data Atom(udta）
}moov = 4字节size + 4字节类型“6d6f 6f76即moov”  + 若干字box    //size = moov描述大小（4+4） + 全部子box总大小

2.1 mvhd

字段 				长度／字节 	描述
尺寸 				4 			movie header atom 的字节数
类型 				4 			mvhd
版本 				1			movie header atom 的版本
标志 				3 			扩展的 movie header 标志，这里为 0
生成时间 			4 			Movie atom 的起始时间 。 基准时间是 1904-1-1 0:00 AM
修订时间 			4 			Movie atom 的修订时间 。 基准时间是 1904-1-1 0:00 AM
Time scale 			4 			时间计算单位，就像是系统时间单位换位为 60 秒一样
Duration 			4 			通过这个值可以得到影片的播放长度时间值
播放速度rate 		4 			播放此 movie 的速度。1.0（0x00010000）为正常播放速度（16.16 的浮点表示 即高16位和低16位分别是整数部分+小数部分）
播放音量 			2 			播放此 movie 的音量。1.0（0x0100）为最大音量（8.8的浮点表示）
保留 				10 			这里为 0
矩阵结构 			36 			该矩阵定义了此 movie 中两个坐标空间的映射关系
预览时间 			4 			开始预览此 movie 的时间
预览 duration 		4 			以 movie 的 time scale 为单位，预览的 duration
Poster time 		4 			Poster 的时间值
Selection time 		4 			当前选择时间的开始时间值
selection duration 	4 			当前选择时间的计算后的时间值
当前时间 			4 			当前时间
下一个track ID 		4 			下一个待添加 track 的 ID 值。 0不是一个有效的 ID 值

2.2 trak（一般包含2个：视频track、音频track）

例如

track{4字节 size = 44字节 type = “7472 616b = track”必有：Track Header Atom(tkhd）Media Atom(mdia)可选：Track 剪辑容器： Track Clipping Atom(clip)Track 画板容器： Track Matte Atom(matt)Edit 容器： Edit Atom(edts)Track 参考容器 ： Track Reference Atom(tret)Track 配置加载容器： Track Load Settings Atom(load)Track 输出映射容器： Track Input Map Atom(imap)用户数据容器： User Data Atom(udta)
}

2.2.1 tkhd

字段 			长度／字节 	描述
尺寸 			4 			这个 Atom 的字节数
类型 			4 			tkhd
版本 			1			这个 Atom 的版本
标志 			3 			有效的标志分别如下：• OxOOO I : track 生效• Ox0002 : track 被用在 Movie 中• Ox0004: track 被用在 Movie 预览中• Ox0008: track 被用在 Movie 的 Poster 中
生成时间 		4 			Movie Atom 的起始时间。基准时间是 1904-1-1 0:00 AM
修订时间 		4 			Movie Atom 的修订时间。基准时间是 1904-1-1 0:00 AM
Track ID 		4 			唯一标志该 回ck 的一个非零值
保留 			4 			这里为 0
Duration 		4 			track 的 Duratio口，在电影的时间戳中 。 与 track 的 edts list 进行的时间戳会建立关联，然后进行时间戳计算，得到对应的 track 的播放时间坐标
保留 			8 			这里为 0
Layer 			2 			视频层，默认为 0 ，值小的在上层
Alternate group 2 			track 分组信息，默认为 0 ，表示该 track 未与其他 track 有群组关系
音量 			2 			播放此 track 的音量 。 1.0 为正常音量（OxOOO）
保留 			2 			这里为 0
矩阵结构 		36 			该矩阵定义了此 track 中两个坐标空间的映射关系
宽度			4 			如果该住时是 咐eo track，那么此值为图像的宽度（ 16 . 16 浮点表示）
高度			4 			如果该 track 是 video track，那么此值为图像的高度（ 16.16 浮点表示）

2.2.2 edts

2.2.3 mdia

FFMpeg从入门到精通（刘歧）p93：
mdia必须包含以下容器：
1、一个媒体头： Media Header Atom (mdhd)
2、一个句柄参考： Handler Reference (hdlr)
3、一个媒体信息： Media lnfomation ( minf） 和用户数据 User Data Atom (udta)
//网上找的测试文件中mdia却不包括udta？？？

mdia{4字节 size = mdia 容器信息(4+4)＋mdhd+hdlr+minf 容器大小4字节 type = “6d64 6961 = mdia”mdhdhdlrminf}

mdhd（Media Header Atom）

mdhd 容器被包含在各个 track 中，描述 Media 的 Header

例如：音频时长可以根据 Duration / Timescale = 250 000 / 25 000 的方式来计算，根据本例中的数据可以计算出音频的时间长度为 10 秒钟 。

mdlr（Handler Reference）描述了媒体流的播放过程

minf（Media lnfomation）

inf 容器中包含了很多重要的子容器，例如音视频采样等信息相关的容器，
minf 容器中的信息将作为音视频数据的映射存在，其内容信息具体如下 。
1、视频信息头： Video Media Information Header ( vmhd）
2、音频信息头： Sound Media Information Header ( smhd）
3、数据信息 ： Data Information ( dinf）
4、索引信息表： Sample Table ( stbl）

vmhd视频信息头（Video Media Information Header）

字段 	长度／字节 	描述
尺寸 	4 			这个 Atom 的字节数
类型 	4 			vmhd
版本 	1			这个 Atom 的版本
标志 	3 			固定为 OxOOOOOl
图形模式 2 			传输模式，传输模式指定的布尔值
Opcolor 6 			颜色值， RGB 颜色值

smhd音频信息头： Sound Media Information Header

字段 长度／字节 	描述
尺寸 4 			这个 Atom 的字节数
类型 4 			smhd
版本 1			这个 Atom 的版本
标志 3 			固定为 0
均衡 2 			音频的均衡是用来控制计算机的两个扬声榕的声音混合效果， 一般是 0
保留 2 			保留字段，默认为 0

dinf数据信息（Data Information）

字段 	长度／字节 	描述
尺寸 	4 			这个 Atom 的字节数
类型 	4 			dref
版本 	1			这个 Atom 的版本
标志	3 			固定为 0
条目数目 4 			data references 的数目
数据参考 			每个 data reference 都像容器的格式一样，包含以下数据成员
尺寸 	4 			这个 Atom 的字节数
类型 	4 			url/alis/rsrc
版本 	1			这个 data reference 的版本
标志 	3 			目前只有一个标志： OxOOOI
数据 	可变		可变 data reference 信息

stbl采样参数列表容器： Sample Table Ato

stss（Sync Sample Atom）标识了媒体流中的关键帧，提供了随机访问点。每个entry标识了一个关键帧。
关键帧号是按照增长顺序排列的。如果该Atom不存在，表示所有帧都是关键帧。

stco/co64, Chunk Offset Atom
stco/co64给出每个数据Chunk在文件中的偏移。Chunk Offset Atom的每个entry给出了每个chunk在文件中的偏移。
如果Chunk Offset Atom的类型为stco，则保存的偏移量是32位；如果是co64，则保存的偏移量是64位的。布局如图。

需要注意的是，该Atom中只给出了每个chunk的偏移量，并没有给出每个sample的偏移量。因此，如果要获得每个sample的偏移量，还需要用到Sample Size Table和Sample-To-Chunk Table。

stts（Time-To-Sample Atoms）stts给出每个数据帧之间的时间间隔，单位是moov-trak-tkhd中的时间粒度。
Atom的每个entry给出了具有相同时间间隔的连续帧的个数，这些帧的时间间隔值，结构如图。

每个entry包含一组chunk，其中每个chunk的帧数相同。而且，这些chunk中的每个帧都必须使用相同的帧描述。
如果chunk中的帧数或者帧描述改变，必须创建一个新的entry。
如果所有的chunk包含的帧数和帧描述相同，那么只有一个entry。

stsc实例
图中表示至少有5个chunk，第1、2个chunk分别包含3个帧，帧描述ID是23；第3、4个chunk分别包含1个帧，帧描述ID是23；第5个及以后的chunk，包含1个帧，帧描述ID是24。
对于最后一个entry需要特殊的处理，因为无法判断什么时候结束。

stsz, Sample Size Atom
stsz给出各个数据帧的长度。如果指定了默认的帧长度，那么这个Atom就不存在了，此时每个每个帧使用默认帧长度。

3 mdat

所有媒体数据统一存放在mdat中，没有同步字，没有分隔符，只能根据索引进行访问。
mdat的位置比较灵活，可以位于moov之前，也可以位于moov之后，但必须和stbl中的信息保持一致。

另外，在写mp4文件的时候，对于mdat这个Atom，一般是先将Atom size填写0，待数据写完之后，再回过来填入具体大小。

简单应用

1、把文件尾部的moov移到文件头
对于流媒体播放，如果mdat的位置在moov之前，通过流的方式播放文件会出现问题，因为没有办法在一开始就获得文件的媒体信息和索引。
这种情况需要对视频做预处理，把moov移动到文件头。通过遍历Atom可以很容易找到moov Atom。

需要注意的是，移动moov到文件头，同时需要修改moov中的stco/co64。因为这里保存了chunk数据的偏移量，移动moov后，需要根据moov的新位置更新stco/co64 。

stco/co64的结构如下：

 +---------------+|size           |  +---------------+|type           |  +---------------+|*long_size     | <--+ 8 bytes(optional). Set when size == 1+---------------+|Version        |  +---------------+|chunk count    |  +---------------+|chunk 1 offset | <--+ 4 bytes for stco, 8 bytes for co64+---------------+|chunk 2 offset |+---------------+|...            |  +---------------+

2、分割MP4文件
在视频点播服务中，需要将MP4文件分割为多个分片，此时需要获取关键帧、切割时间轴、更新moov和生成各个分片文件。

可参考 http://www.cnblogs.com/haibindev/archive/2011/10/17/2214518.html

mp4分析工具

1、Elecard StreamEye
2、mp4box
3、mp4info
4、Linux：AtomicParsley，C++编写，解析文件的atom

附录: ISO/IEC 14496 MPEG的协议标准
ISO/IEC 14496是MPEG专家组制定的MPEG-4标准于1998年10月公布第1版，1999年1月成为国际标准，1999年12月公布了第2版，2000年初成为国际标准。
全文分为27个部分：
（1）ISO/IEC 14496-1系统部分，描述视频和音频数据流的控制、同步以及混合方式（即混流 Multiplexing，简写为MUX）。
（2）ISO/IEC 14496-2视频部分，定义了一个对各种视觉信息（包括自然视频、静止纹理、计算机合成图形等等）的编解码器。（例如XviD编码就属于MPEG-4 Part 2）。
（3）ISO/IEC 14496-3音频部分，定义了一个对各种音频信号进行编码的编解码器的集合。包括高级音频编码（Advanced Audio Coding，缩写为AAC）的若干变形和其他一些音频/语音编码工具。
（4）ISO/IEC 14496-4一致性部分，定义了比特流和设备的一致性条件，用来测试MPEG-4的实现。
（5）ISO/IEC 14496-5参考软件，提供了用于演示功能和说明本标准其他部分功能的软件。
（6）ISO/IEC 14496-6多媒体传送整体框架DMIF，这是MPEG-4应用层与传输网络的接口，定义了通信协议，使MPEG-4系统的数据流能进入各种传输网络。还包含一个存储格式MP4，用于存储编码的场景。
（7) ISO/IEC 14496-7优化的参考软件，提供了对实现进行优化的例子(这里的实现指的是第五部分)。
（8）ISO/IEC 14496-8在IP网络上传输，定义了在IP网络上传输MPEG-4内容的方式。
（9）ISO/IEC 14496-9参考硬件描述，提供了用于演示怎样在硬件上实现本标准其他部分功能的硬件设计方案
（10）ISO/IEC 14496-10高级视频编码AVC，定义了一个视频编解码器（codec）。AVC和XviD都属于MPEG-4编码，但由于AVC属于MPEG-4 Part 10，在技术特性上比属于MPEG-4 Part2的XviD要先进。另外，它和ITU-T H.264标准是一致的，故又称为H.264。
（11）ISO/IEC 14496-11场景描述和应用引擎。
（12）ISO/IEC 14496-12ISO媒体文件格式，定义了一个存储媒体内容的文件格式。
（13）ISO/IEC 14496-13知识产权管理和保护（IPMP：Intellectual Property Management and Protection）扩展。
（14）ISO/IEC 14496-14MP4文件格式，定义了基于第十二部分的用于存储MPEG-4内容的容器文件格式。
（15）ISO/IEC 14496-15AVC文件格式，定义了基于第十二部分的用于存储第十部分的视频内容的文件格式。
（16）ISO/IEC 14496-16动画框架扩展AFX（Animation Framework eXtension）。
（17）ISO/IEC 14496-17同步文本字幕格式。
（18）ISO/IEC 14496-18字体压缩和流式传输(针对公开字体格式)。
（19）ISO/IEC 14496-19合成材质流（Synthesized Texture Stream）。
（20）ISO/IEC 14496-20简单场景表示（LASeR for Lightweight Scene Representation）。
（21）ISO/IEC 14496-21用于描绘(Rendering)的MPEG-J拓展。
（22）ISO/IEC 14496-22开放字体格式（Open Font Format）。
（23）ISO/IEC 14496-2符号化音乐表示（Symbolic Music Representation）。
（24）ISO/IEC 14496-24音频与系统交互作用（Audio and systems interaction）。
（25）ISO/IEC 14496-253D图形压缩模型（3D Graphics Compression Model）。
（26）ISO/IEC 14496-26音频一致性检查：定义了测试音频数据与ISO/IEC 14496-3是否一致的方法（Audio conformance）。
（27）ISO/IEC 14496-273D图形一致性检查：定义了测试3D图形数据与ISO/IEC 14496-11:2005, ISO/IEC 14496-16:2006, ISO/IEC 14496-21:2006, 和 ISO/IEC 14496-25:2009是否一致的方法（3D Graphics conformance）。

https://wiki.multimedia.cx/?title=QuickTime_container

开源库
qtfaststart python编写的，如果moov在文件尾部，移动到文件头部