JPEG原理分析及JPEG解码器的调试

原理分析

JPEG编解码流程图

1. 将传入的图像进行零电平偏置，其实就是将所有像素的数值减去128，将其范围从[0,255]变成[-128,127]。
2. 进行8×8的DCT变换，实现能量集中和去相关，便于去除图像的空间冗余度。
3. 使用量化表进行量化。利用根据人眼视觉特性设计的量化的量化矩阵进行量化，低频细量化，高频粗量化，进而减少视觉冗余。
4. 最后对量化后的直流系数进行差分和VLC编码；对交流系数进行zig-zag扫描和游程编码最后再进行VLC编码。从而减少数据冗余。

DC系数编码

由于直流系数 F(0,0)反映了该子图像中包含的直流成分，通常较大，又由于两个相邻的子图像的直流系数通常具有较大的相关性，所以对 DC 系数采用差值脉冲编码（DPCM）,即对本像素块直流系数与前一像素块直流系数的差值进行无损编码。

AC系数编码

首先，进行游程编码（RLC），并在最后加上块结束码（EOB）；然后，系数序列分组，将非零系数和它前面的相邻的全部零系数分在一组内；每组用两个符号表示[（Run，Size），（Amplitude）]
其中Amplitude表示非零系数的幅度值；Run：表示零的游程即零的个数；Size：
表示非零系数的幅度值的编码位数；

JPEG文件格式

Segment组织形式

JPEG 在文件中以 Segment 的形式组织，它具有以下特点：

• 均以 0xFF 开始，后跟 1 byte 的 Marker 和 2 byte 的 Segment length（该长度包含Length本身所占用的 2 byte，指的是length及其后的数据长度）
• 采用 Motorola 序（相对于 Intel 序），即保存时高位在前，低位在后；
• Data 部分中，0xFF 后若为 0x00，则跳过此字节不予处理；

JPEG 的 Segment Marker

non-hierarchical Huffman coding

Symbol	Code Assignment(0xFF+Marker)	Description
$SOF_0$	0xFFC0	Baseline DCT
$SOF_1$	0xFFC1	Extended sequential DCT
$SOF_2$	0xFFC2	Progressive DCT
$SOF_3$	0xFFC3	Spatial (sequential) lossless

hierarchical Huffman coding

Symbol	Code Assignment(0xFF+Marker)	Description
$SOF_5$	0xFFC5	Differential sequential DCT
$SOF_6$	0xFFC6	Differential progressive DCT
$SOF_7$	0xFFC7	Differential spatial lossless

non-hierarchical arithmetic coding

Symbol	Code Assignment(0xFF+Marker)	Description
JPG	0xFFC8	Reserved for JPEG extensions
$SOF_9$	0xFFC9	Extended sequential DCT
$SOF_{10}$	0xFFCA	Progressive DCT
$SOF_{11}$	0xFFCB	Spatial (sequential) Lossless

hierarchical arithmetic coding

Symbol	Code Assignment(0xFF+Marker)	Description
$SOF_13$	0xFFCD	Differential sequential DCT
$SOF_14$	0xFFCE	Differential progressive DCT
$SOF_{15}$	0xFFCF	Differential progressive DCT

Huffman table specification

Symbol	Code Assignment(0xFF+Marker)	Description
DHT	0xFFC4	Define Huffman table(s)

arithmetic coding conditioning specification

Symbol	Code Assignment(0xFF+Marker)	Description
DAC	0xFFCC	Define arithmetic conditioning table

Restart interval termination

Symbol	Code Assignment(0xFF+Marker)	Description
RSTm	0xFFD0～0xFFD7	Restart with modulo 8 counter m

Other marker

Symbol	Code Assignment(0xFF+Marker)	Description
SOI	0xFFD8	Start of image
EOI	0xFFD9	End of image
SOS	0xFFDA	Start of scan
DQT	0xFFDB	Define quantization table(s)
DNL	0xFFDC	Define number of lines
DRI	0xFFDD	Define restart interval
DHP	0xFFDE	Define hierarchical progression
EXP	0xFFDF	Expand reference image(s)
$APP_n$	0xFFE0～0xFFEF	Reserved for application use
$JPG_n$	0xFFF0～0xFFFD	Reserved for JPEG extension
COM	0xFFFE	Comment

Reserved markers

Symbol	Code Assignment(0xFF+Marker)	Description
TEM	0xFF01	For temporary use in arithmetic coding
RES	0xFF02～0xFFBF	Reserved

JPEG 的解码流程

1. 读取文件

2. 解析 Segment Marker

   1. 解析 SOI

   2. 解析 APP0

      • 检查标识“JFIF”及版本

      • 得到一些参数

   3. 解析 DQT

      • 得到量化表长度（可能包含多张量化表）
      • 得到量化表的精度
      • 得到及检查量化表的序号（只能是 0 ——3）
      • 得到量化表内容（64 个数据）

   4. 解析 SOF0

      • 得到每个 sample 的比特数、长宽、颜色分量数

      • 得到每个颜色分量的 ID、水平采样因子、垂直采样因子、使用的量化表序号（与 DQT 中序号对应）

      • 解析 DHT

   5. 解析 DHT

      • 得到 Huffman 表的类型（AC、DC）、序号
      • 依据数据重建 Huffman 表

   6. 解析 SOS

      • 得到解析每个颜色分量的 DC、AC 值所使用的 Huffman 表序号（与 DHT 中序号对应）

3. 依据每个分量的水平、垂直采样因子计算 MCU 的大小，并得到每个 MCU 中 8*8宏块的个数

4. 对每个 MCU 解码（依照各分量水平、垂直采样因子对 MCU中每个分量宏块解码）

   1. 对每个宏块进行 Huffman 解码，得到 DCT 系数
   2. 对每个宏块的 DCT 系数进行 IDCT，得到 Y、Cb、Cr
   3. 遇到 Segment Marker RST 时，清空之前的 DC DCT 系数

5. 解析到 EOI，解码结束

6. 将 Y、Cb、Cr 转化为需要的色彩空间并保存。

实验步骤

1. 逐步调试JPEG解码器程序。将输入的JPG文件进行解码，将输出文件保存为可供YUVViewer观看的YUV文件。
2. 程序调试过程中，做到
   • 理解程序设计的整体框架
   • 理解三个结构体的设计目的
     • struct huffman_table
     • struct component
     • struct jdec_private
   • 理解在视音频编解码调试中TRACE的目的和含义
     • 会打开和关闭TRACE
     • 会根据自己的要求修改TRACE
3. 以txt文件输出所有的量化矩阵和所有的HUFFMAN码表。
4. 输出DC图像并统计其概率分布。
5. 输出某一个AC值图像并统计其概率分布。