References

1.       MPEG-7 overview(http://mpeg.chiariglione.org/standards/mpeg-7/mpeg-7.htm)

2.       孙君顶，赵珊。 图像低层特征提取与检索技术

 

 

1. MPEG-7中图像特征描述符标准

1.1 MPEG-7标准中的几个重要概念：

描述符(Descriptors, Ds)，描述方案(Description Schemes, DS)，描述定义语言(Description Definition Language, DDL)

Ds:表示多媒体特征信息的语法和语义属性，一个特征可以用多个描述符来表示。比如，可以用平均色，主色，颜色直方图等来描述颜色特征。

DS:指定了对象或者特征的结构和关系，一般情况下，描述方案是解决图像分类和组织问题，或以特定的索引结构描述图像内容的子系统。

DDL:目前，MPEG-7采用特定扩展的XML语言作为描述定义语言。

1.2 MPEG-7标准涉及五类基本的视觉特征，对应的使用了5类描述符：颜色描述符，纹理描述符，形状描述符，运动描述符和位置描述符。其中颜色，纹理，形状描述符针对单幅静止图像

1.2.1 颜色描述符

颜色描述符涉及颜色空间描述符(Color Space Descriptor)，颜色量化描述符(Color Quantization Descriptor)，主颜色描述符(Dominant Color Descriptor)，可伸缩颜色描述符(Scalable Color Descriptor)，颜色布局描述符(Color Layout Descriptor)，颜色结构描述符(Color Structure Descriptor)及帧图/图组颜色描述符(Group of Frames/Group of Pictures Color Descriptor)等

颜色空间描述符描述了MPEG-7颜色描述符的颜色空间，包括RGB，YCbCr，HMMD，HSV，以及各种颜色系统与RGB的线性变换矩阵。

颜色量化描述符描述了颜色空间的均匀量化，量化产生的维(Bin)的数目是可匹配置的，这样使得各种应用具有更大的灵活性。该描述符往往需要和主颜色等描述符配合。

主颜色描述符最适用于表示局部（对象或图像区域）特征，几种颜色就足以表达我们刚兴起的区域的信息。

可伸缩颜色描述符定义了HSV空间的颜色直方图，然后用Haar变化编码。根据Bin的数目和Bit表示的精度，它的二进制表达在Bin的数量和Bit表达精度上都是可伸缩的。这个描述符主要用于图像与图像的匹配和基于颜色特征的检索，检索的精度随着描述中使用的比特数目的增加而增加。

颜色布局描述符描述了整幅图像或者图像的部分区域的颜色空间分布状况。

颜色结构描述符是一个颜色特征描述符，它既包括颜色内容信息，又包括内容的结构信息。他的主要功能是图像与图像的匹配，主要用于静态图像检索。

帧图/图组颜色描述符用于静态图像的可伸缩颜色描述符扩展到对视频片段或静态图像集合的颜色描述。在Haar变换之前，用附加的俩个比特定义如何计算颜色直方图：是均值，中值还是相交。

 

1.2.2          纹理描述符

形状描述符涉及区域形状描述符(Region Shape Descriptor)，轮廓形状描述符(Contour Shape Descriptor)，及3D形状描述符(Shape 3D)三种

 

Figure 1: Example of various shapes

区域形状描述符的表达式是由一系列ART(Angular Radial Transform)系数构成的。ART定义了一组二维的复值正交基函数，将二维区域投射到这些函数上，得到的系数归一化后就可以描述区域的形状并用于匹配。

轮廓形状描述符是利用轮廓的多尺度曲率克难攻坚(Curvature Scale Space, CSS)来描述封闭的轮廓。

三维形状描述符可用于想对自然的或虚拟的三维目标。

1.2.3          形状描述符

形状描述符涉及同质纹理描述符(Homogenous Texture Descriptors)，纹理浏览描述符(Texture Browsing Descriptors)和边缘直方图描述符(Edge Histogram Descriptors)三种。

同质纹理描述符在纹理具有一致性的区域统计纹理的空间频率，它作为一个重要的视觉特征，通过频域计算能力和能量差来提供对纹理的量化描述。同质纹理描述子采用了5个尺度和6个方向的30个Gabor滤波器对纹理图像进行多分辨率分解，将频域内滤波器组输出能量的均值和标准差作为纹理特征。

纹理浏览描述符从类似于人类感知的角度和纹理的方向性(Directionality)，规则性(Regularity)和粗糙程度(Coarseness)进行描述，适用于图像的浏览和根据纹理粗糙程度进行的分类。

边缘直方图描述符描述了边缘的空间分布信息。首先将图像划分成16个互不重叠的举行区域，对每个图像区域分布按水平，垂直，45°，135°四个方向和一个无方向性边缘五类信息（如Figure 2）进行统计，此描述子具有尺度不变性，支持纹理旋转和旋转不变匹配，适用于非一致纹理图像，如普通图像的检索。

 

Figure 2: Edge Definition