数字图像处理笔记（四）

基于内容的图像检索

为什么需要基于内容的图像检索？

• 提供图像的检索功能
• 不需要人手工标准，计算机自动分析和检索，节省人力和时间
• 使海量图像的管理和索引成为可能
• 存在的问题：1.人类高级语义特征与计算机底层特征表示的矛盾；2.查询方式问题

  具体内容

  特征提取

• 颜色特征
• 纹理特征
• 形状特征
• 空间关系特征

  颜色空间

1. RGB
2. CMY或CMYK
3. HSI
4. HSV:比HSI模型更与人类对颜色的感知接近
5. 均匀颜色空间模型：MTM，LUV和Lab
   均匀颜色空间模型

• 从图像处理的角度，对颜色的描述应该与人对颜色的感知越接近越好
• 从视觉感知均匀的角度，人所感知到的两个颜色的距离应该与这两个颜色在表达它们的颜色空间中的距离越成比例越好。
• 如果在一个颜色空间中，人所观察到的两种颜色的区别程度与该颜色空间中两点间的欧氏距离对应，则称该空间为均匀颜色空间
• 典型的例子：MTM,Luv和Lab

  颜色特征

• 统计直方图
• 累积直方图
• 颜色布局:MPEG-7中建议了一种颜色布局描述符；表达颜色的空间分布信息
• 颜色分块
• 颜色相似度匹配算法

1. 直方图相交法
   令$H_Q(k)$和$H_D(k)$分别为查询图像Q和数据库图像D的(某一)特征的统计直方图,则两图像之间的相似值为 $$P(Q,D)=\frac{\sum_{k=0}^{L-1}min{H_Q(k),H_D(k)}}{\sum_{k=0}^{L-1}H_Q(k)}$$ 距离为：$d_{L_1}=1-P(Q,D)$

如果用HSV直方图表示每幅图像，则两幅图像Q和D的直方图交表示为:

$$P(Q,D)=\frac{\sum_H\sum_S\sum_V min\{H_Q(H,S,V),H_D(H,S,V)\}}{min\{\sum_H\sum_S\sum_V H_Q(H,S,V),\sum_H\sum_S\sum_V H_D(H,S,V)\}}$$ $$P(Q,D)=\frac{\sum_H\sum_S\sum_V min\{H_Q(H,S,V),H_D(H,S,V)\}}{\sum_H\sum_S\sum_V H_Q(H,S,V)}$$

1. 欧氏距离
   $P_E(Q,D)=\sqrt{\sum_{i=0}^{L-1}[H_Q(i)-H_D(i)]^2}$
   加权的欧氏距离法：
   $P_w(Q,D)=\sqrt{\sum_{i=0}^{L-1}[H_Q(i)-H_D(i)]^2}$ $$W_i= \begin{cases} H_Q(i) \ \ \ \ \ \ H_Q(i),H_D(i)＞0 \\ 1 \ \ \ \ \ \ \ \ \ \ \ \ \ \ H_Q(i)或H_D(i)=0 \\ \end{cases}$$
2. 距离法
   为减少计算量，可借助直方图的均值来粗略地表达颜色信息。如果图像用R,G,B三个分量表示，则图像的特征向量由这三个分量的均值组成 $$f=[\mu_R,\mu_G,\mu_B]^T$$ 此时图像Q和D的相似值为 $$P(Q,D)=\sqrt{(f_Q-f_D)^2}=\sqrt{\sum_{R,G,B}(\mu_Q-\mu_D)^2}$$

MPEG-7中建议的颜色布局描述符在匹配时使用了类似的距离公式

$$P(Q,D)=\sqrt{\sum_iW_Y(Y_{i,Q}-Y_{i,D})^2}+\sqrt{\sum_iW_{cr}(Cr_{i,Q}-Cr_{i,D})^2}+\sqrt{\sum_iW_{Cb}(Cb_{i,Q}-Cb_{i,D})^2}$$

1. 中心矩法

• 对直方图来说，均值是其零阶矩,更高阶的矩也可以用于匹配
• 对一幅灰度级为L的图像，其直方图为H(i),则该图像的前三阶中心距分别为 $$M_1=\frac{1}{L}\sum_{i=0}^{L-1}H(i)$$ $$M_2=[\frac{1}{L}\sum_{i=0}^{L-1}(H(i)-M_1)^2]^{\frac{1}{2}}$$ $$M_3=[\frac{1}{2}\sum_{i=0}^{L-1}(H(i)-M_1)^3]^{\frac{1}{3}}$$

1. 参考颜色表法

总结：
这是一种全局特征，描述了图像或图像区域所对应景物的表面性质
由于颜色对图像或图像区域的方向、大小等变换不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征
颜色直方图表示的优点：不受图像旋转和平移变化的影响，归一化可不受图像尺度变化的影响
颜色直方图表示的优点:没有颜色空间分布的信息？

纹理特征

纹理概述

• 描述图像时常用的一个概念，类似于颜色，也常取决于感知
• 对纹理的感受是与心理效果相结合的。
• 类似于布纹、草地、砖墙等重复性结构的图像称为纹理图像

纹理可认为是灰度(颜色)在空间以一定的形式变化而产生的图案(模式)
一般来说，纹理图像中灰度分布具有某种周期性，即便灰度变化是随机的，它也具有一定的统计特性；
纹理通常和图像频谱中的高频分量是密切联系的，光滑的图像(主要包括低频分量)一般不认为是纹理图像。

• 纹理表示

1. Tamura表示法
   对比度、粗细度和方向性是描述纹理的3个量
   利用这3个量可组合成一个3-D空间
   在这个3D空间中，两点间的欧氏距离与人对纹理感知的差距很接近

对比度依赖于像素的灰度分布，它可测量图像中局部的灰度变化，也常用作对图像整体感知的一种描述
一般来说，图像的对比度与图像灰度的动态范围及图像中边缘的尖锐程度都有关

$$contrast=\frac{\sigma}{[\mu_4/\sigma^4]^{\frac{1}{4}}}$$

其中，$\sigma$是图像灰度的标准方差，$\mu_4$是图像灰度的4阶中心距

粗细度测量纹理的间隔尺寸/粒度，与图像的分辨率有关，分辨率大则纹理比较粗，即组成纹理的元素尺寸比较大

$$coarseness=\frac{1}{mn}\sum_{ij}2^kf(i,j)$$

其中，窗口尺寸是$2^k×2^k$,k能使X和Y方向的$\sum_{ij}f(i,j)/2^{2k}$最大化,k的取值在0到5之间。

方向性是一个全局的纹理特征，它描述纹理是如何沿某些方向散布或集中的
一般来说，方向性和纹理基元的形状以及如何将这些纹理基元排列的规则有关

1. 联合概率矩阵表示
   用纹理特征的联合概率矩阵表示。这种方法考察了纹理在灰度级空间中的相关性
   首先基于像素间的距离和方向建立联合概率矩阵
   然后从联合概率矩阵中提取出有意义的统计量作为纹理描述
2. 小波表示

总结：
纹理特征也是一种全局特征，描述了图像或图像区域所对应景物的表面性质
仅仅利用纹理特征是无法获得高层次图像内容。
不像颜色特征基于像素点，纹理需要在包含多个像素点的区域中进行统计计算
具有旋转不变性，并且对于噪声有较强的抵抗能力

纹理特征缺点：
当图像的分辨率发生变化，所计算出来的纹理可能会有较大偏差
可能受到光照、反射情况的影响，用于检索时，這些虚假的纹理会导致误导

形状特征

• 从不同视角获取的图像中目标形状可能会有很大差别
• 为准确进行形状匹配，需要解决平移、尺度、旋转变换不变性的问题

通常形状表示方法可分为两类：

1. 一类是基于边缘的形状表示
2. 另一类是基于区域的形状表示

描述方法

1. 傅里叶描述子：利用傅里叶变化的边界作为形状的特征
2. 不变矩描述子：利用基于区域的矩作为形状特征
3. 有限元素法、旋转函数、小波描述子等

形状特征总结：
可以有效利用图像中感兴趣的目标来进行检索
存在的问题：

• 缺乏比较完善的数学模型
• 如果目标有变形时，检索结果不太可靠
• 仅仅描述了目标局部的性质，要全面描述目标常常对计算时间和存储量有较高的要求
• 许多形状特征所反映的目标形状信息与人的直观感觉不完全一致