1.4.7 视觉模型的应用

传统的客观图像质量评价方法，如均方误差（MSE）、峰值信噪比（PSNR）等通过与标准图像比较像素的灰度差异来评价图像质量的退化程度，在这些评价方法的实际运用中发现，这些评价方法与主观感受并不是一致的。因此，人们试图从其他角度来构建图像质量评价模型，基于各种因素的图像质量评价方法也不断地被提出，如结构相似度（SSIM），但大多数方法都没有考虑人眼视觉特性。

由于图像最终由人接收，因此客观图像质量评价方法应该考虑人眼视觉特性。通过大量实验研究得知，对于同一视频图像的评价分析，如果考虑了人眼视觉特性，其评价结果要远远优于没有考虑人眼视觉特性的评价方法的评价结果。因此，很有必要在图像质量评价中引入人眼视觉特性，基于HVS的图像质量评价方法也受到了研究人员的广泛关注。

视觉模型的特性除了前面提到的亮度适应性、对比敏感度，还有马赫效应、掩蔽效应、视觉惰性及多通道性。

马赫效应是指由于侧抑制特性对图像边缘有增强作用，人眼对高、低频成分的响应较低，对中频成分的响应较高，因此人眼在观察亮度发生跃变时，会看到边缘暗侧更暗、亮侧更亮的现象。当人眼观察一幅一边暗、一边亮，中间的过渡是缓慢斜变的图像时，人的主观视觉感受是亮的一边更亮，暗的一边更暗，靠近亮的一边比远离亮的一边显得更暗，靠近暗的一边比远离暗的一边显得更亮，马赫效应如图1-19所示。

掩蔽效应是HVS的一个重要特性，在图像处理过程中，特别是在描述视觉激励的相互作用时起着非常重要的作用。它是指原激励在出现一个新的激励后的可视度降低的现象，或者是在超阈值对比度背景下原激励被掩盖的现象。掩蔽效应在原始信号和掩蔽信号具有相同的频率和方向时最强。通常情况下，当激励单独存在时很容易被辨别，因此一般激励也不会单独存在。观察者对掩盖物的熟悉程度及掩盖物的相位、方向、带宽都会对掩蔽效应产生影响，除此之外，视觉系统的JND的变化也是由掩蔽效应导致的，掩蔽效应分为以下三种。

（1）纹理掩盖：相比于平坦区域，对于边缘、纹理区域中的噪声，人眼敏感度较小。

（2）对比度掩盖：在非常亮或非常暗的区域人眼对失真的敏感度下降。

（3）运动掩盖和切换掩盖：人眼对失真的敏感度在场景切换时或视频序列高速运动时会下降。

视觉惰性是指人眼的亮度感觉并不是随着光的消失而立刻消失的，而是按照一定的指数函数规律逐渐减小的。相比长时间的光刺激，在重复频率较低的情况下，短暂的光刺激更醒目。电影电视的播放就充分利用了人眼的视觉惰性，通过在一定时间内连续播放多帧连续图像序列，达到给人眼以景物连续运动的感觉。

多通道性是指HVS可以看成一组滤波器，而该滤波器组则是各视觉机制的近似装置，它们将可见数据分解成一组各方向、空间频率和时间频率带宽均有限的信号，这种有限带宽信号称为通道。

基于HVS的图像质量评价JND方法，就是利用视觉模型实际应用的一个例子。它的基本思想是：把原始图像和失真图像作为输入，经过一系列基于HVS的处理，输出一幅JND图，JND图上的像素值以JND（Just Noticeable Difference）为单位，它不仅能显示出两幅图像中差别的幅度，而且能显示出其位置。JND模型的框架如图1-20所示。

JND模型的具体做法是：对图像进行预处理，把R、G、B分量转换成更符合人的视觉特性的一个亮度和两个色度分量Y、U、V。利用高斯塔式分解对每个序列进行滤波和下采样处理。对亮度信号进行归一化处理，即依据亮度的时变平均值设定图像的总增益，以模拟HVS对总体亮度值的相对不敏感性。经过归一化处理的数据还要进行三种比较操作：定向比较、闪烁比较和彩色比较。这三种比较实际上是计算每个像素值与所有像素值总和的比值并进行塔形舍入，这样当比值是1时就说明图像的对比度刚好达到人眼可觉察的门限，即一个JND单位。将对比图像通过能量对比掩码，能量对比掩码模拟人眼的掩蔽效应。最后把经过上述相同处理的原始参考视频和失真视频的输出进行差值运算，得到每个亮度和色度分量的JND图，进而合并得到一幅完整的JND图。

将该方法与传统的客观评价方法相比较，运用拟合后的客观评价成绩与主观成绩之间的相关系数（Correlation Coefficient，CC），能够很好地反映客观评价方法的准确性；主观成绩和客观成绩之间的排列次序相关系数（Rank Order Correlation Coefficient，ROCC），反映了客观评价方法预测的离出率（Outlier Ratio，OR）。

CC的计算公式如下：

式中，x_i表示第i幅图像的客观评价成绩经过logistic函数拟合后的成绩；表示拟合后成绩的平均值；y_i表示第i幅图像的主观成绩；表示所有主观成绩的平均值；n表示用于测试的图像的总数。

ROCC的计算公式如下：

式中，rx_i和ry_i分别表示主观成绩和客观评价成绩经过从小到大排序后，第i幅图像在各自序列中的序号；n表示用于测试的图像的总数。

OR的计算公式如下：

式中，n表示用于测试的图像的总数；n₁表示所有客观评分满足非线性回归后的成绩超出主观成绩两倍方差的个数；OR表示离出率。

实验证明，相比PSNR和SSIM，基于HVS的图像质量评价JND方法得到的相关系数和排列次序相关系数更大，而得到的离出率相对更小，这说明此方法较以前方法有很大的改进。相关实验图及数据表格如图1-21、图1-22及表1-1所示。

基于HVS的JND模型充分考虑了人眼视觉特性，包含评估动态和复杂视频序列的三个方面：空域分析、时域分析和全色彩分析，且独立于编码过程和失真类型，基本满足了一个健壮的客观评估方法的要求，因此有较高的应用价值。

另一种利用人眼视觉特性中对比灵敏度的图像质量评价方法也被提出了。它根据人眼对边缘信息的敏感性，首先对图像的边缘信息进行增强，然后利用人眼对局部区域感兴趣的心理特性，在进行评估前，对原始图像和失真图像进行区域显著增强。该方法很好地考虑了人眼视觉特性。

基于对比敏感度的图像质量评价框图如图1-23所示。

基于对比敏感度的图像质量评价方法利用Sobel算子对原始图像和失真图像分别进行了边缘增强，突出了边缘结构信息；利用人眼对低频敏感、高频不敏感的特性，用边缘亮度的平方表示局部区域的显著性，对局部区域进行显著增强以突出人眼感兴趣区域；利用离散傅里叶变换，将原始图像和失真图像分别进行DFT变换和IDFT变换。二维DFT变换和IDFT变换公式如下所示。

由大量实验可知，在3～6cpd的空间频率分量上，人眼表现最为敏感。因此依据人眼视觉特性在[0，4.5cpd]的范围内，对经过离散傅里叶变换得到的原始图像和失真图像的频谱进行子带分割。分割方法是进行等频宽的子带分割，即三个宽度均为1.5cpd的子带和一个直流分量。将子带分割滤波后，通过离散傅里叶反变换得到三个子带图像。

由于对于不同的频率分量，人眼的敏感度也不同，因此对于含有不同频率分量的各子带，也就需要赋予相应不同的权值。最后对所得结果进行加权处理，获得归一化均方误差。

为了模拟视觉皮层的合并过程，需要对上述处理过程所得到的归一化均方误差进行Minkowski合并，其公式如下。

式中，S_i为不同通道的损伤强度；β为合并参数。

实验结果表明，相比PSNR和SSIM，基于对比敏感度的图像质量评价方法得到的相关系数和排列次序相关系数更大，也就代表着与原始图像更相符，而离出率相对更小，表示本方法的测试结果更稳定。实验结果表明，基于对比敏感度的图像质量评价方法较PSNR和SSIM有较大的改进。相关实验图及数据表如图1-24、图1-25及表1-2所示。

从该实验可知，相比PSNR和SSIM，在客观评价尺度上，基于对比敏感度的图像质量评价方法具有较大的改进。