0.2.1 水下图像质量提升方法

水下图像质量提升方法主要包括水下图像复原算法和水下图像增强算法。

0.2.1.1 水下图像复原算法

水下图像复原算法根据光在水中的传播特性构建水下图像退化模型,通过估计模型中的参数反演其退化过程,最终获得退化前的清晰图像[1]。水下图像质量下降的原因与雾天图像类似,自何恺明等人[2]提出使用暗通道先验(Dark Channel Prior,DCP)算法处理雾天图像质量下降问题并取得不错的效果后,大量的研究人员将DCP算法与水下图像的衰减特性相结合,提出了大量的水下图像复原方法。2013年,Drews等人[3]提出了基于 DCP 算法的水下图像复原算法,该算法的特点是仅将 DCP 算法应用于蓝色光和绿色光通道,从而减少红色光通道分量造成的影响,该算法能有效提高图像的视觉效果,但该算法的适用场景比较有限。2015 年,Galdran 等人[4]考虑到不同波长的光线在水中的选择性衰减使得直接应用DCP算法的效果差等问题,提出一种红色光通道水下图像复原算法,该算法反转了红色光通道的背景光和像素强度值,在此基础上利用DCP算法估计透射率,该算法能够在有效还原场景真实色彩的同时提高图像的清晰度。2016年,Li等人[5]基于最小信息损失原则估计红色光通道透射率,然后根据三种颜色光通道透射率的关系计算蓝色光和绿色光通道的透射率,最终根据水下成像模型获得颜色自然、清晰的复原图像。2019年,Ueki等人[6]提出一种基于广义暗通道先验(Generalization of the Dark Channel Prior,GDCP)迭代的水下图像复原算法,首先通过GDCP迭代获得增强后的图像,为消除迭代过后背景区域的颜色失真和噪声,将多次迭代得到的增强图像与初始增强后的图像融合,该算法能很好地提升图像对比度和清晰度,然而 GDCP 迭代在提高图像质量的同时也大大增大了计算开销。2020年,林森等人[7]提出了一种基于修正散射模型的水下图像复原算法,该算法首先将背景光融入水下成像模型,然后根据红色光通道的逆通道提出水下成像模型,最后结合暗通道先验估计介质的透射率复原退化前的水下图像,该算法能够有效提高水下图像的对比度并提供较多的细节。

传统水下图像增强方法能够有效提高水下图像的对比度和清晰度,提升图像的视觉效果,但该类算法未考虑水下图像的特性,增强过后的图像可能会存在颜色失真、伪影等现象,在部分场景中反而会将水下图像中的噪声放大。随着深度学习的流行,研究人员将其与图像复原技术相结合,利用卷积神经网络(Convolutional Neural Networks,CNN)学习水下成像模型的参数。该类算法的主要步骤为:首先利用CNN估计水下图像的透射率,然后根据水下成像模型复原降质前的图像。2017 年,Wang等人[8]首先通过水下成像模型合成水下图像数据集,然后利用CNN学习获得水下图像的透射率和红绿蓝三种光的衰减率,最终根据水下成像模型获得清晰度高和视觉效果好的图像。2018年,Cao等人[9]设计了两种神经网络结构,分别用于估计水下图像的背景光和场景深度,然后结合光在水中的衰减系数和场景深度计算透射率,最后根据水下成像模型恢复降质前的图像,该算法恢复的图像颜色鲜艳且具有较高的对比度。2019 年,Wang 等人[10]提出了基于并行 CNN 结构的水下图像复原算法,首先通过该网络结构估计蓝色光通道的透射率和背景光,然后根据三个颜色通道间的透射率关系来计算红色光和绿色光通道的透射率,并在构建的数据集上进行训练,最终恢复的水下图像具有较自然的色彩和较高的清晰度。2020 年,Yang 等人[11]为降低人造光源对物理模型的影响,提出了一种新的背景光估计方案,该方案首先利用 CNN 估计的深度信息结合暗通道先验获取背景光,然后采用暗通道先验与估计的背景光复原降质前的图像,该方案能够改善水下图像的颜色失真问题、提高图像的对比度,但受深度估计准确率的影响较大。

0.2.1.2 水下图像增强算法

水下图像增强算法主要通过直接修改图像的像素值来改善水下图像质量低等问题。针对水下图像的降质问题,业界的专家和学者提出了大量的水下图像增强算法。2017年,Perez等人[12]首先将水下图像和与之对应的清晰图像作为训练集,然后利用CNN 学习水下图像到清晰图像的映射,从而实现水下图像增强。同年,Ding 等人[13]提出了一种基于深度学习的增强策略,该策略首先利用自适应颜色校正算法处理水下图像的颜色失真,然后利用超分辨率CNN解决水下图像模糊问题。自2014年生成对抗网络(Generative Adversarial Network,GAN)[14]提出以来,其强大的学习能力和适应性使得GAN在各个领域得到广泛的应用[15-16]。近年来,大量的学者应用GAN处理水下图像的失真问题。2017 年,Li 等人[17]提出了一种用于水下图像增强的无监督学习生成对抗网络算法——WaterGAN,该算法首先通过清晰的图像及其深度信息获得对应的水下图像,然后通过深度估计网络估计水下图像的深度信息,并将其和水下图像作为颜色校正网络的输入,最终获得了增强后的图像,该算法能有效解决水下图像的偏色问题,还原水下场景的真实色彩。2018年,Fabbri等人[18]提出了一种适用于水下场景的生成对抗网络——UGAN,为解决水下图像数据集不足问题,首先利用循环生成对抗网络(CycleGAN)生成数据集,然后在数据集充足的条件下训练生成对抗网络,UGAN能够有效提高水下图像的视觉效果。2020年,李庆忠等人[19]提出了一种基于改进循环生成对抗网络的水下图像增强算法,该算法通过设计边缘结构相似度函数来抑制输入图像和输出图像边缘结构的变化,同时采用弱监督学习、强监督学习相结合的网络结构和两阶段学习模式保证生成图像与目标图像颜色的一致性,该算法能够有效提高图像的对比度并还原场景的真实色彩。同年,Islam 等人[20]提出了一种基于全卷积条件生成对抗网络的实时水下图像增强模型——FUnlE-GAN,该模型结合多模态目标函数,使增强后图像的对比度、清晰度得到明显改善,同时也增强了图像感知质量。同年,Dudhane等人[21]提出了一种用于水下图像恢复的生成对抗网络模型,该模型针对水下图像失真的特点,设计了基于颜色通道的特征提取模块,并针对处理水下图像的模糊问题设计了密集残差网络,结合提出的损失函数,该模型在处理水下图像时能够有效恢复颜色、保留场景细节结构,生成更加真实的边缘信息。2021年,雍子叶等人[22]针对成对样本获取难等问题,提出了一种结合注意力机制的弱监督学习水下图像增强算法,该算法将红色光通道的衰减图作为注意力图,将原始水下图像和注意力图像同时作为生成器的输入,最后通过对抗训练使得生成器输出对比度和清晰度高的图像,该算法针对颜色失真和对比度低的水下图像效果较好,但对于浑浊的水下图像效果较差。同年,针对水下图像存在的模糊、对比度低和颜色失真问题,Li 等人[23]提出了一种融合生成对抗网络——DeWaterNet,该网络由两个CNN构成,分别用于提取融合增强后的图像和原始水下图像的特征,并将相加后的结果作为生成器的输出,该网络能有效提高水下图像的视觉效果。