首页 论文阅读正文

论文阅读:一种基于MR-VAE的低照度图像增强方法

拾年之璐 论文阅读 2020-09-23 18:09:11 81 0

一种基于MR-VAE的低照度图像增强方法

1. 引言

1.1 引出图像照度增强:

提高图像整体和局部的对比度、去噪,适当调整图像背景和边缘.

1.2 目前的两种照度增强方法:

经典(传统):基于直方图均衡化(HE)

以累计分布函数为基础的直方图修改方法,将图像直方图调整为均衡分布以拉伸图像的动态范围,从而提高图像对比.

改进方法有:

  • Kim
  • Celik

特点:该类方法操作简单、效率高,但生成图像易受伪影影响、真实感不强.

经典(传统):基于Retinex理论

模拟人类视觉系统处理图像的过程,遵循将图像分为反射、照明两个分量的假设

早期算法:

  • Single-Scale Retinex(SSR,单尺度Retinex算法)
  • Multi-Scale Retinex(MSR,多尺度Retinex算法)

后续算法:

  • DeHZ增强算法
  • 加权可变模型
  • 通过查找R、G、B通道中的最大值重构低照度图像的光照图,以此估计环境光照

特点:由于图像通道间的非线性、数据复杂性,难以准确估计光照分量,导致上述方法易出现过度增强、局部失真等问题.

近年:基于深度学习的低照度图像增强方法
  • LLNet通过构造栈式稀疏去噪自编码器实现低照度增强
  • 基于融合的方法
  • 基于MSR算法,搭建了一个MSRNet网络用于对比度增强和去噪
  • 基于对抗性学习的方法
  • 构建深度卷积神经网络实现低照度增强
  • 基于Retinex理论提出Retinex-Net用于低照度增强
  • 学习图像预测二次变化,将其与输入结合的增强方法

特点:上述深度学习方法较经典方法取得了更好的增强效果,但通常侧重于增强亮度,而忽略了实际低照度图像会出现多重失真,如噪声、模糊、不同照度

1.3 本文提出的MR-VAE方法

目的:

为提高对多重失真的低照度图像的处理能力,解决增强图像不真实、模糊等问题

架构组成:
  • 特征概率分布捕获(「FPDC」

    用于获取涵盖了图像全局特征的隐变量

  • 全局重构(「GR」

    用于增强图像全局亮度,生成亮度显著提升、具有全局特征(场景、颜色分布和照度特征等)的图像

  • 细节重构(「DR」

    用于权衡去噪、去模糊,去噪的同时保留较多细节特征(细节锐度、色差和视觉特性等),同时微调局部亮度,得到细节锐度更高、视觉特性更好的图像

创新点:

本文定义了一个涵盖图像质量评估、内容生成和细节构建的多项损失函数替代l2损失

结果:

实验结果表明,多重构与多项损失函数提高了网络生成复杂图像、增强多重失真的低照度图像能力,使其可生成高质量、高信噪比且更符合视觉特性的图像.

2. 相关工作

2.1 变分自编码器

2.2 残差网络

3. MR-VAE结构设计

MR-VAE是由卷积、池化和上采样操作构成的全卷积网络结构。

3.1 设计思想

三个模块:
  • 特征概率分布捕获(「FPDC」
  • 全局重构(「GR」
  • 细节重构(「DR」
核心:

其核心是将重构图像分成相对独立、使用多项损失函数联合训练的DG、DR两个模块,从粗到细、逐阶段地生成高质量增强图像。

3.2 特征概率分布捕获模块

本模块主要分两步走

  • 计算方差与均值:

    采用卷积网络计算隐变量概率分布的方差、均值,并根据输入图像的尺寸犠×犎设计编码解码中卷积核大小、卷积步长和上采样步长,使FPDC瓶颈层的感受野可覆盖整张图像,从而使方差和均值构造出的概率分布函数涵盖图像的所有特征信息。

  • 获取隐变量:

3.3 全局重构模块

目的:主要用于捕获从低照度到正常照度的非线性映射关系

利用卷积与上采样操作,逐步将编码得到的低维特征映射到高维空间,构建图像全局特征,得到亮度适当增强,但细节信息较少、噪声未完全去除的粗糙图像。

3.4 细节重构模块

目的:主要用于捕获含噪到去噪图像、模糊到清晰的复合非线性映射关系,在去噪与保留细节特征间找到合适的关系,调整局部亮度。

其输入由GR输出、FPDC第一个编码块输出组成.

前者具有丰富的场景、颜色分布和照度特征,但下采样过程丢失了部分信息;

后者为浅层特征图,包含了大量的基础特征信息,但颜色分布和照度特征不明显(可添加特征图示意图).

两个结合后具有丰富的特征信息,有利于DR捕获复合非线性映射关系.从而较好地重构图像细节特征、去除噪声和调整局部图像亮度,以忠实地将低照度图像还原或近似还原到正常照度图像.

4. 多项损失函数设计

本文定义了一个涵盖图像质量评估、内容生成和细节构建的多项损失函数替代l2损失,以弥补生成图像质量评判标准不足,引导网络生成高质量图像。

  • Lz-Content:隐变量内容损失
  • LGR:传统解码模块损失
  • LDR:细节重构模块损失
  • ω1、ω2、ω3:各项损失的权重,分别为1   10    1

4.1 隐变量内容损失

4.2 全局重构损失

4.3 细节重构损失

5. 实验结果与分析

5.1 数据集

用到的数据集主要有:

  • MS COCO
  • ExDark
  • DICM
  • TID2013

采用4个不同参数范围的伽马校正模拟四个不同的光照等级

5.2 训练细节与参数

训练前对低照度图像进行像素值归一化处理,有助于提高网络的收敛速度与精度、减缓过拟合问题。

5.3 网格结构与损失函数作用评估

5.3.1 细节重构模块消融实验

3.4节提出的DR相当于增加了网络的深度,一方面有助于提取更多的细节特征,一方面有利于捕获复合非线性映射关系.

5.3.2 细节重构模块特征图分析

DR各残差块生成的特征如图6顶行所示,可知网络逐步生成更多的纹理信息。

5.3.3 多项损失函数消融实验

具体实验结果如下图所示

如下图,多项损失函数的PSNR/SSIM均值最高,说明在该函数的引导下,网络生成的图像质量最好。

PSNR:是“Peak Signal to Noise Ratio”的缩写,即峰值信噪比,是一种评价图像的客观标准,它具有局限性,一般是用于最大值信号和背景噪音之间的一个工程项目。

SSIM(Structural SIMilarity),结构相似性,是一种衡量两幅图像相似度的指标。

5.4 训练模型评估

5.4.1 模型复杂的分析
5.4.2 主观视觉评估

如下图,是不同算法分别处理图像后的结果,MR-VAE的主观视觉效果最棒。

5.4.3 客观定量评估

如下图,MR-VAE的SPNR/SSIM均值最大。

如下图,经过MR-VAE处理后的图像,能够被识别的物品数最多。

GCVA:谷歌的一个图像视频API,能够识别图像中的物体。

6. 结论

MR-VAE增强效果的色彩和整体亮度更接近原图,细节信息更多,可调整全局亮度,并且在局部过曝区域不会过度增强,这得益于GR模块基于整张图像调整亮度、重构亮度

图像噪声较少,细节和锐度较好,这得益于DR模块恰当地权衡了去噪、保留细节间的关系。


声明:本文由作者原创发布,转载请联系原作者。

评论

关于我们
这里是网站的说明
关注本站微信号,享受更多服务!
联系方式
电话:159******00
地址:武汉市武昌区
Email:cxh@cxh.work
邮编:430000
Copyright ©2019-2020.Powered by©Z-BlogPHP&拾年之璐  鲁ICP备18018164号