基于双向注意力机制的无参考图像区域质量评估
人类视觉系统的注意力机制指出,人在观察和评估图像质量的过程中,是由自底向上和自顶向下两部分协同作用,来提取和注意到关键的区域信息。同时,我们观察到真实场景中的图像可能包含多种失真,即使只含有一种失真,其对图像各个区域的影响程度也不一样,因此针对关键的图像区域进行分析和评估对整张图像质量评估十分重要。在图像质量评估领域,直接对图像的失真区域进行标注是一项耗时耗力的工作。因此,现有的工作一般是在无参考图像信息的基础上,通过卷积神经网络对整张失真图像,而不是针对图像区域进行学习和提取特征,分析得到质量评估结果。从注意力机制和弱监督学习针对图像区域的最新研究成果得到启发,我们提出了一种基于双向注意力机制的无参考图像区域质量评估网络(Regional Attention Network,RANet)。该网络主要从两个方面对图像中的候选注意力区域进行学习和分析。首先,我们分析了每个候选注意力区域对整张图像质量评估的期望贡献。我们设计了自顶向下的注意力监督层将整张图像质量评估结果分配给到每个候选注意力区域,其中候选注意力区域可以通过有效的区域检测算法来提取和筛选。该网络从中选出关键注意力区域,利用候选注意力区域与其交叠面积的占比(贡献比),使得整张图像质量评估结果分配给每个区域,用以进一步分析。自底向上的注意力评估网络利用该期望贡献,增强了基于候选注意力区域的学习和分析,进一步改善了整张图像的质量评估结果。我们已在多个公开数据集上进行了测试评估,结果达到了最优性能。同时,大量实验证明了RANet的泛化能力和有效性。
- 作者：
- 王静逸
- 学位授予单位：
- 深圳大学
- 授予学位：
- 硕士
- 学位年度：
- 2020年
- 导师姓名：
- 黄惠
- 中图分类号：
- TP391.41
- 关键词：
- 人类视觉系统；无参考图像质量评估；注意力机制；弱监督学习；多示例学习
-