(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210171886.0 (22)申请日 2022.02.24 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 许曼玲　戴宪华　 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/80(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于显著性感知和自注意力机制的图 像美学评价方法 (57)摘要 本发明提出一种基于显著性感知和自注意 力机制的图像美学评价方法， 涉及深度学习图像 处理技术领域， 该方法包括： 先利用稀缺色域显 著性感知和亮度显著性感知进行图像各区域显 著性检测， 得到图像初步裁剪框， 同时基于区域 交并比去冗余， 将所得裁剪区域送入图像特征提 取网络resnet5， 获得各图像局部的美学特征向 量， 利用自注 意力机制融合各特征向量并输入分 类网络， 获得图像的高低质量美学评价结果。 本 发明提出了一种新颖的 图像裁剪策略， 同时在图 像美学评价的过程中融合了自注 意力机制， 提高 了模型评价的准确度。 权利要求书2页 说明书5页 附图3页 CN 114723929 A 2022.07.08 CN 114723929 A 1.一种基于显著性感知和自注意力机制的图像美学评价方法， 其特征在于， 所述美学 评价方法包括下列步骤： S1、 图像输入并进行区域显著性检测， 分别计算各像素点的稀缺色域显著性值及亮度 显著性值， 结合两者得 出最终的显著性 值分布， 并提取 出显著性 值较高的区域； S2、 基于显著性结果进行裁剪， 模拟人眼视觉效果， 以固定尺寸裁剪出将最具视觉刺激 性即显著性 最高的区域； S3、 并对裁剪区域去冗余， 设定区域交并比阈值， 并根域交并比将重叠度较高的裁剪区 域进行合并； S4、 局部图像特征提取， 将所得的各裁剪区域图像输入预训练的resnet50网络， 获得图 像特征向量； S5、 特征融合， 利用自注意力机制融合各局部图像特 征向量， 获得融合特 征向量； S6、 美学评价分类， 将融合特 征向量输入分类网络， 获得最终的图像美学评价分类。 2.如权利要求1所述的图像美学评价方法， 其特征在于， 所述步骤S1中稀缺色域显著性 值计算公式为： 其中f(n)为灰度特征图， 通过将图片转为灰度图并统计每一灰度值n出现的次数可得， d(p,n)为像素点p的灰度值与灰度值 n的颜色距离 。 3.如权利要求1所述的图像美学评价方法， 其特征在于， 所述步骤S1中亮度显著性值计 算公式为： Sal(p)＝f'(g(p) )*g(p) 其中g(p)为像素点p的灰度值， f ‘(n)是经过归一化处理的灰度特 征图。 4.如权利要求1所述的图像美学评价方法， 其特征在于， 所述步骤S1中首先计各像素的 稀缺色域显著性值， 当根据稀缺色域显著性计算方式所得各区域的显著 性无法满足区分要 求时， 计算各像素的亮度显著性 值。 5.如权利要求1所述的图像美学评价方法， 其特征在于， 所述步骤S3中两两区域的交并 比计算公式为： 即区域A与区域B的相交面积和合并面积的比值。 6.如权利要求1所述的图像美学评价方法， 其特征在于， 所述步骤S3中合并重叠度较 高 裁剪区域的过程如下： 将所有检测框按照面积排序； 按照排序顺序两两计算检测框间的交 并比； 合并交并比高于 设定阈值的检测框； 重复交并比计算步骤， 直至所有检测框间的交并 比均低于设定阈值。 7.如权利要求1所述的图像美学评价方法， 其特征在于， 所述步骤S5中利用自注意力 机 制融合各局部图像特征向量的过程如下： 首先计算各个局部图像特征向量在同一 维度上的 最大值、 最小值和平均值， 分别获得最大值特征向量、 最小值特征向量和平均值特征向量； 将最大值特征向量、 最小值特征向量和平均值特征向量通过扩展一个新 维度进行拼接得到权　利　要　求　书 1/2 页 2 CN 114723929 A 2综合特征向量； 利用全局池化层、 全连接层和softmax层的变化获得通道空间域注意力权 重； 该权重与综合特 征向量交 互， 获得转 化后的具有空间注意力的融合特 征向量。权　利　要　求　书 2/2 页 3 CN 114723929 A 3