(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210280228.5 (22)申请日 2022.03.22 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 李子涵　崔光茫　赵巨峰　陈颖　 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种非均匀运动模糊超分辨图像复原方法 及装置 (57)摘要 本发明公开了一种非均匀运动模糊超分辨 图像复原方法， 包括如下步骤： S1、 构建数据集； S2、 将预处理的数据集输入至生成器得到初步复 原图像； S3、 通过鉴别器判别初步复原图像和真 实图像， 得到判别结果， 鉴别器为马尔科夫判别 网络； S4、 利用损失函数对生成对抗网络进行优 化， 得到性能最优的网络结果， 得到最佳复原图 像， 所述生成对抗网络包括生成器和鉴别器； S5、 输出复原结果。 解决图像信息来源 单一造成图像 信息丢失的复原过程不可逆及复原效果不清晰 问题。 权利要求书3页 说明书10页 附图5页 CN 114820299 A 2022.07.29 CN 114820299 A 1.一种非均匀运动模糊超分辨图像复原方法， 其特 征在于， 包括如下步骤： S1、 构建数据集 S1‑1、 计算互补性 最大的图像的旋转角度； S1‑2、 获取具有高度互补性的高分辨模糊图像及高分辨清晰图像； S1‑3、 图像预处 理构建数据集； S2、 将预处 理的数据集输入至生成器得到初步复原图像； S3、 通过鉴别器判别初步复原图像和真实图像， 得到判别结果， 鉴别器为马尔科夫判别 网络； S4、 利用损失函数对生成对抗网络进行优化， 得到性能最优的网络结果， 得到最佳复原 图像， 所述 生成对抗网络包括 生成器和鉴别器； S5、 输出复原结果。 2.根据权利要求1所述的一种非均匀运动模糊超分辨图像复原方法， 其特征在于， 所述 步骤S1‑1包括如下子步骤： S1‑1‑1、 设置非均匀运动模糊图像获取装置， 在目标物体与相机直接设置旋转棱镜， 其 中目标物体、 旋转 棱镜和相机在同一 光轴上； S1‑1‑2、 目标物体光束经旋转棱镜后进入相机镜头， 每将棱镜旋转一度获取一张图像， 共获取360张原始图像； S1‑1‑3、 对360张原始图像进行预处理， 并计算得到互补性最大的图像组合及其旋转角 度。 3.根据权利要求2所述的一种非均匀运动模糊超分辨图像复原方法， 其特征在于， 所述 步骤S1‑1‑3包括： 1)利用MATLAB将3 60张原始图像进行高斯滤波； 2)用模糊图像减去高斯滤波后的原 始图像即可 得到模糊图像的高频分量hi， hi＝yi‑G0*yi 其中yi是模糊图像， G0是二维高斯滤波卷积算子； 3)获取模糊图像高频分量hi的水平和垂直方向上的梯度图像， 计算公式为： hdix＝hi*dx hdiy＝hi*dy i＝1、 2 4)获取模糊图像的全局梯度图像hdi， 计算公式为： 5)对模糊图像的全局梯度图像hdi进行二值化操作， 从而获取模糊图像互补性的有效特 征Ti＝(x,y)： 其中， ki为二值化阈值； 进行二值化操作时， 我们首先采用Ostu算法计算原始图像的最佳阈值， Ostu算法假设 图像是由前景区域和背景区域两部分组成的， 通过遍历计[0， 255]区间范围下分割结果中 前景区域和背景区域的灰度直方图， 然后比较两者之间的方差， 使得方差最大化的那个灰 度阈值即为所求 二值化阈值ki；权　利　要　求　书 1/3 页 2 CN 114820299 A 2根据原始图像的最佳阈值进行调整， 对模糊图像的梯度图像进行归一化操作， 阈值的 选取范围一般设置为 ki∈[0.2,0.5]； 6)将得到的360张模糊图像的二值图像两两组合， 共有3602种组合方式， 得到它们的二 值图像， 分别求出每种组合方式的互补性， 其互补性公式为： 其中T(A)和T(B)分别是模糊图像 的二值图像， M和N是图像 的长和宽， 利用MATLAB最终 得到互补性 最大的图像组合及其旋转角度。 4.根据权利要求3所述的一种非均匀运动模糊超分辨图像复原方法， 其特征在于， 所述 步骤S1‑2中， 获取 具有高度互补性的高分辨模糊图像及高分辨清晰图像方法为： S1‑2‑1、 监测目标物体的运动状态； S1‑2‑2、 当监测到目标物体运动时， 相机拍摄多帧清晰图片， 进而控制旋转棱镜旋转至 互补性最大的旋转角度， 在旋转 棱镜转动完成后， 相机拍摄非均匀运动模糊图像； S1‑2‑3、 最终， 可拍摄得到互补高分辨模糊图像和多帧高分辨清晰图像， 保留全部互补 模糊图像和最后一帧的高分辨清晰图像。 5.根据权利要求1所述的一种非均匀运动模糊超分辨图像复原方法， 其特征在于， 所述 步骤S1‑3中， 将获取的具有高度 互补性的高分辨模糊图像对进行二倍下采样， 得到具有高 度互补性的低分辨模糊图像， 高分辨清晰图像和低分辨模糊图像对集 合成数据集。 6.根据权利要求5所述的一种非均匀运动模糊超分辨图像复原方法， 其特征在于， 所述 数据集包括获取的1000张高分辨清晰图像和1000对相应的低分辨模糊图像， 清晰图像分辨 率为1280×1024， 低分辨模糊图像分辨 率为640×512。 7.根据权利要求1所述的一种非均匀运动模糊超分辨图像复原方法， 其特征在于， 所述 生成器由感知损失函数、 对抗损失函数、 边缘损失函数和MSE损失函数联合优化得到， 所述 联合优化的损失函数为： L＝Ladv+Lp+Ledge+LMSE。 8.根据权利要求7 所述的一种非均匀运动模糊超分辨图像复原方法， 其特 征在于， 所述步骤S4中的优化方法为： 通过边缘损失函数度量初步复原图像与清晰图像之间的边缘特征的不同， 边缘损失函 数为： 其中S和G(b)分别为真实的清晰图像和初步复原图像， W和H为 图像的长和宽， 和 分别是沿水平方向和垂直方向的梯度运 算； 通过MSE损失函数进行优化， MSE损失函数为： 其中L和S分别为初步复原图像和真实的清晰图像， N 为S和L的元 素数； 通过感知损 失函数、 对抗损 失函数进行优化， 感知损 失函数度量生成的初步复原图像权　利　要　求　书 2/3 页 3 CN 114820299 A 3