(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210124768.4 (22)申请日 2022.02.10 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 查正军　傅雪阳　曹成志　时格格　 黄宇坤　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/40(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于事件数据驱动的视频去 模糊方法 (57)摘要 本发明公开了一种基于事件数据驱动 的视 频去模糊方法， 其步骤包括： 1获取视频数据和对 应的事件序列， 并对事件序列进行分割； 2构建编 码网络对图像数据进行特征提取； 3通过时间记 忆模块计算相邻事件序列的关联性， 提取时间特 征； 4通过空间融合模块将事件特征和图像特征 进行空间尺度的融合； 5构建解码网络生成去模 糊之后的视频帧。 本发明能够 充分利用事件数据 提供的时空先验信息， 用于驱动视频去模糊， 从 而有效提升去 模糊效果。 权利要求书2页 说明书6页 附图3页 CN 114463218 A 2022.05.10 CN 114463218 A 1.一种基于事 件数据驱动的视频去模糊方法， 其特 征是按如下步骤进行： 步骤1获取训练视频 数据和对应的事 件序列， 并对 事件序列进行分割： 步骤1.1获取训练视频 数据集： 获取真实的模糊视频图像集， 记为X＝{x1,x2,…,xi,…,xN}， 其中， xi表示第i张模糊图 像， i＝1,2,…,N， N为模糊图像的帧数量； 获取真实的清晰视频图像集， 记为Y＝{y1,y2,…,yi,…,yN}， 其中， yi表示第i张清晰图 像， i＝1,2,...,N， N为正常图像的总数； 令I＝{X,Y}表示训练图像数据集； 步骤1.2对 事件序列进行分割： 获取真实的模糊图像集X的真实事 件序列； 将真实的模糊视频图像集X输入 事件仿真器中并生成合成的事 件序列； 根据真实的模糊视频图像集X中所包含的帧数量N， 将真实事件序列和合成的事件序列 分别划分成相同数量N的分段序列， 记为E＝{e1,...,ei,...,eN},ei表示第i张模糊图像xi所 对应的真实和合成的事 件序列， i ＝1,2,...,N， N为事件序列的总数； 步骤2构建视频去模糊神经网络， 包括： 编码网络、 时间记忆模块、 空间融合模块、 解码 网络； 步骤2.1、 所述编码网络由M个残差模块和M个下采样层交替排列组成， 其中， 残差模块 具有m个卷积层及其对应的跳线连接， 卷积核大小为均为ks， 步长均为s， 各卷积层之间依次 连接有LeakRelu层和批归一 化层； 所述第i张模糊图像xi经过所述编码网络的处理后， 生成M个不同尺度的图像特征 其中， uim表示第i张模糊图像xi在第m个尺度的图像特 征； 步骤2.2、 所述时间记 忆模块包括 一个公用的卷积层、 两个专用的卷积层、 记 忆单元； 第i‑1个事件序列ei‑1和第i+1个事件序列ei+1输入公用的卷积层中进行处理， 得到两者 的公共特征， 再分别经过两个专用的卷积层的处理， 相应得到第i ‑1个事件序列ei‑1的键和 值以及第i+1个事 件序列ei+1的键和值； 所述记忆单元将第i ‑1个事件序列ei‑1的键和值以及第i+1个事件序列ei+1的键和值进 行拼接后， 再分别输入两个卷积核为1 ×1的卷积层中， 输出两个卷积结果后再通过乘积运 算得到第i个事件序列ei与相邻事件序列ei‑1和ei+1的关联特征图； 最后将所述关联特征图 与第i个事 件序列ei相加后， 得到第i个事 件特征图Ci； 步骤2.3、 所述空间融合模块包括M+1个下采样层、 M个上采样层、 一个卷积核为1 ×1的 卷积层和融合单 元； 所述M个不同尺度的图像特征 输入所述空间融合模块中， 并分别通过M个下 采样层的处理， 从而将M个不同尺度的图像特征调整为相同比例的图像特征， 再经过一个卷 积核为1×1的卷积层后获得第i个特 征图Fi； 所述第i个事件特征图Ci通过第M+1个 下采样层的处理后， 得到 下采样后的第i个事件特 征图C′i； 所述融合单元利用式(1)对所述下采样后的第i个事件特征图C ′i和第i个特征图Fi进行 处理， 从而得到第i个融合特征图Fe ati中第p个像素点的特征 进而得到第i个融合特权　利　要　求　书 1/2 页 2 CN 114463218 A 2征图Feati： 式(1)中， p、 q是位置索引， 表示第i个事件特征图C ′i在p位置处的特征值， Fiq表示第i 个特征图Fi在q位置处的特征值， S为特征图的像素点总数； g( ·)表示卷积操作； f( ·,·) 表示乘积函数， 并有： 式(2)中， θ( ·)和 均表示卷积 操作； 所述第i个融合特征图Feati分别经过M个上采样层的处理后， 获得M个不同尺度的映射 特征 其中， vim表示第i张模糊图像xi在第m个尺度的图像特 征； 步骤2.4、 所述解码网络由M个残差模块和M个上采样层交替排列组成， 其中， 残差模块 具有m个卷积层及其对应的跳线连接， 卷积核大小为均为ks， 步长均为s， 各卷积层之间依次 连接有LeakRelu层和批归一 化层； 所述M个不同尺度的映射特征 经过所述解码网络的上采样层处理， 获得M个 尺度一致的特征图并进行拼接之后， 再 经过一个卷积 操作， 从而生成清晰图像 步骤3、 利用式(3)构建反向传播的损失函数L： 式(3)中， K为生成清晰图像 的像素点数， 为第i个模糊图像经过神经网络生成的去 模糊图像的第k个 像素点， 为清晰视频图像集中第i个图像切片对应的第k个 像素点； 步骤4、 基于真实的模糊图像集X及其分段序列E对视频去模糊神经网络进行训练， 并计 算损失函数L， 同时使用自适应矩估计优化方法以学习率lrs来更新静态检测网络权值， 当 训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时， 训练停止， 从而得到最 优的去模糊 模型； 以所述最优的去模糊网络对模糊视频图像进行处理， 并获得对应的清晰 图像。权　利　要　求　书 2/2 页 3 CN 114463218 A 3