(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210245281.1 (22)申请日 2022.03.14 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 查正军　傅雪阳　曹成志　时格格　 朱禹睿　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于立体图建模的事件驱动视频超分 辨率方法 (57)摘要 本发明公开了一种基于立体图建模的事件 驱动视频超分辨率方法， 其步骤包括： 1.获取视 频数据和对应的事件序列， 并对事件序列进行分 割； 2.构建像素注意力模块对图像特征进行特征 提取； 3.通过采样模块来重新采样初始事件的临 近区域， 并反复调整采样事件特征； 4.通过事件 图模块对每个采样事件使用邻域进行立体图建 模， 以聚集邻域中的局部特征， 并逐渐增加整个 立体流中的感受野； 5.通过特征交互模块使得事 件特征和图像特征进行交互。 本发 明能够充分利 用事件数据提供的先验信息， 用于驱动视频超分 辨率， 从而能有效提升超分辨 率效果。 权利要求书2页 说明书7页 附图3页 CN 114612305 A 2022.06.10 CN 114612305 A 1.一种基于立体图建模的事 件驱动视频超分辨 率方法， 其特 征是按如下步骤进行： 步骤1获取训练视频 数据和对应的事 件序列， 并对 事件序列进行分割： 步骤1.1获取真实的低分辨率视频图像集， 并以帧为单位进行存储， 记为X＝{x1, x2,...,xi,...,xN}， 其中， xi表示第i帧低分辨率图像， i＝1,2,...,N， N为低分辨率图像的 帧数； 获得低分辨率视频图像集X对应的事件序列， 并根据帧数N将所述事件序列划分成对 应数量的事件序列， 记为E ＝{e1,e2,...,ei,...,eN}， ei表示第i帧低分辨率图像所对 应的事 件序列； 获取高分辨率视频 图像集， 以帧为单位进行存储， 记为Y＝{y1,y2,...,yj,...,yN}， 其 中， yj表示第j帧清晰图像； 令I＝{X,E,Y}表示训练图像数据集； 步骤2构建视频超分辨率神经网络， 包括： 像素注意力模块、 采样模块、 事件图模块、 特 征交互模块和解码模块； 步骤2.1构建像素注意力模块并用于对图像数据进行 特征提取： 所述像素注意力模块由5个卷积层和1个sigmoid函数组成， 各个卷积层中的卷积核大 小为均为 ks， 步长均为s； 所述第i帧低分辨率图像xi输入所述像素注意力模块中， 并分别使用第1个卷积层进行 处理， 从而获得第i帧低分辨率图像xi的键keyi和值valuei； 其中， 键keyi经过第2个卷积层 的处理， 得到字典键； 同时， 键keyi经过第3个卷积层和1个sigmoid层的处理， 得到查询 键， 对所述字典键和查询键进行乘积 操作后得到关联矩阵Ai,key； 值valuei经过1个卷积层后， 得到处理后的值valuei′， 并与关联矩阵Ai,key进行相乘， 得 到第i张低分辨 率图像xi的图像特 征 C表示通道数； 步骤2.2第i帧低分辨 率图像所对应的事 件序列ei输入所述采样模块中进行采样处 理： 步骤2.2.1将第i个事件序列ei进行3D体 素化后再平均分成H个块， 然后对每个块进行平 均处理， 得到H个采样后的事 件关键点， 令第h个事 件关键点记为 步骤2.2.2将第h个事件关键点 的三维坐标设置为事件特征feati,h， 以第h个事件关 键点 之外的区域作为 其邻域 步骤2.2.3利用式(1)对第h 个事件关键点 对应的事件特征feati,h进行更新， 从而得到 更新后的第h个事 件关键点 的事件特征feat′i,h： feat′i,h＝Up(Conv(feati,h))    (1) 式(1)， Co nv表示局部的卷积 操作， Up表示上采样 操作； 步骤2.3所述事件图模 块利用式(2)对所有事件关键点的事件特征{feat ′i,h}H进行立体 图形操作， 从而得到第i个事 件序列ei的全局事 件特征 式(2)中， {feat ′i,h}H代表第i个事件序列ei的所有事件关键点对应的事件特征； Up表示 上采样操作， Conv表示卷积操作； feat ′i,q表示第q个事件关键点的事件特征； 表示乘积 函数， 并有：权　利　要　求　书 1/2 页 2 CN 114612305 A 2步骤2.4构建所述特 征交互模块并用于融合事 件特征和图像特 征： 所述特征交互模块包括x个下采样层和y个共享权 重的卷积层； 图像特征 和全局事件特征 输入所述特征交互模块中， 经过x个下采样层 和y个共享权重的卷积层之后， 并利用式(4)得到第g组的共同特征 从而得到第 i个事 件序列ei和第i张低分辨 率图像xi的共同特 征 式(3)中， < ·,·>表示内积， 表示全局事件特征 中第g组特征， G表示组 数； 步骤2.5所述特 征交互模块用于 输出最后的高分辨 率图像； 步骤2.5.1定义迭代次数为p， 并初始化p＝1； 定义最大迭代次数为P； 将所述第i个事件 序列ei和第i张低分辨 率图像xi的共同特 征 作为第p次迭代的输入数据； 步骤2.5.2将第p次迭代的输入数据分别输入像素注意力模块和事件图模块中进行处 理； 并相应得到第p次迭代的全局事 件特征和图像特 征； 步骤2.5.3所述第p次迭代的全局事件特征和图像特征经过所述特征交互模块的处理 后， 得到第p+1次迭代的输入数据； 步骤2.5.4将p+1赋值给p后， 判断p＞P是否成立， 若成立， 则将第p+1次迭代的输入数据 输入所述解码模块中进行处理， 从而获得第j帧高分辨率预测图像 否则， 将返回步骤 2.5.2顺序执 行； 步骤3、 利用式(5)构建反向传播的损失函数LMSE： 式(3)中， R为所述第j帧高分辨率预测图像 的像素点数， 为第i个低分辨率图像xi 经过神经网络生成 的高分辨率图像的第r个像素点， 为高分辨率视频图像集Y中第i个高 分辨率图像yi对应的第r个 像素点； 步骤4、 基于低分辨率图像集X及其事件序列E对所述视频超分辨率神经网络进行训练， 并计算损失函数LMSE， 同时以学习率lrs来更新网络权值， 当训练迭代次数达到设定的次数 或损失误差达小于所设定的阈值时， 训练停止， 从而 得到最优的超分辨率模型； 以所述最优 的超分辨率网络对低分辨率视频图像及其对应的事件序列进 行处理， 从而获得对应的高分 辨率视频图像。权　利　要　求　书 2/2 页 3 CN 114612305 A 3