(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221027816 5.X (22)申请日 2022.03.21 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 毛晓飞　黄灿　 (74)专利代理 机构 北京信远 达知识产权代理有 限公司 1 1304 专利代理师 冯柳伟 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/52(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) (54)发明名称 图像修复方法、 装置、 设备、 介质及产品 (57)摘要 本申请提供了一种图像修复方法、 装置、 设 备、 介质以及产品， 该方法包括： 获取待修复图 像， 然后将待修复图像输入至结构修复模型， 通 过结构修复模型的多个分支对待修复图像进行 下采样， 获得第一特征序列和第二特征序列， 将 第一特征序列转化为与第二特征序列长度相同 的第三特征序列， 将第三特征序列与第二特征序 列融合， 根据融合后的特征序列对待修复图像进 行结构修复， 获得对待修复图像的结构进行修复 的图像。 如此， 可以获得修复精度较高， 效果较好 的修复图像 。 权利要求书2页 说明书12页 附图4页 CN 114627023 A 2022.06.14 CN 114627023 A 1.一种图像修复方法， 其特 征在于， 所述方法包括： 获取待修复图像； 将所述待修复图像输入至结构修复模型， 通过所述结构修复模型的多个分支对所述待 修复图像进行下采样， 得到第一特征序列和第二特征序列， 将所述第一特征序列转化为与 所述第二特征序列长度相同的第三特征序列， 将所述第三特征序列与所述第二特征序列融 合， 根据融合后的特征序列对所述待修复图像进 行结构修复， 获得第一修复图像， 所述第一 修复图像为对所述待修复图像的结构进行修复的图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述第 一修复图像输入至纹理修复模型和/或色彩修复模型， 进行纹理修复和/或色 彩修复， 获得第二修复图像， 所述第二修复图像为对所述第一修复图像进 行纹理修复和/或 色彩修复的图像。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过所述结构修复模型的多个分支对所述待修复图像进行 下采样得到第四特 征序列； 所述将所述第一特征序列转化为与所述第二特征序列长度相同的第三特征序列， 包 括： 将所述第四特征序列 上采样并与 所述第一特征序列融合， 获得与所述第 二特征序列长 度相同的第三特 征序列。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述第 一修复图像输入至纹理修复模型， 进行纹理修复， 获得第二修复图像， 所述第 二修复图像为对所述第一 修复图像进行纹 理修复的图像； 将所述第 二修复图像输入至色彩修复模型， 进行色彩修复， 获得第三修复图像， 所述第 三修复图像为对所述第二 修复图像进行色彩修复的图像。 5.根据权利要求1所述的方法， 其特征在于， 所述第 二特征序列的长度为所述第 一特征 序列长度的四倍。 6.根据权利要求3所述的方法， 其特征在于， 所述第 一特征序列的长度为所述第四特征 序列长度的四倍。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述第 三特征序列与所述第 二特征 序列融合， 包括： 将所述第三特征序列与所述第二特征序列相加， 并进行编码与解码， 获得融合后的特 征序列。 8.根据权利要求1所述的方法， 其特征在于， 所述结构修复模型通过以下方式训练得 到： 获取训练图像， 所述训练图像中包括掩码图像； 通过所述结构修复模型的多个分支对所述掩码图像进行下采样， 得到第 一训练特征序 列和第二训练特征序列， 将所述第一训练特征序列转化为与所述第二训练特征序列长度相 同的第三训练特征序列， 将所述第三训练特征序列与所述第二训练特征序列融合， 根据融 合后的训练特 征序列对所述掩码图像进行 结构修复， 获得第一训练修复图像； 根据第一训练修复图像和掩码前的训练图像更新所述结构修复模型的参数。 9.根据权利要求2所述的方法， 其特征在于， 所述将所述第 一修复图像输入至纹理修复权　利　要　求　书 1/2 页 2 CN 114627023 A 2模型和/或色彩修复模型， 进行纹 理修复和/或色彩修复， 获得第二 修复图像， 包括： 将所述第一修复图像输入至纹理修复模型和/或色彩修复模型， 通过所述纹理修复模 型和/或所述色彩修复模型对所述第一修复图像进行下采样和编码获得第 五特征序列， 将 所述第五特征序列进 行反卷积获得特征图， 根据所述特征图对所述第一修复图像进行纹理 修复和/或色彩修复， 获得第二 修复图像。 10.一种图像修复装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待修复图像； 结构修复模块， 用于将所述待修复图像输入至结构修复模型， 通过所述结构修复模型 的多个分支对所述待修复图像进行下采样， 得到第一特征序列和第二特征序列， 将所述第 一特征序列转化为与所述第二特征序列长度相同的第三特征序列， 将所述第三特征序列与 所述第二特征序列融合， 根据融合后的特征序列对所述待修复图像进行结构修复， 获得第 一修复图像， 所述第一 修复图像为对所述待修复图像的结构进行修复的图像。 11.一种设备， 其特 征在于， 所述设备包括处 理器和存 储器； 所述处理器用于执行所述存储器 中存储的指令， 以使得所述设备执行如权利要求1至9 中任一项所述的方法。 12.一种计算机可读存储介质， 其特征在于， 包括指令， 所述指令指示设备执行如权利 要求1至9中任一项所述的方法。 13.一种计算机程序产品， 其特征在于， 当所述计算机程序产品在计算机上运行时， 使 得计算机执 行如权利要求1至9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114627023 A 3