(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221026945 5.8 (22)申请日 2022.03.18 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 雷大江　邹仁峰　张莉萍　李伟生　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G06T 5/50(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种生成多对抗网络结构的遥感图像空谱 融合方法与系统 (57)摘要 本发明公开了一种生成多对抗网络结构的 遥感图像空谱融合方法与系统， 涉及卫星遥感图 像融合技术领域， 包括： 卫星遥感图像数据集进 行插值预处理使得遥感图像满足生成多对抗网 络所需尺寸； 构建生成对抗网络的生成器， 从生 成器产生的生成图像中选择适用于多对抗判别 器； 构建生成对抗网络的判别器， 获取低分辨率 多光谱图像(LRMS)与高分辨率全色图像(PAN)的 融合图像； 本发 明通过结合多对抗思想与遥感图 像专业领域知识， 本发明提出了一种创新的生成 多对抗网络， 该框架将生 成对抗网络扩展到多个 判别器。 多个判别器可以使生 成器更好的综合光 谱信息和结构信息， 从而 得到高质量的高分辨率 多光谱图像 。 权利要求书3页 说明书10页 附图6页 CN 114677313 A 2022.06.28 CN 114677313 A 1.一种生成多对抗网络结构的遥感图像空谱融合方法， 包括对卫星遥感图像数据集中 的多光谱图像和全色图像进行预处理； 对预处理后的图像采用训练完成后的生成多对抗网 络结构生成遥感融合图像； 其特征在于， 生成多对抗网络结构的训练过程包括： 将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信 息图像分别经 过三层卷积网络， 并在通道维度上进行拼接形成第一 拼接图像； 将上采样前的低分辨率多光谱图像经过两层卷积网络后， 与 所述第一拼接图像再次拼 接形成第二拼接图像， 并对第二拼接图像进行下采样， 通过生成器进行转置卷积解码重建 出融合图像； 将重建出的所述融合图像作为生成图像， 将高分辨率多光谱图像作为样本 图像， 并分 别将所述 生成图像和所述样本图像划分为结构部分和光谱部分； 利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样 本图像的光谱部分和结构部分的概 率； 利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进 行判别， 返回第一 概率值； 利用梯度 结构判别器对生成图像的梯度信 息图与全色图中的梯度信 息图进行判别， 返 回第二概率值； 利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别， 返回第 三概 率值； 使用加权平均方式对第 一概率值和第 二概率值进行处理， 使用动态加权平均方式对得 到的加权概 率值与第三 概率值进行处 理， 并将处 理后的返回值传输给生成器； 采用联合训练的对抗方式， 对各个生成器和各个判别器进行训练， 直至生成器和各个 判别器的损失函数达 到收敛或者达 到训练迭代轮数。 2.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法， 其特征 在于， 所述对卫星遥感图像数据集中的多光谱图像和全色图像进 行预处理包括对卫星遥感 图像数据集进行插值处理， 使得卫星遥感图像满足生成多对抗网络结构所需尺寸； 即裁剪 相同区域的多光谱图像与全色图像， 使得高分辨率的多光谱图像和全色图像图像大小为4N ×4N， 低分辨率的多光谱图像大小为N ×N； 采用双三次插值方法对低分辨率多光谱图像进 行4倍上采样， 上采样后的低分辨率的多光谱图像的大小为4N ×4N； 使用梯度算子将全色图 像中水平与 垂直方向上的梯度信息图提取出来， 两张梯度信息图像大小均为4N ×4N， N为分 辨率尺寸。 3.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法， 其特征 在于， 使用动态加权平均方式对得到的加权概率值与第三概率值进行 处理所采用的公式包 括： 权　利　要　求　书 1/3 页 2 CN 114677313 A 2其中， Wi(xi)表示判别器i对其返回的概率值xi的权值， xi为判别器i返回的概率值， ai表 示判别器i对应取[0,1)中的某定 值， σi由Wi(1)＝0.9时确定， X为最后输出结果， 即动态加权 平均后的概 率值， i＝1表示光谱判别器， i ＝2表示结构判别器。 4.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法， 其特征 在于， 生成器的损失函数 表示为： 其中， K表示卫星遥感图像训练样本的数量； 表示在 生成器和判别器之间的对抗损失， N表示判别器数量； Di(G(x))表示对训练样本x的生成图 像G(x)在判别器i的判别结果； 旨在使得融合图像和真实的 高分辨率的多光谱图像足够接近， 并保留光谱信息， λ表 示平衡参数， Z表示高分辨率的多光 谱图像， 表示由包含低分辨率多光谱图像， 水平方向全色图梯度信息图和 垂直方向全色图梯度信息图的生成器所产生的生成图像， Y表示低分辨率的多光谱图像， 表示水平方向全色图的梯度信息， 表示垂直方向全色图的梯度信息； 旨在保留全 色图像的结构信息， 是一个控制两个约束部分之间权衡的正则参数。 5.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法， 其特征 在于， 判别器的损失函数 表示为： 其中， 表示光谱判别器的损失函 数， 在光谱判别器中， 利用Mspectrum作为参考， 来判别权　利　要　求　书 2/3 页 3 CN 114677313 A 3