(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210187175.2 (22)申请日 2022.02.28 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 谢卫莹　李艳林　张佳青　雷杰　 李云松　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图卷积网络的多模态遥感数据分类方 法 (57)摘要 本发明提出的一种基于图卷积网络的多模 态数据图像融合分类方法， 主要解决现有高光谱 图像分类精度低的问题。 其实现方案是： 获取高 光谱图像数据集； 通过GS融合方式将原始HSI和 LiDAR图像进行多源数据融合得到高光谱图像GS 融合图； 分别提取HSI和LiDAR图像的不变属性特 征并通过基于加权融合图的特征融合方式得到 不变属性特征融合图； 将高光谱图像GS融合图和 不变属性特征融合结果输入到miniGCN和2DCNN 支路进一步提取光谱特征和空间特征； 通过乘性 融合策略对提取的光谱特征和空间特征进行特 征融合； 通过分类网络对乘性特征融合结果进行 分类。 本发明减小了特征信息损失， 提高了分类 性能， 可用于高光谱图像分类 。 权利要求书5页 说明书9页 附图3页 CN 114581773 A 2022.06.03 CN 114581773 A 1.一种基于图卷积网络的多模态遥感数据分类方法， 其特 征在于， 包括如下步骤： (1)从公开数据集中获取Houston2012高光谱数据集， 其包含有144个波段的高光谱图 像HSI和单个波段的激光雷达LiDAR图像的多源图像， 像素值大小均为349*1905， 图像共包 含有15个物质类别； (2)通过GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的高光谱图像HSI进 行数据融合， 得到高光谱GS融合图像； (3)分别从空间域、 频率 域两方面 提取HSI图像和L iDAR图像的不变属性特 征fIAPs： 3a)空间域特征提取： 通过各向同性滤波， 从HSI图像中提取鲁棒卷积特征RCF， 并进行 超像素分割， 获取空间不变特征SIF， 再将空间不变特征SIF进行堆叠获得全部的空间不变 特征 再用相同的方法从L iDAR图像中提取全部的空间不变特 征 3b)频率域特征提取： 首先通过像素级特征提取方式， 将傅里叶变换应用于HSI和LiDAR 图像的每个像素， 分别提取HSI图像和LiDAR图像的像素傅里叶特征， 再通过多尺度卷积核 将像素傅里叶特征聚合为基于区域的特征描述子， 从HSI和LiDAR图像中分别获取频率不变 特征 和 3c)根据3a)和3b)最终从HSI中获取的不变属性特征为 从LiDAR图像 中获取的不变属性特 征为： (4)将分别从HSI和LiDAR图像中提取的不变属性特征 和 采用广义的基于加权 图的方式进行多源数据特 征融合， 得到不变属性特 征融合图； (5)将高光谱GS融合图像和不变属性特征融合图分别输入到现有的微型图卷积网络 miniGCN和二维卷积神经网络2DCN N支路进一 步提取特征： 5a)获取适用于高光谱GS融合 图像的训练样本矩阵、 测试样本矩阵、 训练标签矩阵、 测 试标签矩阵及表示样本点间相互关系的邻接矩阵； 获取适用于不变属性特征融合图的训练 样本矩阵、 测试样本矩阵、 训练标签矩阵、 测试 标签矩阵； 5b)将高光谱GS融合图像对应的训练样本矩阵、 标签矩阵及邻接矩阵输入微型图卷积 网络miniGCN支路， 提取出高光谱GS融合图像包含的光谱 特征； 将不变属性特征融合图对应 的训练样本矩阵、 标签矩阵输入到二 维卷积神经网络2DCNN支路， 提取出不变属性特征融合 图包含的空间特 征； (6)选用乘性 融合策略对来自2DCNN和miniGCN两条支路的空间、 光谱特征进行融合， 得 到乘性融合后的特 征融合结果HM； (7)选用由完全连接层FCN和 softmax函数构成的分类网络， 将乘性融合后的特征融合 结果HM输入到该分类网络中， 得到最终的目标分类结果。 2.根据权利要求1所述的方法， 其特征在于， 步骤(2)通过施密特正交GS融合方法将高 空间分辨 率的LiDAR图像和低空间分辨 率的高光谱图像HSI进行 数据融合， 实现如下： (2a)计算LiDAR图像和高光谱图像HSI重叠区域， 并对其进行裁剪， 得到裁剪后的LiDAR 图像和高光谱图像HSI； (2b)模拟产生低分辨率的LiDAR图像作为施密特正交GS变换的第一分量： 将低分辨率 的高光谱图像HSI根据光谱响应函数按设定权重进行模拟， 得到模拟的LiDAR图像灰度值，权　利　要　求　书 1/5 页 2 CN 114581773 A 2或对LiDAR图像进行模糊操作， 将其缩小到与高光谱图像HSI的大小相同； (2c)以模拟LiDA R图像灰度 值的波段为第一波段， 将高光谱图像HSI的所有波段为后续 波段， 做施密特正交GS变换； (2d)根据施密特正交GS变换的第一分量均值和方差， 对L iDAR图像波段进行修改； (2e)将修改后的LiDA R图像波段作 为第一分量， 进行施密 特正交逆变换， 去除输出波段 中的第一个波段后， 得到最终的GS融合图像。 3.根据权利 要求1所述的方法， 其特征在于， 步骤(3a)中从空间域提取HSI图像和LiDAR 图像的不变属性特 征， 实现如下： (3a1)通过各向同性滤波， 从多源图像中提取鲁棒卷积特征RCF， 并将其通过特征集形 式表示为： fRCF＝[f1,…fk,…fD] 其中， I表示多源图像， Ik表示多源图像的第k个波段， Kconv表 示卷积核； (3a2)将像 素值大小为W ×H， 波段数为D的多源图像与卷积 核Kconv进行卷积运算， 以各向 同性地聚合局部空间信息， 再运用线性迭代聚类SLIC方法进行超像素分割， 获取多源图像 所包含的各个 像素的空间不变特 征fSIFs： 其中， 表示第i个像素的空间不变特征， i∈[1,N]， N＝W ×H表示多源图像场景中的 像素个数， 其中， Nq表示第q个超像素的像素个数； 表示由第q个超像素组成， 且包含第i个目标 像素的像素集， 表示第j个鲁棒卷积特 征RCF。 4.根据权利要求1所述的方法， 其特征在于， 步骤(3b)中从频率域提取高光谱图像HSI 和LiDAR图像的不变属性特 征， 实现如下： (3b1)提取多源图像在位置(x,y)处的 的旋转不变特征： 首先， 将傅里叶变换应用于高光谱图像HSI和LiDAR图像的每个像素， 对于不同的傅里 叶阶数， 得到相对应的幅度特 征 其中， ||D(x,y)| |表示给定像素的幅度信息， m表示 傅里叶阶数， m∈N， N表示自然数； 其次， 根据傅里叶基的自导向性， 在极坐标系下将两个具有相同旋转行为的傅里叶基 进行相乘或者卷积， 并且完全消除相位信息后， 得到绝对旋转 不变性特 征输出 其中， m1和m2分别表示两个不同的傅里叶阶数， 且m1+m2＝0， Fm1(x,y)和Fm2(x,y)分别表 示在傅里叶阶数为m1和m2时， 在位置(x,y)处提取的特 征在极坐标系下的傅里叶形式； 最后， 将获得的绝对旋转不变性特征输出 与其在卷积区域上任意两个相邻卷积权　利　要　求　书 2/5 页 3 CN 114581773 A 3