(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210284671.X (22)申请日 2022.03.22 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 白旭阳　祝新革　黄青虬　陈亦伦　 (74)专利代理 机构 北京龙双利达知识产权代理 有限公司 1 1329 专利代理师 王君　肖鹂 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06F 16/583(2019.01)G06N 3/04(2006.01) (54)发明名称 多传感器信息融合方法及装置 (57)摘要 本申请提供了一种多传感器信息融合方法 及装置， 涉及人工智能领域。 该方法包括2D图像 特征； 确定初始物体信息， 其中， 初始物 体信息包 括初始物体的位置信息和初始物体的3D点云特 征； 通过训练好的多传感器信息融合模型， 确定 与初始物体的每个3D点云特征对应的多个2D图 像特征， 以获得融合信息。 本申请在多传感器信 息融合中能够充分利用高分辨率的彩色图像信 息， 和提高多传感器信息融合的鲁棒性， 从而提 高了三维目标检测器的检测性能和鲁棒 性。 权利要求书3页 说明书18页 附图15页 CN 114782785 A 2022.07.22 CN 114782785 A 1.一种多传感器信息融合方法， 其特 征在于， 包括： 获取2D图像特 征； 确定初始物体信息， 其中， 所述初始物体信息包括初始物体的位置信息和所述初始物 体的3D点云特 征； 通过训练好的多传感器信 息融合模型， 确定与所述初始物体的每个所述3D点云特征对 应的多个所述2D图像特 征， 以获得融合信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述训练好的多传感器信 息融合模型包括 交叉注意力机制。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述确定初始 物体信息包括： 获取目标3D点云特 征； 对所述目标3D点云特征进行查询初始化操作， 确定初始物体信息， 其中， 所述初始物体 的位置信息为所述初始物体的中心 位置信息， 所述初始物体的3D点云特征为所述初始物体 的目标3D点云特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述目标3D点云特征进行查询初始 化操作， 确定初始 物体信息包括： 将所述目标3D点云特征作为初始物体分类模型的输入， 得到M个候选初始物体信息， 所 述候选初始 物体信息包括所述 候选初始 物体的类别概 率值； 根据M个所述候选初始物体的类别概率值， 将所述M个候选初始物体信息中的N个确定 为所述初始 物体信息， 其中， N 为小于M的正整数， M为 正整数。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述通过训练好的多传感器 信息融合模型， 确定与所述初始物体的每个所述3D点云特征对应的多个所述2D图像特征， 以获得融合信息包括： 将所述初始物体信 息和目标3D点云特征作为目标物体信 息确定模型的输入， 得到目标 物体信息， 所述目标物体信息包括所述初始 物体的全局目标3D点云特 征； 通过所述训练好的多传感器信 息融合模型， 确定与所述初始物体的每个所述全局目标 3D点云特 征对应的多个所述2D图像特 征， 以获得 所述融合信息 。 6.根据权利要求5所述的方法， 其特征在于， 所述通过所述训练好的多传感器信 息融合 模型， 确定与所述初始物体的每个所述全局目标3D点云特征对应的多个所述2D图像特征， 以获得所述融合信息包括： 将所述目标物体信息作为初始检测框模型的输入， 得到初始检测框； 通过所述训练好的多传感器信 息融合模型， 确定与所述初始物体的每个所述全局目标 3D点云特征对应的多个所述2D图像特征， 以获得所述融合信息， 其中， 所述训练好的多传感 器信息融合模型中的空间限定的交叉注意力机制是通过所述初始检测框限定的交叉注意 力机制， 所述空间限定的交叉注意力机制用于对所述2D图像特征进 行空间限定后的多传感 器信息融合。 7.根据权利要求3至6中任一项所述的方法， 其特征在于， 所述获取目标3D点云特征包 括： 获取初始3D点云特 征； 将所述2D图像特征和所述初始3D点云特征作为初始物体信 息融合模型的输入， 得到所权　利　要　求　书 1/3 页 2 CN 114782785 A 2述目标3D点云特 征， 其中， 所述目标3D点云特 征为融合所述2D图像特 征的3D点云特 征。 8.根据权利要求7所述的方法， 其特征在于， 所述将所述2D图像特征为经过纵向压缩后 的2D图像特 征。 9.根据权利要求3至8任一项所述的方法， 其特征在于， 所述目标3D点云特征为目标鸟 瞰图BEV特 征。 10.一种多传感器信息融合装置， 其特征在于， 所述装置包括获取单元、 确定单元和融 合单元包括： 所述获取 单元用于， 获取2D图像特 征； 所述确定单元用于， 确定初始物体信 息， 其中， 所述初始物体信 息包括初始物体的位置 信息和所述初始 物体的3D点云特 征； 所述融合单元用于， 通过训练好的多传感器信息融合模型， 确定与所述初始物体的每 个所述3D点云特 征对应的多个所述2D图像特 征， 以获得融合信息 。 11.根据权利要求10所述的装置， 其特征在于， 所述训练好的多传感器信 息融合模型包 括交叉注意力机制。 12.根据权利要求10或1 1所述的装置， 其特 征在于， 所述获取 单元用于， 获取目标3D点云特 征； 所述确定单元用于， 对所述目标3D点云特征进行查询初始化操作， 确定初始物体信息， 其中， 所述初始物体的位置信息为所述初始物体的中心位置信息， 所述初始物体的3D点云 特征为所述初始 物体的目标3D点云特 征。 13.根据权利要求12所述的装置， 其特 征在于， 所述确定单 元具体用于： 将所述目标3D点云特征作为初始物体分类模型的输入， 得到M个候选初始物体信息， 所 述候选初始 物体信息包括所述 候选初始 物体的类别概 率值； 根据M个所述候选初始物体的类别概率值， 将所述M个候选初始物体信息中的N个确定 为所述初始 物体信息， 其中， N 为小于M的正整数， M为 正整数。 14.根据权利要求10 至13中任一项所述的装置， 其特 征在于， 所述融合单 元具体用于： 将所述初始物体信 息和目标3D点云特征作为目标物体信 息确定模型的输入， 得到目标 物体信息， 所述目标物体信息包括所述初始 物体的全局目标3D点云特 征； 通过所述训练好的多传感器信 息融合模型， 确定与所述初始物体的每个所述全局目标 3D点云特 征对应的多个所述2D图像特 征， 以获得 所述融合信息 。 15.根据权利要求14所述的装置， 其特 征在于， 所述融合单 元具体用于： 将所述目标物体信息作为初始检测框模型的输入， 得到初始检测框； 通过所述训练好的多传感器信 息融合模型， 确定与所述初始物体的每个所述全局目标 3D点云特征对应的多个所述2D图像特征， 以获得所述融合信息， 其中， 所述训练好的多传感 器信息融合模型中的空间限定的交叉注意力机制是通过所述初始检测框限定的交叉注意 力机制， 所述空间限定的交叉注意力机制用于对所述2D图像特征进 行空间限定后的多传感 器信息融合。 16.根据权利要求12至15中任一项所述的装置， 其特 征在于， 所述获取 单元具体用于： 获取初始3D点云特 征； 将所述2D图像特征和所述初始3D点云特征作为初始物体信 息融合模型的输入， 得到所权　利　要　求　书 2/3 页 3 CN 114782785 A 3