(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161879.2 (22)申请日 2022.02.22 (71)申请人 广州文远知行 科技有限公司 地址 511365 广东省广州市中新广州知识 城九佛建 设路333号自编687室 (72)发明人 李子贺　陈国斌　雷雨苍　韩旭　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 胡安 (51)Int.Cl. G06V 20/58(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 交通信号灯的识别方法、 装置及电子设备 (57)摘要 本发明提供了一种交通信号灯的识别方法、 装置及电子设备， 首先获取目标图像中的交通信 号灯的属性信息； 其中交通信号灯位于目标图像 的目标区域中； 然后通过预先训练完成的决策网 络对属性信息及目标区域进行处理， 确定交通信 号灯的场景信息， 基于场景信息确定交通信号灯 指示的车辆通行信息； 其中， 决策网络的训练数 据包括语义地图信息。 该方式中通过语义地图信 息对决策网络进行训练， 提高了决策网络对交通 信号灯的图像信息及属性信息的处理能力， 从而 提高了识别交通信号灯指示的车辆通行信息的 准确度。 权利要求书2页 说明书10页 附图3页 CN 114694112 A 2022.07.01 CN 114694112 A 1.一种交通信号灯的识别方法， 其特 征在于， 所述方法包括： 获取目标图像 中的交通信号灯的属性信 息； 所述交通信号灯位于所述目标图像的目标 区域中； 通过预先训练完成的决策网络对所述属性信 息及所述目标区域进行处理， 确定所述交 通信号灯的场景信息， 基于所述场景信息确定所述交通信号灯指示的车辆通行信息； 所述 场景信息包括： 所述交通信号灯中每个灯的空间关系和/或相互作用关系； 其中， 所述决策 网络的训练数据包括语义 地图信息 。 2.根据权利要求1所述的方法， 其特征在于， 通过预先训练完成的决策网络对所述属性 信息及所述 目标区域进行处理， 确定所述交通信号灯的场景信息， 基于所述场景信息确定 所述交通信号灯指示的车辆通行信息的步骤， 包括： 将所述属性信息和所述目标区域输入至预先训练完成的决策网络； 其中， 所述决策网 络包括特 征提取模块、 图神经网络模块及时序模块； 通过所述特征提取模块对所述属性信 息及所述目标区域进行特征提取处理， 得到特征 信息； 所述特 征信息中包括所述交通信号灯中每 个灯的空间关系； 通过所述图神经网络模块对所述特征信 息进行特征提取处理， 得到所述交通信号灯的 场景特征； 所述场景 特征中包括所述交通信号灯中每 个灯的相互作用关系； 将所述场景 特征输入至所述时序模块， 输出 所述交通信号灯指示的车辆通行信息 。 3.根据权利要求2所述的方法， 其特征在于， 通过所述图神经网络模块对所述特征信 息 进行特征提取处 理， 得到所述交通信号灯的场景 特征的步骤， 包括： 将所述特征信 息输入至所述图神经网络模块， 以通过所述图神经网络模块执行下述操 作： 如果所述特征信 息中包括多个交通信号灯的特征信 息， 基于所述特征信 息指示的多个 所述交通信号灯的空间位置关系， 确定位于车辆所在路口 的目标交通信号灯； 基于所述目标交通信号灯的特 征信息， 确定所述交通信号灯的场景 特征。 4.根据权利要求2所述的方法， 其特征在于， 通过所述图神经网络模块对所述特征信 息 进行特征提取处 理， 得到所述交通信号灯的场景 特征的步骤， 包括： 将所述特征信 息输入至所述图神经网络模块， 以通过所述图神经网络模块执行下述操 作： 如果所述目标交通信号灯的特征信息中， 有多个灯指示相同的通行信息， 通过投票的 方式从所述多个灯中确定目标灯； 基于所述目标灯的特 征信息， 确定所述交通信号灯的场景 特征。 5.根据权利要求1所述的方法， 其特 征在于， 所述决策网络通过 下述方式训练得到： 从预设的样本集合中确定训练数据； 所述训练数据包括包含交通信号灯的样本区域图 像、 所述样本区域图像中所述交通信号灯的特征信息， 以及所述样本区域图像中所述交通 信号灯对应的车辆通行信息； 所述样本区域图像， 预先基于语义地图信息从样本图像中检 测得到； 将所述样本区域图像及所述样本区域图像中所述交通信号灯的特征信息输入至初始 模型中， 得到初始模型输出的处 理结果； 基于所述处理结果以及所述样本区域图像中所述交通信号灯对应的车辆通行信 息， 确权　利　要　求　书 1/2 页 2 CN 114694112 A 2定所述初始模型的损失值； 基于所述损失值更新所述初始模型的模型参数； 继续执行从预设的样本数据中确定训练数据的步骤， 直至所述损 失值收敛， 将损 失值 收敛后的初始模型确定为决策网络 。 6.根据权利要求1所述的方法， 其特征在于， 获取目标图像中的交通信号灯的属性信 息 的步骤， 包括： 从目标图像中获取目标区域； 其中， 所述目标区域中包括交通信号灯； 识别所述目标区域中的交通信号灯的属性信息 。 7.根据权利要求6所述的方法， 其特 征在于， 从目标图像中获取目标区域的步骤， 包括： 将目标图像输入至预先训练完成的障碍物识别模型， 输出所述目标图像中每个障碍物 在所述目标图像中的位置区域和所述障碍物的类别； 将所述类别为交通信号灯的障碍物在所述目标图像中的位置区域， 确定为所述目标区 域。 8.根据权利要求6所述的方法， 其特征在于， 从所述目标图像中获取目标区域的步骤， 包括： 获取拍摄所述目标图像的车辆的车辆位置； 从所述语义 地图中获取 所述车辆位置指定范围内的交通信号灯的位置； 基于所述交通信号灯在所述语义地图中的位置， 确定所述交通信号灯在所述目标图像 中的位置区域； 将所述交通信号灯在所述目标图像的位置区域， 确定为所述目标区域。 9.一种交通信号灯的识别装置， 其特 征在于， 所述装置包括： 属性信息获取模块， 用于获取目标图像中的交通信号灯的属性信息； 所述交通信号灯 位于所述目标图像的目标区域中； 通行信息确定模块， 用于通过预先训练完成的决策网络对所述属性信 息及所述目标区 域进行处理， 确定所述交通信号灯的场景信息， 基于所述场景信息确定所述交通信号灯指 示的车辆通行信息； 所述场景信息包括： 所述交通信号灯中每个灯的空间关系和/或相互作 用关系； 其中， 所述决策网络的训练数据包括语义 地图信息 。 10.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够被所述 处理器执行的机器可执行指令， 所述处理器执行所述机器可执行指令以实现权利要求1 ‑8 任一项所述的交通信号灯的识别方法。 11.一种机器可读存储介质， 其特征在于， 所述机器可读存储介质存储有机器可执行指 令， 所述机器可执行指令在被处理器调用和执行时， 所述机器可执行指令促使所述处理器 实现权利要求1 ‑8任一项所述的交通信号灯的识别方法。权　利　要　求　书 2/2 页 3 CN 114694112 A 3