(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210199243.7 (22)申请日 2022.03.01 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号大院 (72)发明人 蒋丹凤　吴黎明　温腾腾　钟扬　 林耿萱　伍冠楚　贾林锋　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 陈嘉雯 (51)Int.Cl. G01N 21/84(2006.01) G01N 27/00(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于视嗅觉信息融合的液体识别方法 及其相关装置 (57)摘要 本申请公开了一种基于视嗅觉信息融合的 液体识别方法及其相关装置， 方法包括： 采集被 蓝绿色激光照射时的待识别液体的液体图像； 获 取待识别液体的嗅觉信息； 通过图像识别模型对 待识别液体的液体图像进行视觉特征提取， 并基 于视觉特征进行识别， 得到待识别液体的第一识 别结果； 通过气味识别模型对待识别液体的嗅觉 信息进行气味特征提取， 并基于气味特征进行识 别， 得到待识别液体的第二识别结果； 融合待识 别液体的第一识别结果和第二识别结果， 得到待 识别液体的最终识别结果， 改善了现有技术依靠 视觉信息进行识别， 由于色彩相近的液体视觉特 征少以及采用单一的视觉信息进行识别， 无法全 面反映液体的物理化学特性， 存在识别率不高的 技术问题。 权利要求书2页 说明书7页 附图2页 CN 114544633 A 2022.05.27 CN 114544633 A 1.一种基于 视嗅觉信息融合的液体识别方法， 其特 征在于， 包括： 采集被蓝绿色激光照射时的待识别液体的液体图像； 获取所述待识别液体的嗅觉信息； 通过图像识别模型对所述待识别液体的液体图像进行视觉特征提取， 并基于所述视觉 特征进行识别， 得到所述待识别液体的第一识别结果； 通过气味识别模型对所述待识别液体的嗅觉信 息进行气味特征提取， 并基于所述气味 特征进行识别， 得到所述待识别液体的第二识别结果； 融合所述待识别液体的第 一识别结果和第 二识别结果， 得到所述待识别液体的最终识 别结果。 2.根据权利要求1所述的基于视嗅觉信 息融合的液体识别方法， 其特征在于， 所述图像 识别模型和所述气味识别模型的训练过程 为： 获取若干已知类别和浓度的液体样本在被蓝绿色光照射时的液体图像和嗅觉信息； 将所述液体样本的液体图像输入到图像识别网络中进行识别， 将所述液体样本的嗅觉 信息输入到气味识别网络中进行识别； 融合所述图像识别网络的识别结果和所述气味识别网络的识别结果， 得到所述液体样 本的最终识别结果； 根据所述液体样本的最终识别结果与所述液体样本的真实标签计算损失值， 并通过所 述损失值更新所述图像识别网络的参数和所述气味识别网络的参数， 直至所述图像识别网 络和所述气味识别网络收敛， 得到训练好的图像识别模型和训练好的气味识别模型。 3.根据权利要求1所述的基于视嗅觉信 息融合的液体识别方法， 其特征在于， 所述图像 识别模型为Ef ficientNet V2。 4.根据权利要求1所述的基于视嗅觉信 息融合的液体识别方法， 其特征在于， 所述气味 识别模型为气味标定卷积自编码网络 。 5.一种基于 视嗅觉信息融合的液体识别系统， 其特 征在于， 包括： 视觉信息采集模块， 用于采集被蓝绿色激光照射时的待识别液体的液体图像； 嗅觉信息采集模块， 用于获取 所述待识别液体的嗅觉信息； 中央控制器， 用于通过图像识别模型对所述待识别液体的液体图像进行视觉特征提 取， 并基于所述视觉特征进 行识别， 得到所述待识别液体的第一识别结果； 通过气味识别模 型对所述待识别液体的嗅觉信息进行气味特征提取， 并基于所述气味特征进行识别， 得到 所述待识别液体的第二识别结果； 融合所述待识别液体的第一识别结果和第二识别结果， 得到所述待识别液体的最终识别结果。 6.根据权利要求5所述的基于视嗅觉信 息融合的液体识别系统， 其特征在于， 所述视觉 信息采集模块包括： 相机和两个激光器； 一个激光器用于发射蓝色激光照 射所述待识别液体， 另一个激光器用于发射绿色激光 照射所述待识别液体； 相机用于采集被蓝绿色激光照射时的所述待识别液体的液体图像。 7.根据权利要求5所述的基于视嗅觉信 息融合的液体识别系统， 其特征在于， 嗅觉信 息 采集模块包括金属氧化物气敏传感器阵列、 气室和模数转换模块。 8.根据权利要求5所述的基于视嗅觉信 息融合的液体识别系统， 其特征在于， 所述图像权　利　要　求　书 1/2 页 2 CN 114544633 A 2识别模型为Ef ficientNet V2， 所述气味识别模型为气味标定卷积自编码网络 。 9.一种液体识别设备， 其特 征在于， 所述设备包括处 理器以及存 储器； 所述存储器用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器用于根据 所述程序代码中的指令执行权利要求1 ‑4任一项所述的基于视嗅 觉信息融合的液体识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储程序代 码， 所述程序代码被处理器执行时实现权利要求1 ‑4任一项所述的基于视嗅觉信息融合的 液体识别方法。权　利　要　求　书 2/2 页 3 CN 114544633 A 3