(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579742.9 (22)申请日 2022.05.25 (66)本国优先权数据 202210434180.9 202 2.04.24 CN (71)申请人 南栖仙策 （南京） 科技有限公司 地址 210000 江苏省南京市江宁区总部 基 地32栋17楼 (72)发明人 朱焕焕　秦熔均　高耸屹　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 康欢欢 (51)Int.Cl. G06F 3/0486(2013.01) G06F 9/451(2018.01) G06F 16/901(2019.01)G06F 30/27(2020.01) G06N 3/08(2006.01) (54)发明名称 基于决策流图的环 境建模方法、 装置和电子 设备 (57)摘要 本发明实施例公开了一种基于决策流图的 环境建模 方法、 装置和电子设备， 该方法包括： 获 取待建模的目标业务场景中的目标业务特征和 目标业务特征的特征信息； 基于目标业务特征， 构建目标业务场景对应的目标决策流图， 其中， 目标决策流图中的业务节点包括： 至少一个环境 状态节点和至少一个决策智能体节 点； 基于目标 决策流图中的每个业务节点所绑定的业务特征 和各个业务节 点之间的数据流向信息， 构建目标 计算图； 基于目标计算图和目标业务特征的特征 信息进行环 境建模， 确定目标业务场景对应的目 标虚拟环境模型。 通过本发明实施例的技术方 案， 可以基于决策流图可以更加便捷地构建出不 同业务场景下的虚拟环境模型， 从而满足用户的 个性化需求。 权利要求书2页 说明书11页 附图3页 CN 114924684 A 2022.08.19 CN 114924684 A 1.一种基于决策流图的环境建模方法， 其特 征在于， 包括： 获取待建模的目标业 务场景中的目标业 务特征和所述目标业 务特征的特征信息； 基于所述目标业务特征， 构建所述目标业务场景对应的目标决策流图， 其中， 所述目标 决策流图中的业务节点包括： 至少一个环境状态节点和至少一个决策智能体节点， 所述环 境状态节点包括当前环境状态子节点、 环境状态转移子节点和下一环境状态子节点； 基于所述目标决策流图中的每个业务节点所绑定的业务特征和各个业务节点之间的 数据流向信息， 构建目标计算图； 基于所述目标计算图和所述目标业务特征的特征信 息进行环境建模， 确定所述目标业 务场景对应的目标虚拟环境模型。 2.根据权利要求1所述的方法， 其特征在于， 所述当前环境状态子节点支持数据流的输 出； 所述环境状态 转移子节点支持数据流的输入， 且输出给所述下一环境状态子节点； 所述 决策智能体节点支持数据流的输入和输出。 3.根据权利要求1所述的方法， 其特征在于， 所述目标决策流图中的业务节点还包括： 至少一个环境智能体节点和/或至少一个静态变量节点； 其中， 所述环境智能体节点支持数 据流的输入和输出； 所述静态变量节点仅支持数据流的输出， 不支持数据流的输入。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标业务特征， 构建所述目 标业务场景对应的目标决策流图， 包括： 对所述目标业 务特征进行特征分析， 确定各个所述目标业 务特征之间的依赖关系； 基于所述依赖关系， 创建各个业务节点， 并确定各个业务节点之间的数据流向信 息， 构 建出所述目标业 务场景对应的目标决策流图。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标业务特征， 构建所述目 标业务场景对应的目标决策流图， 还 包括： 基于用户在可视化界面上触发的节点添加操作， 获取用户添加的各个空节点； 基于用户针对每个空节点触发的节点信 息配置操作， 确定每个空节点对应的业务配置 信息， 其中， 所述 业务配置信息包括： 节点名称信息和节点所绑定的业 务特征； 基于所述 业务配置信息对相应的空节点进行配置， 获得相应的业 务节点； 基于用户对业务节点触发的连线操作， 获取各个业务节点之间的数据流向信息， 构建 出所述目标业 务场景对应的目标决策流图。 6.根据权利要求5所述的方法， 其特征在于， 所述节点配置信 息还包括： 节点数据类型、 数据取值范围和插入函数信息； 所述节点数据类型包括： 连续类型、 离散类型和默认类型， 其中， 所述离 散类型包括： 离 散有序类型和离 散无序类型。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标 决策流图中的每个业务 节点所绑定的业 务特征和各个业 务节点之间的数据流向信息， 构建目标计算图， 包括： 对所述目标决策流图进行格式转换， 确定结构化数据格式的目标决策 数据； 基于所述目标决策数据中的每个业务节点所绑定的业务特征和各个业务节点之间的 数据流向信息， 确定各个 计算节点以及计算节点之间的计算关系， 构建出目标计算图。 8.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标计算图和所述目标业务 特征的特征信息进行环境建模， 确定所述目标业 务场景对应的目标虚拟环境模型， 包括： 基于所述目标计算图， 创建初始 虚拟环境模型；权　利　要　求　书 1/2 页 2 CN 114924684 A 2基于所述目标业务特征的特征信 息， 确定交互样本数据和所述交互样本对应的实际轨 迹； 将所述交互样本数据输入至所述初始虚拟环境模型中， 并根据 所述初始虚拟环境模型 的输出， 获得仿真轨 迹； 基于所述仿真轨迹和实 际轨迹， 确定轨迹相似度， 并基于所述轨迹相似度调整初始虚 拟环境模型中的参数权重， 直至达到预设收敛条件时训练结束， 获得所述 目标业务场景对 应的目标虚拟环境模型。 9.根据权利要求1 ‑8任一项所述的方法， 其特征在于， 在确定所述目标业务场景对应的 目标虚拟环境模型之后， 还 包括： 基于所述目标虚拟环境模型， 对所述目标业务场景中的预设决策模型进行强化学习， 获得强化学习后的目标决策模型。 10.一种基于决策流图的环境建模 装置， 其特 征在于， 包括： 目标业务特征获取模块， 用于获取待建模的目标业务场景中的目标业务特征和所述目 标业务特征的特征信息； 目标决策流图构建模块， 用于基于所述目标业务特征， 构建所述目标业务场景对应的 目标决策流图， 其中， 所述目标决策流图中的业务节点包括： 至少一个环境状态节点和至少 一个决策智能体节点， 所述环境状态节点包括当前环境状态子节点、 环境状态转移子节点 和下一环境状态子节点； 目标计算图构建模块， 用于基于所述目标 决策流图中的每个业务节点所绑定的业务特 征和各个业 务节点之间的数据流向信息， 构建目标计算图； 目标虚拟环境模型确定模块， 用于基于所述目标计算图和所述目标业务特征的特征信 息进行环境建模， 确定所述目标业 务场景对应的目标虚拟环境模型。 11.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑9中任一项所述的 基于决策流图的环境建模方法。权　利　要　求　书 2/2 页 3 CN 114924684 A 3