(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210775509.8 (22)申请日 2022.07.01 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 吴晓强　暴天鹏　吴立威　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 刘晖铭　徐川 (51)Int.Cl. G06F 9/445(2018.01) (54)发明名称 模型调用方法、 装置、 设备及存 储介质 (57)摘要 本公开实施例提供了一种模 型调用方法、 装 置、 设备及存储介质， 其中， 所述方法包括： 获取 设定的任务流中当前待执行的任务节 点； 从任务 流对应的网络模 型集中， 确定该任务节点对应的 目标模型； 其中， 网络模型集包括第一模型子集 和第二模型子集， 第一模型子集中的每一第一模 型的加载方式为固定加载， 第二模 型子集中的每 一第二模型的加载方式为动态加载； 在设定的存 储空间中未加载目标模型的情况下， 基于设定的 动态加载机制， 将目标模型动态加载至存储空间 中， 并调用存储空间中已加载的目标模型执行该 任务节点； 其中， 存储空间用于存储固定加载的 每一第一模型和当前动态加载的至少一个第二 模型。 权利要求书3页 说明书25页 附图6页 CN 115167937 A 2022.10.11 CN 115167937 A 1.一种模型调用方法， 其特 征在于， 所述方法包括： 获取设定的任务 流中当前待执 行的任务节点； 从所述任务流对应的网络模型集中， 确定所述任务节点对应的目标模型； 其中， 所述网 络模型集包括第一模型子集和 第二模型子集， 所述第一模型子集中的每一第一模型的加载 方式为固定加载， 所述第二模型子集中的每一第二模型的加载 方式为动态加载； 在设定的存储空间中未加载所述目标模型的情况下， 基于设定的动态加载机制， 将所 述目标模型动态加载至所述存储空间中， 并调用所述存储空间中已加载的所述目标模型执 行所述任务节点； 其中， 所述存储空间用于存储固定加载 的每一所述第一模型和当前动态 加载的至少一个所述第二模型。 2.根据权利要求1所述的方法， 其特征在于， 所述存储空间中包括用于存储当前动态加 载的至少一个所述第二模型 的缓存空间； 所述基于设定的动态加载机制， 将所述 目标模型 动态加载至所述存 储空间中， 包括： 获取所述缓存空间的模型容量和所述缓存空间当前的使用量， 并基于所述模型容量和 所述使用量， 确定所述缓存空间当前的可用容 量； 在所述可用容量小于所述目标模型的缓存占用量的情况下， 从所述缓存空间中已加载 的至少一个第二模型中确定优先级最低的候选模型； 在所述目标模型的优先级高于所述候选模型的优先级的情况下， 将所述候选模型从所 述缓存空间中释放， 并将所述目标模型加载至所述缓存空间中。 3.根据权利要求2所述的方法， 其特征在于， 所述基于设定的动态加载机制， 将所述目 标模型动态加载至所述存储空间中， 还包括： 在所述目标模型满足设定条件的情况下， 确定 所述目标模型 的优先级高于所述候选模型 的优先级； 所述设定条件包括以下至少之一： 所 述目标模型的执行紧急程度高于所述候选模型的执行紧急程度； 所述目标模型在所述任务 流中的推理 次数大于所述候选模型在所述任务流中的推理次数； 所述目标模型的历史执行 次数大于所述 候选模型的历史执 行次数。 4.根据权利要求1至3中任一项所述的方法， 其特征在于， 所述存储空间中包括用于存 储当前动态加载的至少一个所述第二模型 的缓存空间； 所述基于设定的动态加载机制， 将 所述目标模型动态加载至所述存 储空间中， 包括： 以所述目标模型为遍历起始点， 依次遍历设定的模型加载队列中的每一第二模型， 并 针对遍历过程中访问的每一第二模型， 基于所述第二模型 的状态信息， 将所述第二模型加 载至所述缓存空间中， 所述模型加载队列中包括所述第二模型子集中的至少一个第二模 型。 5.根据权利要求4所述的方法， 其特征在于， 每一所述第 二模型的状态信 息包括待加载 状态或跳过状态； 所述基于所述第二模型 的状态信息， 将所述第二模型加载至所述缓存空 间中， 包括： 在所述第二模型的状态信 息为待加载状态的情况下， 将所述第 二模型加载至所述缓存 空间中， 并将所述第二模型的状态信息更新 为跳过状态； 在所述第二模型的状态信息为跳过状态的情况下， 结束访 问当前的第二模型， 并继续 访问所述模型加载队列中的下一个第二模型。 6.根据权利要求 4或5所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115167937 A 2基于所述任务流中各任务节点之间的依赖关系， 确定所述第 二模型子集中每一第 二模 型之间的执 行依赖关系； 基于所述第 二模型子集中每一第 二模型之间的执行依赖关系， 确定所述任务流对应的 模型加载队列， 以及所述模型加载队列中每一第二模型的状态信息 。 7.根据权利要求6所述的方法， 其特征在于， 所述第 二模型子集中每一第 二模型之间的 执行依赖关系包括每一第二模型之 间的执行依赖图； 所述基于所述第二模 型子集中每一第 二模型之间的执行依赖关系， 确定所述任务流对应的模型加载队列， 以及所述模型加载队 列中每一第二模型的状态信息， 包括： 采用深度遍历的方式遍历所述执行依赖图中的每一第 二模型， 得到所述任务流对应的 模型加载队列； 基于当前待执行的任务节点对应的目标模型的数据流通状态， 对所述执行依赖图中每 一第二模型的数据流进行 预测， 得到每一所述第二模型的数据流 通状态； 基于至少一个所述第二模型的数据流 通状态， 确定每一所述第二模型的状态信息 。 8.根据权利要求7所述的方法， 其特征在于， 所述数据流通状态包括数据流入状态； 所 述基于至少一个所述第二模型的数据流 通状态， 确定每一所述第二模型的状态信息， 包括： 采用深度遍历的方式遍历所述执行依赖图中的每一第 二模型， 针对遍历过程中访问的 每一第二模型， 执 行以下之一操作： 在所述第二模型的数据流入状态为有数据流入的情况下， 将所述第 二模型的状态信 息 确定为待加载状态； 在所述第二模型的数据流入状态为无数据流入的情况下， 确定所述执行依赖图中以所 述第二模型为根节点的第一子图， 并将所述第一子图中的每一第二模型的状态信息确定为 跳过状态。 9.根据权利要求7或8所述的方法， 其特征在于， 所述数据流通状态包括数据流入状态 和数据流出状态； 所述基于至少一个所述第二模型 的数据流通状态， 确定每一所述第二模 型的状态信息， 包括： 基于至少一个所述第 二模型的数据流入状态和数据流出状态， 确定所述执行依赖图中 相邻的每两个第二模型之间的数据连通关系； 从至少一个所述第 二模型中， 确定与所述目标模型之间具有数据连通关系的第 三模型 子集； 将所述第三模型子集中的每一第二模型的状态信息确定为待加载状态。 10.根据权利要求2或3所述的方法， 其特征在于， 所述获取所述缓存空间的模型容量， 包括： 基于所述第 一模型子集中每一第 一模型的存储占用量， 确定所述存储空间中固定占用 的第一存 储容量； 基于所述存储空间的总 存储容量与 所述第一存储容量之间的差值， 确定所述缓存空间 的第二存 储容量； 基于所述缓存空间的第二存储容量和所述第二模型子集中每一第二模型的存储占用 量， 确定所述缓存空间的模 型容量； 其中， 所述模 型容量表征所述缓存空间中可加载第二模 型的数量。权　利　要　求　书 2/3 页 3 CN 115167937 A 3