(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211073913.7 (22)申请日 2022.09.02 (71)申请人 京东科技控股 股份有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一 街18号C座2层2 21室 (72)发明人 蒋煜襄　郭聪　于万金　王林芳　 陈峰　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 王治东 (51)Int.Cl. G06N 5/04(2006.01) G06F 9/445(2018.01) G06F 9/48(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 3/10(2006.01) (54)发明名称 基于深度学习的模型推理方法、 装置、 设备 及存储介质 (57)摘要 本公开提供一种基于深度学习的模型推理 方法、 装置、 设备及存储介质， 涉及深度学习技术 领域。 该方法包括： 获取构建推理任务集合的阶 段池； 根据实际需求对构建推理任务集合所需的 模型参数进行配置， 得到配置文件， 根据配置文 件和阶段池中的多个初始阶段， 确定出组装阶 段， 根据组装阶段组装成推理流程； 分别对组装 推理流程的多个组装阶段进行封装处理， 得到多 个推理任务， 根据多个推理任务构建出推理任务 集合； 将待处理的原始数据输入推理任务集合进 行推理处理， 得到推理数据。 实现了根据实际场 景需求， 编排组合多个推理任务， 用以根据推理 任务集合进行推理处理， 不仅极大地提升了推理 系统的灵活性， 而且降低了应用程序编程接口的 集成成本。 权利要求书2页 说明书13页 附图7页 CN 115358403 A 2022.11.18 CN 115358403 A 1.一种基于深度学习的模型推理方法， 其特 征在于， 包括： 获取构建推理任务 集合的阶段池； 根据实际需求对构建所述推理任务集合所需的模型参数进行配置， 得到配置文件， 并 根据所述配置文件和所述阶段池中的多个初始阶段， 确定出组装阶段， 以及根据所述组装 阶段组装成推理流 程； 分别对组装所述推理流程的多个所述组装阶段进行封装处理， 得到与多个所述组装阶 段分别对应的多个 推理任务， 并根据多个所述推理任务构建出推理任务 集合； 将待处理的原始数据输入所述推理任务 集合进行推理 处理， 得到推理数据。 2.根据权利要求1所述的基于深度学习的模型推理方法， 其特征在于， 所述根据 所述配 置文件和所述 阶段池中的多个初始阶段， 确定出组装阶段， 以及根据所述组装阶段组装成 推理流程， 包括： 基于所述配置文件， 从所述阶段池中的多个所述初始阶段中筛选出多个所述组装阶 段； 以及 根据所述配置文件确定多个所述组装阶段的推理顺序； 根据所述推理顺序将多个所述组装阶段组装成所述推理流 程。 3.根据权利要求1所述的基于深度学习的模型推理方法， 其特征在于， 所述将待处理 的 原始数据输入所述推理任务 集合进行推理 处理， 得到推理数据， 包括： 对输入所述推理任务 集合的所述原 始数据进行 预处理， 得到批处理数据； 将所述批处 理数据输入推理模型进行模型推理 处理， 得到模型推理数据； 对所述模型推理数据进行后处 理， 得到所述推理数据。 4.根据权利要求3所述的基于深度学习的模型推理方法， 其特征在于， 所述对输入所述 推理任务 集合的所述原 始数据进行 预处理， 得到批处理数据， 包括： 将所述原始数据输入预设的模型队列进行存储处理， 并实时统计所述模型队列中的所 述原始数据的数据数量； 若所述模型队列中包括至少一个所述原始数据， 则启动预设的计时器进行计时处理， 得到计时 时间； 将所述计时时间和预设时间阈值进行比较处理， 并将所述原始数据的所述数据 数量和 预设数量阈值进行比较处 理； 若所述计时时间小于或等于所述预设时间阈值， 且所述模型队列中的所述数据 数量达 到所述预设数量阈值， 则对所述模型队列中的所述原始数据进行组合处理， 得到所述批处 理数据。 5.根据权利要求4所述的基于深度学习的模型推理方法， 其特征在于， 所述对输入所述 推理任务 集合的所述原 始数据进行 预处理， 得到批处理数据的步骤， 具体还 包括： 若所述计时时间大于所述预设时间阈值， 且所述模型队列中的所述数据 数量未达到所 述预设数量阈值， 则对所述模型队列进行填充处 理， 得到填充数据； 将所述填充数据和所述模型队列中的至少一个所述原始数据进行组合处理， 得到所述 批处理数据。 6.根据权利要求3所述的基于深度学习的模型推理方法， 其特征在于， 所述将所述批处 理数据输入推理模型进行模型推理 处理， 得到模型推理数据， 包括：权　利　要　求　书 1/2 页 2 CN 115358403 A 2根据所述实际需求获取到与所述实际需求对应的数据传输方式； 利用预设的推理接口和所述数据传输方式， 将每一所述批处理数据以异步方式传输至 与所述推理接口对应的推理设备以加载所述推理模型进行推理处理， 得到与每一所述批处 理数据对应的多个所述模型推理数据。 7.根据权利要求4所述的基于深度学习的模型推理方法， 其特征在于， 所述对所述模型 推理数据进行后处 理， 得到所述推理数据， 包括： 利用预设的切分规则， 对每一所述模型推理数据分别进行切分处理， 得到所述推理数 据， 其中， 所述切分规则为将每一所述模型推理数据切分为与所述预设数量阈值个数相同 的所述推理数据。 8.一种基于深度学习的模型推理装置， 其特 征在于， 包括： 获取模块， 用于获取构建推理任务 集合的阶段池； 组装模块， 用于根据实 际需求对构建所述推理任务集合所需的模型参数进行配置， 得 到配置文件， 并根据所述配置文件和所述阶段池中的多个初始阶段， 确定出组装阶段， 以及 根据所述组装阶段组装成推理流 程； 构建推理任务集合模块， 用于分别对组装所述推理流程的多个所述组装阶段进行封装 处理， 得到与多个所述组装阶段分别对应的多个推理任务， 并根据多个所述推理任务构建 出推理任务 集合； 推理模块， 用于将待处理的原始数据输入所述推理任务集合进行推理处理， 得到推理 数据。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于深度学习的模型推理方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述基于深度学习的模型推理方法的 步骤。 11.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至7任一项所述基于深度学习的模型推理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115358403 A 3