(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211148564.0 (22)申请日 2022.09.21 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 蒋纪琼　潘淑　陈志伟　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06F 8/60(2018.01) G06F 9/445(2018.01) G06F 9/54(2006.01) H04L 67/02(2022.01) H04L 67/10(2022.01)H04L 67/133(2022.01) H04L 67/51(2022.01) (54)发明名称 一种支持多种深度学习框架模型云端部署 的装置及方法 (57)摘要 本发明公开了一种支持多种深度学习框架 模型的云端部署装置及方法， 将模 型以线上服务 的形式部署在云端 服务器， 支持使用http和gRPC 两种通信协议提供在线推理服务， 包括如下步 骤： 步骤一、 根据方法说明部署模型云端部署装 置及网关装置； 步骤二、 训练待部署的模 型， 并保 存为其所使用的深度学习框架对应的可支持部 署的模型格式； 步骤三、 根据模型采用的深度学 习框架及方法中提供的必要的依赖包， 制作可支 持模型部署的镜像； 步骤四、 根据装置页面要求 选择合适的参数将该模型进行云端部署。 本发明 操作简单， 用户无须精通算法即可在本装置中同 时部署多种深度学习框架训练的模 型， 且易于扩 展， 同时支持其 他深度学习框架模型部署。 权利要求书2页 说明书5页 附图2页 CN 115248692 A 2022.10.28 CN 115248692 A 1.一种支持多种深度学习框架模型云端部署的方法， 其特 征在于， 包 含以下步骤： S1： 部署模型云端部署装置、 网关装置， 配置Serving引擎的路径， 并准备待部署的模型 及环境镜像； S2： 在云端部署装置前端页面中选择待部署模型并创建在线推理服务， 后台根据选择 的服务类型自动 构建模型部署启动命令及相关的在线推理服务参数， 并为每个服务分配唯 一的推理请求 域名； S3： Kubernetes容器集群管理系统根据配置 的节点数和节点规格创建容器， 为模型部 署的每个容器分配对应的路由转发， 并根据服 务方式运行Servi ng引擎中的启动脚本； S4： 容器创建成功后， 启动Serving引擎， 调用步骤S2中在线推理服务参数对应的推理 脚本或自定义推理脚本加载待部署模型； S5： 模型加载成功后， 即表示该模型在云端服务器部署成功后， 提供在线推理服务， 用 户通过装置页面中的预测按 钮调用推理请求， 对该模型的在线推理服 务进行测试； S6： 用户根据实际场景， 调用装置页面 提示的请求路径， 进行在线推理； 其中， 通过http通信协议提供的在线推理服务， 网关装置中统计出该服务被调用的总 次数和失败次数； 通过gRPC通信协议提供的在 线推理服务， 在gRPC  Server中统计该服务被 调用的总次数和失败次数。 2.根据权利要求1所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 所述步骤S2 中选择模型创建在线推理服务时， 选择http通信协议或gRPC通信协议提供 服务。 3.根据权利要求2所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 所述步骤S2中通过http通信协议提供的在线推理服务， 网关装置中统计出该服务被调 用的总次数和失败次数； 通过gRPC通信协 议提供的在 线推理服务， 在gRPC  Server中统计该 服务被调用的总次数和失败次数。 4.根据权利要求1所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 所述步骤S1中选择模型进行云端部署时， 选择单节点部署或多节点部署； 多节点部署 时， 各节点的请求路径相同， 每 个节点平分该服 务的推理请求。 5.根据权利要求1所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 所述步骤S2中部署模 型云端部署装置时， 选择调用CPU或GPU类型的节 点部署模 型， 并设 置每个节点的规格。 6.根据权利要求1所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 步骤S2中当选择ht tp通信协议部署模型时， 选择 是否进行 灰度发布。 7.根据权利要求1所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 所述步骤S2的在线推理服 务参数包括启动脚本、 框架名称。 8.根据权利要求1所述的一种支持多种深度学习框架模型云端部署的方法， 其特征在 于： 所述步骤S5中用户调用推理请求时， Nginx根据推理请求域名将请求转发至网关装置， 网关装置在接收到推理请求后， 根据路由配置转发到该在线服务的Kuber netes ingress域 名地址。 9.一种支持多种深度学习框架模型云端部署的装置， 其特征在于， 包括互相连接的云 端部署装置、 网关装置和Servi ng引擎；权　利　要　求　书 1/2 页 2 CN 115248692 A 2所述的云端部署装置用于与用户交互， 接收用户输入的待部署模型的相关信息， 并根 据部署规格参数进行模型部署； 所述的网关装置用于在ht tp通信协议下提供鉴权、 统计和调配服 务； 所述的Servi ng引擎用于提供接口封装、 模型加载和数据处 理。 10.根据权利要求9所述的一种支持多种深度 学习框架模型云端部署的装置， 其特征在 于： 所述的云端部装置包括Kubernetes容器集群管理系统， 所述的Kubernetes容器集群管 理系统用于管 理云平台中多个服务器节 点上的容器化的应用， 模 型部署在Kuber netes容器 中， 并通过 Kubernetes对各个节点进行统一调度， 提供相应服 务。权　利　要　求　书 2/2 页 3 CN 115248692 A 3