(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211304175.2 (22)申请日 2022.10.24 (71)申请人 深信服科技股份有限公司 地址 518055 广东省深圳市南 山区学苑大 道1001号南山智园A1栋 (72)发明人 胡建宇　何文杰　陈飞　陈紫良　 胡文广　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 李娟　张颖玲 (51)Int.Cl. G06F 9/445(2018.01) G06F 16/242(2019.01) (54)发明名称 一种数据处理方法、 装置、 系统和计算机可 读存储介质 (57)摘要 本申请实施例公开了一种数据处理方法， 该 方法包括： 基于用户对画布上的多个数据处理模 块的操作获得目标数据处理模型； 数据处理模块 具有用于处理数据以实现对应功能的数据处理 逻辑； 将目标数据处理模型提交到调试节点进行 调试， 获得针对每一数据处理模块的中间调试结 果和针对目标数据处理模型的目标调试结果； 在 中间调试结果和目标调试结果表征目标数据处 理模型调试成功的情况下， 将目标数据处理模型 提交到运行节点； 如此， 能够基于针对每个数据 处理模型的中间调试结果和针对数据处理模型 的目标调试结果快速且精准地验证出目标数据 处理模型的准确性， 耗时短且准确性高。 本申请 实施例还公开了一种数据处理装置、 系统和计算 机可读存 储介质。 权利要求书3页 说明书24页 附图18页 CN 115357309 A 2022.11.18 CN 115357309 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型； 所述数据处理 模块具有用于处 理数据以实现对应功能的数据处 理逻辑； 将所述目标数据处理模型提交到调试节点进行调试， 获得针对每一所述数据处理模块 的中间调试 结果和针对所述目标 数据处理模型的目标调试 结果； 在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试成功的情 况下， 将所述目标 数据处理模型提交到运行节点。 2.根据权利要求1所述的方法， 其特征在于， 所述基于用户对画布上的多个数据处理模 块的操作获得目标 数据处理模型， 包括： 基于用户在画 布上的操作确定多个数据处 理模块； 获取用于实现目标功能的针对每一所述数据处 理模块的目标配置数据； 基于所述数据处 理模块和所述目标配置数据， 得到所述目标 数据处理模型。 3.根据权利要求1所述的方法， 其特征在于， 所述运行节点用于根据所述目标数据处理 模型对目标 数据进行处 理。 4.根据权利 要求1~3任一项所述的方法， 其特征在于， 所述调试节点包括Flink节点， 所 述运行节点包括另一种资源协调者YARN节点。 5.根据权利要求2所述的方法， 其特征在于， 所述获取用于实现目标功能的针对每一所 述数据处 理模块的目标配置数据， 包括： 获取针对每一数据处 理模块的第一配置数据； 接收针对所述第 一配置数据的确定指令， 并基于所述确定指令从待选配置数据中确定 针对所述每一数据处 理模块的中间配置数据； 基于所述中间配置数据和所述第 一配置数据， 得到所述每一数据处理模块的第 二配置 数据； 在确定所述第 二配置数据通过语法解析的情况下， 确定所述第 二配置数据为所述每一 数据处理模块的目标配置数据。 6.根据权利要求2所述的方法， 其特征在于， 所述基于用户在画布上的操作确定多个数 据处理模块， 包括： 基于用户在画布上的操作确定表征数据来源的第 一数据处理模块、 具有数据处理功能 的第二数据 处理模块以及表征处理后数据的存储位置的第三数据 处理模块； 其中， 所述数 据处理模块包括所述第一数据处理模块、 所述第二数据处理模块和所述第三数据处理模 块； 相应的， 获取针对每一数据处 理模块的第一配置数据， 包括： 接收针对所述第 一数据处理模块的第 一子配置数据、 针对所述第 二数据处理模块第 二 子配置数据以及针对所述第三数据 处理模块第三子配置数据； 其中， 所述第一配置数据包 括所述第一子配置数据、 所述第二子配置数据和所述第三子配置数据。 7.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 在确定所述第 二配置数据未通过语法解析的情况下， 确定所述第 二配置数据中的第 一 异常数据； 基于所述第一异常数据， 确定第一异常原因和第一优化方案并展示。权　利　要　求　书 1/3 页 2 CN 115357309 A 28.根据权利要求2所述的方法， 其特征在于， 所述基于所述数据处理模块和所述目标配 置数据， 得到目标 数据处理模型， 包括： 基于每一所述数据处理模块、 所述数据处理模块之间的第 一关联关系以及每一所述目 标配置数据， 得到初始数据处 理模型； 对所述初始数据处 理模型进行完整性校验； 在通过完整性校验的情况 下， 确定所述初始数据处 理模型为所述目标 数据处理模型。 9.根据权利要求1所述的方法， 其特征在于， 所述将所述目标数据处理模型提交到调试 节点进行调试， 获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理 模型的目标调试 结果之前， 还 包括： 对所述目标 数据处理模型的可 执行性进行 校验； 相应的， 所述将所述目标数据处理模型提交到调试节点进行调试， 获得针对每一所述 数据处理模块的中间调试 结果和针对所述目标 数据处理模型的目标调试 结果， 包括： 在确定所述目标数据处理模型可执行的情况下， 将所述目标数据处理模型提交到所述 调试节点进行分析 得到数据处 理逻辑； 基于所述数据处理逻辑对调试数据进行处理， 得到所述中间调试结果和所述目标调试 结果。 10.根据权利要求9所述的方法， 其特征在于， 所述将所述目标数据处理模型提交到所 述调试节点进行分析 得到数据处 理逻辑， 包括： 将所述目标数据处理模型提交到所述调试节点进行分析， 得到每一所述数据处理模块 中的处理算子和输出算子； 其中， 所述处理算子用于对数据进 行处理， 所述输出算子用于输 出每一所述数据处 理模块的处 理结果； 确定所述处理算子之间的第 二关联关系、 所述处理算子与所述输出算子之间的第 三关 联关系； 基于所述处理算子和所述输出算子， 确定针对每一所述数据处理模块的第 一数据处理 逻辑； 基于所述处理算子、 所述输出算子、 所述第二关联关系以及所述第三关联关系， 确定针 对所述目标数据 处理模型 的第二数据 处理逻辑； 其中， 所述数据 处理逻辑包括所述第一数 据处理逻辑和所述第二数据处 理逻辑。 11.根据权利要求10所述的方法， 其特 征在于， 所述方法还 包括： 通过所述调试节点， 周期性的获取对所述目标数据处理模型进行调试时的第 一运行数 据、 所述中间调试 结果和所述目标调试 结果； 在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试成功的情 况下， 展示用于表征 所述目标 数据处理模型调试成功的第一消息； 在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试异常/未在 目标时间阈值内获取到所述 目标调试结果的情况下， 对所述第一运行数据、 所述中间调试 结果和所述目标调试结果进行分析， 确定对所述目标数据处理模块调试时的第二异常数 据； 基于所述第二异常数据， 确定第二异常原因和第二优化方案并展示。 12.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 2/3 页 3 CN 115357309 A 3