安全公司报告
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210020723.2 (22)申请日 2022.01.10 (71)申请人 浪潮软件科技有限公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园 (72)发明人 石园 路国隋 李存冰 王方  (74)专利代理 机构 济南信达专利事务所有限公 司 37100 代理人 冯春连 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/25(2019.01) G06F 16/26(2019.01) (54)发明名称 一种基于模型驱动 的数据资产管理方法及 系统 (57)摘要 本发明公开一种基于模型驱动的数据资产 管理方法及系统, 涉及数据治理技术领域, 包括: 基于数据资产的存储目的或ETL流程编排目的, 确定模型管理工具; 对于新业务场景, 利用模型 管理工具定义模 型; 对于已经拥有的数据对象或 数据处理流程, 利用模型管 理工具的反射功能反 向生成模型; 在当前环境运行数据库的元数据中 写入所定义或生成模型的唯一标识和版本号; 定 义模型发生变更时的检测处理流程; 发布发生变 更的模型, 比对模型发生变更的内容差异, 并将 模型变更后的内容差异进行发布; 定义统一的操 作接口, 对模型管理工具进行统一管理, 对模型 变更内容进行统一发布及可视化展示。 本发明可 以串联数据治理的所有主题环节, 解决元数据描 述的不同步问题。 权利要求书2页 说明书5页 附图2页 CN 114428782 A 2022.05.03 CN 114428782 A 1.一种基于模型驱动的数据资产管理方法, 其特 征在于,包括如下步骤: 步骤S1、 基于数据资产的存 储目的或ETL 流程编排目的, 确定模型 管理工具; 步骤S2、 对于没有物理数据对象或数据ETL处理流程的场景, 利用模型管理工具定义数 据模型或数据ETL处理流程模型; 对于已经拥有的数据对象或数据处理流程的场景, 利用模 型管理工具的逆向建模功能反向生成数据模型或数据ETL处 理流程模型; 步骤S3、 在当前环境运行数据库的元数据中写入步骤S2所定义或生成模型的唯一标识 和版本号; 步骤S4、 定义模型发生变更时的检测处 理流程; 步骤S5、 发布发生变更的模型, 比对模型发生变更的内容差异, 并将模型变更后的内容 差异进行发布; 步骤S6、 定义统一的操作接口, 对模型管理工具进行统一管理, 对模型变更内容进行统 一发布及可视化展示。 2.根据权利要求1所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步 骤S1时, 基于数据资产的存储目的, 采用开源的CHINER元数建模软件作为模型管理工具, 完成 数据库模型建模和模型 版本管理的需求; 基于数据资产的ETL流程编排目的, 采用 开源的Nifi作为模型管理工具, 实现数据拉 取、 处理和分发。 3.根据权利要求1所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步 骤S4, 定义模型发生变更时的检测处 理流程, 具体操作为: 基于Nifi的Schema数据记录的结构信息的描述机制, 定义模型变更信息的数据结构; 通过使用Nifi的MQ消息读取组件, 监听模型变更消息, 并编排定义模型变更影响的数 据治理实施策略。 4.根据权利要求3所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步 骤S5, 发布发生变更的模 型过程中, 将指 定模型版本提交至运行环 境中, 通过模 型管理工具 的版本比对功能比对 模型版本差异, 随后将模型变更信息写入MQ消息中间件; 基于步骤S4定义的检测处理流程, 读取MQ消息中间中的模型变更信息, 执行模型变更 影响流程。 5.根据权利要求1所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步 骤S6, 对模型管理工具进行统一管理, 具体统一管理: 全局数据资产模型元数据、 基于数据 资产模型定义的数据治理 处理规则的元 数据信息 。 6.一种基于模型驱动的数据资产管理系统, 其特 征在于, 其实现模块包括: 工具确定模块, 基于数据资产的存储目的或ETL流程编排目的, 用于手动筛选确定模型 管理工具; 模型生成模块, 用于利用模型管理工具定义新业务场景下的数据模型或数据ETL处理 流程模型, 或者, 对于已经拥有的数据对象或数据处理流程, 利用模 型管理工具的逆向建模 功能反向生成数据模型或数据ETL处 理流程模型; 写入标记模块, 用于在 当前环境运行数据库的元数据中写入所定义或生成模型的唯一 标识和版本号;权 利 要 求 书 1/2 页 2 CN 114428782 A 2变更定义模块, 用于 定义模型发生变更时的检测处 理流程; 比对发布模块, 用于发布发生变更的模型, 还用于比对模型发生变更的内容差异, 并将 模型变更后的内容差异进行发布; 统一管理模块, 用于定义统一的操作接口, 通过该操作接口对模型管理工具进行统一 管理, 对模型变更内容进行统一发布及可视化展示。 7.根据权利要求6所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述工 具确定模块基于数据资产的存储目的, 筛选采用开源的CHINER元数建模软件作为模型管 理 工具, 完成数据库模型建模和模型 版本管理的需求; 所述工具确定模块基于数据资产的ETL流程编排目的, 筛选采用开源的Nifi作为模型 管理工具, 实现数据拉取、 处 理和分发。 8.根据权利要求6所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述变 更定义模块首先基于Nifi的Schema数据记录的结构信息的描述机制, 定义模 型变更信息的 数据结构, 随后基于Nifi的MQ消息读取 组件, 监听模 型变更消息, 并编排定义模型变更影响 的数据治理实施策略。 9.根据权利要求8所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述比 对发布模块发布发生变更的模型 过程中, 首先, 将指定模型版本提交至运行环境中, 通过模型管理工具的版本比对功能比对模 型版本差异, 随后将模型变更信息写入MQ消息中间件; 随后, 基于变更定义模块定义的检测处理流程, 读取MQ消息中间中的模型变更信息, 执 行模型变更影响流 程。 10.根据权利要求6所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述 统一管理模块通过 统一的操作接口, 对模型管理工具进 行统一管理, 具体统一管理: 全局数 据资产模型 元数据、 基于数据资产模型定义的数据治理 处理规则的元 数据信息 。权 利 要 求 书 2/2 页 3 CN 114428782 A 3

.PDF文档 专利 一种基于模型驱动的数据资产管理方法及系统

文档预览
中文文档 10 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于模型驱动的数据资产管理方法及系统 第 1 页 专利 一种基于模型驱动的数据资产管理方法及系统 第 2 页 专利 一种基于模型驱动的数据资产管理方法及系统 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:13:55上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。