(19)中华 人民共和国 国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210020723.2
(22)申请日 2022.01.10
(71)申请人 浪潮软件科技有限公司
地址 250100 山东省济南市高新区浪潮路
1036号浪潮科技园
(72)发明人 石园 路国隋 李存冰 王方
(74)专利代理 机构 济南信达专利事务所有限公
司 37100
代理人 冯春连
(51)Int.Cl.
G06F 16/23(2019.01)
G06F 16/25(2019.01)
G06F 16/26(2019.01)
(54)发明名称
一种基于模型驱动 的数据资产管理方法及
系统
(57)摘要
本发明公开一种基于模型驱动的数据资产
管理方法及系统, 涉及数据治理技术领域, 包括:
基于数据资产的存储目的或ETL流程编排目的,
确定模型管理工具; 对于新业务场景, 利用模型
管理工具定义模 型; 对于已经拥有的数据对象或
数据处理流程, 利用模型管 理工具的反射功能反
向生成模型; 在当前环境运行数据库的元数据中
写入所定义或生成模型的唯一标识和版本号; 定
义模型发生变更时的检测处理流程; 发布发生变
更的模型, 比对模型发生变更的内容差异, 并将
模型变更后的内容差异进行发布; 定义统一的操
作接口, 对模型管理工具进行统一管理, 对模型
变更内容进行统一发布及可视化展示。 本发明可
以串联数据治理的所有主题环节, 解决元数据描
述的不同步问题。
权利要求书2页 说明书5页 附图2页
CN 114428782 A
2022.05.03
CN 114428782 A
1.一种基于模型驱动的数据资产管理方法, 其特 征在于,包括如下步骤:
步骤S1、 基于数据资产的存 储目的或ETL 流程编排目的, 确定模型 管理工具;
步骤S2、 对于没有物理数据对象或数据ETL处理流程的场景, 利用模型管理工具定义数
据模型或数据ETL处理流程模型; 对于已经拥有的数据对象或数据处理流程的场景, 利用模
型管理工具的逆向建模功能反向生成数据模型或数据ETL处 理流程模型;
步骤S3、 在当前环境运行数据库的元数据中写入步骤S2所定义或生成模型的唯一标识
和版本号;
步骤S4、 定义模型发生变更时的检测处 理流程;
步骤S5、 发布发生变更的模型, 比对模型发生变更的内容差异, 并将模型变更后的内容
差异进行发布;
步骤S6、 定义统一的操作接口, 对模型管理工具进行统一管理, 对模型变更内容进行统
一发布及可视化展示。
2.根据权利要求1所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步
骤S1时,
基于数据资产的存储目的, 采用开源的CHINER元数建模软件作为模型管理工具, 完成
数据库模型建模和模型 版本管理的需求;
基于数据资产的ETL流程编排目的, 采用 开源的Nifi作为模型管理工具, 实现数据拉
取、 处理和分发。
3.根据权利要求1所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步
骤S4, 定义模型发生变更时的检测处 理流程, 具体操作为:
基于Nifi的Schema数据记录的结构信息的描述机制, 定义模型变更信息的数据结构;
通过使用Nifi的MQ消息读取组件, 监听模型变更消息, 并编排定义模型变更影响的数
据治理实施策略。
4.根据权利要求3所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步
骤S5, 发布发生变更的模 型过程中, 将指 定模型版本提交至运行环 境中, 通过模 型管理工具
的版本比对功能比对 模型版本差异, 随后将模型变更信息写入MQ消息中间件;
基于步骤S4定义的检测处理流程, 读取MQ消息中间中的模型变更信息, 执行模型变更
影响流程。
5.根据权利要求1所述的一种基于模型驱动的数据资产管理方法, 其特征在于, 执行步
骤S6, 对模型管理工具进行统一管理, 具体统一管理: 全局数据资产模型元数据、 基于数据
资产模型定义的数据治理 处理规则的元 数据信息 。
6.一种基于模型驱动的数据资产管理系统, 其特 征在于, 其实现模块包括:
工具确定模块, 基于数据资产的存储目的或ETL流程编排目的, 用于手动筛选确定模型
管理工具;
模型生成模块, 用于利用模型管理工具定义新业务场景下的数据模型或数据ETL处理
流程模型, 或者, 对于已经拥有的数据对象或数据处理流程, 利用模 型管理工具的逆向建模
功能反向生成数据模型或数据ETL处 理流程模型;
写入标记模块, 用于在 当前环境运行数据库的元数据中写入所定义或生成模型的唯一
标识和版本号;权 利 要 求 书 1/2 页
2
CN 114428782 A
2变更定义模块, 用于 定义模型发生变更时的检测处 理流程;
比对发布模块, 用于发布发生变更的模型, 还用于比对模型发生变更的内容差异, 并将
模型变更后的内容差异进行发布;
统一管理模块, 用于定义统一的操作接口, 通过该操作接口对模型管理工具进行统一
管理, 对模型变更内容进行统一发布及可视化展示。
7.根据权利要求6所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述工
具确定模块基于数据资产的存储目的, 筛选采用开源的CHINER元数建模软件作为模型管 理
工具, 完成数据库模型建模和模型 版本管理的需求;
所述工具确定模块基于数据资产的ETL流程编排目的, 筛选采用开源的Nifi作为模型
管理工具, 实现数据拉取、 处 理和分发。
8.根据权利要求6所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述变
更定义模块首先基于Nifi的Schema数据记录的结构信息的描述机制, 定义模 型变更信息的
数据结构, 随后基于Nifi的MQ消息读取 组件, 监听模 型变更消息, 并编排定义模型变更影响
的数据治理实施策略。
9.根据权利要求8所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述比
对发布模块发布发生变更的模型 过程中,
首先, 将指定模型版本提交至运行环境中, 通过模型管理工具的版本比对功能比对模
型版本差异, 随后将模型变更信息写入MQ消息中间件;
随后, 基于变更定义模块定义的检测处理流程, 读取MQ消息中间中的模型变更信息, 执
行模型变更影响流 程。
10.根据权利要求6所述的一种基于模型驱动的数据资产管理系统, 其特征在于, 所述
统一管理模块通过 统一的操作接口, 对模型管理工具进 行统一管理, 具体统一管理: 全局数
据资产模型 元数据、 基于数据资产模型定义的数据治理 处理规则的元 数据信息 。权 利 要 求 书 2/2 页
3
CN 114428782 A
3
专利 一种基于模型驱动的数据资产管理方法及系统
文档预览
中文文档
10 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 11:13:55上传分享