(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210113894.X (22)申请日 2022.01.30 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 石花　刘煜东　牛向远　杨森　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 陈金忠 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种数据采集方法、 装置、 电子设备及存储 介质 (57)摘要 本发明公开了一种数据采集方法、 装置、 电 子设备及存储介质。 该方法应用于数据采集引 擎， 包括： 监测业务数据的规则配置信息； 在所述 规则配置信息发生变更的情况下， 基于变更后的 规则配置信息更新规则配置文件和存储物理表， 得到目标规则配置文件和目标存储物理表； 基于 所述目标规则配置文件对所述业务数据进行质 量检测， 得到检测结果； 将所述检测结果存储至 对应的目标存储物理表中， 得到目标治理数据。 本发明通过数据采集引擎监测规则配置信息的 变化， 并更新规则配置文件和存储物理表， 实现 了规则配置文件和存储物理表的自动更新， 减少 了规则配置文件和存储物理表的配置时间， 提高 了数据采集的效率。 权利要求书2页 说明书11页 附图6页 CN 114461644 A 2022.05.10 CN 114461644 A 1.一种数据采集方法， 其特 征在于， 应用于数据采集引擎， 包括： 监测业务数据的规则配置信息； 在所述规则 配置信息发生变更的情况下， 基于变更后的规则 配置信息更新规则 配置文 件和存储物理表， 得到目标规则配置文件和目标存 储物理表； 基于所述目标规则配置文件 对所述业务数据进行质量检测， 得到检测结果； 将所述检测结果存 储至对应的目标存 储物理表中， 得到目标治理数据。 2.根据权利要求1所述的方法， 其特征在于， 所述基于变更后的规则 配置信息更新规则 配置文件和存 储物理表， 得到目标规则配置文件和目标存 储物理表， 包括： 提取变更后的规则配置信息的关键标识， 对所述关键标识进行属性划分， 基于属性划 分后的关键标识构建目标存 储物理表； 以所述目标存储物理表为单位， 根据 预设文件配置规则对所述变更后的规则配置信 息 进行编制， 得到目标规则配置文件。 3.根据权利要求1所述的方法， 其特征在于， 在基于变更后的规则配置信 息更新规则配 置文件和存 储物理表， 得到目标规则配置文件和目标存 储物理表之后， 所述方法还 包括： 将所述目标规则配置文件进行拆解， 将拆解后的配置信息存储至关系型数据库， 并生 成所述拆解后的配置信息的索引信息 。 4.根据权利要求3所述的方法， 其特征在于， 在基于所述目标规则配置文件对所述业务 数据进行质量检测之前， 所述方法还 包括： 在采集任务满足预设判断条件的情况 下， 获取所述拆解后的配置信息的索引信息； 将所述索引信 息在所述关系型数据库中进行匹配， 得到所述索引 信息对应的拆解后的 配置信息； 对所述索引信息对应的拆解后的配置信息进行组装， 得到目标规则配置文件。 5.根据权利要求4所述的方法， 其特征在于， 所述预设判断条件用于判断所述采集任务 是否满足调 度要求， 其中， 所述预设判断条件包括预设时间、 预设时间间隔或者预设任务执 行次数中的任一项。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标规则 配置文件对所述业 务数据进行质量检测， 包括： 基于所述目标规则 配置文件中的数据检测规则对所述业务数据进行比对， 将比对结果 作为检测结果； 其中， 所述数据检测规则包括数据区间检测规则、 字典范围检测规则、 清单范围检测规 则和函数检测规则中的至少一项。 7.根据权利要求1 ‑6中任一项所述的方法， 其特征在于， 在所述将所述检测结果存储至 目标存储物理表中， 得到目标治理数据之后， 所述方法还 包括： 提取所述目标治理数据的目标 数据项； 以所述目标数据项为元数据的子节点信 息， 根据元数据的父子节点关系确定所述元数 据的父节点信息； 基于所述元 数据的子节点信息和父节点信息生成溯源分析报告。 8.一种数据采集装置， 其特 征在于， 应用于数据采集引擎， 包括： 信息监测模块， 用于监测业 务数据的规则配置信息；权　利　要　求　书 1/2 页 2 CN 114461644 A 2信息更新模块， 用于在所述规则配置信息发生变更的情况下， 基于变更后的规则配置 信息更新 规则配置文件和存 储物理表， 得到目标规则配置文件和目标存 储物理表； 数据检测模块， 用于基于所述目标规则配置文件对所述业务数据进行质量检测， 得到 检测结果； 数据存储模块， 用于将所述检测结果存储至对应的目标存储物理表中， 得到目标治理 数据。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 数据采集方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处 理器执行时实现权利要求1 ‑7中任一项所述的数据采集方法。权　利　要　求　书 2/2 页 3 CN 114461644 A 3