(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210088262.2 (22)申请日 2022.01.25 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 王云鹏　黄敏　赵博宁　 (74)专利代理 机构 北京品源专利代理有限公司 11332 代理人 倪焱 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/23(2019.01) (54)发明名称 一种多源数据的实时同步方法、 装置、 设备 及介质 (57)摘要 本发明实施例公开了一种多源数据的实时 同步方法、 装置、 设备及介质。 其中， 该方法包括： 若检测到关系型数据库数据变化事件， 则将变动 数据生成数据变动日志， 并将所述数据变动日志 写入至临时日志表中； 将所述临时日志表中的数 据变动日志转化成标准数据格式， 并写入到第一 消息队列中； 对 所述第一消息队列中的消息按照 预设规则进行定制化加工， 并存入第二消息队列 中； 将所述第二消息队列中的消息分发至目标存 储介质的入库处理节点， 以完成数据实时同步。 本技术方案， 可以当关系型数据库数据发生变动 时， 实时将相应的数据同步至目标存储介质， 具 有较高的同步效率， 并易于确保数据一 致性。 权利要求书2页 说明书11页 附图3页 CN 114416881 A 2022.04.29 CN 114416881 A 1.一种多源数据的实时同步方法， 其特 征在于， 所述方法包括： 若检测到关系型数据库数据变化事件， 则将变动数据生成数据变动日志， 并将所述数 据变动日志写入至临时日志 表中； 将所述临时日志表中的数据变动日志转化成标准数据格式， 并写入到第一消息队列 中； 对所述第一消息队列中的消息按照预设规则进行定制化加工， 并存入第二消息队列 中； 将所述第二消息队列中的消息分发至目标存储介质的入库处理节点， 以完成数据实时 同步。 2.根据权利要求1所述的方法， 其特征在于， 将所述临时日志表中的数据变动日志转化 成标准数据格式， 并写入到第一消息队列中， 包括： 对所述临时日志表中的数据变动日志按照协议、 数据结构以及数据三部分进行转化， 得到标准数据格式； 将标准数据格式的数据写入到第一消息队列中。 3.根据权利要求1所述的方法， 其特征在于， 对所述第 一消息队列中的消息按照预设规 则进行定制化加工， 并存 入第二消息队列中， 包括： 对所述第一消息队列中的消息按照批量翻译处理和批量合并处理， 得到数据整合结 果， 并将所述数据整合结果存 入第二消息队列中。 4.根据权利要求3所述的方法， 其特征在于， 对所述第 一消息队列中的消息按照批量翻 译处理的过程， 包括： 识别所述临时日志 表中的数据变动日志的变动数据字段； 确定所述变动数据字段在目标存 储介质中是否存在同名字段； 若不存在， 则将所述变动数据字段翻译为所述目标存储介质中的相应字段， 得到数据 翻译结果。 5.根据权利要求3所述的方法， 其特征在于， 对所述第 一消息队列中的消息按照批量合 并处理的过程， 包括： 识别所述临时日志 表中的数据变动日志的变动数据是否存在待补充数据信息； 若存在， 则将所述待补充数据信息查询并合并至变动数据中， 得到数据合并结果。 6.根据权利要求1所述的方法， 其特征在于， 所述目标存储介质包括关系型数据库、 Redis以及Elasticsearc h中的一种或者多种。 7.根据权利要求1所述的方法， 其特征在于， 若检测到关系型数据库数据变化事件， 则 将变动数据生成数据变动日志， 包括： 通过数据库触发器实时监控， 若监控到数据发生变动， 则将变动数据按照数据源说明、 数据字段以及数据值格式生 成数据变动日志； 其中， 所述数据源说明包括数据库名称、 表名 称、 数据触发模式、 数据操作、 触发时间、 触发器版本、 数据变动版本以及数据主键中的至少 一种； 所述数据字段包括字段名称及字段类型， 所述字段类包括字符串、 日期和数字； 所述 数据值包括具体数值。 8.一种多源数据的实时同步装置， 其特 征在于， 所述装置包括： 数据变动日志生成模块， 用于若检测到关系型数据库数据变化事件， 则将变动数据生权　利　要　求　书 1/2 页 2 CN 114416881 A 2成数据变动日志， 并将所述数据变动日志写入至临时日志 表中； 数据变动日志转化模块， 用于将所述临时日志表中的数据变动日志转化成标准数据格 式， 并写入到第一消息队列中； 消息加工模块， 用于对所述第一消息队列中的消息按照预设规则进行定制化加工， 并 存入第二消息队列中； 数据实时同步模块， 用于将所述第 二消息队列中的消息分发至目标存储介质的入库处 理节点， 以完成数据实时同步。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 多源数据的实时同步方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处理器执行时实现权利要求1 ‑7中任一项所述的多源数据的实 时同步方法。权　利　要　求　书 2/2 页 3 CN 114416881 A 3