(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210129518.X (22)申请日 2022.02.11 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 任鸿翔　朱超　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 马敬　项京 (51)Int.Cl. G06F 9/54(2006.01) G06F 9/52(2006.01) G06F 16/23(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种数据处理方法、 装置、 系统、 电子设备及 存储介质 (57)摘要 本公开提供了一种数据处理方法、 装置、 系 统、 电子设备及存储介质， 涉及数据处理领域， 尤 其涉及大数据技术领域。 具体实现方案为： 接收 RCMC接收模块发送的资源内容数据， 资源内容数 据的NID与RCMC处理模块具有映射关系； 为接收 到的资源内容数据的NID构造互斥锁， 基于互斥 锁将携带相同NID的资源内容数据依次写入数据 库； 每完成对一条资源内容数据的写入， 将该资 源内容数据添加至本地队列中； 基于本地队列中 每条资源内容数据的NID的互斥锁， 将本地队列 中的资源内容数据推送至本地 队列对应的第一 消息中间件， 以使得缓存服务 从第一消息中间件 中获取并缓存资源内容数据。 可以避免缓存服务 缓存错误版本的资源内容数据。 权利要求书2页 说明书10页 附图4页 CN 114564318 A 2022.05.31 CN 114564318 A 1.一种数据处理方法， 所述方法应用于资源内容管理中心RCMC处理模块， 所述方法包 括： 接收RCMC接收模块发送的资源内容数据， 所述资源内容数据携带消息标识NID， 所述资 源内容数据的N ID与所述RC MC处理模块具有映射关系； 为接收到的资源内容数据的NID构造互斥锁， 基于互斥锁将携带相同NID的资源内容数 据依次写入数据库； 每完成对一条资源内容数据的写入， 将该资源内容数据添加至 本地队列中； 基于所述本地队列中每条资源内容数据的NID的互斥锁， 将所述本地队列中的资源内 容数据推送至所述本地队列对应的第一消息中间件， 以使得缓存服务从所述第一消息中间 件中获取并缓存资源内容数据。 2.根据权利要求1所述的方法， 其中， 基于所述本地队列中每条资源内容数据的NID的 互斥锁， 将所述本地队列中的资源内容数据推送至所述本地队列对应的第一消息中间件， 包括： 通过预设数量个线程获取所述本地队列预设窗口中的每条资源内容数据， 其中， 所述 预设窗口中包括所述本地队列中前 预设数量条资源内容数据； 通过每个线程基于获取到的资源内容数据的NID的互斥锁， 将获取到的资源内容数据 推送至所述本地队列对应的第一消息中间件。 3.根据权利要求1或2所述的方法， 其中， 每完成对一条资源内容数据的写入， 将该资源 内容数据添加至 本地队列中， 包括： 每完成对一条资源内容数据的写入， 在该资源内容数据需要被写入缓存层的情况下， 将该资源内容数据添加至与该资源内容数据所需被推送的第一消息中间件对应的本地队 列中， 其中， 多个第一消息中间件与所述RCMC处理模块中的多个本地队列具有一一对应的 关系。 4.根据权利要求1所述的方法， 其中， 所述RCMC处理模块接收到的资源内容数据为： 所 述RCMC接收模块对获取到的资源内容数据的NID进行一致性哈希运算得到哈希值后， 所确 定出的与所述RC MC处理模块具有预设映射关系的哈希值对应的资源内容数据。 5.根据权利要求4所述的方法， 其中， 所述RCMC接收模块获取到的资源内容数据来自于 第二消息中间件， 所述第二消息中间件用于缓存更新后的资源内容数据。 6.一种数据处理装置， 所述装置应用于资源内容管理中心RCMC处理模块， 所述装置包 括： 接收单元， 用于接收RCMC接收模块发送的资源内容数据， 所述资源内容数据携带消息 标识NID， 所述资源内容数据的N ID与所述RC MC处理模块具有映射关系； 写入单元， 用于为接收到的资源内容数据的NID构造互斥锁， 基于互斥锁将携带相同 NID的资源内容数据依次写入数据库； 添加单元， 用于每完成对一条资源内容数据的写入， 将该资源内容数据添加至本地队 列中； 推送单元， 用于基于所述本地队列中每条资源内容数据的NID的互斥锁， 将所述本地队 列中的资源内容数据推送至所述本地队列对应的第一消息中间件， 以使得缓存服务从所述 第一消息中间件中获取并缓存资源内容数据。权　利　要　求　书 1/2 页 2 CN 114564318 A 27.根据权利要求6所述的装置， 其中， 所述推送单 元， 具体用于： 通过预设数量个线程获取所述本地队列预设窗口中的每条资源内容数据， 其中， 所述 预设窗口中包括所述本地队列中前 预设数量条资源内容数据； 通过每个线程基于获取到的资源内容数据的NID的互斥锁， 将获取到的资源内容数据 推送至所述本地队列对应的第一消息中间件。 8.根据权利要求6或7 所述的装置， 其中， 所述添加单 元， 具体用于： 每完成对一条资源内容数据的写入， 在该资源内容数据需要被写入缓存层的情况下， 将该资源内容数据添加至与该资源内容数据所需被推送的第一消息中间件对应的本地队 列中， 其中， 多个第一消息中间件与所述RCMC处理模块中的多个本地队列具有一一对应的 关系。 9.根据权利要求6所述的装置， 其中， 所述RCMC处理模块接收到的资源内容数据为： 所 述RCMC接收模块对获取到的资源内容数据的NID进行一致性哈希运算得到哈希值后， 所确 定出的与所述RC MC处理模块具有预设映射关系的哈希值对应的资源内容数据。 10.根据权利要求9所述的装置， 其中， 所述RCMC接收模块获取到的资源内容数据来自 于第二消息中间件， 所述第二消息中间件用于缓存更新后的资源内容数据。 11.一种数据处理系统， 包括： 多个RCMC接收模块、 多个RCMC处理模块、 数据库、 第一消 息中间件和缓存服 务； 每个RCMC接收模块， 用于向与资源内容数据的NID具有映射关系的RCMC处理模块发送 资源内容数据； 每个RCMC处理模块， 用于执 行权利要求1 ‑5任一项所述的方法； 所述缓存服 务， 用于从所述第一消息中间件中获取并缓存资源内容数据。 12.根据权利要求1 1所述的系统， 其中， 每个RCMC接收模块， 具体用于对获取到的每条资源内容数据的NID进行一致性哈希运 算得到哈希值， 向与该哈希值具有预设映射关系的RC MC处理模块发送该资源内容数据。 13.根据权利要求12所述的系统， 所述系统还 包括第二消息中间件； 所述第二消息中间件， 用于缓存更新后的资源内容数据； 所述多个RC MC接收模块， 用于从所述第二消息中间件中获取资源内容数据。 14.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 15.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑5中任一项所述的方法。 16.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114564318 A 3