(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027833.8 (22)申请日 2022.08.25 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼4层A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 何会远　韩飞　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 韩黎捷　张效荣 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/242(2019.01) G06F 16/22(2019.01) G06F 9/445(2018.01) (54)发明名称 一种数据处 理方法和装置 (57)摘要 本发明公开了一种数据处理方法和装置， 涉 及计算机技术领域。 该方法的一具体实施方式包 括： 响应于数据处理请求， 判断是否已开启筛选 策略； 响应于筛选策略已开启， 使用预设算法从 维表中间件中确定满足筛选策略的待加载数据， 将待加载数据加载至缓存中； 响应于筛选策略未 开启， 将维表中间件中的全部数据作为待加载数 据， 并将待加载数据加载至缓存中； 对缓存中的 待加载数据进行处理， 生 成数据处理请求的处理 结果。 该实施方式能够在上下游 算子并行度不一 致的情况下进行数据分发， 支持哈希数据分发策 略， 提高维表中间件缓存命中率和缓存效率， 降 低占用内存， 提高开源框架的可扩展性和代码复 用率， 可以灵活进行二次开发。 权利要求书2页 说明书9页 附图5页 CN 115470245 A 2022.12.13 CN 115470245 A 1.一种数据处 理方法， 其特 征在于， 包括： 响应于数据处 理请求， 判断是否已开启筛 选策略； 响应于所述筛选策略已开启， 使用预设算法从维表中间件中确定满足所述筛选策略的 待加载数据， 将所述待加载 数据加载至缓存中； 响应于所述筛选策略未开启， 将所述维表中间件中的全部数据作为所述待加载数据， 并将所述待加载 数据加载至所述缓存中； 对所述缓存中的待加载 数据进行处 理， 生成所述数据处 理请求的处 理结果。 2.根据权利要求1所述的方法， 其特征在于， 所述筛选策略包括筛选字段名和筛选字段 值， 所述使用预设算法从维表中间件中确定满足所述筛选策略的待加载数据， 将所述待加 载数据加载至缓存中， 包括： 按照预设算法， 对所述维表中间件的数据中所述筛选字段名对应的字段值进行编码， 得到所述筛 选字段名对应的第一字段值； 基于所述第一字段值和与所述维表中间件对应的维表算子的并行度计算所述筛选字 段名对应的第二字段值； 根据所述筛选字段名对应的第 二字段值和所述筛选字段值， 从所述维表中间件的数据 中确定满足所述筛 选策略的待加载 数据， 并将所述待加载 数据加载至所述缓存中。 3.根据权利要求2所述的方法， 其特征在于， 所述按照预设算法， 对所述维表中间件的 数据中所述筛选字段名对应的字段值进行编码， 得到所述筛选字段名对应的第一字段值， 包括： 通过哈希算法对所述维表中间件的数据中所述筛选字段名对应的字段值进行编码， 得 到所述筛 选字段名对应的第一字段值。 4.根据权利要求2所述的方法， 其特征在于， 所述基于所述第 一字段值和与 所述维表中 间件对应的维表算子的并行度计算所述筛 选字段名对应的第二字段值， 包括： 将所述第一字段值对所述并行度进行取余运算得到余数， 将所述余数作为所述筛选字 段名对应的第二字段值。 5.根据权利要求2所述的方法， 其特征在于， 所述根据所述筛选字段名对应的第 二字段 值和所述筛选字段值， 从所述维表中间件的数据中确定满足所述筛选策略的待加载数据， 包括： 根据所述筛选字段名对应的第 二字段值， 将所述维表中间件中相同第 二字段值的数据 添加到同一维表子算子， 所述维表子算子的个数由所述维表算子的并行度确定； 根据所述筛 选字段值从所述维表子算子中确定目标子算子； 将所述目标子算子中的数据确定为满足所述筛 选策略的待加载 数据。 6.根据权利要求5所述的方法， 其特征在于， 所述筛选策略还包括处理算法， 所述对所 述缓存中的待加载 数据进行处 理， 生成所述数据处 理请求的处 理结果， 包括： 根据所述处理算法， 通过所述目标子算子对所述缓存中的待加载数据进行处理， 生成 所述数据处 理请求的处 理结果。 7.根据权利要求1所述的方法， 其特征在于， 所述数据处理请求为通过定时器发来的定 期加载请求或启动初始化时的预加载请求。 8.一种数据处 理装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115470245 A 2筛选策略判断模块， 用于响应于数据处 理请求， 判断是否已开启筛 选策略； 第一待加载数据确定模块， 用于响应于所述筛选策略已开启， 使用预设算法从维表中 间件中确定满足所述筛 选策略的待加载 数据， 将所述待加载 数据加载至缓存中； 第二待加载数据确定模块， 用于响应于所述筛选策略未开启， 将所述维表中间件中的 全部数据作为所述待加载 数据， 并将所述待加载 数据加载至所述缓存中； 数据处理模块， 用于对所述缓存中的待加载数据进行处理， 生成所述数据处理请求的 处理结果。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115470245 A 3