(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221098413 0.8 (22)申请日 2022.08.17 (65)同一申请的已公布的文献号 申请公布号 CN 115061898 A (43)申请公布日 2022.09.16 (73)专利权人 杭州安恒信息技 术股份有限公司 地址 310000 浙江省杭州市滨江区西兴街 道联慧街18 8号 (72)发明人 王玉叶　杨梦龙　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 夏菁 (51)Int.Cl. G06F 11/34(2006.01) G06F 11/36(2006.01) G06F 16/27(2019.01) G06F 9/445(2018.01) (56)对比文件 CN 112069029 A,2020.12.1 1US 2014047084 A1,2014.02.13 CN 106021411 A,2016.10.12 CN 109445935 A,2019.0 3.08 CN 112269697 A,2021.01.26 CN 112953767 A,2021.0 6.11 WO 2022121248 A1,202 2.06.16 CN 112631246 A,2021.04.09 CN 10780 0588 A,2018.0 3.13 US 2022197899 A1,202 2.06.23 US 2017124 497 A1,2017.0 5.04 Than Than Htay et al. . 《Towards Performance Optimizati on for Hado op MapReduce Ap plications》 . 《 2020 17th Internati onal Conference o n Electrical Engineering/Electronics, Computer, Telecommunications and I nformati on Technology (ECTI-CON)》 .2020,全 文. (续) 审查员 吴朝烨 (54)发明名称 基于Hadoop分析平台的自适应限速方法、 装 置、 设备及 介质 (57)摘要 本申请公开了一种基于Hadoop分析平台的 自适应限速方法、 装置、 设备及介质， 涉及数据分 析技术领域， 该方法包括： 对Hadoop分析平台进 行性能测试并将测试结果标准化为配置格式， 以 将配置格式内置于Ha doop分析平台的数据库； 基 于第一预设时间间隔定时获取Hadoop分析平台 的实际参数并与配置格式进行匹配， 以得到匹配 后的生效配置； 基于第二预设时间间隔定时检测 Hadoop分析平台上运行的数据信息， 并判断数据 信息是否超 过生效配置； 若数据信息超过生效配 置， 则通过第一预设接口设置限速器， 并根据数 据信息设置限速器参数， 以便将限速器参数与配 置格式进行匹配进行自适应限速。 通过本申请的技术方案， 可以基于Ha doop分析平台进行自适应 限速， 应用性强。 [转续页] 权利要求书2页 说明书8页 附图4页 CN 115061898 B 2022.11.08 CN 115061898 B (56)对比文件 王国路. 《Spark大 数据平台性能优化方法研 究》 . 《中国优秀硕士学位 论文全文数据库信息科技辑 （电子期刊） 》 .2019,全 文. 李亮等.高性能计算平台的IO性能测试与分 析. 《计算机与现代化》 .201 1,(第06期),全文.2/2 页 2[接上页] CN 115061898 B1.一种基于 Hadoop分析平台的自适应限速方法， 其特 征在于， 包括： 对Hadoop分析平台进行性能测试， 并将所述性能测试的测试结果标准化为配置格式， 以将所述配置格式 内置于所述Hado op分析平台的数据库； 基于第一预设时间间隔定时获取所述Hadoop分析平台的实际参数， 并将所述实际参数 与所述配置格式进行匹配， 以得到匹配后的生效配置； 基于第二预设时间间隔定时检测所述Hadoop分析平台上运行的数据信息， 并判断所述 数据信息是否超过 所述生效配置； 若所述数据信息超过所述生效配置， 则通过第一预设接口设置限速器， 并根据所述数 据信息设置限速器参数， 以便将所述限速器参数与所述配置格式进行匹配进行自适应限 速； 其中， 所述基于第一预设时间间隔定时获取所述Hadoop分析平台的实际参数， 包括： 基 于第一预设时间间隔定时通过Yar n客户端接口获取当前Yar n集群节点数； 基于所述第一预 设时间间隔定时通过Kafka客户端接口获取当前Kafka集群节 点数； 基于所述第一预设时间 间隔定时通过内存查看命令获取当前物理机内存； 所述基于第二预设时间间隔定时检测所述Hadoop分析平台上运行的数据信息， 包括： 基于第二预设时间 间隔定时检测所述Hado op分析平台上运行的数据速率和数据大小。 2.根据权利 要求1所述的基于Hadoop分析平台的自适应限速方法， 其特征在于， 所述基 于第二预设时间 间隔定时检测所述Hado op分析平台上运行的数据信息， 包括： 基于第二预设时间间隔定时通过第二预设接口检测所述Hadoop分析平台上的所述数 据速率； 基于第二预设时间间隔定时采样日志文件， 以获取所述Hadoop分析平台上的所述数据 大小。 3.根据权利 要求1所述的基于Hadoop分析平台的自适应限速方法， 其特征在于， 所述判 断所述数据信息是否超过 所述生效配置， 包括： 若所述数据信息不超过所述生效配置， 则不对所述Hadoop分析平台进行 限速， 以便所 述Hadoop分析平台根据所述数据信息运行。 4.根据权利 要求1所述的基于Hadoop分析平台的自适应限速方法， 其特征在于， 所述若 所述数据信息超过所述生效配置， 则通过第一预设接口设置限速器， 并根据所述数据信息 设置限速器参数， 包括： 若所述数据信息超过 所述生效配置， 则通过 Kafka Consumer接口设置限速器； 将所述限速器的参数大小配置为所述数据速率与 所述数据 大小的乘积， 以得到所述限 速器参数。 5.根据权利 要求1至4任一项所述的基于Hadoop分析平台的自适应限速方法， 其特征在 于， 还包括： 当所述Hadoop分析平台在运行期间进行扩容和/或对所述Hadoop分析平台中的集群节 点进行优化， 则执行所述基于第一预设时间间隔定时获取所述Hadoop分析平台的实际参数 的步骤， 以进行自适应限速 。 6.一种基于 Hadoop分析平台的自适应限速装置， 其特 征在于， 包括： 性能测试模块， 用于对Hado op分析平台进行性能测试；权　利　要　求　书 1/2 页 2 CN 115061898 B 3