(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210425884.X (22)申请日 2022.04.21 (71)申请人 君之福 （北京） 科技有限公司 地址 100000 北京市朝阳区新源西里中街 甲15号6层6 03、 604 (72)发明人 李佳璐　 (74)专利代理 机构 北京腾远知识产权代理事务 所(普通合伙) 11608 专利代理师 王金亮 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/951(2019.01) G06F 16/9538(2019.01) G06Q 10/10(2012.01) G06Q 50/10(2012.01) (54)发明名称 一种基于大数据的退役军人职业规划方法 及系统 (57)摘要 本发明属于职业规划技术领域， 具体提供一 种基于大数据的退役军人职业规划方法及系统， 其中方法包括： 根据职业分类词库找到合适军人 岗位数据， 并构建自有知识图谱； 使用Scrapy分 布式爬虫抓取招聘网站数据； 根据知识图谱清洗 所述招聘网站数据使岗位归属到具体行业并展 示。 该方案通过人工智 能及大数据技术， 获取并 分析全国各地就业市场中适合退役军人的千万 级岗位数据， 以便退役军人清晰了解岗位需求， 正确评估自身能力， 作出学历教育、 技能培训或 者就业创业选择。 通过全面采用计算机科学技 术， 方便对企业资源进行统计管理， 从而为每年 退役军人提供极具竞争力的就业机会， 大力的推 动了社会政治经济的发展， 智能化还能减少人为 的失误， 准确方便 。 权利要求书2页 说明书7页 附图1页 CN 114691892 A 2022.07.01 CN 114691892 A 1.一种基于大 数据的退 役军人职业 规划方法， 其特 征在于， 包括以下步骤： S1， 根据职业分类词库找到合 适军人岗位数据， 并构建自有知识图谱； S2， 使用Scrapy分布式爬虫抓取招聘网站数据； S3， 根据知识图谱清洗所述招聘网站数据使岗位归属到具体行业并展示。 2.根据权利要求1所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S2具 体包括： S21， 定义目标链接， 将招聘目标网站作为目标链接以动态配置的方式读取， 使用 Selenium把爬虫程序伪装成浏览器向招聘网站服务器请求数据， 通过Selenium引入浏览器 驱动， 并获取浏览器选项并修改浏览器选项； 使用修改后的浏览器选项启动浏览器， 移除 Selenium中的w indow.navigator.webdriver配置， 给浏览器指定用户文件夹； S22， 关闭浏览器， 再使用Selenium操作浏览器， 实现以登录状态访问相关招聘网站的 所有网页数据。 3.根据权利要求2所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S21 具体包括： 以8080端口启动浏览器， 忽略证书错误， 指定用户文件夹， 使用修改后的浏览器选项启 动浏览器， 移除Selenium中的window.navigator.webdriver配置， 给浏览器指定一个 AutomationPro file文件夹， 让所述AutomationPro file文件夹记录到登录信 息， 在打开的 浏览器中， 打开相关招聘网站， 然后手动登录即可。 4.根据权利要求3所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S22 具体包括： 登录后， 岗位数据所在链接发生变更， 需要 更新脚本文件， 首页进 行单独访问， 后 续的2～12页使用循环进行访问。 5.根据权利要求4所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S3具 体还包括： 设置一个10～30秒的停歇时间， 并引入代理， 解决爬虫频繁访问会被封禁的问 题， 接着浏览器能够执行服务器返回数据中的JavaScript代码， 从而使得能够获取到想要 的数据， 引入Beautiful  Soup解析网页数据,分析网页数据 找到数据的接口地址， 抓取数据 灌入kafka消息队列。 6.根据权利要求3所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S3具 体包括： 使用Maxwell数据同步工具将业务数据同步到kafka消息队列中， 使用Flume清洗工 具消费kafka消息队列中的数据， 根据知识图谱清洗数据使岗位归属到具体行业、 格式化具 体数据并落盘， 以及将数据再次发送到kafka消息队列工用户查阅。 7.根据权利要求6所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S3 中 消费kafka消息队列中的数据具体包括： 将数据放入到Kafka对应的主题， 接下来在DWD层 对 数据进行动态分流， 将不同的流写入到对应的Kafka的Topic中， 进行动态分流。 8.根据权利要求7所述的基于大数据的退役军人职业规划方法， 其特征在于， 所述S3具 体包括： 首先， 通过读取配置表信息进行分流的， 通过FlinkCDC读取配置表信息， 判断数据是放 到主流中写到kafka 中的事实数据还是放到侧输出流中要 写到kudu的维度数据； 然后， 在DWM层做聚合， 为DWS层的一些聚合指标的获取提供服务并减少重 复计算， 在维 度关联时， 去kudu里去查询维度表， 在这里进行维度查询的优化；权　利　要　求　书 1/2 页 2 CN 114691892 A 2再然后， 将聚合统计好的指标写入到Clinkhouse数据库， 使用ADS层作为可视化工具提 供一个数据服务的接口， 由所述接口来获取ClickHouse数据库中的数据， 并且提供给可视 化工具； 最后， 使用SpringBoot进行数据接口的编写， 实现读取ClickHouse数据库并 以可视化 的方式展示到easyv数据大屏供用户查阅。 9.一种基于大数据的退役军人职业规系统， 其特征在于， 所述系统用于实现如权利要 求1‑8任一项所述的基于大 数据的退 役军人职业 规划方法的步骤， 具体包括： 建模模块， 根据职业分类词库找到合 适军人岗位数据， 并构建自有知识图谱； 爬取模块， 使用Scrapy分布式爬虫抓取招聘网站数据； 展示模块， 根据知识图谱清洗所述招聘网站数据使岗位归属到具体行业并展示。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机管理类程序， 所述计算 机管理类程序被处理器执行时实现如权利要求 1‑8任一项所述的基于大数据的退役军人职 业规划方法的步骤。权　利　要　求　书 2/2 页 3 CN 114691892 A 3