https://openlookeng.io 开源openLooKeng 共建大数据繁荣生态 2022 年5月https://openlookeng.io Content openLooKeng 是什么？ openLooKeng 的典型应用场景 openLooKeng 架构解析和关键特性 openLooKeng 开源策略及伙伴帮助计划https://openlookeng.io openLooKeng 打破数据和应用壁垒，快速实现数据价值 数据虚拟化引擎 openLooKeng交互式查询 批查询 SQL, HQL, Flink SQL, J ava API ... Remote clusterMulti -region 跨地域多Multi -syntax 数据语法多Multi -source 数据源多 OLTP OLAP Hadoo pNoSQLOLTP OLAP Hadoo pRemote clusterNoSQL交互式查询 批查询 开发语言多、组件多、开发门槛高用数难1 数据分散，管理复杂，流动性差，查询效率低找数难2 跨源分析需要数据搬迁，效率不佳取数难3统一入口， 化繁为简， 单引擎支持多场景用数极简1 全局数据虚拟视图，高性能查询找数极速2 高效跨源 /跨域协同计算， 数据消费免搬迁取数高效3https://openlookeng.io openLooKeng 统一高效的数据虚拟化引擎，让大数据变简单 跨域协同计算， 广域网的部署，局域网的体验内核增强，高性能查询统一入口， 化繁为简， 单一引擎支持多场景 跨源关联分析，数据消费零搬移 启发式 索引 动态过滤 算子下推 AA 高可用JDBC ODBC SQL REST统一数据访问接口 统一数据源连接框架引擎内核 数据中心 A 数据中心 B 数据中心 C openLooKeng 融合分析 Data Source Connector Data Center Connector ……MySQL PostgreSQLKafka HBaseHive CarbonData ORCParquethttps://openlookeng.io openLooKeng ：统一高效的数据虚拟化引擎 互联网 金融 安平 政府 基础设施 鲲鹏 昇腾数据集成、开发、作业调度 数据管理 与分析数据使能 openLooKeng 统一接口（ SQL 2003 ） MySQL Hive Spark批| 流 即席ES HBase 3rdParty 电力 3大运营商 社区其他开源技术 https://openlookeng.io openLooKeng 面对行业应用四大场景持续发力 痛点1：两个烟囱，两份数据，管理复杂HIVE 专题数据MySQL 批处理 交互式分析 专题数据批处理 SQL 交互式分析 SQL单引擎覆盖批 /交互式融合分析场景 ETL 痛点2：大数据量和高时效性的双重挑战难以满足实时数据分析场景 风险决策平台 实时计算决策服务 离线分析和挖掘平台决策分析平台 ES HiveHBaseT+1 批量数据历史存档业务和规则管 理平台 T+1 批量数据流处理流事件 行业分析平台 全量数据导入跨数据源关联分析场景 HQL ANSI SQL 数据源 Hive数据源 MPPDB 痛点3：引擎接口不统一，编程模型复杂分析/查询 DC1 数据源 Hive SparkSQL前置机ISV分析平台分析/查询 DC2 数据源 Hive SparkSQL前置机ISV分析平台分析/查询跨域协同分析场景 共享交换平台 痛点4：工作流人工处理，难以支撑 T+0 分析https://openlookeng.io Content openLooKeng 是什么？ openLooKeng 的典型应用场景 openLooKeng 架构解析和关键特性 openLooKeng 开源策略及伙伴帮助计划https://openlookeng.io 即席服务提供秒级查询能力 业务场景 /需求 ➢交互式 查询场景，目标是为 数据分析人员提供方便快 捷的即席查询能力 ，性能要求 较高， 秒级 查询 HDFS 大数据集群XXX 即席查询客户端 【效果】XXX 即席查询平台采用 openLooKeng 后：当前业务平滑过渡， 实现查询加速，查询响应提升至 秒级，平 均性能提升 2~10+倍，用户查询效率大大 提升HDFSHIVE/SparkXXX 即席查询客户端 大数据集群交互式分析性能慢 ⅹopenLooKeng 秒级交互式 分析√当前业务痛点 ➢通过Hive 引擎来构建 即席查询 任务 ，查询时间 太长 （5分钟~2小时）性能不满足客户需求openLooKeng 价值 ➢openLooKeng 提供秒级查询 能力，结果 准确率高，增 强了用户对海量数据的 分析能力 ✓中间结果多次落盘 ✓调度效率低✓启发式索引 +执行计划 Cache ，效率高 ✓基于内存计算，无落 盘0100200300400 123456789101112131415161718192021222324POC查询性能对比 Lookeng(s) Hive(s)