摘要：所以要用实现流与维表的分两步一用实现维表的功能要实现维表功能就要用到这个功能，是由阿里巴巴贡献给的。是由阿里巴巴贡献给社区的，于版本引入，主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。
作为一家创新驱动的科技公司，袋鼠云每年研发投入达数千万，公司80%员工都是技术人员，袋鼠云产品家族包括企业级一站式数据中台PaaS数栈、交互式数据可视化大屏开发平台Easy[V]等产品也在迅速迭代。在进行产品研发的过程中，技术小哥哥们能文能武，不断提升产品性能和体验的同时，也把这些提升和优化过程记录下来，现录入“袋鼠云研发手记”专栏中，以和业内童鞋们分享交流。
下为“袋鼠云研发手记”专栏第三期，本期作者为袋鼠云数栈引擎团队。
袋鼠云数栈引擎团队
袋鼠云数栈引擎团队拥有多名专家级别，经验丰富的后端开发工程师，分别支撑公司大数栈产品线的不同子项目的开发需求，从项目中提取并开源了FlinkX（基于Flink的数据同步）,Jlogstash（logstash 的java 版本实现）,FlinkStreamSQL（扩展原生FlinkSQL，实现流与维表的join）多个项目。
在长期的项目实践与产品迭代过程中，团队成员在 Hadoop技术栈上不断深耕探索，积累了丰富的经验与最佳实践。
第三期
数栈·开源 拓展FlinkSQL实现流与维表的join
FlinkStreamSQL 已经开源在Github上 目前已获380+Star
1、为什么要扩展FlinkSQL？
实时计算需要完全SQL化
SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见，但是支持SQL的实时计算并不多。其实，用SQL开发实时任务可以极大降低数据开发的门槛，在袋鼠云数栈-实时计算模块，我们决定实现完全SQL化。
数据计算采用SQL的优势
☑ 声明式。用户只需要表达我想要什么，至于怎么计算那是系统的事情，用户不用关心。
☑ 自动调优。查询优化器可以为用户的 SQL 生成最有的执行计划。用户不需要了解它，就能自动享受优化器带来的性能提升。
☑ 易于理解。很多不同行业不同领域的人都懂 SQL，SQL 的学习门槛很低，用 SQL 作为跨团队的开发语言可以很大地提高效率。
☑ 稳定。SQL 是一个拥有几十年历史的语言，是一个非常稳定的语言，很少有变动。所以当我们升级引擎的版本时，甚至替换成另一个引擎，都可以做到兼容地、平滑地升级。
实时计算还需要流与维表的JOIN
在实时计算的世界里不只是流与流的JOIN，还需要流与维表的JOIN
在实时计算的世界里不只是流与流的JOIN，还需要流与维表的JOIN。在去年，袋鼠云数栈V3.0版本研发期间，当时最新版本——flink1.6中FlinkSQL，已经将SQL的优势应用到Flink引擎中，但还未支持流与维表的JOIN。
关于FlinkSQL
FlinkSQL于2017年7月开始面向阿里巴巴集团开放流计算服务的，虽然是一个非常年轻的产品，但是到双11期间已经支撑了数千个作业，在双11期间，Blink 作业的处理峰值达到了5+亿每秒，而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/秒。
参考链接：https://yq.aliyun.com/article...
这里先解释下什么是维表；维表是动态表，表里所存储的数据有可能不变，也有可能定时更新，但是更新频率不是很频繁。在业务开发中一般的维表数据存储在关系型数据库如mysql，oracle等，也可能存储在hbase，redis等nosql数据库。
2、所以要用FlinkSQL实现流与维表的join 分两步：
一、用Flink api实现维表的功能
要实现维表功能就要用到 Flink Aysnc I/O 这个功能，是由阿里巴巴贡献给Apache Flink的。
Async I/O 是由阿里巴巴贡献给社区的，于1.2版本引入，主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。具体介绍可以看这篇文章：http://wuchong.me/blog/2017/0...
对应到Flink 的api就是RichAsyncFunction 这个抽象类，继层这个抽象类实现里面的open（初始化），asyncInvoke（数据异步调用），close（停止的一些操作）方法，最主要的是实现asyncInvoke 里面的方法。
流与维表的join会碰到两个问题：
第一个是性能问题。因为流速要是很快，每一条数据都需要到维表做下join，但是维表的数据是存在第三方存储系统，如果实时访问第三方存储系统，不仅join的性能会差，每次都要走网络io；还会给第三方存储系统带来很大的压力，有可能会把第三方存储系统搞挂掉。
所以解决的方法就是维表里的数据要缓存，可以全量缓存，这个主要是维表数据不大的情况，还有一个是LRU缓存，维表数据量比较大的情况。
LRU维表的实现
第二个问题是流延迟过来的数据这么跟之前的维表数据做关联。这个就涉及到维表数据需要存储快照数据，所以这样的场景用HBase 做维表是比较适合的，因为HBase 是天生支持数据多版本的。
ALL维表的实现
二、解析流与维表join的SQL语法转化成底层的FlinkAPI
因为FlinkSQL已经做了大部分SQL场景，我们不可能在去解析SQL的所有语法，在把他转化成底层FlinkAPI。
所以我们做的就是解析SQL语法，来找到join表里有没有维表，如果有维表，那我们会把这个join的维表的语句多带带拆来，用Flink的TableAPI和StreamAPi 生成新DataStream，在把这个DataStream与其他的表在做join这样就能用SQL来实现流与维表的join语法了。
SQL解析的工具就是用Apache calcite，Flink也是用这个框架做SQL解析的。所以所有语法都是可以解析的。
1. DEMO SQL
Calcite解析Insert into语句，拆分出子语句
3. Calcite继续解析select语句
Calcite继续解析select语句
Calcite继续解析select语句
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/32391.html
摘要：实时计算核心功能解密是于年月开始面向集团开放流计算服务的。详见功能解密系列阿里云流计算支持的高级功能双流双流功能是将两条流进行关联，用来补齐流上的字段。其中就是核心优化之一。 实时计算 Flink SQL 核心功能解密 Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品，但是到双11期间已经支撑了数千个作业，在双11期间，Blink 作业的处理...
摘要：实际上，本身就预留了与外部元数据对接的能力，分别提供了和这两个抽象。对接外部数据源搞清楚了注册库表的过程，给我们带来这样一个思路如果外部元数据创建的表也能被转换成可识别的，那么就能被无缝地注册到。 本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contrib...
摘要：一数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上，面对着海量的车辆轨迹数据时，第一次感受到什么是数据的力量。袋鼠云从成立之初便伴随着数十个行业头部客户，一起进行企业全面数据化转型建设。 一、数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上，面对着海量的车辆轨迹数据时，第一次感受到什么是数据的力量。 该项目是一个非常典型的数据中台项目，主要数据资源有：省内机动车...
摘要：接下来我们以余额宝为例，重点剖析天弘基金在日志数据分析领域是如何突破的此前，天弘基金一直使用开源的日志方案，研发和运维人员通过对日志数据进行处理，使用日志文件进行查询检索。 双十一刚刚结束，其实最紧张的不是商铺理货，也不是网友紧盯大促商品准备秒杀，而是网购幕后的运维人员，他们最担心：什么网络中断、应用卡顿、响应速度慢，服务器宕机……双十一作为电商 IT 部门的头等大事，大促前，运维人员就需要...
摘要：多维数组多维数组用维和度量的组合表示。此外，还能对多维数据进行深加工。选定多维数组的一个维成员做数据分割的操作称为该维上的一个切片。 OLAP 为了满足业务管理和决策的报表系统（包括传统报表、数据仓库、OLAP等）也被创建出来，企业主管通过报表了解企业的总体运行状态。但是，随着企业间竞争的加剧和市场节奏的进一步加快，企业的日常管理需要对关键业务指标的更加实时的监控和反馈。比如：制造业需...
阅读 2583·2021-11-17 09:33
阅读 3512·2021-11-16 11:42
阅读 3336·2021-10-26 09:50
阅读 1024·2021-09-22 15:49
阅读 2901·2021-08-10 09:44
阅读 3453·2019-08-29 18:36
阅读 3745·2019-08-29 16:43
阅读 2044·2019-08-29 14:10
