作者：王峰（花名：什回答）阿里巴巴资深技术专家概要：FlinkForwardChina主要谈了啥，看这一篇文章就不够了2018年12月20日，由阿里巴巴集团主办的FlinkForwardChina在北京国家会议中心举办。FlinkForward是由Apache软件基金会许可的全球范围内的Flink技术大会，2015年开始在德国柏林举行，去年开始减少美国旧金山会场。
今年第一次转入中国，就更有多达1000人抵达现场，近20000人在线观赏直播，堪称为一场大数据技术的饕餮盛宴，莫不颂扬ApacheFlink作为下一代大数据计算出来引擎的兴旺生态。本次大会邀到了来自阿里巴巴、腾讯、华为、滴滴、美团评论、字节跳动、爱人奇艺、去哪儿、Uber、EMC、DA（Flink创立公司）等国内外知名企业以及Apache软件基金会的嘉宾为大家共享了ApacheFlink的茁壮历程、应用于场景和发展趋势。
参予有道，如何更佳地贡献Apache项目上午的Keynote由来自Apache软件基金会的秘书长CraigRussell开场，Craig首先了共享了Apache开源之道，以及开源社区的精神和体制，然后以ApacheFlink项目的茁壮经历为背景，向大家讲解了如何创立以及管理一个Apache开源项目，以及如何为Apache开源项目做到贡献，并追随开源项目一起茁壮和进账。通过Craig的共享，我们也更加详尽的了解到了ApacheFlink的发展经历。Flink早期源于德国柏林工业大学的一个研究项目Stratosphere，并于2014年4月捐赠给Apache软件基金会，同时新的定位品牌为Flink，经过8个月孵化期，在2014年12月顺利从Apache软件基金会毕业，沦为Apache顶级项目，从此开始在大数据领域航行。
经过最近4年的持续较慢发展，ApacheFlink社区早已培育出有了42名Committer和19名PMCMember，大大重新加入的新鲜血液为ApacheFlink社区持续贡献代码，并推展社区身体健康较慢的发展。在Craig共享后，阿里巴巴集团副总裁、搜寻事业部与计算出来平台事业部负责人周靖人展开了主题演说。
靖人首先向大家讲解了阿里巴巴大数据云上计算出来的现状和趋势，让大家看见了阿里巴巴大数据业务场景的超大规模，以及未来更大的挑战。为了更佳地反对阿里巴巴未来大数据的发展，阿里大数据发展策略一方面要更进一步提高计算力和智能化，强化企业级服务能力。
同时也要强化技术的生态化建设，大力支持并推展开源技术社区的发展，相容行业生态标准，发展生态伙伴联盟，推展生态建设。目前阿里巴巴早已参予贡献230+开源项目，不具备8000+合作伙伴和2000+ISV，云上生态也早已突破1000,000开发人员。在大数据领域，阿里巴巴最近几年对ApacheFlink社区展开了持续大力的投放，贡献多达15w行代码，主导创建了FlinkChina中文社区，加快Flink在国内的生态建设，并于今年开始在北京、杭州、上海、深圳等地多次的组织FlinkMeetup，增进国内Flink技术人员更加便利的共享交流。靖人在共享的最后宣告了阿里巴巴内部Flink版本（Blink）将于2019年1月月开源，本次开源内部版本的目标主要是期望让广大Flink用户能提早享用到阿里巴巴对Flink的改良和贡献。
阿里巴巴同时不会尽早将Blink中对Flink的各项改良和优化贡献给Flink社区，坚决对ApacheFlink一个社区的亲吻和反对。ApacheFlink，如何新的定义计算出来？在靖人宣告阿里巴巴开源内部Flink版本（Blink）后，阿里巴巴集团研究员蒋晓伟共享了ApacheFlink在阿里巴巴内部的茁壮路线以及技术演变之路。阿里巴巴从2015年开始调研Flink，并于2016年第一次在搜寻场景中上线Flink，在经过搜寻大数据场景的检验后，2017年Flink开始在阿里巴巴集团范围内反对各项动态计算出来业务，到目前为止阿里巴巴基于Flink打造出的动态计算出来平台，早已反对了还包括淘宝、天猫、支付宝、高德、飞猪、优酷、菜鸟、吃饱了么等所有阿里巴巴集团下的所有子公司的数据业务，并通过阿里云向中小企业获取一站式动态计算出来服务。在2018年的双11中，阿里动态计算出来平台早已构建了峰值每秒17亿次，当天万亿级的消息处置能力。
ApacheFlink目前在阿里巴巴内部最典型的业务场景是动态BI，阿里巴巴内部具有海量的在线交易以及用户数据，动态看见各个维度的数据统计资料可以及时的感官并指导阿里巴巴的运营。右图是一个典型的阿里动态BI流程，阿里的在线服务系统和数据库不会动态产生大量日志数据并转入消息队列，FlinkJob不会从消息队列中动态加载处置这些数据，然后将各种统计分析结果动态改版到KV/Table存储系统中，例如：HBase，终端用户可以通过Dashboard动态看见各种维度的数据统计分析结果。在双11当天，各种维度的动态数据报表是指导双11决策的依据，其中尤为关键的就是全球直播的动态GMV成交额。
Flink早已倒数两年反对阿里巴巴双11动态GMV大屏，一个看起来非常简单的数字，其背后实质上必须大量Flink计算出来任务稳定、精准地运营承托。Flink在阿里巴巴另一个典型的应用于场景是在线机器学习，传统的离线机器学习方法必须T+1的分析用户历史不道德，训练出有模型，当第二天模型上线后就早已是过去式，用户当前的市场需求和预期有可能早已几乎转变。
为了给用户更佳的购物消费体验，阿里巴巴的机器学习系统早于早已演化到在线自学时代，例如：当一个用户在搜寻完了一个Query，网页结果页时，或者页面查阅部分商品时，阿里巴巴的在线自学系统早已可以利用这个间隙了解到这个用户当时的意图和偏爱，并在下次用户Query时得出更佳的排序，并向用户引荐更加适合的商品，这种方式不仅可以更进一步提高业务效率，同时也能为用户带给更佳的产品体验，特别是在是在双11这种大胆场景，用户的不道德时效性都是很短的，只有通过动态在线自学方式，才能作出更为准确的个性化预测和引荐。在线自学系统的优势在于可以动态搜集并处置用户的不道德数据，从而展开动态流式的特征计算出来和在线训练，并将模型的增量改版动态实时返在线系统，构成数据闭环，通过大大递归自动优化系统效率和用户体验。
在阿里的业务规模下，整个在线自学流程将不会面临海量的用户数据规模、和极为简单的计算出来挑战，但在Flink的驱动下，整个流程可以在秒级已完成。通过以上两种经典场景可以显现出阿里巴巴动态业务场景在各方面的挑战都相当大，必要将Flink社区版本在阿里上线用于是不现实的，因此阿里巴巴动态计算出来团队这两年也对Flink展开了全面的优化、改良和功能拓展，其中有些功能和改良早已引返回了Flink社区。在FlinkRuntime领域，阿里巴巴贡献了：全新的分布式系统架构。
一方面对Flink的Job调度和资源管理展开理解耦，使得Flink可以原生运营在YARN，K8S之上；另一方面将Flink的Job调度从集中式改以了分布式，使得Flink集群规模可以更大的拓展；完备的容错机制。Flink配置文件在任何task和master告终后，都会整个Job重新启动，阿里巴巴明确提出的region-basedfailover策略以及jobmanagerfailover/ha机制，让Flink可以运营的更为可信平稳；大量的性能优化。Flink早期只获取全量Checkpoint机制，这在阿里巴巴大规模State场景下无法长时间运营，阿里巴巴明确提出了增量Checkpoint机制，让Flink即使在TB级State场景下也可以高效运营；FlinkJob常常在内部算子或者UDF中采访外部存储系统，例如：mysql，hbase，redis等，一旦经常出现个别query被卡住，整个task就被卡住，并通过反压影响到整个job，阿里巴巴明确提出了asyncIO机制，大幅度减少了实时IO采访带给的影响。
此外，阿里巴巴贡献了credit-based的全新网络流控机制，使得Flink网络数据传输性能获得了明显提高。在FlinkSQL领域，阿里巴巴贡献了全新的StreamingSQL语义和功能。
例如：AggRetraction，UDX反对，DDL反对和大量的Connector兼容。在阿里巴巴，我们找到很多经典的业务场景都是同时不具备动态流处置和离线批处理两种市场需求，而且流处置和批处理中的业务逻辑完全是一样的，但用户必须研发两套代码，两套集群资源部署，造成额外的成本。例如阿里巴巴的商品搜寻索引建构流程，白天必须将商品的改版信息流式实时到搜索引擎中，让用户可以在搜索引擎中看见动态的商品信息，晚上必须将全量的阿里巴巴商品展开批处理建构全量索引，这就是传统的Lambda架构。
阿里巴巴的求解是期望获取一套批流融合计算出来引擎，让用户只需研发一套业务代码，就可以在动态和离线两种场景下适配，这也是在2015年阿里巴巴自由选择Flink作为未来大数据引擎的想法。Flink基于流处置机制构建批流融合比较Spark基于批处理机制构建批流融合的思想更加大自然，更加合理，也更加有优势，因此阿里巴巴在基于Flink反对大量核心动态计算出来场景的同时，也在不断改进Flink的架构，使其朝着确实批流融合的统一计算出来引擎方向行进。在FlinkRuntime领域，阿里巴巴明确提出了全新的OperatorFramework/API设计，使其需要同时适应环境批流两种算子特性；同时在Job调度和网络Shuffle两种核心机制上，都构建了灵活性的插件化机制，使其需要适应环境批流有所不同场景的市场需求。
在FlinkSQL领域，阿里巴巴明确提出了全新的QueryExecution和Optimizer架构，利用高效的二级制数据结构，更为合理的内存利用方式，更加细粒度的Codegen机制以及更为非常丰富的优化器策略，使得Streaming和BatchSQL都有了十分大的性能提高。经过大量架构改良和性能优化后，阿里巴巴内部Flink版本（Blink）在批处理上也构建了重大成果突破，在1T，10T和30T的TPC-DS的Benchmark中，Blink的性能数据皆显著远超过Spark，并且性能优势在数据量大大减少的趋势下更加显著，这也从结果上检验了Flink基于东流做到批的架构优势。目前，阿里巴巴的内部Flink版本（Blink）早已开始反对内部批流融合的应用于场景，例如阿里巴巴的搜寻引荐算法平台，流式和批量的特征以及训练流程都早已统一基于Flink在运营。
蒋晓伟在共享的最后得出了对Flink未来的一些未来发展，他指出Flink除了批流融合，还有很多新的方向有一点去拓展，例如：Flink可以更进一步强化在机器学习和图计算出来生态上的投放，从而在AI浪潮中构建新的突破。此外，Flink天然不具备基于事件驱动的处置思想，天然的反压和流控机制，以及自带状态管理和弹性扩缩怀的能力，这些优势都在促成基于Flink建构微服务框架沦为一种新的思想和解决方案。总结蒋晓伟老师的共享，ApacheFlink过去虽然在流计算出来领域早已取得相当大的顺利，但Flink并没衰退，而是正在大大在突破自己的边界，Flink某种程度是StreamingEngine，也某种程度是BigdataEngine，未来更加期望希望沦为ApplicationEngine。
流处置即未来接下来来自DA（Flink创立公司）的CTO-StephanEwen也对Flink的发展趋势得出类似于的观点。Stephan指出StreamingTakesonEverything即东流处置是一切计算出来的基础，Flink一方面必须朝着离线方向发展，构建批流融合大数据计算能力，另一方面也必须朝着更为动态在线方向发展，反对Event-DrivenApplication。
前面早已重点阐释了Flink在批流融合计算出来方面的进展，接下来我们重点讲解下Flink在Event-DrivenApplication方向的思路。传统的应用服务架构一般是OnlineApp+Database的架构，OnlineApp负责管理接管用户Request，然后展开内部计算出来，最后将Result回到给用户，Application的内部状态数据存储在Database中；在Flink的event-drivenApplication架构中，可以指出FlinkSource接管Request，Sink回到Result，JobGraph展开内部计算出来，状态数据都存储在State中。传统应用服务架构必须自己负责管理分布式和弹性管理，并由Database负责管理数据一致性管理；而Flink在这两方面是不存在天然优势的，因为Flink天然是分布式系统，可以自己管理弹性前端，此外Flink内置了状态管理和exactlyonce一致性语义，因此基于Flink可以更加便利、高效构建TransactionalApplication。
城市级动态计算出来的力量在ApacheFlink社区大神StephanEwen的共享后，来自阿里云的AI首席科学家闵万里向大家共享了动态计算出来在阿里云智慧城市中充分发挥的力量，通过共享多个现实应用于案例，让大家对实时技术有了更加多的体感和了解。在城市大脑的业务场景中，不仅要能实时处理来自各种传感器搜集到的信息，对现实世界再次发生的事情展开号召，同时也要对未来即将再次发生的事情展开预测，例如：接下来那里有可能要再次发生交通拥堵，从而提早作出介入，这才是更大的价值。整个城市大脑的架构都运营在阿里云基础设施之上，ApacheFlink分担了核心动态计算出来引擎的角色，负责管理处置各种结构化和非结构化数据。
在2018年9月的云栖大会上，阿里云公布了杭州城市大脑2.0，覆盖面积杭州420平方公里，可以监控到多达150万辆在途行经机动车的实况信息，这个看起来非常简单的事情在过去是很难做的，现在我们通过1300多个路口的摄像头、传感器以及高德App的动态信息，通过Flink展开三流合一的处置，就可以动态感官到整个城市交通的脉搏信息，并通过更进一步分析可以得出结论延后、安全性等交通指数，预测感官城市的态势发展。在杭州，城市大脑通过动态分析4000多个交通摄像头收集的视频流，可以动态监控路上车辆的出现异常事件，例如：车辆肇事、顺行和擦碰等，并将这些出现异常事件动态实时到交警指挥中心展开动态报警，目前杭州的交通事件报警早已有95%来自城市大脑自动通报的，这背后都是通过Flink展开各种简单的计算出来逻辑动态算数出来的。动态计算出来让交警处置交通故障的方式从过去的被动等候变为了主动处置，从而大幅度提高城市交通的效率，为老百姓带给实实在在的益处。这50%，牵涉到轮回2018年，城市大脑第一次走进国门，回到马来西亚吉隆坡，基于动态大数据对交通展开智能调度，它可以根据救护车的行经信息，以及沿途路况信息，智能调整红绿灯，为救护车修筑绿色快速通道，这项技术为救护车节省了近50%的时间抵达医院，这50%的时间有可能意味著人的生和杀，在这里技术变得仍然骨感，动态计算出来的力量或许可以挽回生命。
在工业生产IOT场景中，大量设备的传感器都搜集了海量的指标数据，这些信息过去都被储存2个月后弃置了，唯一的用途就是在经常出现生产故障时当作分析用，在有了大数据动态计算能力后，这些指标都可以被动态监控一起，作为及时调控生产流程的依据。协鑫光伏是全球仅次于的光伏切片企业，阿里云利用动态设备监控，协助其提升了1%的良品率，每年可以减少上亿元的收益。滴滴动态计算出来平台架构与实践中Keynote最后一位嘉宾是来自滴滴上下班的研究员罗李，大家都告诉滴滴上下班是一个动态上下班平台和交易引擎，它的数据和场景天然是动态的，各种网约车服务产生的数据都必须实时处理和分析。滴滴的动态业务场景主要还包括动态风触、动态发券、动态出现异常检测，动态交易、服务和工单监控，以及动态乘客、司机和订单特征处置等。
滴滴动态计算出来平台发展早已经历了三个阶段，第一阶段是各个业务方自建小集群，导致集群和资源碎片化问题；第二阶段由公司统一创建了大集群，获取统一的平台化服务，减少了集群资源和确保成本；第三阶段是通过FlinkSQL方式获取平台化服务，通过SQL语言优势更进一步减少业务开发成本，提高研发效率。滴滴现阶段基于ApacheFlink引擎建设的动态计算出来平台以开源的Hadoop技术体系作为平台底座，并通过DataStream,SQL和CEP三种API向滴滴内部业务获取动态计算出来服务，同时在平台层也早已不具备比较完备的WebIDE、数据血缘管理、监控报警和多人组隔绝等机制。在滴滴动态业务的较慢发展推展下，只不过时计算出来集群早已超过千台规模，每天运营2000+流计算出来任务，可以处置PB级的数据。
滴滴在搭起Flink动态计算出来平台的过程中，在内部也对Flink做到了一些改良，例如在StreamSQL领域拓展了DDL，非常丰富了UDF，反对了TTL的双流Join和维表Join等；在CEP领域，减少了更好算子反对和规则动态改动能力等，其中部分优化早已争取时间了社区。最后，罗李讲解了滴滴动态计算出来平台的未来规划，主要方向在于更进一步推展StreamSQL提高业务研发效率，推展CEP在更好业务场景落地，同时已完成公司内部原先SparkStreaming向Flink的迁入，所发力IOT领域。
在下午的几个分会场中，来自阿里巴巴、腾讯、华为、滴滴、美团评论、字节跳动、爱人奇艺、去哪儿、Uber、EMC、DA（Flink创立公司）的多位嘉宾和讲师都环绕Flink技术生态和应用于场景展开了共享和交流。从共享的内容上可以显现出，BAT三家中阿里巴巴和腾讯都早已几乎亲吻了Flink；美团、滴滴和字节跳动（TMD）三家新兴互联网企业在动态计算出来场景也都早已以Flink作为主流技术方向开始建设，滴滴在Keynote上共享早已令人印象深刻印象，美团的动态计算出来集群也早已突破4000台规模，字节跳动（头条和响音的母公司）的Flink生产集群规模堪称早已令人吃惊的早已多达了1w台规模。由此可见ApacheFlink的技术理念早已在业界获得了大量接纳，基于Flink的动态计算出来解决方案开始在国内占有主流趋势。
下一步Flink必须一方面之后完备流计算能力，谋求在IOT等更加多场景落地，与此同时更进一步强化在批流融合能力上的全面突破，并完备在机器学习和AI生态上的建设，以及在event-driven的application和微服务场景上展开更加将来的探寻。最后期望明年在下一届FlinkForwardChina上，不会有更加多国内外公司来共享Flink技术，展示出更为非常丰富的应用于场景和案例，让我们看见一个更为枝繁叶茂的ApacheFlink生态系统。
本文关键词：ApacheFlink,流,计算,不仅仅是,开元,官网,作者,ky开元官网
本文来源：ky开元官网-www.brownbagtv.com
