toc: true title: 滴滴實時計算發展之路及平臺架構實踐 date: 2019-08-25 tags: Flink 大數據 滴滴的核心業務是一個實時在線服務,因此具有豐富的實時數據和實時計算場景。本文將介紹滴滴實時計算發展之路以及平臺架構實踐。 實時計算演進 隨著滴滴業務的發展,滴滴的實時計算架構也在快速演變。到目前為止大概經歷了三個階段: 業務方自建小集群階段; 集中式大集群、平臺化階段; SQL化階段。 下圖標識了其中重要的里程碑,稍后會給出詳細闡述: 在2017年以前,滴滴并沒有統一的實時計算平臺,而是各個業務方自建小集群。其中用到的引擎有Storm、JStorm、Spark Streaming、Samza等。業務方自建小集群模式存在如下弊端: 需要預先采購大量機器,由于單個業務獨占,資源利用率通常比較低; 缺乏有效的監控報警體系; 維護難度大,需要牽涉業務方大量精力來保障集群的穩定性; 缺乏有效技術支持,且各自沉淀的東西難以共享。 為了有效解決以上問題,滴滴從2017年年初開始構建統一的實時計算集群及平臺。 技術選型上,我們基于滴滴現狀選擇了內部用大規模數據清洗的Spark Streaming引擎,同時引入On-YARN模式,并利用YARN的多租戶體系構建了認證、鑒權、資源隔離、計費等機制。 相對于離線計算,實時計算任務對于穩定性有著更高的要求,為此我們構建了兩層資源隔離體系: 第一層是基于CGroup做進程(Container)級別的CPU及內存隔離; 第二層是物理機器級別的隔離。 我們通過改造YARN的FairScheduler使其支持Node Label。達到的效果如下圖所示: 普通業務的任務混跑在同一個Label機器上,而特殊業務的任務跑在專用Label的機器上。 通過集中式大集群和平臺化建設,基本消除了業務方自建小集群帶來的弊端,實時計算也進入了第二階段。 伴隨著業務的發展,我們發現Spark Streaming的Micro Batch模式在一些低延時的報警業務及在線業務上顯得捉襟見肘。于是我們引入了基于Native Streaming模式的Flink作為新一代實時計算引擎。 Flink不僅延時可以做到毫秒級,而且提供了基于Process Time/Event Time豐富的窗口函數?;贔link我們聯合業務方構架了滴滴流量最大的業務網關監控系統,并快速支持了諸如乘客位置變化通知、軌跡異常檢測等多個線上業務。 實時計算平臺架構 為了最大程度方便業務方開發和管理流計算任務,我們構建了如圖所示的實時計算平臺: 在流計算引擎基礎上提供了StreamSQL IDE、監控報警、診斷體系、血緣關系、任務管控等能力。各自的作用如下: StreamSQL IDE。下文會介紹,是一個Web化的SQL IDE; 監控報警。提供任務級的存活、延時、流量等監控以及基于監控的報警能力; 診斷體系。包括流量曲線、Checkpoint、GC、資源使用等曲線視圖,以及實時日志檢索能力。 血緣關系。我們在流計算引擎中內置了血緣上報能力,進而在平臺上呈現流任務與上下游的血緣關系; 任務管控。實現了多租戶體系下任務提交、啟停、資產管理等能力。通過Web化任務提交消除了傳統客戶機模式,使得平臺入口完全可控,內置參數及版本優化得以快速上線。 實時規則匹配服務建設 在滴滴內部有大量的實時運營場景,比如“某城市乘客冒泡后10秒沒有下單”。針對這類檢測事件之間依賴關系的場景,用Fink的CEP是非常合適的。 但是社區版本的CEP不支持描述語言,每個規則需要開發一個應用,同時不支持動態更新規則。為了解決這些問題,滴滴做了大量功能擴展及優化工作。功能擴展方面主要改動有: 支持wait算子。對于剛才例子中的運營規則,社區版本是表達不了的。滴滴通過增加wait算子,實現了這類需求; 支持DSL語言?;贕roovy和Aviator解析引擎,我們實現了如下圖所示的DSL描述規則能力: 單任務多規則及規則動態更新。由于實時運營規則由一線運營同學來配置,所以規則數量,規則內容及規則生命周期會經常發生變化。這種情況每個規則一個應用是不太現實的。為此我們開發了多規則模式且支持了動態更新。 除了功能拓展之外,為了應對大規模運營規則的挑戰,滴滴在CEP性能上也做了大量優化,主要有: SharedBuffer重構?;贔link MapState重構SharedBuffer,減少每次數據處理過程中的狀態交互。同時剝離規則和用戶數據極大降低每次匹配的時候從狀態中反序列化的數據量; 增加訪問緩存(已貢獻社區)。緩存SharedBuffer數據中每次處理所需要更新的引用計數,延緩更新; 簡化event time語義處理。避免key在很分散情況下每次watermark更新時要遍歷所有key的數據; 復用conditionContext(已貢獻社區)。減少條件查詢時對partialMatch元素的反復查詢。 以上優化將CEP性能提升了多個數量級。配合功能擴展,我們在滴滴內部提供了如圖所示的服務模式: 業務方只需要清洗數據并提供規則列表API即可具備負責規則的實時匹配能力。 目前滴滴CEP已經在快車個性化運營、實時異常工單檢測等業務上落地,取得了良好的效果。 StreamSQL建設 正如離線計算中Hive之于MapReduce一樣,流式SQL也是必然的發展趨勢。通過SQL化可以大幅度降低業務方開發流計算的難度,業務方不再需要學習Java/Scala,也不需要理解引擎執行細節及各類參數調優。 為此我們在2018年啟動了StreamSQL建設項目,在社區Flink SQL基礎上拓展了以下能力: 擴展DDL語法。如下圖所示,打通了滴滴內部主流的消息隊列以及實時存儲系統(StreamSQL內置打通消息隊列及實施存儲): 通過內置常見消息格式(如json、binlog、標準日志)的解析能力,使得用戶可以輕松寫出DDL語法,并避免重復寫格式解析語句。 拓展UDF。針對滴滴內部常見處理邏輯,內置了大量UDF,包括字符串處理、日期處理、Map對象處理、空間位置處理等。 支持分流語法。單個輸入源多個輸出流在滴滴內部非常常見,為此我們改造了Calcite使其支持分流語義。 支持基于TTL的join語義。傳統的Window Join因為存在window邊界數據突變情況,不能滿足滴滴內部的需求。為此我們引入了TTL State,并基于此開發了基于TTL Join的雙流join以及維表join。 StreamSQL IDE。前文提到平臺化之后我們沒有提供客戶機,而是通過Web提交和管控任務。因此我們也相應開發了StreamSQL IDE,實現Web上開發StreamSQL,同時提供了語法檢測、DEBUG、診斷等能力。 目前StreamSQL在滴滴已經成功落地,流計算開發成本得到大幅度降低。預期未來將承擔80%的流計算業務量。 總結 作為一家出行領域的互聯網公司,滴滴對實時計算有天然的需求。 過去的一年多時間里,我們從零構建了集中式實時計算平臺,改變了業務方自建小集群的局面。為滿足低延時業務的需求,成功落地了Flink Streaming,并基于Flink構建了實時規則匹配(CEP)服務以及StreamSQL,使得流計算開發能力大幅度降低。未來將進一步拓展StreamSQL,并在批流統一、IoT、實時機器學習等領域探索和建設。 關注我 微信公眾號:zhisheng 另外我自己整理了些 Flink 的學習資料,目前已經全部放到微信公眾號(zhisheng)了,你可以回復關鍵字:Flink 即可無條件獲取到。另外也可以加我微信 你可以加我的微信:yuanblog_tzs,探討技術! 更多私密資料請加入知識星球! Github 代碼倉庫 //github.com/zhisheng17/flink-learning/ 以后這個項目的所有代碼都將放在這個倉庫里,包含了自己學習 flink 的一些 demo 和博客 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 Flink 1.6.0 環境并構建運行簡單程序入門 3、Flink 從0到1學習 —— Flink 配置文件詳解 4、Flink 從0到1學習 —— Data Source 介紹 5、Flink 從0到1學習 —— 如何自定義 Data Source ? 6、Flink 從0到1學習 —— Data Sink 介紹 7、Flink 從0到1學習 —— 如何自定義 Data Sink ? 8、Flink 從0到1學習 —— Flink Data transformation(轉換) 9、Flink 從0到1學習 —— 介紹 Flink 中的 Stream Windows 10、Flink 從0到1學習 —— Flink 中的幾種 Time 詳解 11、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 ElasticSearch 12、Flink 從0到1學習 —— Flink 項目如何運行? 13、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 Kafka 14、Flink 從0到1學習 —— Flink JobManager 高可用性配置 15、Flink 從0到1學習 —— Flink parallelism 和 Slot 介紹 16、Flink 從0到1學習 —— Flink 讀取 Kafka 數據批量寫入到 MySQL 17、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 RabbitMQ 18、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 HBase 19、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 HDFS 20、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 Redis 21、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 Cassandra 22、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 Flume 23、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 InfluxDB 24、Flink 從0到1學習 —— Flink 讀取 Kafka 數據寫入到 RocketMQ 25、Flink 從0到1學習 —— 你上傳的 jar 包藏到哪里去了 26、Flink 從0到1學習 —— 你的 Flink job 日志跑到哪里去了 27、阿里巴巴開源的 Blink 實時計算框架真香 28、Flink 從0到1學習 —— Flink 中如何管理配置? 29、Flink 從0到1學習—— Flink 不可以連續 Split(分流)? 30、Flink 從0到1學習—— 分享四本 Flink 國外的書和二十多篇 Paper 論文 31、Flink 架構、原理與部署測試 32、為什么說流處理即未來? 33、OPPO 數據中臺之基石:基于 Flink SQL 構建實時數據倉庫 34、流計算框架 Flink 與 Storm 的性能對比 35、Flink狀態管理和容錯機制介紹 36、Apache Flink 結合 Kafka 構建端到端的 Exactly-Once 處理 37、360深度實踐:Flink與Storm協議級對比 38、如何基于Flink+TensorFlow打造實時智能異常檢測平臺?只看這一篇就夠了 39、Apache Flink 1.9 重大特性提前解讀 40、Flink 全網最全資源(視頻、博客、PPT、入門、原理、實戰、性能調優、源碼解析、問答等持續更新) 41、Flink 靈魂兩百問,這誰頂得??? 42、Flink 從0到1學習 —— 如何使用 Side Output 來分流? 43、你公司到底需不需要引入實時計算引擎? 44、一文讓你徹底了解大數據實時計算引擎 Flink 源碼解析 1、Flink 源碼解析 —— 源碼編譯運行 2、Flink 源碼解析 —— 項目結構一覽 3、Flink 源碼解析—— local 模式啟動流程 4、Flink 源碼解析 —— standalone session 模式啟動流程 5、Flink 源碼解析 —— Standalone Session Cluster 啟動流程深度分析之 Job Manager 啟動 6、Flink 源碼解析 —— Standalone Session Cluster 啟動流程深度分析之 Task Manager 啟動 7、Flink 源碼解析 —— 分析 Batch WordCount 程序的執行過程 8、Flink 源碼解析 —— 分析 Streaming WordCount 程序的執行過程 9、Flink 源碼解析 —— 如何獲取 JobGraph? 10、Flink 源碼解析 —— 如何獲取 StreamGraph? 11、Flink 源碼解析 —— Flink JobManager 有什么作用? 12、Flink 源碼解析 —— Flink TaskManager 有什么作用? 13、Flink 源碼解析 —— JobManager 處理 SubmitJob 的過程 14、Flink 源碼解析 —— TaskManager 處理 SubmitJob 的過程 15、Flink 源碼解析 —— 深度解析 Flink Checkpoint 機制 16、Flink 源碼解析 —— 深度解析 Flink 序列化機制 17、Flink 源碼解析 —— 深度解析 Flink 是如何管理好內存的? 18、Flink Metrics 源碼解析 —— Flink-metrics-core 19、Flink Metrics 源碼解析 —— Flink-metrics-datadog 20、Flink Metrics 源碼解析 —— Flink-metrics-dropwizard 21、Flink Metrics 源碼解析 —— Flink-metrics-graphite 22、Flink Metrics 源碼解析 —— Flink-metrics-influxdb 23、Flink Metrics 源碼解析 —— Flink-metrics-jmx 24、Flink Metrics 源碼解析 —— Flink-metrics-slf4j 25、Flink Metrics 源碼解析 —— Flink-metrics-statsd 26、Flink Metrics 源碼解析 —— Flink-metrics-prometheus 26、Flink Annotations 源碼解析 27、Flink 源碼解析 —— 如何獲取 ExecutionGraph ? 28、大數據重磅炸彈——實時計算框架 Flink 29、Flink Checkpoint-輕量級分布式快照 30、Flink Clients 源碼解析 原文出處:zhisheng的博客,歡迎關注我的公眾號:zhisheng
轉載自://www.cnblogs.com/zhisheng/p/11795085.html
欧美黄色网