現(xiàn)階段，除了數(shù)據(jù)的使用權(quán)、數(shù)據(jù)安全、數(shù)據(jù)存儲等問題，更多的人對大數(shù)據(jù)技術(shù)本身能夠開發(fā)出什么樣的產(chǎn)品，提供什么樣的服務更感興趣。
因此，UCloud特地在杭州舉辦了UCan下午茶活動，聚焦數(shù)據(jù)價值，探討如何在技術(shù)層面進行數(shù)據(jù)安全實踐，為數(shù)據(jù)商業(yè)化變現(xiàn)探尋新出路。
現(xiàn)場座無虛席，UCloud存儲研發(fā)工程師丁順首先帶來了主題為「數(shù)據(jù)庫高可用容災方案設計和實現(xiàn)」的分享。
高可用數(shù)據(jù)庫，即一系列數(shù)據(jù)庫構(gòu)成的集群。它通常的架構(gòu)是有一個主節(jié)點來處理主要請求，另一個備用節(jié)點作為容災切換使用，當主節(jié)點不能提供服務的時候，備節(jié)點可以成為主節(jié)點繼續(xù)提供服務，從而保證整個系統(tǒng)的可用和穩(wěn)定。
因此，使用高可用數(shù)據(jù)庫的好處也非常明顯。丁順表示，「一是系統(tǒng)可用性提高;二是可以方便的讀寫分離。即操作中可以在主數(shù)據(jù)庫節(jié)點上進行，吞吐量明顯多于單個數(shù)據(jù)庫;三是變更不停服，它是指做變更時可以先升級備節(jié)點，再做主層切換，升級后的備節(jié)點變成主節(jié)點，再把之前主節(jié)點再做升級，對用戶影響非常小;四是備份不影響服務性能，因為有很多備節(jié)點可以做數(shù)據(jù)備份，所以主節(jié)點的性能不會受影響?！?/p>
因為高可用數(shù)據(jù)庫的優(yōu)勢，業(yè)界有很多成熟的架構(gòu)設計。而數(shù)據(jù)庫主從復制是較經(jīng)典的數(shù)據(jù)同步模式，它可以延伸出很多架構(gòu)改進?，F(xiàn)在UCloud的云數(shù)據(jù)庫產(chǎn)品UDB就采取這種方案，那為什么要基于數(shù)據(jù)庫的主從復制來做產(chǎn)品?
這是一個綜合考慮的結(jié)果。丁順表示，一方面是因為UDB的初衷即是在高可用架構(gòu)中盡量基于原生MySQL，以涵蓋不同的MySQL數(shù)據(jù)版本;二是在不同場景及存儲引擎背景下，主從復制方案優(yōu)勢明顯。
但高可用數(shù)據(jù)庫也有非常大的痛點，那就是自動化運維。
而目前采用集中式管理方法的UDB采用自研的容災模塊，可以處理大規(guī)模、高并發(fā)的DB自動化容災。除了自動化容災之外，后臺DB的運維體系還可以做到自動化問題探測以及問題修復，降低運維的難度和壓力。
丁順總結(jié)，這是因為UDB在運維當中的三個特性：一是日常做例行巡檢，能夠保證高可用數(shù)據(jù)庫的健康;二是定期的容災演練;三是高可用切換需要記錄日志，在切換失敗的時候需要做告警。這些能力能夠讓UDB能夠達到良好的自動化運維效果。
分享過后，與會者還針對MySQL數(shù)據(jù)主從同步異常的問題進行了分析和探討。
第二位進行主題演講的嘉賓是UCloud資深數(shù)據(jù)庫研發(fā)工程師劉堅君。他的分享題目是「新一代公有云分布式數(shù)據(jù)庫——UCloud Exodus」。他認為，在公有云數(shù)據(jù)庫1.0的基礎上，云數(shù)據(jù)庫2.0重新思考了用戶需求痛點，基于公有云的進化能力創(chuàng)造出了全新價值，而UCloud Exodus將會是云數(shù)據(jù)庫2.0時代的重要產(chǎn)品，現(xiàn)場他對其能力進行了詳細的介紹。
劉堅君首先從1.0時代存在的問題入手，他認為1.0時代云數(shù)據(jù)庫帶來了三方面價值：彈性、故障救援、知識復用。但它同樣有三個難以解決的問題：容量和性能、租用成本、運營成本。
到2.0時代，解決上述三個問題的思路是計算和讀寫分離。通過計算和讀寫分離，將傳統(tǒng)數(shù)據(jù)庫的計算層和存儲層拆開，各自獨立擴展和演進。帶來的好處是：一是提供更大的容量和讀寫性能;二是按需擴容和付費;三是優(yōu)化運營成本并降低運營風險。從而讓1.0云數(shù)據(jù)庫的三大問題可迎刃而解。
放眼來看，業(yè)界已推出的2.0云數(shù)據(jù)庫(如Aurora、PolarDB等)均采用計算和存儲分離的架構(gòu)。而UCloud Exodus的產(chǎn)品和技術(shù)理念則更進一步：計算和存儲分離后，存儲層將完全復用云平臺的高性能分布式存儲(如UCloud UDisk、阿里云盤古等)，而Exodus則專注于構(gòu)建一款數(shù)據(jù)庫內(nèi)核，去適配主流公有云和私有云廠商發(fā)布的高性能分布式存儲產(chǎn)品。Exodus的這種產(chǎn)品架構(gòu)，稱之為Shared-ALL-DISK架構(gòu)。
Shared-ALL-DISK架構(gòu)的優(yōu)點明顯。在提供云數(shù)據(jù)庫2.0創(chuàng)新功能的同時，賦予了用戶業(yè)務自由遷徙的能力，不被某個云平臺綁架;同時能夠連接上下游的軟硬件廠商，共享云數(shù)據(jù)庫2.0技術(shù)紅利，共建Exodus數(shù)據(jù)庫生態(tài)。中立、自由連接和利益共享，是UCloud成立以來一直強調(diào)的價值觀。
更為重要的是Exodus最終開源，它會將核心系統(tǒng)的每一行源碼開放，賦予用戶深入了解和優(yōu)化Exodus的能力;賦予同行改進，優(yōu)化的自由。并建設開源社區(qū)，吸收全行業(yè)的優(yōu)化成果，共同改進和完善Exodus。最終，UCloud Exodus將成為時間的朋友、用戶的朋友、行業(yè)的朋友。
演講中，劉堅君進一步闡述了三個朋友的概念。他指出，最近幾年，某些公有云廠商和產(chǎn)品有成為下一代IOE的趨勢，通過降價打壓競爭對手和吸引用戶，在產(chǎn)品上對用戶業(yè)務的捆綁越發(fā)深入，導致敵人越多，朋友越少，長遠來看不利于行業(yè)健康發(fā)展。而UCloud Exodus的目標，是希望成為云數(shù)據(jù)庫平臺中的MySQL。數(shù)據(jù)庫系統(tǒng)，歷來是IT行業(yè)的協(xié)作樞紐，UCloud希望打造一款開源的云數(shù)據(jù)庫2.0產(chǎn)品，來重構(gòu)云數(shù)據(jù)庫格局乃至公有云格局，通過開放共享，用自由連接的方法讓敵人越來越少，朋友越來越多，形成通過技術(shù)和服務，而不是品牌宣傳和降價來相互競爭的格局，推動云計算健康發(fā)展。
當然，采用Shared-ALL-DISK這種開放式架構(gòu)，有更多技術(shù)問題需要解決。其中的核心問題是IO路徑問題，這也是計算和存分離架構(gòu)中的根本問題。劉堅君認為，分析近幾年的技術(shù)趨勢，未來主流云平臺上的分布式存儲產(chǎn)品，必將朝高性能方向演進，最終在IO能力上足夠承載數(shù)據(jù)庫等高性能應用。
因此，應該有前瞻性地把IO路徑問題的主戰(zhàn)場，交給隊友，交給云平臺的分布式存儲產(chǎn)品和團隊。比如UCloud UDisk，以UCloud UDisk正在開發(fā)的新版本產(chǎn)品為例，現(xiàn)在已經(jīng)測得了100us的IO延遲，100w+的IOPS。相信隨著時間的推移，技術(shù)優(yōu)化將不斷深入，底層軟硬件將不斷升級，最終云平臺的跨節(jié)點IO能力將達到非常高的水平。
但這并不意味著UCloud Exodus在IO路徑上毫不作為。相反，Exodus將以MySQL為原型，對IO路徑問題做大量優(yōu)化。包括去除Binlog、去除內(nèi)部二次提交、消除DoubleWrite等。這些技術(shù)手段的采用，將保證Exodus在高性能分布式存儲之上，IO跑的又輕又快。
除了IO路徑問題，另一個重要的技術(shù)問題是主從同步問題。在借鑒業(yè)內(nèi)主流的Redolog同步思路的基礎上，Exodus基于MySQL內(nèi)部機制又做了創(chuàng)新。該創(chuàng)新方法提供了一種實現(xiàn)簡單又運行高效的主從Redolog同步機制。
一套完整UCloud Exodus數(shù)據(jù)庫系統(tǒng)，由Master、SLAVES、Binloger、分布式存儲與對象存儲構(gòu)成。Master實例負責數(shù)據(jù)讀寫并同步redolog到Slaves;Slaves由一個或多個只讀節(jié)點構(gòu)成，緩存和主節(jié)點保持一致并向上提供只讀能力;分布式存儲負責數(shù)據(jù)的持久化存儲，同時將數(shù)據(jù)頁和redolog實時備份和歸檔到對象存儲;而Binloger模塊將根據(jù)對象存儲中的歸檔redolog重演binlog，以向下游系統(tǒng)(如kafka等)提供binlog數(shù)據(jù)。
該系統(tǒng)預計2019年第三季度推出公測版，2020年一季度正式發(fā)布。
第三位的演講嘉賓是來自網(wǎng)易的資深數(shù)據(jù)庫內(nèi)核及大數(shù)據(jù)技術(shù)專家蔣鴻翔，他帶來了「基于Impala平臺打造交互查詢系統(tǒng)」為主題的分享。
交互查詢是偏分析的方向。它的特點是數(shù)據(jù)量基數(shù)龐大，關系模型相對較復雜，響應時間要求較高。
因此，選擇匹配的平臺上，一般基于三個方面來考慮：一是本身項目熟悉度;二中大廠背書;三是性能和優(yōu)缺點指標。
蔣鴻翔表示，現(xiàn)在業(yè)內(nèi)有Impala交互查詢平臺，F(xiàn)acebook做的查詢平臺Presto，以及Green Plum。那如何去選?因為交互查詢的數(shù)據(jù)是從大數(shù)據(jù)平臺上來的，所以一般會考慮與Hadoop/Hive的兼容，社區(qū)環(huán)境及架構(gòu)設計等因素。
之所以選擇Impala平臺，在于它的綜合優(yōu)勢，主要體現(xiàn)在六個維度：第一，MPP架構(gòu);第二，執(zhí)行節(jié)點無狀態(tài)、去中心化;第三，兼容Hive存儲;第四，Apache頂級項目、成熟社區(qū);第五，多種數(shù)據(jù)格式兼容;第六，高效查詢性能。
當然，Impala還有缺陷。包括服務單點、Web信息不持久化、資源隔離不精準、底層存儲不能區(qū)分用戶、負載均衡需要外部支持這幾個方面。
針對這些缺點已經(jīng)出臺了不少改進方案。目前主要有基于ZK的Loadbalance，管理服務器，細粒度權(quán)限和代理，Json格式，兼容Ranger權(quán)限管理，批量元數(shù)據(jù)刷新，元數(shù)據(jù)同步和過濾等維度。
其實，Impala平臺的應用場景也非常多?；谟脩魯?shù)據(jù)沉淀，做不同形式的預測和推薦，從而最大化利用數(shù)據(jù)。
隨后，UCloud技術(shù)專家王仆帶來了主題演講「UCloud分布式KV存儲系統(tǒng)」。
在線服務Redis是當前比較流行的協(xié)議，它支持比較多的數(shù)據(jù)結(jié)構(gòu)?？梢员挥糜趦?nèi)存緩存、持久化存儲等不同場景，大量服務于各類互聯(lián)網(wǎng)應用。
同時也提供了豐富的功能配置，客戶可以根據(jù)各自業(yè)務需求，在讀寫性能、緩存容量、數(shù)據(jù)可靠性等方面作出靈活的選擇。
Redis是主要有三個優(yōu)勢，一是擁有超高性能，讀寫性能可達10萬以上;二是支持string、list、hash、set、sorted set等豐富的數(shù)據(jù)結(jié)構(gòu);三是支持排序、集合類運算、位運算、過期淘汰等復雜運算。
目前已經(jīng)有很多企業(yè)都在使用Redis產(chǎn)品。比如說大型社交APP的客戶。通常，社交的APP在Server端比較簡單，會存儲一些用戶信息，包括發(fā)布信息的狀態(tài)、關注、消息發(fā)布等。這些龐大的信息運轉(zhuǎn)就需要快速的處理，而使用Redis的數(shù)據(jù)結(jié)構(gòu)來緩存數(shù)據(jù)，能夠?qū)崿F(xiàn)較快的響應。
活動接近尾聲，杭州錢塘江已經(jīng)被一片金色籠罩，但與會者依然熱情，非常積極踴躍地參與交流互動。最后一位演講來自于華為的技術(shù)專家時金魁，他帶來了「實時流計算技術(shù)及其應用」的主題分享。
實時流在這兩年比較流行，而它的基礎就是大數(shù)據(jù)。目前，實時云計算適用場景比較多，包括廣告、監(jiān)控大盤、打車軟件、金融風控、異常檢測、交通、物流、外賣等等。
比如，在打車場景中，一般會在APP中會顯示預計費用，顯示費用通過實時預測出來，而不是真正發(fā)生的計價，這就是實時流日常運用的場景之一。
今天較出眾的實時流計算框架是Flink。
Flink除了有TABLE，還能夠做一些SQL。目前在Flink上面可以做時空數(shù)據(jù)，主要用在物聯(lián)網(wǎng)方向，比如說車聯(lián)網(wǎng)、物聯(lián)網(wǎng)，還有一些基于曲線，比較典型的是電子圍欄、車輛超速等等。除此之外，還有地理位置、智能學習模型、實時推理。因為數(shù)據(jù)是實時流進來的，可以做實時推理并且應用到業(yè)務系統(tǒng)。
時金魁還提到，現(xiàn)在的潮流是流計算雙引擎：Flink+Spark，這個非常有用。它可以實現(xiàn)很多，比如Stream SQL表達，在線機器學習，實時故障檢測等等。如果一些數(shù)據(jù)指標出現(xiàn)異常會訓練，它是否異常可以通過實時流發(fā)現(xiàn)，一旦發(fā)現(xiàn)做一些歸類，如果是異常情況實時做告警，還有駕駛員分析等等。
活動最后，意猶未盡的開發(fā)者們還與演講嘉賓們就一些話題進行了交流。而大數(shù)據(jù)技術(shù)的探討之后，UCan下午茶還將走進深圳等地，繼續(xù)對技術(shù)趨勢進行火熱探討和交流，敬請關注后續(xù)系列活動。
數(shù)字化要一盤棋更要各自為戰(zhàn)
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。