照美國管理學(xué)家柯維先生的時間四象限法，可以把事務(wù)劃分為重要緊急、重要不緊急等四種狀態(tài)。其中，重要緊急的事情，是要立即投入付諸實踐的事情，也 就是常說中的重中之重。如果按照這個標(biāo)準來劃分，在存儲系統(tǒng)選擇和應(yīng)用上，怎樣合理分配閃存、軟件定義和對象存儲的權(quán)重和優(yōu)先級呢?
從數(shù)據(jù)臨界點說起
IBM存儲有一個數(shù)據(jù)臨界點的說法。按照IBM的詮釋，所謂數(shù)據(jù)臨界點不僅包括海量數(shù)據(jù)， 同時也包括對于數(shù)據(jù)使用。其實，不論是海量數(shù)據(jù)存儲，還是存儲數(shù)據(jù)的使用，都是用戶當(dāng)今的痛點。
有數(shù)據(jù)顯示：2020年全球數(shù)據(jù)總量會達到40ZB。到2019年，大數(shù)據(jù)存儲容量需求將達到20EB，其存儲設(shè)備價值會達到27億美元。也許 會有用戶認為，其來自數(shù)據(jù)的壓力并不大，實際上，更有可能的情況是：用戶數(shù)據(jù)保護方式以及業(yè)務(wù)應(yīng)用進展水平有所欠缺，例如每天的郵件數(shù)據(jù)、工作日志、甚至 辦公文檔，這些各種各樣的資料并沒有得到保護，很多時候，用戶還在刪除這些數(shù)據(jù)，棄之如敝履。
不可否認，隨著科研和業(yè)務(wù)應(yīng)用的不斷發(fā)展會產(chǎn)生大量的數(shù)據(jù)，以清華大學(xué)國家蛋白質(zhì)設(shè)施計算中心蛋白組學(xué)研究為例，對同一個生物蛋白質(zhì)樣品，冷凍 電鏡需要以量取勝，要產(chǎn)生幾十萬張照片來研究該蛋白質(zhì)樣品。該中心配有4臺世界頂尖的電鏡，這類電鏡全球不超過20臺，一張按照7GB計算，單臺電鏡每天 產(chǎn)生的存儲量就有28TB之多，加起來每年就會有接近10PB的數(shù)據(jù)存儲量，可謂規(guī)模驚人。如果未來電鏡照相機有進一步革新，這個數(shù)據(jù)量還會提升。
類似的中體彩掌管著全國的體育彩票，不同于福利彩票，其IT系統(tǒng)采用全國統(tǒng)一模式，為遍布全國的15萬彩票終端站以及在線系統(tǒng)提供集中發(fā)行、銷 售、管理、兌獎等一系列服務(wù)。隨著移動互聯(lián)網(wǎng)的發(fā)展，電子彩票勢在必行，屆時預(yù)估其日均并發(fā)交易量峰值，將會達到每秒鐘8000筆，這個交易量將接近淘 寶，盡管每筆交易金額比較小，只有2元錢，但是數(shù)據(jù)規(guī)模驚人。如何保障交易的平滑流暢，龐大數(shù)據(jù)量如何存儲，如何應(yīng)對機房空間不足以及能源的挑戰(zhàn)，這都會 成為現(xiàn)實的問題。
2016年3月，中國閃存聯(lián)盟面向100個行業(yè)，征求100個典型存儲應(yīng)用場景和需求，包括IBM、集商、獨立軟件開發(fā)商在內(nèi)的智庫專家，將針 對這些這些據(jù)存儲的痛點提供針對性解決方案。從進展的情況來看，征集上來的需求涵蓋政府、金融、醫(yī)療、制造業(yè)、房地產(chǎn)、能源、通信、交通、教育、零售等十 余個行業(yè)，項目的需求基本上就是圍繞著數(shù)據(jù)存儲以及數(shù)據(jù)的使用，與IBM數(shù)據(jù)臨界點的判斷完全吻合。
兵來將擋，水來土掩
針對數(shù)據(jù)臨界點的不同需求，需要采取不同的應(yīng)對之策。
在100典型應(yīng)用場景中，海通證券的情況比較具有典型性，據(jù)海通證券信息部副總經(jīng)理王洪濤先生介紹， 2013年，海通證券客戶規(guī)模達到了500萬，如遇券商之間并購，則系統(tǒng)并發(fā)訪問需求還會激增，實際上，當(dāng)時高峰期間系統(tǒng)的訪問量已經(jīng)超過了每秒1萬筆的 水平，如果同時滿足查詢需求，系統(tǒng)就已經(jīng)有緩慢跡象，用戶體驗變差。此外，這個期間，系統(tǒng)的清算時間長達6個小時，加上證監(jiān)會數(shù)據(jù)報送，以及證券投資者保 護基金等，系統(tǒng)的性能接近預(yù)警。與此同時，由于采用托管機房，其空間和電力資源非常緊張。
針對存在的問題，海通證券對系統(tǒng)進行了更新，鑒于集合競價、盤中突然跳水、或者尾市集合競價的業(yè)務(wù)特點，幾個交易密集時間點的系統(tǒng)IOPS要求 較高，為此，他們選擇使用了IBM FlashSystem V9000全閃存陣列的方案。系統(tǒng)上線之后，系統(tǒng)I/O明顯得到了改善，以往I/O等待在8%～10%左右，如今，I/O等待的情況基本消失。系統(tǒng)并行清 算也從以往耗時8小時降到2小時左右，系統(tǒng)性能大大提升。與此同時，系統(tǒng)能耗從以往的3000W～5000w,降低到300w左右的水平;空間的節(jié)省更是 顯著。
“以往很多行業(yè)將生產(chǎn)淘汰的系統(tǒng)利舊用于測試，我覺得這樣的觀點應(yīng)該更新一下，我們所有測試設(shè)備都是用最新、最好、最快的設(shè)備，如此可以加快測試速度，提高人力資源的效率，也更加符合實際的使用情況。”王洪濤說。
談到全閃存陣列，價格成本往往會成為很多用戶的攔路虎。如果這個障礙不掃除，所謂數(shù)據(jù)臨界點中，性能瓶頸不容易被打破。對此，必需要用技術(shù)的辦 法加以解決和克服。以IBM剛剛發(fā)布的A9000為例，加入了非常多的企業(yè)級功能，如數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除等。對此，IBM對外有一個1:5的容量承 諾，即如果用戶購買的存儲容量是100TB，IBM承諾用戶可以使用500TB的閃存空間。從TB成本計算，IBM A9000的成本將低于傳統(tǒng)磁盤陣列。成本障礙的掃除，顯然會加速閃存技術(shù)應(yīng)用和普及。
除了性能之外，云存儲也是應(yīng)對海量數(shù)據(jù)比較現(xiàn)實的選擇。一方面，IBM A9000和A9000R沿用了XIV的架構(gòu)，用來構(gòu)建企業(yè)私有云存儲;另外一方面，用戶也可以單獨買軟件，軟件授權(quán)可以用于其他產(chǎn)品，甚至用X86，構(gòu) 建自己專屬的云存儲系統(tǒng)。這個被稱為“光譜軟件”套件，改變了原有軟件和硬件綁定的方式，賦予了用戶更加廣泛的靈活性。
應(yīng)對海量數(shù)據(jù)壓力，特別當(dāng)用戶數(shù)據(jù)達到PB之后，對象存儲技術(shù)就會成為一個不可或缺的技術(shù)，為此IBM斥資13億美元收購了商業(yè)對象存儲公司 Cleversafe，其管理的用戶數(shù)據(jù)規(guī)模在100PB以上，可以放在云端，也可以由客戶采購，放在客戶私有環(huán)境中使用，就數(shù)據(jù)存儲成本來看，甚至低于 公用云的水平。
海量數(shù)據(jù)存儲有助于用戶解決合規(guī)和監(jiān)管的問題，以銀行理財雙錄要求為例，銀行需要把錄音、錄像資料加以存儲和保存，顯然這些數(shù)據(jù)將是海量的數(shù) 據(jù)。但是隨著市場競爭的加劇，這些數(shù)據(jù)僅僅是存儲還是不夠的，還要更多結(jié)合到用戶服務(wù)中去。以連用科技為例，他們在Cleversafe的基礎(chǔ)上為銀行用 戶構(gòu)建了業(yè)務(wù)文件云服務(wù)，以ATM存取款為例，用戶可以通過手機APP，方便調(diào)用和查詢相關(guān)的影像以及數(shù)據(jù)，如此可以大幅改善服務(wù)水平，樹立競爭優(yōu)勢。
“一方面我們提供海量數(shù)據(jù)存儲應(yīng)用，另一方面，我們也從用戶的應(yīng)用入手，幫助他們提升服務(wù)，盤活數(shù)據(jù)的價值，開展基于數(shù)據(jù)的業(yè)務(wù)創(chuàng)新。” 連用科技總經(jīng)理張哲先生說。
他指出，目前一些開源軟件也能夠提供對象存儲技術(shù)，很多行業(yè)工程師對此樂此不疲。但很多時候，系統(tǒng)在可靠性和可用性上達不到要求，導(dǎo)致數(shù)據(jù)丟 失。“采用類似Cleversafe這樣的成熟商用軟件，其可靠性可以達到9個9，可用性可以達到6個9，如此，我們就可以將更多精力集中在數(shù)據(jù)與業(yè)務(wù)應(yīng) 用結(jié)合，這才是企業(yè)級應(yīng)用該有的方向。” 張哲說。
小結(jié)
無論對于存儲也好，還是對于閃存也好，不同的應(yīng)用場景，就會有不同的權(quán)重和優(yōu)先級。并不存在一個所謂放之四海的解決方案。就像IBM所說的，數(shù) 據(jù)臨界點不僅有海量存儲的問題，也有數(shù)據(jù)使用的問題。在這個過程中，有些需要重點解決性能的問題，有些要解決海量存儲的問題，有些要結(jié)合數(shù)據(jù)應(yīng)用的問題， 因此應(yīng)該區(qū)別對待。
另外，榜樣的力量是無窮的。中國閃存聯(lián)盟100個應(yīng)用場景，智庫專家的解決方案，接下來就如星星之火，必將推動突破數(shù)據(jù)臨界點。據(jù)了解，接下來 中國閃存聯(lián)盟的行動會繼續(xù)升級，第六季將加大對閃存生態(tài)的建設(shè)，開設(shè)萬人大課堂閃存技術(shù)培訓(xùn)。IBM方面，也會開通7×24小時“淳哥在線”服務(wù)，不間斷 提供技術(shù)支持服務(wù)，加速行業(yè)應(yīng)用解決方案的落地?？傊痪湓?，一個屬于數(shù)據(jù)臨界點的時代已經(jīng)到來!
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。