天下武功唯快不破，然“大數(shù)據(jù)+”時(shí)代的開啟，讓很多成名已久的“武林高手”扼腕嘆息，結(jié)構(gòu)化數(shù)據(jù)包打天下的時(shí)代已經(jīng)成為歷史!從IT到DT意味著什么?意味著需要頓悟新的功法，應(yīng)對更殘酷的江湖競爭!
繼云計(jì)算之后，大數(shù)據(jù)迅速躋身IT江湖熱門功法排行榜。云和大數(shù)據(jù)好比硬幣的兩面，云計(jì)算是大數(shù)據(jù)處理的依托平臺，大數(shù)據(jù)則是云計(jì)算最典型的應(yīng)用，正引發(fā)全球范圍內(nèi)深刻的技術(shù)和商業(yè)變革。在這個(gè)廣闊的市場空間，浪潮怎會(huì)缺席?
時(shí)勢造英雄：結(jié)構(gòu)化數(shù)據(jù)“之退”與非結(jié)構(gòu)化數(shù)據(jù)“之進(jìn)”
傳統(tǒng)數(shù)據(jù)處理方式，以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)增長緩慢、系統(tǒng)都比較孤立，用傳統(tǒng)關(guān)系型數(shù)據(jù)庫來管理這些數(shù)據(jù)基本可以滿足各類應(yīng)用開發(fā)。但是在大數(shù)據(jù)時(shí) 代，數(shù)據(jù)來源更加豐富，很多數(shù)據(jù)通過設(shè)備、服務(wù)器、應(yīng)用自動(dòng)產(chǎn)生的，這些數(shù)據(jù)以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，增長速度快，價(jià)值密度低。所謂的 “大數(shù)據(jù)生態(tài)”，數(shù)據(jù)類型多樣、計(jì)算場景復(fù)雜，傳統(tǒng)數(shù)據(jù)庫對這類需求和應(yīng)用在架構(gòu)和功能上幾乎束手無策，需要不同的技術(shù)手段支撐，這樣其實(shí)就給類似 Hadoop、MPP、內(nèi)存數(shù)據(jù)庫等架構(gòu)體系提供了很好的發(fā)展機(jī)會(huì)和空間。大數(shù)據(jù)生態(tài)除了傳統(tǒng)關(guān)系數(shù)據(jù)庫之外，還需要MPP、 NewSQL、NoSQL、流式計(jì)算、實(shí)時(shí)計(jì)算、內(nèi)存計(jì)算等多種存儲和計(jì)算手段。
浪潮近期同步推出云海Insight三劍客：云海Insight HD、云海Insight MPP、云海Insight MemDB，涵蓋了當(dāng)前主流的分布式數(shù)據(jù)存儲和計(jì)算組件，能支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等幾乎全部數(shù)據(jù)類型的處理。幫助企業(yè)方便快捷地架起完整的大數(shù) 據(jù)處理平臺，以期幫助用戶構(gòu)建海量數(shù)據(jù)的“極速”處理能力，應(yīng)對大數(shù)據(jù)的復(fù)雜應(yīng)用場景。對各類數(shù)據(jù)進(jìn)行整理、交叉分析、比對碰撞、內(nèi)容檢索、深度挖掘、特 征提取等，對用戶提供自助的實(shí)時(shí)、近時(shí)、迭代的響應(yīng)能力等。
電視劇《歡樂頌》熱播，通過大數(shù)據(jù)技術(shù)，對網(wǎng)絡(luò)直播平臺的收視點(diǎn)擊情況和網(wǎng)友互動(dòng)評論情況進(jìn)行分析，可以知道哪 個(gè)女主最受男性歡迎。這在傳統(tǒng)的收視統(tǒng)計(jì)中，是需要收視儀定點(diǎn)采樣、人員專門統(tǒng)計(jì)等一些列手段，花費(fèi)大量工作量才能完成的。作為新興技術(shù)技術(shù)，大數(shù)據(jù)的發(fā) 展已經(jīng)從概念到大規(guī)模落地，正在為各行業(yè)帶來一些新奇的變化。
1、分布式計(jì)算引擎HD
lHD適合PB級以上的海量數(shù)據(jù)離線處理，可在大數(shù)據(jù)應(yīng)用建設(shè)中輕松構(gòu)建基礎(chǔ)資源庫。
l它采用Hadoop 架構(gòu)，融合了業(yè)界最新 Spark 實(shí)時(shí)計(jì)算架構(gòu)，讓二者優(yōu)勢互補(bǔ)?？梢詳U(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)的集群規(guī)模，設(shè)計(jì)了高度兼容SQL語句的解析引擎，提供可視化運(yùn)維、統(tǒng)一用戶、證書認(rèn)證滾動(dòng)升級能力，讓用戶使用 Hadoop 像使用數(shù)據(jù)庫一樣簡單。
lHD具備企業(yè)級、高安全性、易運(yùn)維、強(qiáng)兼容性等諸多特點(diǎn)。
2、分布式數(shù)據(jù)倉庫MPP
lMPP是處理TB-PB級的結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫和數(shù)據(jù)集市的最優(yōu)選擇。
l它采用sharenothing架構(gòu)，性能和擴(kuò)展性優(yōu)于傳統(tǒng)的oracle數(shù)據(jù)庫(oracle RAC share disk架構(gòu))和SQL server數(shù)據(jù)庫(share everything)。
lMPP是基于MPP架構(gòu)的分布式關(guān)系型數(shù)據(jù)庫，其SQL 查詢性能比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫提升 10～100 倍;支持千節(jié)點(diǎn)內(nèi)的穩(wěn)定運(yùn)行，可在BI領(lǐng)域替換傳統(tǒng)架構(gòu)。
l總體來說，分布式數(shù)據(jù)倉庫MPP具備開放彈性架構(gòu)、在線線性擴(kuò)展、擁有成本可控、海量并行處理、優(yōu)秀混合負(fù)載、平臺持續(xù)可用、易于管理維護(hù)等特點(diǎn)，具體如下圖所示。
3、內(nèi)存數(shù)據(jù)庫MemDB
lMemDB適合TB數(shù)量級以下規(guī)模超高并發(fā)訪問的OLTP 和OLAP實(shí)時(shí)計(jì)算和加速場景。
l它基于內(nèi)存的無共享分布式架構(gòu)，支持Key-Value、及SQL關(guān)系型存儲，具備跨地區(qū)集群能力;MemDB同時(shí)支持分布式事務(wù)和毫秒級響應(yīng)，善于進(jìn)行實(shí)時(shí)數(shù)據(jù)處理。
l內(nèi)存數(shù)據(jù)庫MemDB具備在線可擴(kuò)展、計(jì)算高性能、數(shù)據(jù)高可靠、跨地域分布等特點(diǎn)，具體如下圖所示。
大數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。這句話道出了大數(shù)據(jù)的本質(zhì)，隨著大數(shù)據(jù)在不同行業(yè)、不同業(yè)務(wù)領(lǐng)域的滲透，對海量數(shù)據(jù)的挖掘和運(yùn)用已經(jīng)成為推動(dòng)行業(yè)發(fā)展的重要因素。
面對如此海量的數(shù)據(jù)，如何高效地處理、運(yùn)營這些數(shù)據(jù)，是首先需要解決的問題，自然必須借助高效的工具。云海 Insight的三個(gè)子產(chǎn)品，即可以分別對應(yīng)不同的大數(shù)據(jù)應(yīng)用場景也可以組合解決復(fù)雜的大數(shù)據(jù)應(yīng)用場景，真正幫助用戶以數(shù)據(jù)事實(shí)為依據(jù)，以數(shù)據(jù)分析為導(dǎo) 向，讓整個(gè)行業(yè)轉(zhuǎn)向數(shù)據(jù)化運(yùn)營的高速軌道上來。
三劍客各司其職，適合的就是對的!
據(jù)統(tǒng)計(jì)顯示，全球數(shù)據(jù)量從2010年到2020年將增長50倍，達(dá)到前所未有的40ZB。40ZB是什么概念? 相當(dāng)于全世界沙粒數(shù)量的40倍。中國數(shù)據(jù)量的增速遠(yuǎn)遠(yuǎn)高于全球總體水平，2012年的數(shù)據(jù)量為364EB，占全球總數(shù)的13%，2020年將達(dá)到 8600EB，所占比例將達(dá)21%。不過我國大數(shù)據(jù)中有價(jià)值的信息只能占到33%，真正能夠發(fā)揮價(jià)值的數(shù)據(jù)只占5‰左右。
面對龐大的數(shù)據(jù)量，用戶將面臨存儲系統(tǒng)成本高、存不起，傳統(tǒng)可擴(kuò)展性差、擴(kuò)不了，大量非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù) 用傳統(tǒng)計(jì)算方式算不出等問題和挑戰(zhàn)!隨著業(yè)務(wù)的復(fù)雜性、多樣性及數(shù)據(jù)量的急劇增長，加上各種業(yè)務(wù)數(shù)據(jù)處理時(shí)間要求不一致，僅靠單一的產(chǎn)品無法滿足所有業(yè)務(wù) 需求，浪潮云海Insight大數(shù)據(jù)處理平臺上的三劍客云海Insight HD、云海Insight MPP、云海Insight MemDB各司其職，分別使用不同的場景，對于要求苛刻的您來說，選擇適合自己的就是對的。
分布式計(jì)算引擎HD通常面向海量數(shù)據(jù)存儲、分析的應(yīng)用建設(shè)，目前已廣泛用于公安(科信-警務(wù)云/技偵-4G數(shù)據(jù)匯集/交管-六合一 平臺)、稅務(wù)(金三二階段)、網(wǎng)安(網(wǎng)綜及應(yīng)用)、通信(數(shù)據(jù)管理中心)、交通(高速-車輛軌跡)等行業(yè)的大數(shù)據(jù)應(yīng)用建設(shè)中。此外，年度季度數(shù)據(jù)統(tǒng)計(jì)分析 等海量非實(shí)時(shí)的業(yè)務(wù)處理場景，也很適用。
分布式數(shù)據(jù)倉庫MPP則廣泛應(yīng)用于公安(指揮決策)、稅務(wù)(大屏/電子稅務(wù)局)、能源(經(jīng)營分析)等行業(yè)的數(shù)據(jù)集市、指揮決策、統(tǒng)計(jì)分析類系統(tǒng)中。它適用于中等規(guī)模數(shù)量級別的大數(shù)據(jù)處理，可在BI領(lǐng)域代替?zhèn)鹘y(tǒng)架構(gòu)。
內(nèi)存數(shù)據(jù)庫MemDB主要適用于數(shù)據(jù)計(jì)算、數(shù)據(jù)寫入、數(shù)據(jù)同步類場景，適配快速實(shí)時(shí)性數(shù)據(jù)處理，數(shù)據(jù)量級稍小，類似于網(wǎng)上訂票、余票查詢這種高實(shí)時(shí)性要求的業(yè)務(wù)。
整體來看，云海Insight可提供數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)緩沖沉淀、分析數(shù)據(jù)集市、實(shí)時(shí)數(shù)據(jù)分析和數(shù)據(jù)可視化展現(xiàn)的多種業(yè) 務(wù)處理能力，提供了SQL、API、命令行、可視化界面多種操作方式，可輕松實(shí)現(xiàn)多類型訪問接口。云海Insight支持標(biāo)準(zhǔn)化的x86平臺，支持融合架 構(gòu)的大數(shù)據(jù)一體機(jī)，也可以以內(nèi)置服務(wù)的形式無縫集成進(jìn)云海IOP-PaaS平臺。
DT時(shí)代的大數(shù)據(jù)生態(tài)
近年來，浪潮堅(jiān)持尋求突破，在智慧城市、公安、煙草、交通、醫(yī)療、旅游等多個(gè)行業(yè)成功積累了云和大數(shù)據(jù)落地經(jīng)驗(yàn)。全域公共免費(fèi)WIFI城市、云上集聚的大數(shù)據(jù)公共平臺、政府?dāng)?shù)據(jù)開放示范城市、大數(shù)據(jù)交易所……這些都是浪潮對大數(shù)據(jù)的生動(dòng)詮釋。
在大數(shù)據(jù)應(yīng)用的基礎(chǔ)設(shè)施層面，浪潮云海Insight大數(shù)據(jù)產(chǎn)品套件與云海IOP平臺、云海大數(shù)據(jù)一體機(jī)一起，共同為行業(yè)用戶提供底層平臺支撐。致力于進(jìn)行大數(shù)據(jù)應(yīng)用開發(fā)的合作伙伴，可以專注利用云海Insight開發(fā)出自己的應(yīng)用，而無須關(guān)注底層實(shí)現(xiàn)。
可以看到，從IT走向DT時(shí)代并不復(fù)雜，只要找到合適的工具，分分鐘進(jìn)入DT時(shí)代。當(dāng)然未來也不再是孤膽英雄、單打獨(dú)斗的時(shí)代，生態(tài)系統(tǒng)比任何時(shí)候都重要，浪潮期待與更多合作伙伴共同攜手，提供更加豐富的大數(shù)據(jù)應(yīng)用。
