天下武功唯快不破，然“大數(shù)據(jù)+”時(shí)代的開(kāi)啟，讓很多成名已久的“武林高手”扼腕嘆息，結(jié)構(gòu)化數(shù)據(jù)包打天下的時(shí)代已經(jīng)成為歷史!從IT到DT意味著什么?意味著需要頓悟新的功法，應(yīng)對(duì)更殘酷的江湖競(jìng)爭(zhēng)!
繼云計(jì)算之后，大數(shù)據(jù)迅速躋身IT江湖熱門(mén)功法排行榜。云和大數(shù)據(jù)好比硬幣的兩面，云計(jì)算是大數(shù)據(jù)處理的依托平臺(tái)，大數(shù)據(jù)則是云計(jì)算最典型的應(yīng)用，正引發(fā)全球范圍內(nèi)深刻的技術(shù)和商業(yè)變革。在這個(gè)廣闊的市場(chǎng)空間，浪潮怎會(huì)缺席?
時(shí)勢(shì)造英雄：結(jié)構(gòu)化數(shù)據(jù)“之退”與非結(jié)構(gòu)化數(shù)據(jù)“之進(jìn)”
傳統(tǒng)數(shù)據(jù)處理方式，以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)增長(zhǎng)緩慢、系統(tǒng)都比較孤立，用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)來(lái)管理這些數(shù)據(jù)基本可以滿(mǎn)足各類(lèi)應(yīng)用開(kāi)發(fā)。但是在大數(shù)據(jù)時(shí) 代，數(shù)據(jù)來(lái)源更加豐富，很多數(shù)據(jù)通過(guò)設(shè)備、服務(wù)器、應(yīng)用自動(dòng)產(chǎn)生的，這些數(shù)據(jù)以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，增長(zhǎng)速度快，價(jià)值密度低。所謂的 “大數(shù)據(jù)生態(tài)”，數(shù)據(jù)類(lèi)型多樣、計(jì)算場(chǎng)景復(fù)雜，傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)這類(lèi)需求和應(yīng)用在架構(gòu)和功能上幾乎束手無(wú)策，需要不同的技術(shù)手段支撐，這樣其實(shí)就給類(lèi)似 Hadoop、MPP、內(nèi)存數(shù)據(jù)庫(kù)等架構(gòu)體系提供了很好的發(fā)展機(jī)會(huì)和空間。大數(shù)據(jù)生態(tài)除了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)之外，還需要MPP、 NewSQL、NoSQL、流式計(jì)算、實(shí)時(shí)計(jì)算、內(nèi)存計(jì)算等多種存儲(chǔ)和計(jì)算手段。
浪潮近期同步推出云海Insight三劍客：云海Insight HD、云海Insight MPP、云海Insight MemDB，涵蓋了當(dāng)前主流的分布式數(shù)據(jù)存儲(chǔ)和計(jì)算組件，能支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等幾乎全部數(shù)據(jù)類(lèi)型的處理。幫助企業(yè)方便快捷地架起完整的大數(shù) 據(jù)處理平臺(tái)，以期幫助用戶(hù)構(gòu)建海量數(shù)據(jù)的“極速”處理能力，應(yīng)對(duì)大數(shù)據(jù)的復(fù)雜應(yīng)用場(chǎng)景。對(duì)各類(lèi)數(shù)據(jù)進(jìn)行整理、交叉分析、比對(duì)碰撞、內(nèi)容檢索、深度挖掘、特 征提取等，對(duì)用戶(hù)提供自助的實(shí)時(shí)、近時(shí)、迭代的響應(yīng)能力等。
電視劇《歡樂(lè)頌》熱播，通過(guò)大數(shù)據(jù)技術(shù)，對(duì)網(wǎng)絡(luò)直播平臺(tái)的收視點(diǎn)擊情況和網(wǎng)友互動(dòng)評(píng)論情況進(jìn)行分析，可以知道哪 個(gè)女主最受男性歡迎。這在傳統(tǒng)的收視統(tǒng)計(jì)中，是需要收視儀定點(diǎn)采樣、人員專(zhuān)門(mén)統(tǒng)計(jì)等一些列手段，花費(fèi)大量工作量才能完成的。作為新興技術(shù)技術(shù)，大數(shù)據(jù)的發(fā) 展已經(jīng)從概念到大規(guī)模落地，正在為各行業(yè)帶來(lái)一些新奇的變化。
1、分布式計(jì)算引擎HD
lHD適合PB級(jí)以上的海量數(shù)據(jù)離線處理，可在大數(shù)據(jù)應(yīng)用建設(shè)中輕松構(gòu)建基礎(chǔ)資源庫(kù)。
l它采用Hadoop 架構(gòu)，融合了業(yè)界最新 Spark 實(shí)時(shí)計(jì)算架構(gòu)，讓二者優(yōu)勢(shì)互補(bǔ)?？梢詳U(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)的集群規(guī)模，設(shè)計(jì)了高度兼容SQL語(yǔ)句的解析引擎，提供可視化運(yùn)維、統(tǒng)一用戶(hù)、證書(shū)認(rèn)證滾動(dòng)升級(jí)能力，讓用戶(hù)使用 Hadoop 像使用數(shù)據(jù)庫(kù)一樣簡(jiǎn)單。
lHD具備企業(yè)級(jí)、高安全性、易運(yùn)維、強(qiáng)兼容性等諸多特點(diǎn)。
2、分布式數(shù)據(jù)倉(cāng)庫(kù)MPP
lMPP是處理TB-PB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的最優(yōu)選擇。
l它采用sharenothing架構(gòu)，性能和擴(kuò)展性?xún)?yōu)于傳統(tǒng)的oracle數(shù)據(jù)庫(kù)(oracle RAC share disk架構(gòu))和SQL server數(shù)據(jù)庫(kù)(share everything)。
lMPP是基于MPP架構(gòu)的分布式關(guān)系型數(shù)據(jù)庫(kù)，其SQL 查詢(xún)性能比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)提升 10～100 倍;支持千節(jié)點(diǎn)內(nèi)的穩(wěn)定運(yùn)行，可在BI領(lǐng)域替換傳統(tǒng)架構(gòu)。
l總體來(lái)說(shuō)，分布式數(shù)據(jù)倉(cāng)庫(kù)MPP具備開(kāi)放彈性架構(gòu)、在線線性擴(kuò)展、擁有成本可控、海量并行處理、優(yōu)秀混合負(fù)載、平臺(tái)持續(xù)可用、易于管理維護(hù)等特點(diǎn)，具體如下圖所示。
3、內(nèi)存數(shù)據(jù)庫(kù)MemDB
lMemDB適合TB數(shù)量級(jí)以下規(guī)模超高并發(fā)訪問(wèn)的OLTP 和OLAP實(shí)時(shí)計(jì)算和加速場(chǎng)景。
l它基于內(nèi)存的無(wú)共享分布式架構(gòu)，支持Key-Value、及SQL關(guān)系型存儲(chǔ)，具備跨地區(qū)集群能力;MemDB同時(shí)支持分布式事務(wù)和毫秒級(jí)響應(yīng)，善于進(jìn)行實(shí)時(shí)數(shù)據(jù)處理。
l內(nèi)存數(shù)據(jù)庫(kù)MemDB具備在線可擴(kuò)展、計(jì)算高性能、數(shù)據(jù)高可靠、跨地域分布等特點(diǎn)，具體如下圖所示。
大數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。這句話道出了大數(shù)據(jù)的本質(zhì)，隨著大數(shù)據(jù)在不同行業(yè)、不同業(yè)務(wù)領(lǐng)域的滲透，對(duì)海量數(shù)據(jù)的挖掘和運(yùn)用已經(jīng)成為推動(dòng)行業(yè)發(fā)展的重要因素。
面對(duì)如此海量的數(shù)據(jù)，如何高效地處理、運(yùn)營(yíng)這些數(shù)據(jù)，是首先需要解決的問(wèn)題，自然必須借助高效的工具。云海 Insight的三個(gè)子產(chǎn)品，即可以分別對(duì)應(yīng)不同的大數(shù)據(jù)應(yīng)用場(chǎng)景也可以組合解決復(fù)雜的大數(shù)據(jù)應(yīng)用場(chǎng)景，真正幫助用戶(hù)以數(shù)據(jù)事實(shí)為依據(jù)，以數(shù)據(jù)分析為導(dǎo) 向，讓整個(gè)行業(yè)轉(zhuǎn)向數(shù)據(jù)化運(yùn)營(yíng)的高速軌道上來(lái)。
三劍客各司其職，適合的就是對(duì)的!
據(jù)統(tǒng)計(jì)顯示，全球數(shù)據(jù)量從2010年到2020年將增長(zhǎng)50倍，達(dá)到前所未有的40ZB。40ZB是什么概念? 相當(dāng)于全世界沙粒數(shù)量的40倍。中國(guó)數(shù)據(jù)量的增速遠(yuǎn)遠(yuǎn)高于全球總體水平，2012年的數(shù)據(jù)量為364EB，占全球總數(shù)的13%，2020年將達(dá)到 8600EB，所占比例將達(dá)21%。不過(guò)我國(guó)大數(shù)據(jù)中有價(jià)值的信息只能占到33%，真正能夠發(fā)揮價(jià)值的數(shù)據(jù)只占5‰左右。
面對(duì)龐大的數(shù)據(jù)量，用戶(hù)將面臨存儲(chǔ)系統(tǒng)成本高、存不起，傳統(tǒng)可擴(kuò)展性差、擴(kuò)不了，大量非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù) 用傳統(tǒng)計(jì)算方式算不出等問(wèn)題和挑戰(zhàn)!隨著業(yè)務(wù)的復(fù)雜性、多樣性及數(shù)據(jù)量的急劇增長(zhǎng)，加上各種業(yè)務(wù)數(shù)據(jù)處理時(shí)間要求不一致，僅靠單一的產(chǎn)品無(wú)法滿(mǎn)足所有業(yè)務(wù) 需求，浪潮云海Insight大數(shù)據(jù)處理平臺(tái)上的三劍客云海Insight HD、云海Insight MPP、云海Insight MemDB各司其職，分別使用不同的場(chǎng)景，對(duì)于要求苛刻的您來(lái)說(shuō)，選擇適合自己的就是對(duì)的。
分布式計(jì)算引擎HD通常面向海量數(shù)據(jù)存儲(chǔ)、分析的應(yīng)用建設(shè)，目前已廣泛用于公安(科信-警務(wù)云/技偵-4G數(shù)據(jù)匯集/交管-六合一 平臺(tái))、稅務(wù)(金三二階段)、網(wǎng)安(網(wǎng)綜及應(yīng)用)、通信(數(shù)據(jù)管理中心)、交通(高速-車(chē)輛軌跡)等行業(yè)的大數(shù)據(jù)應(yīng)用建設(shè)中。此外，年度季度數(shù)據(jù)統(tǒng)計(jì)分析 等海量非實(shí)時(shí)的業(yè)務(wù)處理場(chǎng)景，也很適用。
分布式數(shù)據(jù)倉(cāng)庫(kù)MPP則廣泛應(yīng)用于公安(指揮決策)、稅務(wù)(大屏/電子稅務(wù)局)、能源(經(jīng)營(yíng)分析)等行業(yè)的數(shù)據(jù)集市、指揮決策、統(tǒng)計(jì)分析類(lèi)系統(tǒng)中。它適用于中等規(guī)模數(shù)量級(jí)別的大數(shù)據(jù)處理，可在BI領(lǐng)域代替?zhèn)鹘y(tǒng)架構(gòu)。
內(nèi)存數(shù)據(jù)庫(kù)MemDB主要適用于數(shù)據(jù)計(jì)算、數(shù)據(jù)寫(xiě)入、數(shù)據(jù)同步類(lèi)場(chǎng)景，適配快速實(shí)時(shí)性數(shù)據(jù)處理，數(shù)據(jù)量級(jí)稍小，類(lèi)似于網(wǎng)上訂票、余票查詢(xún)這種高實(shí)時(shí)性要求的業(yè)務(wù)。
整體來(lái)看，云海Insight可提供數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)緩沖沉淀、分析數(shù)據(jù)集市、實(shí)時(shí)數(shù)據(jù)分析和數(shù)據(jù)可視化展現(xiàn)的多種業(yè) 務(wù)處理能力，提供了SQL、API、命令行、可視化界面多種操作方式，可輕松實(shí)現(xiàn)多類(lèi)型訪問(wèn)接口。云海Insight支持標(biāo)準(zhǔn)化的x86平臺(tái)，支持融合架 構(gòu)的大數(shù)據(jù)一體機(jī)，也可以以?xún)?nèi)置服務(wù)的形式無(wú)縫集成進(jìn)云海IOP-PaaS平臺(tái)。
DT時(shí)代的大數(shù)據(jù)生態(tài)
近年來(lái)，浪潮堅(jiān)持尋求突破，在智慧城市、公安、煙草、交通、醫(yī)療、旅游等多個(gè)行業(yè)成功積累了云和大數(shù)據(jù)落地經(jīng)驗(yàn)。全域公共免費(fèi)WIFI城市、云上集聚的大數(shù)據(jù)公共平臺(tái)、政府?dāng)?shù)據(jù)開(kāi)放示范城市、大數(shù)據(jù)交易所……這些都是浪潮對(duì)大數(shù)據(jù)的生動(dòng)詮釋。
在大數(shù)據(jù)應(yīng)用的基礎(chǔ)設(shè)施層面，浪潮云海Insight大數(shù)據(jù)產(chǎn)品套件與云海IOP平臺(tái)、云海大數(shù)據(jù)一體機(jī)一起，共同為行業(yè)用戶(hù)提供底層平臺(tái)支撐。致力于進(jìn)行大數(shù)據(jù)應(yīng)用開(kāi)發(fā)的合作伙伴，可以專(zhuān)注利用云海Insight開(kāi)發(fā)出自己的應(yīng)用，而無(wú)須關(guān)注底層實(shí)現(xiàn)。
可以看到，從IT走向DT時(shí)代并不復(fù)雜，只要找到合適的工具，分分鐘進(jìn)入DT時(shí)代。當(dāng)然未來(lái)也不再是孤膽英雄、單打獨(dú)斗的時(shí)代，生態(tài)系統(tǒng)比任何時(shí)候都重要，浪潮期待與更多合作伙伴共同攜手，提供更加豐富的大數(shù)據(jù)應(yīng)用。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。