近幾年來,超融合系統(tǒng)的熱度越來越高,各種打著超融合旗號的公司和產品如雨后春筍般涌現(xiàn),令人眼花繚亂,也引發(fā)了很多困惑:究竟什么是超融合系統(tǒng)?與融合系統(tǒng)是什么關系?一體機又是怎么回事?
最關鍵的是:超融合有什么用?回答了之前的問題,也就不難理解了。
基本概念與分類
無論從中英文的字面意義來理解,超融合(Hyperconverged)都應該是在融合(Converged)之后發(fā)展起來的——如果要分類,前者應該屬于后者的一支。
IDC和Gartner也是這么認為的,雖然在細節(jié)上有所區(qū)別。
譬如,Gartner似乎很喜歡Integrated(集成)和Infrastructure(基礎設施)這兩個詞。大的分類上,IDC所謂Converged Systems(融合系統(tǒng)),Gartner稱為Integrated Systems(集成系統(tǒng))。
IDC與Gartner對融合系統(tǒng)的大致分類(注:隨時間推移略有變化)
IDC 將融合系統(tǒng)(Converged Systems)分為三類,前兩類——集成系統(tǒng)(Integrated Systems)和認證參考系統(tǒng)(Certified Reference Systems)——主要是供應商構成不同,技術成分上基本沒有區(qū)別,都是由服務器硬件、磁盤存儲系統(tǒng)、網絡設備供應商和基本構件/系統(tǒng)管理軟件組成的供 應商認證的預集成系統(tǒng)。
Gartner也有對應的分類,分別稱為集成基礎設施(Integrated Infrastructure)系統(tǒng)和參考架構(Reference Architecture)系統(tǒng),合稱融合基礎設施(Converged Infrastructure,CI)。
簡 單的說,就是看這套系統(tǒng)是否由一家廠商提供。VCE的Vblock由VMware虛擬化、思科服務器和網絡設備、EMC存儲系統(tǒng)組成,但VCE在EMC旗 下,所以Vblock屬于“集成”(系統(tǒng)或基礎設施),而思科與NetApp合作的FlexPod則屬于“參考“(認證系統(tǒng)或架構)。
Gartner還比IDC多一個分類,即集成堆棧(Integrated Stack)系統(tǒng),可以理解為集成基礎設施系統(tǒng)加上應用軟件,如Oracle的Exadata數據庫一體機,在IDC的定義里仍屬于集成系統(tǒng)。
超 融合系統(tǒng)(Hyperconverged Systems)是后起之秀,與上述(傳統(tǒng)的)融合系統(tǒng)最大的區(qū)別,就是有能力用同樣的服務器硬件資源提供所有的計算和存儲功能。換言之,在超融合系統(tǒng) 中,不需要專用的存儲子系統(tǒng)(如磁盤陣列)——但在必要時,也可以有(如JBOD)。
Gartner習慣將超融合稱為HyperConverged Infrastructure(HCI),和其他幾種分類一樣在后面加上System,即HCIS。HCI和CI是被業(yè)界引用較多的兩個縮寫。
超 融合系統(tǒng)與之前的融合系統(tǒng)相比,最大的區(qū)別就是以(與應用軟件一起)運行在標準(x86)服務器硬件中的軟件定義存儲替代了傳統(tǒng)的SAN存儲系統(tǒng),不僅華 為(Huawei)、惠普(HPE)等服務器大廠積極推出相應的產品,還催生了以Nutanix、SimpliVity為代表的一大批初創(chuàng)公司。
市場態(tài)勢與趨勢
無 論哪種融合系統(tǒng),存儲都是其中的重要組成部分。今年3月底,IDC公布的2015年第四季度及全年的全球融合系統(tǒng)追蹤報告顯示:2015年第四季度,通過 融合系統(tǒng)出貨的存儲容量新增1547PB,同比增幅達26.9%。然而,存儲不一定非要以相對獨立的“存儲”(系統(tǒng))的形式存在,超融合系統(tǒng)的快速崛起正 代表了這種需求轉移。
IDC認為:一些傾向于低平均售價的市場需求,驅動從傳統(tǒng)融合系統(tǒng)轉向超融合系統(tǒng);大部分增長來自中端市場,主要流向了超融合系統(tǒng)。其結果是,該季度在整個融合系統(tǒng)市場收入同比增長8.5%的大背景下,超融合系統(tǒng)的增長率高達170.5%。
目前,超融合系統(tǒng)在整個融合系統(tǒng)市場中所占的比例還不夠大,但正如上面所顯示的,高速增長的勢頭有望迅速抹平差距。Gartner預計,超融合系統(tǒng)今年的 增長率為79%,市場規(guī)模將從(2016年的)近20億美元增長到2019年的約50億美元,在融合系統(tǒng)市場占比達四分之一(24%),并在2020年成 為數據中心的主流。
難道說,從傳統(tǒng)的融合系統(tǒng)到新興的超融合系統(tǒng),就是個存儲的故事?當然不止于此,整個過程體現(xiàn)出“計算為主導,存儲為區(qū)分,軟件為核心,網絡是未來”的發(fā)展軌跡。
融合系統(tǒng)的誕生
融合系統(tǒng)是硬盤時代走向尾聲時的產物。
眾所周知,硬盤(驅動器)的隨機I/O性能很差,而企業(yè)的關鍵業(yè)務應用如Oracle數據庫需要很高的IOPS,以VMware為代表的服務器虛擬化則將原本可能是順序訪問的操作變成了隨機訪問,服務器內置的少量硬盤根本無法滿足性能需求。
外 置磁盤存儲系統(tǒng)可以將數百乃至上千個硬盤聚合在一起,輸出較高的I/O性能,并通過SAN(Storage Area Network,存儲區(qū)域網)被多臺服務器共享。既然服務器內置硬盤的I/O性能幾乎可以忽略不計,不如專心提高計算密度和集中管理。所以,2005年前 后,伴隨著VMware虛擬化的興起,刀片式服務器和存儲行業(yè)都獲得了快速的發(fā)展。
刀片式服務器集成了高速的網絡,將不同的計算節(jié)點(服務器刀片)連接在一起,這可以說是一種(計算與網絡的)融合。但這顯然不夠,因為在企業(yè)應用環(huán)境中,刀片式服務器高度依賴SAN存儲設備(外置磁盤陣列)。
所 以,一個完整的解決方案通常包括了服務器、SAN存儲和異構的網絡——SAN主流的FC(Fibre Channel)網絡與服務器常用的網絡技術(以太網和InfiniBand)有著很大的不同。刀片式服務器集成的網絡模塊或功能強大的交換機可以減少設 備的種類,卻仍要面對管理的復雜性。于是,不僅采購部署的周期長,后期的服務也經常要面對多家供應商。
在這種情況下,由單一供應商提供包括服務器、存儲、網絡在內的預集成、預驗證的完整解決方案,就形成了融合系統(tǒng),這方面的典型代表是VCE。
2009 年11月初,思科(Cisco)、EMC和VMware聯(lián)合發(fā)起虛擬計算環(huán)境(Virtual Computing Environment,首字母分別對應三家公司名稱)聯(lián)盟,英特爾(Intel)也有投資。聯(lián)盟于2010年推出用于構建私有云的Vblock基礎架構 包,由思科的服務器和網絡設備、EMC的存儲、VMware的vSphere虛擬化套件組成。
面向虛擬化應用的融合基礎設施
2011 年1月,VCE聯(lián)盟演變?yōu)橥墓尽?014年10月,EMC掌握了公司的控制權,并于2016年初將VCE并入其融合平臺部門(Converged Platform Division)。思科也不想一棵樹上吊死,早就與EMC的競爭對手NetApp合作了FlexPod。
如前面所說,同樣用途的融合系統(tǒng),Vblock屬于集成系統(tǒng)或集成基礎設施系統(tǒng)的分類,F(xiàn)lexPod則要劃入認證參考系統(tǒng)或認證架構系統(tǒng)的分類。
融 合系統(tǒng)簡化了用戶的采購、部署、管理、服務等環(huán)節(jié),而廠商也多了一種賣存儲產品的方式。除了EMC和NetApp,惠普、IBM、戴爾(Dell)等服務 器廠商把自家的存儲產品“融合”在一起,HDS這樣相對獨立的存儲廠商也可以與母公司日立(Hitachi)的服務器產品相結合。
融合基礎設施簡化了系統(tǒng)安裝和業(yè)務部署的過程,但傳統(tǒng)SAN存儲的擴展性和性能問題沒有解決,管理性也沒有得到根本的改進
從 技術角度,融合系統(tǒng)只是服務器、SAN存儲和網絡設備的組合,一體化交付,盡可能的“開箱即用”,只要三者搭配得當,理論上什么類型的應用都可以很好的支 持。不過,在實際應用中,融合系統(tǒng)的一大主戰(zhàn)場是虛擬化應用,如服務器虛擬化和VDI(Virtual Desktop Infrastructure,虛擬桌面基礎架構)。常見的情況是,中小型應用環(huán)境采用機架式服務器與中低端存儲的組合,大型應用環(huán)境則是刀片式服務器加 高端存儲。
融合系統(tǒng)活躍的另一大應用領域在數據庫市場,即我們常說的數據庫一體機。
向超融合系統(tǒng)演變
數據庫一體機的典型代表是Oracle Exadata,其問世時間還要早于VCE及Vblock。
2008 年9月下旬,Oracle在其年度大會(OOW)上宣布推出基于惠普x86服務器硬件的數據庫一體機“HP Oracle Database Machine”,一個完整的機柜系統(tǒng)包括8個數據庫節(jié)點和14個Exadata存儲服務器(Cell),全部預裝Oracle Enterprise Linux,采用InfiniBand互聯(lián)。數據庫節(jié)點運行Oracle 11gR1和Oracle RAC(Real Application Clusters,真正應用集群)。
一 年之后,已經完成對Sun收購的Oracle,推出基于Sun x86服務器硬件的Exadata數據庫一體機(Oracle Exadata Database Machine),Exadata不再只是存儲服務器的名字,而是Oracle所謂Engineered Systems(工程系統(tǒng))家族中最早的成員。
不論Vblock還是FlexPod,都提供了預集成、“開箱即用”的全套解決方案,簡化了部署和后續(xù)管理,幫助用戶更快的構建私有云。但是,其各大組成部分只是“粘合”在了一起,而沒有真正的融合:服務器還是服務器,存儲還是存儲。
Exadata則不太一樣。
Exadata仍然有專門的存儲節(jié)點,其最初就因基于x86硬件的存儲服務器而得名。但是,Exadata的存儲服務器并不是SAN存儲設備,沒有專用的 存儲網絡,計算和存儲節(jié)點之間統(tǒng)一使用高速的InfiniBand(IB)互聯(lián)。消滅網絡的異構不是主要目的,而是Exadata一開始定位在注重帶寬的 OLAP(On-Line Analytical Processing,聯(lián)機分析處理)應用,帶寬可以隨存儲節(jié)點的加入獲得近乎線性的擴展,即橫向擴展(Scale-out)——傳統(tǒng)的SAN存儲設備為 縱向擴展(Scale-up)架構,帶寬和處理能力受限于存儲系統(tǒng)控制器的上限。
Exadata仍然有相對獨立的存儲設備,但是這些被稱為Cell的存儲服務器采用分布式存儲,組成橫向擴展架構
為了進一步提高效率,減少不必要的數據傳輸,Exadata采用Oracle獨有的Smart Scan技術,即利用存儲節(jié)點具備的一定計算能力,將簡單的查詢下發(fā)到存儲節(jié)點上執(zhí)行,只返回少量結果數據。這很好的體現(xiàn)了“讓計算靠近存儲,或者讓存儲靠近計算”的優(yōu)勢。
Exadata可以將簡單的查詢請求從數據庫(計算)節(jié)點上卸載到具備一定計算能力的存儲服務器上執(zhí)行,降低不必要的網絡傳輸,具備了部分超融合系統(tǒng)的特征,軟件和硬件一體化的優(yōu)勢初顯
基 于惠普硬件的第一代Exadata,存儲節(jié)點全部采用硬盤驅動器,14臺Exadata存儲服務器最多168個,跟SAN存儲設備比堆硬盤沒有什么勝算, 所以不具備OLTP(On-Line Transaction Processing,聯(lián)機事務處理)能力。第二代Exadata則通過在存儲服務器中加入PCIe閃存卡(SSD,即固態(tài)盤)解決了這一問題,發(fā)展為兼 具OLAP和OLTP能力的系統(tǒng)。
與 VMware虛擬化一樣,Oracle RAC需要一個所有計算節(jié)點共享的統(tǒng)一存儲池,可以是單個(縱向擴展)物理存儲設備,也可以是多個物理節(jié)點集群(橫向擴展)構成的邏輯存儲池。運行 Oracle ASM( Automatic Storage Management,自動存儲管理)軟件的Exadata存儲服務器屬于后者,我們可以將其視為專門為Oracle數據庫應用優(yōu)化的軟件定義存儲。
閃存技術支持下的軟件定義存儲,是走向超融合系統(tǒng)的關鍵一步。
超融合系統(tǒng)架構簡析
IDC對超融合系統(tǒng)的定義是,節(jié)點間沒有明確的計算和存儲的分工,在同一個服務器硬件資源(目前主要是x86服務器)上實現(xiàn)核心的存儲和計算功能,封裝為單一的、高度虛擬化的解決方案。
通 過分布式的軟件在多個標準(x86服務器)硬件節(jié)點上實現(xiàn)傳統(tǒng)存儲設備所能提供的主要功能,是軟件定義存儲(Software Defined Storage,SDS)的典型特征。為了滿足可用性的要求,超融合系統(tǒng)通常從三個節(jié)點起步,要擴充容量和性能,只需在現(xiàn)有網絡中加入新的節(jié)點即可實現(xiàn)自 動擴展,直至幾百或上千個節(jié)點,部署速度快,易于管理,規(guī)模上限大。
使 用大量標準的x86服務器組成集群,沒有(物理的)共享存儲設備,把分布在每個節(jié)點上的服務器本地存儲,用我們今天稱為軟件定義存儲的方式聚合為可共享的 邏輯存儲池,是大規(guī)模互聯(lián)網(Web-scale,或Hyperscale)基礎設施的典型特征。超融合架構符合上述描述,被廣泛認為是互聯(lián)網技術影響傳 統(tǒng)IT企業(yè)領域的體現(xiàn)。
可以粗略地認為,超融合系統(tǒng)是以SDS替代了傳統(tǒng)融合系統(tǒng)中的SAN,主要成分是構筑于標準服務器硬件上的軟件定義存儲加(服務器)虛擬化。
融合基礎設施只是實現(xiàn)了計算、存儲、網絡和管理的“集成”,超融合基礎設施才是真正的“融合”
之 所以要強調虛擬化,是因為現(xiàn)有的技術背景下,每個節(jié)點都要運行存儲軟件功能的話,就必然不是裸機環(huán)境,適合安裝hypervisor,在虛擬機(VM)中 運行應用,即計算與存儲功能(在單一節(jié)點上)的融合。所以,有觀點認為,超融合的前綴“Hyper-”特指虛擬化(hypervisor)。不過,隨著容 器技術的普及,未來每個節(jié)點可以在容器中運行應用——如微服務(Microservices)架構——盡量避免hypervisor層的開銷。
若此,互聯(lián)網技術將繼續(xù)引領超融合架構的發(fā)展。
以當前觀之,符合上述定義的超融合系統(tǒng)主要用于取代面向虛擬化應用的集成系統(tǒng)或認證參考系統(tǒng)(傳統(tǒng)融合系統(tǒng)),數據庫一體機還是盡量讓數據庫運行在物理機上,獲得盡可能高的性能。
不 過,這并不意味著數據庫一體機不能被納入超融合的體系。不僅Oracle已經宣稱最新的Exadata能夠很好的支持Oracle VM,更為重要的是,華為FusionCube超融合基礎設施在2012年華為云計算大會(HCC)上發(fā)布時,即能同時支持物理機(數據庫)和虛擬化環(huán) 境,詳細情況將于下篇文章展開分析。
超融合系統(tǒng)像之前的融合系統(tǒng)一樣大幅簡化系統(tǒng)安裝和業(yè)務部署,并包含預集成、預驗證和統(tǒng)一服務
超 融合系統(tǒng)也有類似“集成”和“參考”的分類,與融合系統(tǒng)主要是因產品組合導致的情況不同,這涉及到商業(yè)模式的問題,在初創(chuàng)企業(yè)中比較常見。既然超融合系統(tǒng) 本質上是x86服務器上預裝存儲、hypervisor和管理等軟件功能,那么,既可以作為打包的一體化解決方案銷售,也可以只銷售軟件給服務器廠商或集 成商,即解決方案提供商(如EMC)與軟件供應商(如VMware)的區(qū)別。
對 處于初創(chuàng)階段的企業(yè)而言,以自己并不足夠強大的品牌銷售,渠道也是個問題;另一條路呢,要匹配多個廠商的硬件(軟件OEM模式),盡管都是相對標準的 x86服務器,還是要有大量針對性的優(yōu)化和認證工作要做。Nutanix、SimpliVity、Nimboxx都屬于前面的“一體機”派,Maxta則 是后面“Software only”派的代表,不銷售自己品牌的硬件。
商業(yè)模式顯然比技術路線更容易調整。為了更快速的增長,Nutanix在超融合競爭對手越來越多的情況下,先后選擇戴爾和聯(lián)想(Lenovo)作為硬件合作伙伴,兩條路并行,擴大覆蓋面,也是資本市場愿意看到的。
正 如上一節(jié)所指出的,分布式存儲只是構成超融合系統(tǒng)的必要條件之一,另一個是SSD(Solid State Drive),它使得計算節(jié)點只憑內置存儲就可以獲得足夠的性能,不再需要通過外置存儲系統(tǒng)堆積大量的硬盤。如果說傳統(tǒng)融合系統(tǒng)是硬盤時代的遺存,超融合 系統(tǒng)則伴隨著閃存存儲的崛起。
x86平臺+SSD+分布式存儲(軟件)+高速網絡=超融合系統(tǒng)?