隨著云計(jì)算在全球范圍內(nèi)的高速發(fā)展，谷歌、亞馬遜等企業(yè)的崛起，特別是"互聯(lián)網(wǎng)+"深入融合背景下的業(yè)務(wù)云化需求，傳統(tǒng)企業(yè)在數(shù)據(jù)中心建設(shè)中被動地 徘徊在傳統(tǒng)存儲陣列與分布式存儲兩種體系存儲架構(gòu)之間。這兩種存儲結(jié)構(gòu)并沒有絕對的優(yōu)劣之分，而大數(shù)據(jù)的繁盛讓分布式存儲架構(gòu)近幾年中獲得了前所未有的關(guān) 注。
傳統(tǒng)存儲于分布式系統(tǒng)
傳統(tǒng)SAN以高度的可靠性、穩(wěn)定性和功能豐富性，在應(yīng)用實(shí)踐中獲得了廣泛認(rèn)可。隨著數(shù)據(jù)量不斷增加，企業(yè)對于數(shù)據(jù)存儲可擴(kuò)展性提出要求，分布式存儲系統(tǒng)逐步成為擴(kuò)展性強(qiáng)、價格低廉的選擇。
考量分布式存儲的關(guān)鍵技術(shù)主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴(kuò)展性。從數(shù)據(jù)形態(tài)來劃分，主要有：結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。
GFS、AFS和Lustre成為主流的三種分布式存儲文件系統(tǒng)。其中，GFS(Google file system)被稱為谷歌文件系統(tǒng)，其性能、可擴(kuò)展性、可靠性和可用性都收到了肯定，主要部件包括一個Master和n個chunkserver，和 Chunk Server(數(shù)據(jù)塊服務(wù)器)同時可以被多個客戶Client訪問。
GFS架構(gòu)
不同于傳統(tǒng)的文件系統(tǒng)，GFS不再將組建錯誤當(dāng)成異常，而是將其看做一種常見情況予以處理。對待文件的大小一直是文件系統(tǒng)要考慮的問題，對于任何一 種文件系統(tǒng)，成千上萬的幾KB的系統(tǒng)，總會壓死內(nèi)存，所以，對于大型的文件， 管理要高效，對于小型文件也要支持，但是并沒有進(jìn)行優(yōu)化。
在GFS中chunk server大小被固定為64MB，這樣的塊規(guī)模比一般的文件系統(tǒng)的塊規(guī)模要大得多，可以減少元數(shù)據(jù)metadata開銷，減少M(fèi)aster的交互，但太大的塊規(guī)模也會產(chǎn)生內(nèi)部碎片，或者同一個Chunk中存在多個小文件可能產(chǎn)生訪問熱點(diǎn)。
GFS主要運(yùn)行在大量運(yùn)行Linux系統(tǒng)的普通機(jī)器上，從而降低了其硬件成本。但一系列冗余備份、快速恢復(fù)等技術(shù)保證其正常和高效運(yùn)行，GFS也是實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的主要技術(shù)和文件系統(tǒng)。
AFS是Andrew File System的簡稱。AFS將文件系統(tǒng)的可擴(kuò)展性放在了設(shè)計(jì)和實(shí)踐的首要位置，因此AFS擁有過很好的擴(kuò)展性，能夠輕松支持?jǐn)?shù)百個節(jié)點(diǎn)，甚至數(shù)千個節(jié)點(diǎn)的 分布式環(huán)境。AFS由卡內(nèi)基美隆大學(xué)最初設(shè)計(jì)開發(fā)，目前已經(jīng)相當(dāng)成熟，用于研究和部分大型網(wǎng)絡(luò)之上。
AFS概況
AFS主要組建包括：Cells、AFS clients、基本存儲單元Volumes、AFS servers和Volume replication。AFS實(shí)現(xiàn)的是模塊化的，并不要求在每臺服務(wù)器上運(yùn)行所有服務(wù)器進(jìn)程。AFS擁有良好可擴(kuò)展性，客戶端華村能夠帶來性能的提升和 可用性的提高、AFS的缺點(diǎn)在于管理員界面友好性不足，需要更多的專業(yè)知識來支持AFS。
Lustre是HP，Intel，Cluster File System公司聯(lián)合美國能源部開發(fā)的Linux集群并行文件系統(tǒng)，名稱來源于Linux和Clusters。同時Lustre也是一個遵循GPL許可協(xié) 議的開源軟件，Lustre也被稱為平行分布式文件系統(tǒng)，常用于大型計(jì)算機(jī)集群和超級電腦中。
Lustre架構(gòu)圖
Lustre的主要組建包括：元數(shù)據(jù)服務(wù)器(Metadataservers， MDSs)、對象存儲服務(wù)器(objectstorage servers， OSSs)和客戶端。其中MDSs提供元數(shù)據(jù)服務(wù)，MGS管理服務(wù)器提供Lustre文件系統(tǒng)配置信息，OSS對象存儲服務(wù)器expose塊設(shè)備提供數(shù) 據(jù)。
Lustre文件系統(tǒng)針對大文件讀寫進(jìn)行了優(yōu)化，能夠提高性能的IO能力;在源數(shù)據(jù)獨(dú)立存儲、服務(wù)和網(wǎng)絡(luò)失效的快速恢復(fù)、基于意圖的分布式鎖管理和系統(tǒng)可快速配置方面優(yōu)異。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。