50萬每秒新聞數(shù)據(jù)關(guān)聯(lián)分析
用戶背景：
南方報業(yè)傳媒集團由《南方日報》及其創(chuàng)辦的系列報刊發(fā)展而來?！赌戏饺請蟆?949年10月23日創(chuàng)刊于廣州。在半個多世紀的發(fā)展歷程中，南方日報以其不可替代的權(quán)威性、公信力和高品質(zhì)的主流新聞和深度報道，確立華南地區(qū)主流政經(jīng)媒體地位，是廣東唯一主打高端讀者群的權(quán)威政經(jīng)大報。南方報業(yè)傳媒集團的前身為南方日報報業(yè)集團,于1998年5月18日正式掛牌運作。2005年7月18日，南方日報報業(yè)集團更名為南方報業(yè)傳媒集團。更名后的南方報業(yè)傳媒集團，一方面強化了“南方”以文化為脈絡(luò)，由報刊向多媒體發(fā)展，形成品牌集群和人才集群，在創(chuàng)業(yè)中持續(xù)創(chuàng)新的傳統(tǒng);另一方面確立了“南方”以資產(chǎn)為紐帶，組建傳媒集團公司，形成規(guī)范的公司治理結(jié)構(gòu)，在改革中加速發(fā)展現(xiàn)代企業(yè)制度。當前，南方報業(yè)傳媒集團正在大力實施“深耕主業(yè)、多元開拓、加快轉(zhuǎn)型、融合發(fā)展”的發(fā)展戰(zhàn)略，通過打造平面媒體、網(wǎng)絡(luò)媒體、移動媒體、文化出版、文化會展、文化實業(yè)、文化地產(chǎn)和傳媒公益活動等業(yè)務(wù)板塊，用五到八年的時間，打造資產(chǎn)超百億、銷售超百億的國內(nèi)一流、國際知名的大型傳媒集團。
項目背景:
十八大以來，黨中央、國務(wù)院高度重視媒體融合發(fā)展，南方報業(yè)傳媒集團按照中央精神和廣東省委宣傳部的要求積極實施集團融合發(fā)展戰(zhàn)略，為加強集團新媒體輿論陣地建設(shè)，構(gòu)建有序競爭并有利于集團健康發(fā)展的良性生態(tài)圈，積極構(gòu)建融合發(fā)展的樞紐技術(shù)平臺，即“南方網(wǎng)與南方日報融合發(fā)展全媒體采編多媒體發(fā)布一體化平臺”，其中一體化稿庫定位為集團融合發(fā)展的資源支撐平臺。從項目最初的立意出發(fā)，一體化稿庫是在全媒體采編經(jīng)營總策劃機構(gòu)指揮下，采集整體集團的全媒體信息資源，承載多媒體產(chǎn)品生產(chǎn)調(diào)用以及資源運營的基礎(chǔ)平臺。
大數(shù)據(jù)檢索、數(shù)據(jù)采集、一體化稿庫等平臺是南方報業(yè)傳媒集團所有機構(gòu)的編輯、記者等采寫稿件的總集合。這些稿件通過郵件系統(tǒng)、采編系統(tǒng)、稿件采集系統(tǒng)，各種移動發(fā)稿系統(tǒng)等采寫、傳遞、存儲到一體化稿庫中，內(nèi)容包括文字、圖片、圖表、音視頻稿件等多媒體稿件。一體化稿庫中的內(nèi)容可被多個部門的應(yīng)用系統(tǒng)調(diào)用，它對于整合集團的新聞信息資源、提高新聞信息利用率、降低新網(wǎng)信息產(chǎn)品加工成本、滿足各部門的個性化產(chǎn)品制作需求、提高自身的核心競爭力具有重要的意義。
建設(shè)目標：
本期“南方網(wǎng)與南方日報融合發(fā)展全媒體采編多媒體發(fā)布一體化平臺”新一代數(shù)據(jù)中心信息化關(guān)注重點從傳統(tǒng)數(shù)據(jù)中心的基礎(chǔ)平臺構(gòu)建轉(zhuǎn)向云計算、云存儲、數(shù)據(jù)安全、存儲資源整合及全冗余架構(gòu)層面深入。
新一代云計算數(shù)據(jù)中心的最終目標是實現(xiàn)業(yè)務(wù)整合，業(yè)務(wù)整合的基礎(chǔ)是數(shù)據(jù)整合，數(shù)據(jù)整合的前提是存儲資源、計算資源、網(wǎng)絡(luò)資源及網(wǎng)絡(luò)安全的大整合。本期南方報業(yè)傳媒集團云計算數(shù)據(jù)中心各模塊建設(shè)需求簡述如下：
核心數(shù)據(jù)存儲規(guī)劃要求
數(shù)據(jù)安全是“南方網(wǎng)與南方日報融合發(fā)展全媒體采編多媒體發(fā)布一體化平臺”數(shù)據(jù)中心的基礎(chǔ)，數(shù)據(jù)管理直接承載著數(shù)據(jù)不丟失的安全，本項目在滿足現(xiàn)有業(yè)務(wù)需求為基礎(chǔ)，重點考慮未來五至八年內(nèi)南方報業(yè)傳媒集團各服務(wù)平臺業(yè)務(wù)系統(tǒng)對存儲容量、性能和容錯擴展能力的需求。
數(shù)據(jù)中心容災(zāi)建設(shè)需求
南方報業(yè)傳媒集團云計算數(shù)據(jù)中心通過SAN網(wǎng)絡(luò)實現(xiàn)了所有結(jié)構(gòu)化數(shù)據(jù)的大集中，數(shù)據(jù)的大集中對數(shù)據(jù)的安全提出了更高的存儲容錯要求。鑒于此，結(jié)合存儲單點風(fēng)險，需設(shè)計提供存儲級容災(zāi)功能，要求實現(xiàn)有兩份實時在線數(shù)據(jù)，任何一臺存儲出現(xiàn)故障都將實現(xiàn)自動‘秒’級切換和自動接管，整個過程不需人為干預(yù)，以此實現(xiàn)最大程度的業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全上的保障。
Infortrend解決方案:
通過對南方報業(yè)傳媒集團一體化稿庫各業(yè)務(wù)子系統(tǒng)司信息化項目建設(shè)需求的縝密分析，結(jié)合多年來在信息安全領(lǐng)域的規(guī)劃、實施經(jīng)驗，并綜合考慮系統(tǒng)的可靠性、安全性、易管理性、可擴展性等諸多因素，Infortrend為南方報業(yè)傳媒一體化稿庫平臺量身打造核心數(shù)據(jù)集中存儲/容錯、云計算、應(yīng)用級容災(zāi)及數(shù)據(jù)大集中整體解決方案。
方案拓樸圖
該規(guī)劃方案立足于‘南方報業(yè)傳媒集團有限公司’數(shù)據(jù)中心信息系統(tǒng)基礎(chǔ)架構(gòu)規(guī)劃與實踐，著眼于數(shù)據(jù)安全，核心業(yè)務(wù)應(yīng)用級容災(zāi)和數(shù)據(jù)集中化管理三大主題，本方案按照功能實現(xiàn)將整個規(guī)劃方案分成存儲和容災(zāi)等模塊，借助于存儲和容災(zāi)模塊助力‘南方報業(yè)傳媒集團有限公司’一體化稿庫平臺各業(yè)務(wù)子系統(tǒng)IT運營高效率運行。
第一章
第二章
存儲系統(tǒng)配置
數(shù)據(jù)與系統(tǒng)分離是對成熟的系統(tǒng)架構(gòu)最基本的要求之一，本方案借助InfortrendDS3048R與兩臺Brocade8G光纖交換機構(gòu)成一個標準的冗余FC-SAN網(wǎng)絡(luò)，通過FC-SAN網(wǎng)絡(luò)實現(xiàn)南方報業(yè)傳媒集團一體化稿庫平臺所有核心數(shù)據(jù)的大集中。
ØInfortrendDS3048R存儲系統(tǒng)部署及性能
InfortrendDS3048R是Infortrend針對報業(yè)傳媒行業(yè)核心業(yè)務(wù)系統(tǒng)推出的企業(yè)級FC-SAN/IP-SAN存儲系統(tǒng)，它融入了高密度(4U高，48盤位)、8Gb光纖/1GISCSI、硬件級校驗芯片、CacheSafe、全冗余控制器雙活設(shè)計等優(yōu)勢技術(shù)，借助于這些優(yōu)勢技術(shù)為本期南方報業(yè)傳媒集團云計算數(shù)據(jù)中心提供可靠、高性能的數(shù)據(jù)存儲服務(wù)。
InfortrendDS3048R采用工業(yè)級嵌入式內(nèi)核設(shè)計，其IOS固件嵌入在存儲控制器的FLASH芯片中，不占用磁盤空間。借助于Infortrend精簡的IOS存儲系統(tǒng)可實現(xiàn)百萬級的IOPS并發(fā)處理能力，
ØSSD緩存加速優(yōu)勢對比
InfortrendDS3048R存儲系統(tǒng)可配置高速SSD固態(tài)盤緩存池。SSD固態(tài)盤緩存加速功能可有效應(yīng)用在讀性能要求嚴苛的應(yīng)用環(huán)境中,單臺固態(tài)緩存池最大容量可達3.2TB。通過SSD緩存加速技術(shù)可實現(xiàn)機械硬盤與SSD固態(tài)硬盤容量和性能的極大平衡。
ØInfortrendDS3048R數(shù)據(jù)管理功能
InfortrendDS3048R存儲系統(tǒng)作為專業(yè)級磁盤陣列，具備數(shù)據(jù)快照、鏡像、自動精簡配置、遠程復(fù)制、4層分層、緩存加速等數(shù)據(jù)管理功能，借助于強大的數(shù)據(jù)管理功能可最大程度的保障數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性。
Ø存儲子系統(tǒng)配置
在存儲子系統(tǒng)的規(guī)劃上，單側(cè)配置一臺48盤位InfortrendDS3048R高密度存儲主機頭,共提供48塊磁盤槽位，每個槽位均支持混合接入2.5寸、3.5寸磁盤，且支持SAS、NL-SAS、SSD不同硬盤的混合接入。
Ø硬盤配置
基于南方報業(yè)傳媒集團一體化稿庫平臺需要，本期方案規(guī)劃選用SSD結(jié)合大容量、低成本的NL-SAS磁盤的配置方式來實現(xiàn)SSD緩存加速(可選)，對性能要求較高的結(jié)構(gòu)化數(shù)據(jù)通過SSD的方式實現(xiàn)存儲，大量的半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)借助于NL-SAS實現(xiàn)大集中和管理。
機械硬盤配置上，單側(cè)共配置33塊NL-SAS7.2K轉(zhuǎn)速磁盤，做RAID5加熱備盤陣列保護，減除RAID耗損后約剩余不小于100TB可用存儲空間(單側(cè))，為更有效利用熱備盤功能，熱備盤選用1對多RAID組的熱備方案。核心數(shù)據(jù)存儲-鏡像共提供66塊4TBNL-SAS企業(yè)級磁盤。
SSD硬盤擯棄了傳統(tǒng)機械硬盤的機械裝置，采用電介質(zhì)，訪問延時極小，IOPS處理能力極強，但SSD固態(tài)盤具有容量小、價格高的不足，為更好實現(xiàn)容量和性能的平衡，本方案將SSD作為存儲系統(tǒng)的二級緩存使用，通過增大二級緩存的方式來提升數(shù)據(jù)訪問的命中率，提升數(shù)據(jù)讀、寫性能。
本期南方報業(yè)傳媒集團一體化稿庫平臺規(guī)劃所產(chǎn)生數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)為核心，結(jié)構(gòu)化數(shù)據(jù)具有數(shù)據(jù)量小，并發(fā)訪問要求較高的特性。鑒于此，本方案單側(cè)存儲系統(tǒng)配置10塊400GB企業(yè)級SSD固態(tài)硬盤(核心SAN存儲共配置20顆SSD)，采用手動結(jié)合緩存加速的方式來利用SSD的IOPS處理能力。
Ø容量擴展：
InfortrendDS3048R系列單機頭可擴展不同種類磁盤，存儲磁盤擴展柜可靈活選擇使用單臺48盤位的存儲擴展系統(tǒng)。InfortrendDS3048R存儲系統(tǒng)憑借強大的數(shù)據(jù)數(shù)據(jù)性能和擴展能力，完全可滿足南方報業(yè)傳媒集團至少未來5至10年內(nèi)對存儲容量、性能的需求。
u存儲容錯---InfortrendSMA
在存儲的容錯上，采用InfortrendSMA存儲容錯網(wǎng)關(guān)來實現(xiàn)存儲級容災(zāi)。針對存儲系統(tǒng)的單點故障，SMA容錯存儲系統(tǒng)正是迎合市場需求，為消除存儲設(shè)備單點故障打造的全新解決方案。
InfortrendSMA實現(xiàn)了存儲級的HA，它可無縫管理后端磁盤陣列系統(tǒng)，并能夠在兩套存儲間自動進行持續(xù)數(shù)據(jù)復(fù)制，實現(xiàn)存儲鏡像及數(shù)據(jù)的實時同步。
InfortrendSMA解決方案的架構(gòu)可提升系統(tǒng)性能和數(shù)據(jù)可用性。每臺SMA設(shè)備配備有兩個集群“雙活”(active-active)鏡像引擎，以FC光纖的傳輸速率，提供持續(xù)的數(shù)據(jù)保護。SMA的雙活集群操作可確保用戶端在存儲發(fā)生故障時，仍可持續(xù)數(shù)據(jù)訪問。
SMA引擎至服務(wù)器均有兩條可用路徑(多路徑)，多路徑配置連接到互為鏡像的兩套存儲設(shè)備，可以有效防止因單點故障造成宕機。
SMA采用雙引擎設(shè)計，每引擎提供4個8G光纖主機通道，雙引擎共提供8個8G的光纖主機通道。在兩臺InfortrendDS3048R中用相同數(shù)量的硬盤做相同的RAID級別，并將存儲空間映射給SMA容錯網(wǎng)關(guān)，由SMA將需要實現(xiàn)雙寫/雙讀的存儲LUN綁定為‘MIRROR’鏡像，并將新產(chǎn)生的訪問路徑經(jīng)兩臺SMA引擎通過交換機映射給上端的業(yè)務(wù)服務(wù)器。這樣，從業(yè)務(wù)層服務(wù)器至后端就會有兩條可用路徑。
ØInfortrendSMA高可用加持續(xù)數(shù)據(jù)保護
InfortrendSMA采用模組化集群“雙活”(active-active)鏡像引擎設(shè)計，提供雙寫雙讀功能，為企業(yè)級的關(guān)鍵系統(tǒng)實現(xiàn)雙機雙柜高可用解決方案。嵌入式的硬件鏡像復(fù)制技術(shù)，在不增加用戶端主機和存儲額外負擔(dān)的情況下，持續(xù)地對數(shù)據(jù)提供保護。
Ø訪問性能提升
對于處理海量數(shù)據(jù)的應(yīng)用，SMA能夠從兩個相同的LUN讀取數(shù)據(jù)，相較于從單一LUN讀取，能夠取得很大的性能優(yōu)勢。另外根據(jù)應(yīng)用層的需求和主機數(shù)量，可以經(jīng)由堆疊更多運維機設(shè)備的方式，來提高系統(tǒng)整體吞吐量。
Ø性能及規(guī)模擴展
每臺SMA引擎都是一個獨立的容錯系統(tǒng)，擁有自主的實時操作系統(tǒng)和硬件配套，以FC纜線的速率傳輸數(shù)據(jù)。運維機引擎的模塊式設(shè)計和集群架構(gòu)，給予它極高的可擴展性，讓性能和可用性得以透過多引擎堆疊而擴展。
ØSMA對多路徑的支持
SMA支持Windows、Linux、UNIX等不同平臺的多路徑配置及管理。
ØSMA彈性復(fù)用
所有經(jīng)過SMA的數(shù)據(jù)，SMA不會對數(shù)據(jù)做任何的加工處理，SMA僅是將數(shù)據(jù)轉(zhuǎn)發(fā)至后端的存儲系統(tǒng)，并進行數(shù)據(jù)一致性的檢查和校驗。當SMA出現(xiàn)極端故障時，可選擇將連接存儲的光纖線直接連接至光纖交換機或是服務(wù)器就可直接調(diào)取數(shù)據(jù)。
Ø業(yè)務(wù)層完全透明
InfortrendSMA設(shè)備讓高可用解決方案的安裝和管理變得輕而易舉。因為數(shù)據(jù)復(fù)制是在SMA上執(zhí)行，而不是在用戶端或存儲設(shè)備上，無需安裝任何軟件或驅(qū)動程序。首次安裝只要使用SMA管理程序，鼠標點擊幾下即可，相當容易。一旦鏡像配置激活，邏輯存儲立即呈現(xiàn)到所有的用戶端，可立即使用。
Ø存儲異構(gòu)支持
SMA支持將不同品牌，不同型號的存儲匯總到一起實現(xiàn)數(shù)據(jù)大集中或存儲的異構(gòu)及容災(zāi)備份。
解決方案優(yōu)勢
Ø整個系統(tǒng)無任何單點故障，可靠性極高
Ø數(shù)據(jù)冗余，存儲容錯
Ø數(shù)據(jù)同步過程不占用主機資源
Ø存儲設(shè)備具備自動精簡配置和動態(tài)擴容功能，具有很強的靈活性
前端主機增加時，存儲架構(gòu)無需調(diào)整
用戶收益：
本期新一代數(shù)據(jù)中心綜合采用云計算、分布式集群、數(shù)據(jù)中心異構(gòu)、數(shù)據(jù)雙活及全冗余設(shè)計等先進技術(shù)，為南方傳媒集團新一代數(shù)據(jù)中心構(gòu)建彈性擴展、高效復(fù)用、易與管理的新一代數(shù)據(jù)中心。它對于整合集團的新聞信息資源、提高新聞信息利用率、降低新聞信息產(chǎn)品加工成本、滿足各部門的個性化產(chǎn)品制作需求、提高自身的核心競爭力具有重要的意義。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。