高性能計算
(High Performance Computing,HPC)
早已不是陽春白雪,
正在以令人驚訝的普及程度,
近年來在多個行業(yè)領域迅速鋪開。
這一切,戴爾功不可沒。
并且在全球HPC市場排名中,
戴爾一直位居前列。
”
行業(yè)應用落地加快HPC普及
全球第三方權威調研機構IDC在2015年有關HPC的報告顯示:全球HPC市場2014年約為210億美元,預計到2019年將增長為312億美元,年復合增長率為 8.3%。
HPC按照IT組成部分來看,2015-2019年期間,存儲部分的增長率最快,為9.4%,其次,中間件部分增長為7.8%,服務器和應用部分的市場增長速率為7.7%,服務部分的增長速率為6.7%。
這組數(shù)據(jù)說明了,HPC因為用戶在數(shù)據(jù)領域的增長變化,已經(jīng)呈現(xiàn)出來了新的態(tài)勢,特別是HPC與大數(shù)據(jù)結合的模式,已經(jīng)備受業(yè)界所關注。
當然,來自服務器和關鍵應用部分的增長雖然比存儲部分要低1個多百分點,但這也足夠證明服務器和關鍵應用部分的重要性。高性能計算強調的首位是計算,然后針對HPC的普及又必須強調應用。因為應用的增長,也必然在加速HPC的行業(yè)落地。
不僅如此,在國家國策的驅動下,HPC在中國市場的發(fā)展更為活躍。2016年7月,國務院印發(fā)了《十三五國家科技創(chuàng)新規(guī)劃》,其中HPC與云計算、人工智能、物聯(lián)網(wǎng)等同時被列為“十三五”期間重點發(fā)展的新一代信息技術。有了國家國策的指導作用,在很大程度上可以起到引導和促進HPC相關產(chǎn)業(yè)的健康發(fā)展與興盛,HPC技術和應用在中國諸多行業(yè)領域的落地與普及也就有了更大的動力。
特別是在一些新興的學科和領域,HPC已經(jīng)成為了科學研究的必備工具。
隨著計算技術的發(fā)展,尤其是開放架構和開源的日漸成熟,CPU從單核向多核演變,以及GPU在加速計算方面的給力表現(xiàn), 推動著HPC不斷向平民化演進,應用領域也迅速擴展。
可見,從陽春白雪到下里巴人,HPC的普及化趨勢也是其技術力量的促進。HPC技術的進步自然帶來了應用的更加廣泛和深入。
比如近年來興起的基因組測序,與人們生活生產(chǎn)密切相關的氣象預報,制造業(yè)中的仿真設計,應用于大數(shù)據(jù)分析的HPC更是迅速發(fā)展,像互聯(lián)網(wǎng)應用中的客戶行為分析,醫(yī)學流行病預測、深度學習、人臉識別等等。
總的來看,HPC不僅在科學計算、天文、能源、軍事等方面繼續(xù)發(fā)揮著重要的作用,同時在基因測序、氣象科學、制造業(yè)創(chuàng)新、大數(shù)據(jù)分析、醫(yī)療醫(yī)學、深度學習、人臉識別等等領域,HPC 正在越來越普及化、平民化,并服務于大眾,與我們大家的日常生活越來越息息相關。
HPC之所以可以發(fā)展到今天這樣的普及化程度,這與戴爾這樣專注通過開放、 經(jīng)濟的解決方案,提升了中小企業(yè)將HPC作為挑戰(zhàn)傳統(tǒng)行業(yè)布局和業(yè)務模式利器的有關。
因此,普及HPC應用不僅僅是可以觸及到大眾的生活,更要能讓千千萬萬中小規(guī)模的企業(yè)用戶從中獲得自我創(chuàng)新的“新能力”。
事實上,中國真的步入了HPC的普及化應用期了嗎?
來自中橋調研咨詢對于中國企業(yè)部署HPC的情況的調查發(fā)現(xiàn),分別在2015年8月和2016年4月進行過兩次相關的調查,并就調查結果進行了比較。結果顯示,在受訪企業(yè)中,“已經(jīng)部署”和“未來12個月內部署”兩個選項 的2016年調查比率(10.2% 和 15.1%)都明顯高于2015年的結果(7.3% 和 11.0%)。這就充分證明了中國用戶對于HPC的應用需求程度在明顯逐年提升。
HPC 進入應用普及期
尤其值得注意的是,選擇“正在評估 HPC”的企業(yè)2016年(34.2%)是2015年的(15.3%)兩倍以上。而相應地,“不會部署”和“不知道”的比率則大大下降。
這就說明了HPC在企業(yè)用戶中的地位提升了,大家對于HPC的認知早就不同于從前了,如何能有效利用和應用HPC,并與業(yè)務有機結合,成為了用戶關心的重點。
比如,來自中橋調研咨詢針對受訪企業(yè)中的典型代表進行了深訪,多數(shù)企業(yè)CIO表示:企業(yè)在進行數(shù)字化轉型過程中,數(shù)據(jù)量迅速增長,而這些數(shù)據(jù)無疑是企業(yè)的“命脈”,企業(yè)已經(jīng)或計劃通過HPC實現(xiàn)大數(shù)據(jù)分析,從而提升企業(yè)的競爭力。
同時在虛擬現(xiàn)實 、增強現(xiàn)實、商情 / 輿情分析、人工智能等領域的新技術和新應用,成為了HPC新的增長點。
中國企業(yè)對于HPC的接受程度獲得了前所未有的提升,在面臨自身業(yè)務創(chuàng)新的現(xiàn)實情況下,HPC所能發(fā)揮出的作用越辣越明顯,也帶動HPC進入一個應用的普及期。
既然來自IDC和中橋調研咨詢的兩大分析機構對HPC的增長趨勢十分看好,也通過實際調研表明了HPC正在走向普及化。那么,是什么力量在驅動HPC走向了普及化?
HPC市場發(fā)展的重要驅動力
戴爾認為,這一切的主要驅動力來自應用數(shù)量、大數(shù)據(jù)、新興應用和HPC門檻降低四個方面。
在應用數(shù)量和形態(tài)驅動力方面。中橋調研咨詢2017年IT趨勢調研數(shù)據(jù)顯示,80%以上受訪的中國用戶已經(jīng)或未來24個月內將要把數(shù)字化轉型作為戰(zhàn)略重點。在數(shù)字經(jīng)濟時代,IT應用開發(fā)部署直接決定著企業(yè)通過數(shù)字化創(chuàng)新的能力,觸發(fā)應用量的急劇增加。同時,應用的多線程和高并發(fā)技術走向,催生出更多的HPC需求。此外, 在C2B的數(shù)字化新模式中,數(shù)據(jù)成為企業(yè)業(yè)務新引擎,系統(tǒng)處理能力決定著用戶體驗和增長空間,帶動HPC的市場需求不斷增加。
在大數(shù)據(jù)驅動力方面,前瞻性、迅捷響應、高效協(xié)作成為決定企業(yè)競爭力的軟資源。通過前后臺打通,實現(xiàn)全業(yè)務數(shù)字化,保證業(yè)務各環(huán)節(jié)數(shù)據(jù)交互和分析速度,是形成數(shù)字經(jīng)濟個性化生產(chǎn)服務效率的關鍵。
大數(shù)據(jù)與HPC的結合衍生出了HPDA(High Performance Data Analysis,高性能數(shù)據(jù) 分析)技術。據(jù)IDC數(shù)據(jù)顯示:目前有67%的HPC資源用于HPDA,而機器學習 / 深度學習、欺詐檢測的需求就是其中較為典型的應用。大數(shù)據(jù)時代的到來將使HPDA應用成為HPC的下一個強力增長點。
在新興應用驅動力方面,HPC應用正從過去主要傳統(tǒng)科研領域計算密集型為主,逐漸向新興的大數(shù)據(jù)、人工智能以及深度學習等方向進行融合和演進。雖然傳統(tǒng)的HPC應用的剛需繼續(xù)存在,但是數(shù)字時代無論是智能制造、智慧醫(yī)療、智慧城市、智能家居,高性能計算都將成為核心技術。特別是近兩年備受關注的人工智能領域,如自動駕駛汽車、無人機、人臉識別、醫(yī)療診斷、智能家居、購物推薦, 以及金融分析和商業(yè)決策等,其核心是大數(shù)據(jù)支持,HPC成為人工智能模型訓練的重要支撐平臺。
在HPC門檻降低加速普及方面,首先,標準化的HPC方案,降低了高性能成本門檻。在處理器方面,微處理器大舉進入HPC市場,CPU從單核演變到多核,性價比優(yōu)勢日益凸顯。在HPC市場上占據(jù)相當份額的英特爾至強融核處理器和英特爾全新高速互連技術架構Omni-Path,以及GPU 計算加速卡進一步推動著HPC向更多領域普及。其次,針對典型行業(yè)HPC的藍圖參考架構、高性能生態(tài)聯(lián)盟、高性能應用框架,降低了HPC架構部署管理難度和應用開發(fā)強度,使HPC的技術門檻進一步降低,加速HPC市場的普及。
三大戰(zhàn)略Hold住HPC應用
正因為HPC的發(fā)展已進入應用普及階段,由此產(chǎn)生了更多的新機遇與挑戰(zhàn)。構建經(jīng)濟高效、高性能、擴展性強、靈活且易于管理的HPC平臺,進一步拓展HPC應用領域成為當下HPC發(fā)展面臨的挑戰(zhàn)和需求。
“在中國,為中國”,戴爾中國4.0戰(zhàn)略不斷深化下,戴爾為實HPC普及化、平民化的愿景,與合作伙伴、社區(qū)共同推動HPC平臺生態(tài)圈的構建,加速HPC在中國的應用和普及進程。
戴爾通過創(chuàng)新、高性價比的解決方案組合,不僅滿足科學計算領域包括基因工程、能源、國防、航空、氣象等行業(yè)對HPC的需求,還滿足新IT應用包括云計算、大數(shù)據(jù)分析、深度學習、人工智能等方面對HPC的需求。全面致力于HPC的市場化、商用化、普及化,以滿足各種層次各行業(yè)用戶的應用需求,幫助更多的企業(yè)和機構實現(xiàn)創(chuàng)新驅動發(fā)展。
況且,戴爾多年來在HPC方面一直在為世界上一些先進的學術和研究機構提供支持,并積累了豐富的經(jīng)驗,這部分經(jīng)驗和技術也可以通過戴爾立足中國的HPC三大策略得到很好的落地。
在此基礎上,戴爾又為多個垂直行業(yè)提供了高度靈活、設計精準的HPC系統(tǒng)。借助戴爾HPC解決方案,用戶可以更快速、更經(jīng)濟地部署HPC系統(tǒng),這無疑將有助于加快創(chuàng)新速度,實現(xiàn)業(yè)務的創(chuàng)新發(fā)展。
其一,攜手科研機構,共建HPC平臺和實驗室。這也是戴爾在HPC方面的全球策略之一。
在中國,戴爾與清華大學、上海交大等合作建立了HPC中心。戴爾與中科院自動化所展開合作, 共建“人工智能與先進計算聯(lián)合實驗室”,為中科院搭建基于HPC的“人工智能”和深度學習的研發(fā)和服務平臺。
其二,聯(lián)手合作伙伴共同構建HPC生態(tài)圈。并針對與HPC相關的硬件、軟件、咨詢、服務、運維、應用等多個領域,與業(yè)界領先的技術廠商如英特爾、NVIDIA、Mellanox、Bright Computing、Altair PBSworks等長期合作,為用戶構建易部署、易管理性的端到端HPC解決方案。
戴爾與Bright Computing在Hadoop、OpenStack以及深度學習等開源領域展開全面合作。同時,戴爾還與眾多廠商和大學科研機構積極參與Open HPC開源項,為HPC創(chuàng)建一個開源框架,以降低HPC成本。
其三,出臺HPC簡化方案以適合各種規(guī)模的企業(yè)。
陽春白雪一樣的傳統(tǒng)HPC解決方案,功能強大而復雜,未必適合所有的企業(yè)。因此,戴爾在全球推出了簡化版的HPC 系統(tǒng)產(chǎn)品組合,既可提供定制的HPC系統(tǒng)的靈活性,又具備預配置型系統(tǒng)的速度、簡便性和可靠性。
針對特定的科學、制造和分析類工作負載,戴爾工程師和領域專家設計并優(yōu)化了全新的HPC系統(tǒng),便于用戶更快捷應用、部署HPC方案。
方案助落地,構建HPC應用最佳執(zhí)行力。
既然提到了HPC解決方案,這里不妨再繼續(xù)往下看,我們來點更詳細的內容。
經(jīng)過驗證和認證的HPC解決方案
目前,戴爾在HPC方面,從產(chǎn)品組合到行業(yè)解決方案,從優(yōu)化服務到合作伙怑,戴爾提供了經(jīng)過驗證和認證的HPC解決方案。
面向生命科學、制造、科研等領域,戴爾根據(jù)行業(yè)用戶HPC典型應用場景,提供了HPC參考架構和解決方案,以及戴爾HPC NFS存儲方案、基于英特爾 Lustre的戴爾HPC高性能存儲方案、戴爾深度學習方案等。
值得一提的四大解決方案,覆蓋了HPC領域用戶的主要需求。
1研究領域HPC方案
用于科學研究的HPC系統(tǒng)不僅需 要高性能的計算能力、較強的擴展能力,還需要高速存儲、 萬兆以太網(wǎng)交換機、并行文件系統(tǒng)、集群管理系統(tǒng)等應用。開放、高性能、易管理的HPC平臺,這是研究領域HPC方案的三元素。
戴爾推出的適用于研究領域的HPC方案,為用戶提供出色的性能和靈活性,支持多種不同的結構、計算、 加速器和存儲選項,其模塊化設計可根據(jù)用戶的具體工作負載自定義系統(tǒng)。
2生命科學HPC方案
戴爾針對生命科學領域對HPC的需求,基于全球最佳實踐,推出了戴爾生命科學HPC方案,可幫助生物信息學中心和遺傳學中心根據(jù)臨床要求經(jīng)濟快捷將基因分析轉為臨床治療方案。同時確保合規(guī)并保護機密數(shù)據(jù)。該方案集成了包括高性能網(wǎng)絡、 PowerEdge 高性能服務器和高性能存儲方案等戴爾HPC產(chǎn)品和服務組合。
3制造業(yè)HPC方案
戴爾針對制造業(yè)的需求,提供多種工作站,滿足3D設計、虛擬現(xiàn)實設計,結合集群或兩者并用,簡化制造場景和客戶模擬設計,通過結構分析和計算流體力學分析,提高設計效率和生產(chǎn)質量。戴爾為用戶提供靈活高性能技術選擇,以及端到端方案和服務,助力中國制造智能升級。
4深度學習HPC方案
深度學習涉及數(shù)據(jù)準備處理、特征工程、建模、調參等環(huán)節(jié)。戴爾建立端到端的深度學習HPC平 臺,簡化從數(shù)據(jù)準備到分析訓練結果的完整深度學習流程。針對深度學習,戴爾提供了靈活 的HPC技術框架、產(chǎn)品、服務和專業(yè)技能。為滿足用戶對開源軟件的新需求,戴爾繼續(xù)強化了與Bright Computing公司的合作,簡化深度學習IT架構的部署管理。針對在深度學習廣為采用開源技術 Hadoop、Openstack、Lustre,戴爾提供藍圖方案,簡化架構部署運維難度,提高深度學習業(yè)務創(chuàng)新速度。可選的機器學習框架有Caffe、Torch、Tensorflow、Theano;可選的機器學習庫包括MLPython、cuDNN、DIGITS 和 CaffeOnSpark。
另外還有三個方案和產(chǎn)品引起了業(yè)界的重點關注。一是,基于英特爾Lustre并行文件系統(tǒng)的分布式存儲,二是DSS 7000高密度存儲服務器,三是戴爾HPC NFS存儲解決方案。
基于英特爾Lustre并行文件系統(tǒng)的分布式存儲,不僅降低了高性能存儲的開支,而且滿足HPC容量和性能線性升級擴展,以及單一域名海量存儲需求。采用PowerEdge作為服務器節(jié)點、PowerVault MD3作為存儲節(jié)點、通過高速100Gb OPA或Infiniband保證低延遲。
DSS 7000高密度存儲服務器,滿足未來百萬兆級存儲需求。增強并優(yōu)化了硬件設計,能夠精準地給用戶提供定制化的服務器,滿足用戶對業(yè)務大規(guī)模擴展的需求,同時避免了數(shù)據(jù)中心體積的無限擴展。DSS 7000能在一個4U機箱中提供最高720TB的存儲容量,為對象和塊存儲提供云構建模塊比較低廉的每GB成本。
戴爾HPC NFS存儲解決方案基于NFS標準,被廣泛用于Linux的HPC集群存儲。提供包括硬件、軟件、藍圖指南、支持和部署服務的存儲解決方案,具備極其穩(wěn)定的可靠性,采用高可用性故障轉移配置。該方案可以選擇PowerEdge R630服務器作為文件管理、PowerVault MD直連存儲作為存儲節(jié)點,結合萬兆網(wǎng)絡實現(xiàn)故障切換,保證高可用。
普及化,HPC勢不可擋
不管因為技術進步,還是因為產(chǎn)品組合豐富,還是因為方案更為切合應用,還是因為整體性價比在不斷降低,種種原因最終促使HPC普及化趨勢出現(xiàn)的根本,還是源自用戶在數(shù)字化邁進過程的需求變化。
但是用戶分大規(guī)模部署和中小規(guī)模部署,類型不同,應用對于HPC性能和技術支撐的力度會有所不同,加上“隔行如隔山”的行業(yè)應用獨特性。最終也會促成HPC解決方案具備一定的行業(yè)屬性。
但這一切,都會因為HPC廠商提供堅強的技術支持與服務得以有力保障。
而像戴爾這樣,積極聯(lián)合領先的合作伙伴,并采納社區(qū)標準,推動高性能計算平臺生態(tài)圈的建立, 全方位將HPC市場化、商用化、普及化,以滿足行業(yè)用戶的應用需求為HPC推進的根本,自然能在未來贏得更大的行業(yè)發(fā)展機會,從而實現(xiàn)用戶基于HPC基礎上的更廣泛、更全面、更徹底的應用,為創(chuàng)新發(fā)展獲得強大的動力。
因此,普及化,HPC勢不可擋。
分享到微信 ×
打開微信,點擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。