許多企業(yè)現(xiàn)在需要將高性能計(jì)算與數(shù)據(jù)分析相結(jié)合的解決方案。這種融合趨勢(shì)推動(dòng)了HPDA(high performance data analytics)的快速發(fā)展。
高性能計(jì)算(HPC)和大數(shù)據(jù)的融合已經(jīng)進(jìn)行了多年。雖然以前HPC和大數(shù)據(jù)在不同的環(huán)境中發(fā)展，但現(xiàn)在正走向融合。使用HPC應(yīng)用程序的人通常使用大數(shù)據(jù)，而處理大數(shù)據(jù)的人通常需要HPC系統(tǒng)的處理能力。這種融合將企業(yè)帶入了HPDA的時(shí)代。
讓我們退一步。對(duì)于企業(yè)來(lái)說(shuō)，數(shù)據(jù)的傳輸速度遠(yuǎn)遠(yuǎn)快于任何人的預(yù)期。無(wú)論是來(lái)自物聯(lián)網(wǎng)，網(wǎng)頁(yè)，商業(yè)交易或其他來(lái)源，涌入企業(yè)數(shù)據(jù)中心的數(shù)據(jù)量超過(guò)了當(dāng)前的存儲(chǔ)容量。這種大量的數(shù)據(jù)創(chuàng)造了一類新的數(shù)據(jù)整合，數(shù)據(jù)處理和數(shù)據(jù)管理挑戰(zhàn)。企業(yè)不能只是讓數(shù)據(jù)堆積。他們現(xiàn)在需要對(duì)要存儲(chǔ)的數(shù)據(jù)，要分析的數(shù)據(jù)以及要丟棄的數(shù)據(jù)做出慎重的決定。
最重要的是，企業(yè)需要找到方法將大量的數(shù)據(jù)變成有意義的洞察力。此過(guò)程越來(lái)越需要HPC功能，使應(yīng)用程序盡可能快地運(yùn)行。在許多情況下，企業(yè)需要實(shí)時(shí)生成洞察力。如需要優(yōu)化遠(yuǎn)程設(shè)備的性能，更快地響應(yīng)客戶的需求，抑或是組織潛在的欺詐性交易。
讓我們舉個(gè)例子，許多企業(yè)受到來(lái)自互聯(lián)設(shè)備(物聯(lián)網(wǎng))領(lǐng)域不斷增長(zhǎng)的數(shù)據(jù)浪潮的打擊。為了利用這些數(shù)據(jù)，無(wú)論是實(shí)時(shí)還是一段時(shí)間，企業(yè)都需要運(yùn)用復(fù)雜的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，這些技術(shù)需要與大數(shù)據(jù)平臺(tái)和數(shù)據(jù)分析工具配合使用的HPC系統(tǒng)。
借助HPDA，企業(yè)使用HPC技術(shù)來(lái)分析大數(shù)據(jù)，以便獲得快速洞察，實(shí)時(shí)結(jié)果和預(yù)測(cè)分析。一項(xiàng)研究發(fā)現(xiàn)，67%的HPC用戶已經(jīng)在使用HPDA，而不是傳統(tǒng)的HPC。
雖然HPDA在傳統(tǒng)研究驅(qū)動(dòng)的HPC應(yīng)用中是需要的，但它在企業(yè)環(huán)境中變得必不可少。根據(jù)行業(yè)的不同，企業(yè)可能需要利用以數(shù)據(jù)為中心的HPC平臺(tái)，用于傳統(tǒng)的HPC應(yīng)用程序，如基因?qū)W，金融建模和信號(hào)處理，以及新興的HPDA應(yīng)用程序，如個(gè)性化醫(yī)療，欺詐檢測(cè)和機(jī)器學(xué)習(xí)。
新工具和技術(shù)的興起
對(duì)于需要HPDA的企業(yè)，在技術(shù)方面有一個(gè)好消息：將HPC與數(shù)據(jù)分析合并的工具和技術(shù)正在快速成熟。更好的是，HPC和大數(shù)據(jù)平臺(tái)以減少在HPC和存儲(chǔ)環(huán)境之間來(lái)回移動(dòng)數(shù)據(jù)的需要方式進(jìn)行融合。此融合可幫助企業(yè)避免不同系統(tǒng)附帶的大量開(kāi)銷和延遲。
今天，企業(yè)可以選擇快速增長(zhǎng)的工具和技術(shù)，如流分析，圖形分析和在HPC環(huán)境中的探索性數(shù)據(jù)分析。讓我們簡(jiǎn)單看看這些工具。
流分析提供了新的算法和方法，幫助企業(yè)快速分析高帶寬，高吞吐量的流數(shù)據(jù)。這些進(jìn)步支持新興圖形模式，數(shù)據(jù)融合和壓縮以及大規(guī)模網(wǎng)絡(luò)分析的解決方案。
圖形分析技術(shù)支持圖形建模，可視化和評(píng)估，以了解大型，復(fù)雜的網(wǎng)絡(luò)。具體應(yīng)用包括語(yǔ)義數(shù)據(jù)分析，大數(shù)據(jù)可視化，圖形分析研究的數(shù)據(jù)集，基于活動(dòng)的分析，大圖數(shù)據(jù)工具的性能分析和防逃避異常檢測(cè)。
探索性數(shù)據(jù)分析提供了探索和分析大量流數(shù)據(jù)源的機(jī)制，以獲得新的見(jiàn)解和決策。應(yīng)用包括探索性圖分析，地理啟發(fā)式并行仿真和網(wǎng)絡(luò)分析數(shù)據(jù)集。
HPDA在行動(dòng)：案例研究
讓我們來(lái)考慮一些現(xiàn)實(shí)生活中的HPDA實(shí)例。這些例子顯示了公司如何利用高性能計(jì)算和大數(shù)據(jù)技術(shù)的融合。
為了幫助抵抗癌癥和其他疾病，TGen需要極其可擴(kuò)展，可靠和可用的HPC節(jié)點(diǎn)來(lái)開(kāi)發(fā)個(gè)性化的治療。為了滿足這一需求，TGen優(yōu)化了其基礎(chǔ)設(shè)施，利用戴爾EMC PowerEdge刀片擴(kuò)展其現(xiàn)有的戴爾EMC HPC集群。該系統(tǒng)結(jié)合了強(qiáng)大的大數(shù)據(jù)和分析工具，利用戴爾EMC Hadoop平臺(tái)和Statistica軟件。提高的性能有助于TGen加速結(jié)果，使研究人員能夠?qū)⒅委煍U(kuò)展到更多的患者。
另一個(gè)戴爾EMC客戶Sensus需要增加其數(shù)據(jù)集大小，以便能夠更輕松地查看儀表傳感器性能問(wèn)題。為了滿足這一需求，該公司實(shí)施了一個(gè)基于Hadoop平臺(tái)的數(shù)據(jù)集群和數(shù)據(jù)湖，以及來(lái)自Dell EMC和Intel的技術(shù)，整合了制造，測(cè)試和其他數(shù)據(jù)流。有了這個(gè)統(tǒng)一的平臺(tái)，Sensus可以快速分析1700萬(wàn)個(gè)氣體，電表和水表傳感器的數(shù)據(jù)，并主動(dòng)識(shí)別設(shè)備問(wèn)題，幫助預(yù)測(cè)和防止未來(lái)設(shè)備故障。
使用HPDA啟用主動(dòng)維護(hù)
在物聯(lián)網(wǎng)方面，HPDA技術(shù)能夠?qū)Y產(chǎn)進(jìn)行預(yù)測(cè)性維護(hù)，以幫助防止設(shè)備故障，延長(zhǎng)機(jī)器壽命，并幫助企業(yè)獲得更好的資產(chǎn)回報(bào)。這些技術(shù)超越了狀態(tài)監(jiān)測(cè)，使條件理解。就其自身而言，狀態(tài)監(jiān)視提供了行動(dòng)的時(shí)間，但是當(dāng)數(shù)據(jù)被動(dòng)態(tài)地提供給特定于設(shè)備的預(yù)測(cè)模型時(shí)，可以實(shí)現(xiàn)條件理解。這意味著用戶將有時(shí)間對(duì)維護(hù)事件采取行動(dòng)，并清楚地了解他們需要采取的行動(dòng)。
對(duì)于新的物聯(lián)網(wǎng)企業(yè)，面臨的挑戰(zhàn)眾多，涵蓋硬件和軟件。例如，他們需要：
確定什么是最佳傳感器網(wǎng)絡(luò)架構(gòu)和邊緣節(jié)點(diǎn)的最佳位置
確定早期分析需要什么數(shù)據(jù)，哪些數(shù)據(jù)可以丟棄，以及數(shù)據(jù)中心深度分析需要哪些數(shù)據(jù)
識(shí)別啟用數(shù)據(jù)分析和過(guò)濾的邊緣節(jié)點(diǎn)上所需的軟件堆棧
管理整個(gè)端到端流程，記住時(shí)間到洞察(如果失敗已經(jīng)發(fā)生，數(shù)據(jù)有什么好處?)
推進(jìn)部署，包括數(shù)據(jù)移動(dòng)，數(shù)據(jù)安全和合規(guī)性的行業(yè)最佳實(shí)踐
保持成本可管理
這就是專業(yè)知識(shí)非常方便的地方?？紤]到這一想法，戴爾EMC與Software AG和Kepware合作，為主動(dòng)維護(hù)生成端到端解決方案。它提供了完整的硬件，軟件堆棧，可輕松實(shí)現(xiàn)物聯(lián)網(wǎng)傳感器的管理，生成的數(shù)據(jù)以及實(shí)時(shí)分析數(shù)據(jù)，從而最終簡(jiǎn)化基于IoT的基礎(chǔ)設(shè)施維護(hù)解決方案的部署。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。