最近，由Platform Computing和SAS研究所共同贊助的一項華爾街科技調(diào)查顯示，各種規(guī)模和類型的企業(yè)，無論其是買方還是賣方，都認(rèn)為不斷增加的數(shù)據(jù)量是進行業(yè)務(wù)分析時面臨的最大挑戰(zhàn)，因此，在未來的一年里，它們將優(yōu)先投資于能敏捷分析和強有力的處理技術(shù)。對內(nèi)部和外部數(shù)據(jù)進行預(yù)測分析將使得金融服務(wù)企業(yè)可以更好、更主動地管理和解決各種可能遇到的信貸和經(jīng)營風(fēng)險、欺詐和聲譽風(fēng)險、客戶忠誠度和盈利能力等問題。
數(shù)據(jù)的增長，尤其是諸如電子郵件這樣的非結(jié)構(gòu)化數(shù)據(jù)的增長為企業(yè)帶來了特殊的挑戰(zhàn)，數(shù)據(jù)類型的多樣化和數(shù)據(jù)量的急劇增長使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫難以應(yīng)對，因此，金融服務(wù)企業(yè)正在針對數(shù)據(jù)分析研究下一代數(shù)據(jù)處理技術(shù)。
對于處理大數(shù)據(jù)來說，最有發(fā)展前景的技術(shù)之一是Apache Hadoop軟件和MapReduce框架。然而，現(xiàn)有的Hadoop軟件還缺少金融服務(wù)企業(yè)大規(guī)模部署MapReduce應(yīng)用時所需的企業(yè)級魯棒性。
在現(xiàn)有的MapReduce解決方案中，Platform公司的Platform Symphony MapReduce是最適合于投入生產(chǎn)環(huán)境中的產(chǎn)品，也是同類產(chǎn)品中的佼佼者。Platform Symphony MapReduce是一種面向MapReduce應(yīng)用的企業(yè)級分布式運行時引擎，旨在為MapReduce應(yīng)用提供可隨時應(yīng)用到生產(chǎn)環(huán)境中的各種功能，諸如很高的資源可用性和可預(yù)測性、支持多種應(yīng)用和文件系統(tǒng)、操作成熟度、SLA策略控制以及極高的資源利用率。Platform Symphony MapReduce以Platform Computing公司多年來在分布式工作負(fù)載調(diào)度和管理領(lǐng)域的豐富經(jīng)驗為基礎(chǔ)，其成熟的技術(shù)支持著《財富》500強中眾多公司要求極為苛刻的關(guān)鍵型任務(wù)的運行，為企業(yè)級的MapReduce應(yīng)用提供了前所未有的分布式工作負(fù)載運行時服務(wù)。
Platform Symphony MapReduce是一款擁有增強版MapReduce框架的企業(yè)級產(chǎn)品，其功能與Apache Hadoop的功能完全兼容，解決了組織機構(gòu)在目前可用的Apache Hadoop環(huán)境里部署MapReduce應(yīng)用所面臨的主要運行風(fēng)險。
Platform Symphony MapReduce主要模塊：
Platform Symphony MapReduce為企業(yè)級MapReduce應(yīng)用提供了以下主要功能：
l 策略驅(qū)動型工作負(fù)載調(diào)度器
Platform Symphony MapReduce策略驅(qū)動型工作負(fù)載調(diào)度器提供了10,000個優(yōu)先級，支持多個MapReduce作業(yè)并行運行。這種策略驅(qū)動型調(diào)度器的功能包括為搶先式作業(yè)提供資源優(yōu)先級，并對Map作業(yè)和Reducer作業(yè)進行公平調(diào)度，這一切都在作業(yè)層進行，以提供更好的細粒度和控制度。
l 極高的資源可用性
Platform Symphony MapReduce在分布式運行時引擎中確保了正常運行時間——因為沒有單一故障點。它提供了作業(yè)跟蹤器/任務(wù)跟蹤器自動實現(xiàn)故障切換和作業(yè)恢復(fù)，無需重新啟動作業(yè)。Platform Symphony MapReduce為Hadoop文件系統(tǒng)提供了在Hadoop分布式文件系統(tǒng)里自動實現(xiàn)故障切換的功能，并提供了文件系統(tǒng)恢復(fù)和相關(guān)作業(yè)恢復(fù)功能。
l 為應(yīng)用開發(fā)和文件系統(tǒng)的選擇提供了開放式架構(gòu)
Platform Symphony MapReduce采用開放式架構(gòu)，支持多種MapReduce應(yīng)用，確保Hadoop應(yīng)用與基于Java的MapReduce作業(yè)之間百分之百的兼容性。內(nèi)置在產(chǎn)品中的應(yīng)用適配器(Application Adapter)技術(shù)提供了與Platform MapReduce無縫的應(yīng)用集成，如此一來，采用Hadoop MapReduce技術(shù)(Java、Pig、Hive及其他技術(shù))構(gòu)建的作業(yè)無需改動編程邏輯，即可在Platform Symphony MapReduce上執(zhí)行。這種開放式架構(gòu)還提供了一種方法，可充分利用多種類型的文件系統(tǒng)和數(shù)據(jù)庫架構(gòu)。Platform Symphony MapReduce全面支持HDFS、GPFS及其他分布式文件系統(tǒng)類型和數(shù)據(jù)類型。此外，就MapReduce進程而言，輸入數(shù)據(jù)源文件系統(tǒng)的類型可以不同于輸出數(shù)據(jù)源文件系統(tǒng)。這便于支持許多應(yīng)用，包括抽取、轉(zhuǎn)換和加載(ETL)工作流邏輯。
l 支持同一集群上運行的多種MapReduce應(yīng)用和混合類型的工作負(fù)載
Platform Symphony MapReduce為MapReduce工作負(fù)載支持多達300種不同的應(yīng)用(作業(yè)跟蹤器)，以及其他類型的分布式應(yīng)用。這讓客戶可以充分利用現(xiàn)有資源和新資源，最大限度地利用IT基礎(chǔ)架構(gòu)，同時只需使用單一管理界面。
l 支持滾動升級
Platform Symphony MapReduce支持在同一集群上運行的多個版本的MapReduce應(yīng)用，無需停止運行整個集群，就可以升級軟件。運行升級后應(yīng)用的服務(wù)器可與其他節(jié)點上前一個版本的軟件產(chǎn)品共存，因而可以在一組服務(wù)器上逐步進行升級，無需讓整個集群停止運行。
l 更出色的監(jiān)控和故障排除功能
Platform Symphony MapReduce可監(jiān)控處理器和內(nèi)存的使用量，并相應(yīng)分配資源。它提供了從單臺服務(wù)器獲取日志數(shù)據(jù)，并從單一界面來管理這些數(shù)據(jù)的功能。
l 極強的數(shù)據(jù)親和力
Platform Symphony MapReduce擁有強大的數(shù)據(jù)親和力(data affinity)功能，通過在調(diào)度管理MapReduce工作負(fù)載時充分考慮數(shù)據(jù)位置，大幅提升應(yīng)用性能和資源利用率。其數(shù)據(jù)親和力功能節(jié)省了MapReduce應(yīng)用訪問大量數(shù)據(jù)所需的時間。通過加快文件訪問速度，它可以將總的應(yīng)用性能提升400%。
Platform Symphony MapReduce目前已經(jīng)在多個關(guān)鍵的市場廣泛采用，其中包括金融服務(wù)、政府機構(gòu)、零售業(yè)和生命科學(xué)等行業(yè)，為遍及各大行業(yè)的全球財富500強企業(yè)中要求最為苛刻、關(guān)鍵任務(wù)的分布式計算工作負(fù)載提供支持。
數(shù)字化要一盤棋更要各自為戰(zhàn)
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。