投入超過3500名研究和開發(fā)人員在全球十余個實(shí)驗(yàn)室開展與Spark相關(guān)的項(xiàng)目——在IBM的發(fā)展歷史上，從來沒有一個開源軟件如此受到重視，這業(yè)意味著IBM資助的力度之大相當(dāng)于每年數(shù)億美元的投入。IBM何以賭博式的押注Spark?在開源時代，IBM將發(fā)生怎樣的變化?帶著種種問題，IBM大中華區(qū)大數(shù)據(jù)與分析事業(yè)部總經(jīng)理鐘澤敏先生;IBM大中華區(qū)大數(shù)據(jù)與分析事業(yè)部數(shù)據(jù)平臺方案總經(jīng)理劉勝利先生;IBM大中華區(qū)軟件架構(gòu)師總監(jiān)、IBM技術(shù)科學(xué)院委員林旭光先生;IBM大中華區(qū)大數(shù)據(jù)分析平臺銷售總監(jiān)洪建勛先生與CSDN進(jìn)行了獨(dú)家溝通。
Spark——IBM未來十年最重要的事
如果說最大數(shù)據(jù)領(lǐng)域Hadoop引領(lǐng)了潮流，那么Spark無疑也成為了這場變革中的佼佼者。曾有人指出“如果說Hadoop勝在規(guī)模的話，那么Spark就勝在速度。”而IBM此次宣布與Spark開源的合作，也看出藍(lán)色巨人在大數(shù)據(jù)在逐漸強(qiáng)化自己的能力。
IBM大中華區(qū)大數(shù)據(jù)與分析事業(yè)部總經(jīng)理鐘澤敏強(qiáng)調(diào)：在中國市場，不同領(lǐng)域的開源技術(shù)發(fā)展的很快，包括Spark。因此IBM把這個事情結(jié)合起來，叫“數(shù)據(jù)的力量跟開源的發(fā)展”， IBM的數(shù)據(jù)跟Spark發(fā)展在全世界以及中國也是非常的重要。這是IBM的看法，這是我們未來十年IBM在開源社區(qū)以及Spark是一個最重要的項(xiàng)目。
IBM大中華區(qū)大數(shù)據(jù)與分析事業(yè)部總經(jīng)理鐘澤敏對于IBM方面對Spark的支持提出兩點(diǎn)：首先IBM作為一個在數(shù)據(jù)方面非常成熟的廠商，非常愿意把一些最新的技術(shù)帶到開源包括Spark里面;第二個，我們要使一個開源社區(qū)有很好的發(fā)展，就需要重視對技術(shù)的人員有關(guān)技術(shù)的培訓(xùn)。
據(jù)悉，目前IBM已經(jīng)在Developer Works上提供免費(fèi)的Spark課程，在第三季度，就會有第二波的Spark基本的課程出來，更多的技術(shù)專家可以透過IBM技術(shù)培訓(xùn)去理解最新的Spark的發(fā)展是怎么樣的。
注入藍(lán)色基因的Spark終將引領(lǐng)大數(shù)據(jù)潮流
在采訪中IBM大中華區(qū)大數(shù)據(jù)與分析事業(yè)部數(shù)據(jù)平臺方案總經(jīng)理劉勝利先生特別提到了未來IBM在Spark上的幾個關(guān)鍵的投入：
技術(shù)方面
SystemML是IBM超過十年以上的時間已經(jīng)在研發(fā)的機(jī)器學(xué)習(xí)的技術(shù)。IBM在SystemML研究上至少在主流業(yè)界上我們領(lǐng)先十年以上，并且有一些實(shí)際的產(chǎn)品化的東西，2011年1月26日, IBM超級計(jì)算機(jī)沃森(Watson)在公開測試中擊敗了美國智力競賽節(jié)目《危險邊緣》的兩位總冠軍，這里面其中整合了很多SystemML技術(shù)學(xué)習(xí)的功能，當(dāng)然沃森(Watson)本身是一個非常復(fù)雜的人工智能的系統(tǒng)，其中核心之一就是機(jī)器學(xué)習(xí)的一些內(nèi)容。而IBM則希望能夠?qū)崿F(xiàn)對于Spark本身把SystemML的功能輸送給Spark，能夠讓Spark具有更強(qiáng)大的學(xué)習(xí)能力，讓數(shù)據(jù)科學(xué)家專注于算法，而不是一些很簡單的很細(xì)節(jié)的技術(shù)本身。同時能夠讓機(jī)器學(xué)習(xí)的歷程實(shí)現(xiàn)比較標(biāo)準(zhǔn)化的東西。
培訓(xùn)方面：
IBM的培訓(xùn)不光是對IBM內(nèi)部人員的培訓(xùn)，也為市場上的開發(fā)人員以及市場上一些公司的技術(shù)人員能夠提供比較先進(jìn)的這些技術(shù)，包括Spark技術(shù)。據(jù)悉IBM在全球宣布要培養(yǎng)100萬數(shù)據(jù)科學(xué)家(data scientist)。目前，IBM方面已經(jīng)準(zhǔn)備好的培訓(xùn)課程包括Spark基本原理的初級和二級培訓(xùn)，以及Spark高級開發(fā)系列培訓(xùn)和數(shù)據(jù)科學(xué)一些方法論的培訓(xùn)。這些培訓(xùn)不光是IBM自己做，也和IBM在全球一些主要的合作伙伴像Databricks、AMPLab等等，這些都是在技術(shù)上非常具有創(chuàng)新、領(lǐng)先的一些合作伙伴。
劉勝利表示：在全球，IBM也會成立Spark技術(shù)中心，現(xiàn)在在美國Spark技術(shù)中心已經(jīng)成立起來。這個技術(shù)中心的一個任務(wù)是推廣Spark技術(shù)在公司以及在客戶的采用，對Spark的采用。我們會圍繞著Spark在商業(yè)問題上的解決提供一些方案，包括免費(fèi)的教育資源以及Spark的一些改進(jìn)和Spark上的應(yīng)用。
劉勝利強(qiáng)調(diào)：IBM大數(shù)據(jù)分析部門希望在這幾點(diǎn)上能夠?qū)φ麄€業(yè)界產(chǎn)生一定的影響，包括專家的培養(yǎng)、互動體驗(yàn)、培訓(xùn)以及端對端，也就是到最終客戶實(shí)際應(yīng)用到應(yīng)用方面的咨詢、實(shí)施和運(yùn)行，也要結(jié)合云數(shù)據(jù)中心這樣的概念，把Spark技術(shù)利用起來。
對此，我們也不難看出IBM此舉的決心和魄力，更樂意看到融合了IBM傳統(tǒng)的研發(fā)能力，加上IBM對新技術(shù)的快速推動，和這些公司的合作， 可以推動Spark在全球客戶快速采用以及方便采用上能夠提供極大的便利性。
IBM攜手Spark開啟開源時代
盡管IBM與Spark這場互助行動剛剛開始，但是Spark作為一項(xiàng)服務(wù)已經(jīng)IBM Bluemix平臺上提供給客戶。IBM把Spark轉(zhuǎn)到Bluemix上，實(shí)際上結(jié)合IBM大的公司的戰(zhàn)略——CMASS，也就是云、大數(shù)據(jù)分析、社交媒體、移動互聯(lián)、安全這樣一個大的公司策略。首先，把Spark跑在云平臺上，其次，IBM在Hadoop系統(tǒng)上現(xiàn)有的Hadoop bigInsights，采用OpenStack Platform這樣一個平臺，把Spark集成在新的開源的平臺上。
IBM技術(shù)科學(xué)院委員林旭光先生表示：這樣的好處就是用戶既可以用Hadoop技術(shù)又可以用Spark技術(shù)，既可以是開源又可以是開放平臺的。這是我們Hadoop版本在致力于做的一個方向，這個產(chǎn)品已經(jīng)到4.0版本，現(xiàn)在Spark已經(jīng)是我們在這個產(chǎn)品里面一個馬上可以使用的技術(shù)。
此外“流分析”的技術(shù)也是IBM在大數(shù)據(jù)中一個非常重要的計(jì)算模式，而IBM Streams現(xiàn)在已經(jīng)可以跑在Spark上。前文我們已經(jīng)提到Spark以快諸稱，而流本身的特點(diǎn)也是快，加在一起則是快上加快。“所以，我們希望IBM流的技術(shù)以及自己本身的技術(shù)和Spark開源技術(shù)結(jié)合在一起，能夠更好的提供業(yè)界的開放的流計(jì)算的模式。” 林旭光說。“在年內(nèi)我們還會陸續(xù)推出更多基于Spark的產(chǎn)品出來，包括Watson Analytics、DataWorks，以及我們的PuerData這是我們的一體機(jī)，以及我們一些方案和正在孵化的項(xiàng)目。這是我們年內(nèi)晚些時候陸續(xù)在在產(chǎn)品、技術(shù)、方案上推出更多的一些舉措。”
后記：
在JAVA上開源，過去的15年中，企業(yè)級的核心應(yīng)用圍繞Java這樣一個平臺運(yùn)行，可以說IBM在Java的開源貢獻(xiàn)以及IBM Websphere在支撐整個業(yè)界Java的運(yùn)行上起到一個非常重要的作用，應(yīng)該是業(yè)界排第一的一個平臺;2001至2005Linux在中國大熱的這幾年，在中國大規(guī)模采用Linux技術(shù)，IBM也是Linux開源的主要推動者。今天Hadoop和Spark作為開源，我們也看到了IBM的大規(guī)模投入。
作為一家百年老店，IBM卻在創(chuàng)新上始終不遺余力，我們也期待看到IBM與Spark的攜手，開啟一個嶄新的開源的時代。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。