10月24日，由華為技術(shù)有限公司與福建鯤鵬生態(tài)創(chuàng)新中心聯(lián)合主辦的“1024鯤鵬開發(fā)者技術(shù)沙龍”在福州順利舉行。
在沙龍上，來自福建鯤鵬生態(tài)創(chuàng)新中心運(yùn)營(yíng)總監(jiān)宋宗佑為活動(dòng)進(jìn)行致辭，福建鯤鵬生態(tài)創(chuàng)新中心生態(tài)總監(jiān)朱曉彤對(duì)鯤鵬生態(tài)創(chuàng)業(yè)中心進(jìn)行介紹，加深了大家對(duì)于鯤鵬產(chǎn)業(yè)的理解。
宋宗佑：這是一個(gè)萬億級(jí)的市場(chǎng)，也是非常龐大的生態(tài)體系
福建鯤鵬生態(tài)創(chuàng)新中心運(yùn)營(yíng)總監(jiān)宋宗佑
創(chuàng)新引領(lǐng)未來，代碼改變世界。鯤鵬積極參與發(fā)展戰(zhàn)略，各省也積極擁抱出臺(tái)鯤鵬產(chǎn)業(yè)。與此同時(shí)，各地方政府現(xiàn)在已經(jīng)是把鯤鵬計(jì)算產(chǎn)業(yè)放在戰(zhàn)略布局中，今年，福州市政府出臺(tái)了77號(hào)文件《關(guān)于構(gòu)建鯤鵬產(chǎn)業(yè)生態(tài)的實(shí)施意見》幫助本地鯤鵬產(chǎn)業(yè)和鯤鵬伙伴共同發(fā)展。鯤鵬生態(tài)是華為開放自主的鯤鵬處理器主板、部件，以及聯(lián)合伙伴打造，拓展到虛擬化、大數(shù)據(jù)平臺(tái)、中間件零服務(wù)等上層應(yīng)用軟件，這是一個(gè)萬億級(jí)的市場(chǎng)，也是非常龐大的生態(tài)體系?，F(xiàn)在，華為在各地區(qū)打造鯤鵬產(chǎn)業(yè)生態(tài)基地，聯(lián)合伙伴開展應(yīng)用示范，培養(yǎng)產(chǎn)業(yè)人才，孵化產(chǎn)業(yè)標(biāo)準(zhǔn)。我們的目標(biāo)就是要構(gòu)筑一個(gè)鯤鵬生態(tài)圈，激活商業(yè)市場(chǎng)。在今天的開發(fā)者日上，希望大家能夠結(jié)識(shí)新朋友，對(duì)鯤鵬生態(tài)有更深的了解，與鯤鵬生態(tài)一起成長(zhǎng)!
朱曉彤：鵬計(jì)算產(chǎn)業(yè)已成燎原之勢(shì)，產(chǎn)業(yè)生態(tài)逐步走向快車道
福建鯤鵬生態(tài)創(chuàng)新中心生態(tài)總監(jiān)朱曉彤
我來對(duì)鯤鵬生態(tài)創(chuàng)業(yè)中心做個(gè)介紹。當(dāng)前全球進(jìn)入了數(shù)據(jù)為關(guān)鍵生產(chǎn)要素的數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)字應(yīng)用多樣性促使數(shù)據(jù)資源發(fā)生變化。鯤鵬計(jì)算產(chǎn)業(yè)致力打造全球競(jìng)爭(zhēng)力計(jì)算產(chǎn)業(yè)集群，通過業(yè)界提供基于鯤鵬處理器的軟硬件基礎(chǔ)設(shè)施，滿足市場(chǎng)對(duì)新計(jì)算的需求，支撐全社會(huì)的的數(shù)字化轉(zhuǎn)型。當(dāng)前，自動(dòng)駕駛、人工智能、云游戲、智能制造、物聯(lián)網(wǎng)等應(yīng)用場(chǎng)景的多樣化，傳統(tǒng)單一的架構(gòu)難以滿足現(xiàn)在市場(chǎng)的數(shù)據(jù)處理和用戶體驗(yàn)的要求，因此對(duì)計(jì)算平臺(tái)提出新的要求。
新計(jì)算發(fā)展的成功關(guān)鍵在于完善整個(gè)生態(tài)體系，鯤鵬生態(tài)基于鯤鵬處理器的基礎(chǔ)軟硬件設(shè)施、行業(yè)應(yīng)用以及服務(wù)，涵蓋了從底層硬件、基礎(chǔ)軟件到上層應(yīng)用的全產(chǎn)業(yè)鏈?？v觀全景，從硬件上，鯤鵬生態(tài)圍繞昇騰AI芯片、存儲(chǔ)控制芯片、網(wǎng)絡(luò)控制芯片等主要部件，以及它構(gòu)成的PC、服務(wù)器、存儲(chǔ)等整機(jī)產(chǎn)品;從上層基礎(chǔ)軟件上，鯤鵬包括數(shù)據(jù)庫(kù)、操作系統(tǒng)中間鍵等軟件，如歐拉和高斯系統(tǒng)與數(shù)據(jù)庫(kù);基于行業(yè)應(yīng)用，鯤鵬主要涵蓋了金融、制造、政府、交通、農(nóng)林電力等各個(gè)行業(yè)，并且提供數(shù)字化的行業(yè)應(yīng)用解決方案。
華為公司對(duì)鯤鵬的投入也在持續(xù)，2019年華為發(fā)布了面向所有開發(fā)者的破土計(jì)劃2.0，未來5年會(huì)投入15億美元用于發(fā)展鯤鵬生態(tài)。
福建鯤鵬生態(tài)創(chuàng)新中心目前可以為開發(fā)者和企業(yè)伙伴提供服務(wù)器資源，鯤鵬創(chuàng)新中心的主要運(yùn)營(yíng)職責(zé)，包括產(chǎn)業(yè)服務(wù)、人才培養(yǎng)、生態(tài)培育等，可以發(fā)放華為的認(rèn)證考試券。
如今，鯤鵬計(jì)算產(chǎn)業(yè)一年多來發(fā)展已成燎原之勢(shì)，聚集了1000多家軟硬件企業(yè)，形成了基于鯤鵬的軟硬件產(chǎn)品3000多款，產(chǎn)業(yè)生態(tài)逐步走向快車道。
接下來，華為的技術(shù)專家對(duì)鯤鵬云平臺(tái)和大數(shù)據(jù)平臺(tái)展開了詳細(xì)介紹，并通過實(shí)踐講解了平臺(tái)解決方案。
鯤鵬云平臺(tái)解決方案
鯤鵬云平臺(tái)解決方案工程師劉繼周
我今天主要對(duì)鯤鵬生態(tài)做介紹，加深大家對(duì)于鯤鵬在虛擬化方面所做的事情的理解。
首先從當(dāng)前業(yè)界的趨勢(shì)，也就是虛擬化云計(jì)算開始。從PC時(shí)代到移動(dòng)互聯(lián)網(wǎng)時(shí)代，再到AI+5G的云時(shí)代，不斷變化擴(kuò)展的新場(chǎng)景需要多樣性的計(jì)算，云平臺(tái)也隨之出現(xiàn)云化和虛擬化的趨勢(shì)。
傳統(tǒng)行業(yè)市場(chǎng)基于KVM技術(shù)構(gòu)筑成熟、穩(wěn)定的IaaS平臺(tái)，互聯(lián)網(wǎng)行業(yè)基于Docker容器技術(shù)構(gòu)筑靈活、標(biāo)準(zhǔn)化、輕量化PaaS平臺(tái)。在這樣的背景下，華為鯤鵬計(jì)算云平臺(tái)應(yīng)運(yùn)而生。
鯤鵬的優(yōu)化方向主要是兩大主線，一個(gè)是KVM，一個(gè)是docker技術(shù)的虛擬化。現(xiàn)在，鯤鵬推出的OpenStack+KVM是主流，上圖中可以看到OpenStack+KVM開發(fā)框架虛擬化管理平面，是基于虛擬化之上。最底層為鯤鵬平臺(tái)。
目前，鯤鵬在虛擬化開源上已支持Qemu，KVM，并基于KVM進(jìn)行調(diào)優(yōu)，在硬件、虛擬化和操作系統(tǒng)上做了優(yōu)化。
鯤鵬還支持Kubernetes+Docker云平臺(tái)。
目前，鯤鵬主要部署在金融、政府、運(yùn)營(yíng)商、政府網(wǎng)。
鯤鵬一個(gè)很大的優(yōu)點(diǎn)是核多，64核+多核計(jì)算架構(gòu)，資源池大，整機(jī)性能高。虛擬機(jī)基于物理核構(gòu)建，VM隔離性好，性能更穩(wěn)定。
另外，鯤鵬還支持混合部署，新的OpenStack+KVM把原有的作為計(jì)算節(jié)點(diǎn)，混合不同的云，基于原有的X86AZ，可以把鯤鵬平臺(tái)作為計(jì)算平臺(tái)進(jìn)行擴(kuò)容。
鯤鵬很多虛擬化方案代碼和調(diào)優(yōu)手段都是開源的，希望大家能夠共同參與到虛擬化共建中來。
鯤鵬計(jì)算大數(shù)據(jù)解決方案
鯤鵬大數(shù)據(jù)研發(fā)工程師王登陽(yáng)
首先從整體架構(gòu)上介紹一下鯤鵬大數(shù)據(jù)解決方案，它主要由硬件基礎(chǔ)、操作系統(tǒng)、中間件，以及大數(shù)據(jù)平臺(tái)等多個(gè)部分組成。
硬件基礎(chǔ)方面，鯤鵬大數(shù)據(jù)解決方案提供了基于鯤鵬處理器的泰山服務(wù)器，在高速緩存的情況下，同時(shí)支持SSD用于加速。
操作系統(tǒng)方面，支持當(dāng)前主流的商用開源操作系統(tǒng)和國(guó)產(chǎn)化操作系統(tǒng)，比如華為自研的歐拉等。中間件JDK、GCC等大數(shù)據(jù)編譯器中間件目前也都是支持鯤鵬產(chǎn)業(yè)生態(tài)的。
加速特性方面，支持EC編解碼指令加速，同時(shí)提供了基于指令與算法優(yōu)化的KAL機(jī)器學(xué)習(xí)庫(kù)等。除此之外，也支持常見的Hbase等眾多大數(shù)據(jù)組件，和華為自研的FusionLnsight、開源的Apache、CDh/HDP和星環(huán)等平臺(tái)。
目前，鯤鵬生態(tài)基礎(chǔ)逐漸完善，技術(shù)成熟，也支持更多的合作伙伴進(jìn)行大數(shù)據(jù)平臺(tái)的移植。
大數(shù)據(jù)對(duì)應(yīng)的典型配置方案主要是針對(duì)實(shí)時(shí)流處理、實(shí)時(shí)檢索、離線分析/數(shù)據(jù)挖掘和冷數(shù)據(jù)存儲(chǔ)進(jìn)行數(shù)據(jù)處理的優(yōu)化。
離線分析以HDFS為數(shù)據(jù)底座，常見的計(jì)算引擎以Hive/Spark為主。在離線分析上，推薦的典型配置是鯤鵬5220搭配12塊SATA數(shù)據(jù)盤。實(shí)時(shí)檢索，主要是針對(duì)海量數(shù)據(jù)，進(jìn)行實(shí)時(shí)查詢，其對(duì)查詢響應(yīng)時(shí)間要求比較高，一般采用的是2P的鯤鵬5250和24塊1.2GSAS數(shù)據(jù)盤。最后是實(shí)時(shí)流處理，一般通過Kafka將數(shù)據(jù)傳輸給Stom和Flink，完成數(shù)據(jù)處理后，上傳到Redis進(jìn)行存儲(chǔ)。這同樣對(duì)查詢響應(yīng)時(shí)間要求較高，通常采用2P的鯤鵬5220和12塊1.2G的SAS盤。
此外，鯤鵬大數(shù)據(jù)還做了一些適配和開源的實(shí)踐。在大數(shù)據(jù)的適配上，常見的大數(shù)據(jù)組件移植主要是針對(duì)包含移植內(nèi)容有JAr包、SO文件和可執(zhí)行二進(jìn)制文件等。鯤鵬大數(shù)據(jù)還在大數(shù)據(jù)上進(jìn)行了特性開發(fā)并開源，包括SM4的國(guó)密加速，通過內(nèi)置加解密加速引擎，明文數(shù)據(jù)通過總線傳輸，來有效保證數(shù)據(jù)的安全性，目前支持SM3/SM4的國(guó)密算法。
目前，鯤鵬大數(shù)據(jù)開源生態(tài)發(fā)展迅速，在Hbase等幾個(gè)核心組件上開源社區(qū)都支持ARM、最新的ES和Hadoop。后期，鯤鵬大數(shù)據(jù)將繼續(xù)完善社區(qū)對(duì)應(yīng)的ARM構(gòu)建，保證不同版本的軟件對(duì)應(yīng)的編譯流程打包，甚至是測(cè)試流程能力完整和完備，確保代碼在ARM上的質(zhì)量。
圍繞生態(tài)建設(shè)，鯤鵬大數(shù)據(jù)也有了一些進(jìn)展。比如2019年在HC大會(huì)上，鯤鵬四個(gè)開發(fā)套件亮相，包括分析掃描、代碼遷移工具、編譯器和性能優(yōu)化工具。而且，隨著鯤鵬影響力與日俱增，鯤鵬社區(qū)也應(yīng)運(yùn)而生，現(xiàn)已涵蓋了10+的軟件領(lǐng)域，包括中間件、操作系統(tǒng)等，同時(shí)提供200+主流軟件和豐富的產(chǎn)品技術(shù)支持和解決方案。另外，鯤鵬大數(shù)據(jù)還打通了自己的Maven倉(cāng)庫(kù)和RPM倉(cāng)庫(kù)，提供含有SO文件空文檔的jar包。
總結(jié)起來，鯤鵬大數(shù)據(jù)有以下幾大優(yōu)勢(shì)：
·高性能:鯤鵬多核實(shí)現(xiàn)高并發(fā)IO
·平滑擴(kuò)容:支持鯤鵬與x86混合部署，實(shí)現(xiàn)現(xiàn)網(wǎng)集群平滑擴(kuò)容 • 安全加解密:基于芯片內(nèi)置硬件加解密，支持國(guó)密算法
·豐富生態(tài):支持主流開源軟件和國(guó)產(chǎn)化商業(yè)軟件，軟硬件解耦
鯤鵬展翅，未來可期，希望后期鯤鵬發(fā)展道路上，可以看到在座各位的身影。
想要了解沙龍上還發(fā)生了哪些有趣的互動(dòng)嗎?
圖片直播：
https://www.pailixiang.com/album_ia883432105.html
抓住數(shù)字化轉(zhuǎn)型關(guān)鍵點(diǎn)
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。