智東西（公眾號(hào)：zhidxcom）

文 | 心緣

智東西9月25日?qǐng)?bào)道，全面闡述計(jì)算產(chǎn)業(yè)戰(zhàn)略一年后，華為曬出了最新的成績(jī)單，離“2萬(wàn)億美元計(jì)算產(chǎn)業(yè)大藍(lán)?！钡哪繕?biāo)又近了一步。

經(jīng)歷了一年風(fēng)起云涌的落地大潮，今天，華為全聯(lián)接大會(huì)第三天，華為在鯤鵬 昇騰計(jì)算圖譜上，再布下幾枚新的重棋：進(jìn)一步開(kāi)放鯤鵬主板，發(fā)布鯤鵬應(yīng)用使能套件Kunpeng BoostKit、鯤鵬開(kāi)發(fā)套件Kunpeng DevKit、openEuler 、openGauss、MindSpore社區(qū)最新版本，并推出破解多樣性計(jì)算時(shí)代核心痛點(diǎn)的“大殺器”——分布式多樣性計(jì)算軟件套件。

華為計(jì)算產(chǎn)品線總裁鄧泰華表示，該軟件套件“南向屏蔽多樣性算力開(kāi)發(fā)復(fù)雜性，北向使能分布式并行應(yīng)用的高效開(kāi)發(fā)，高效釋放多樣性算力潛力，助力分布式應(yīng)用價(jià)值創(chuàng)造?！?/p>

至此，鯤鵬 昇騰計(jì)算全棧能力已完整揭曉，透過(guò)華為在計(jì)算產(chǎn)業(yè)的謀篇布局，我們可以看到，華為的多樣性算力資源如何順著“開(kāi)放創(chuàng)新”的通途，滋養(yǎng)千行百業(yè)的計(jì)算沃土，又如何沿著由生態(tài)所衍生的千百條道路，潛移默化地影響千家萬(wàn)戶。

一、全棧計(jì)算能力披露！覆蓋全場(chǎng)景開(kāi)發(fā)需求

開(kāi)發(fā)者有日常“三煩”：算力資源貴、算法跑得慢、工具使用難。

以種地來(lái)類比，就是發(fā)動(dòng)機(jī)燃料太貴，種植和收割莊稼效率低下，勞作工具用起來(lái)不順手，這些是拖累在全新土壤上孕育繁茂生態(tài)的核心阻礙。

自公布鯤鵬 昇騰計(jì)算產(chǎn)業(yè)戰(zhàn)略以來(lái)，華為緊鑼密鼓地將其“硬件開(kāi)放，軟件開(kāi)源，使能合作伙伴”的戰(zhàn)略落到實(shí)處，陸續(xù)將鯤鵬主板等硬件開(kāi)放給伙伴，上線服務(wù)器操作系統(tǒng)openEuler、企業(yè)級(jí)數(shù)據(jù)庫(kù)openGauss、高性能數(shù)據(jù)虛擬化引擎openLooKeng、全場(chǎng)景AI計(jì)算框架MindSpore四個(gè)開(kāi)源社區(qū)，并在18個(gè)地區(qū)建設(shè)生態(tài)創(chuàng)新中心。

除了華為主導(dǎo)的開(kāi)源社區(qū)外，華為在Linux Kernel 5.8的代碼貢獻(xiàn)量達(dá)到TOP2，在主流場(chǎng)景下，80%開(kāi)源項(xiàng)目已原生支持鯤鵬。昇騰兼容主流AI框架、110多種主流模型。

鄧泰華說(shuō)，鯤鵬、昇騰計(jì)算領(lǐng)域目前已發(fā)展30萬(wàn)開(kāi)發(fā)者、1000多家合作伙伴，通過(guò)3000多個(gè)解決方案認(rèn)證。

為了向這一目標(biāo)靠攏，今天，華為展示了鯤鵬計(jì)算和昇騰計(jì)算的全棧能力。

從今天展示的全棧能力來(lái)看，華為正持續(xù)補(bǔ)充“硬件開(kāi)放，軟件開(kāi)源，使能合作伙伴”的內(nèi)容。

硬件層面，華為將鯤鵬主板升級(jí)為“基礎(chǔ)板 擴(kuò)展板 BMC/BIOS”的全新開(kāi)放模式，給合作伙伴更多發(fā)揮創(chuàng)新的空間。

軟件層面，鯤鵬社區(qū)推出openEuler 20.09版本，全場(chǎng)景AI計(jì)算框架MindSpore 1.0版本也正式發(fā)布。

openEuler 20.09新增自動(dòng)化測(cè)試平臺(tái)Crystal-CI，支持鯤鵬、昇騰、x86等多樣性算力；MindSpore 1.0版本將支持模型、算子及硬件處理單元級(jí)全自動(dòng)并行、二階優(yōu)化，對(duì)端邊云設(shè)備全場(chǎng)景適配，可將大規(guī)模訓(xùn)練時(shí)間從月縮短至天，并能將模型性能提升40%，還提供了可將業(yè)務(wù)快速遷移至第三方框架的轉(zhuǎn)換工具。

據(jù)IDC預(yù)測(cè)，到2023年，全球計(jì)算產(chǎn)業(yè)投資空間1.14萬(wàn)億美元；中國(guó)計(jì)算產(chǎn)業(yè)投資空間1043億美元，接近全球的10%。在這樣廣闊的市場(chǎng)空間中，華為的計(jì)算實(shí)力正日益凸顯出來(lái)，帶動(dòng)國(guó)內(nèi)計(jì)算生態(tài)鏈的整合與興起。

二、全棧計(jì)算能力背后，華為的三重底氣

之所以能構(gòu)建如此完備的全?；A(chǔ)軟硬件平臺(tái)，源自華為的三重底氣。

第一重底氣是技術(shù)沉淀。基于過(guò)去二十多年積累的芯片研發(fā)功底，華為打造了具有競(jìng)爭(zhēng)力的鯤鵬和昇騰兩大技術(shù)平臺(tái)，并在此基礎(chǔ)上布局覆蓋云邊端的全場(chǎng)景的多樣性算力平臺(tái)，連同一系列華為研發(fā)的基礎(chǔ)軟件工具，組成了華為計(jì)算深厚的技術(shù)根基。

軟件工具同樣凝聚了許多華為工程師經(jīng)年累月的智慧結(jié)晶。例如用于AI平臺(tái)算子及網(wǎng)絡(luò)開(kāi)發(fā)的異構(gòu)計(jì)算架構(gòu)CANN，即是由華為多個(gè)研發(fā)團(tuán)隊(duì)、歷經(jīng)數(shù)年迭代，才形成端邊云全場(chǎng)景協(xié)同、訓(xùn)練和推理性能全面領(lǐng)先的統(tǒng)一編程架構(gòu)。

第二重底氣是深入行業(yè)。作為全球領(lǐng)先的ICT基礎(chǔ)設(shè)施提供商，華為在自身實(shí)踐中積累了豐富的數(shù)字化和智能化經(jīng)驗(yàn)，亦通過(guò)參與各種具體業(yè)務(wù)場(chǎng)景的實(shí)踐，充分掌握和理解企業(yè)及開(kāi)發(fā)者的核心痛點(diǎn)，從而更有針對(duì)性地提供降本提效的基礎(chǔ)軟硬件設(shè)施。

例如，過(guò)去一年，經(jīng)過(guò)與合作伙伴的磨合，華為針對(duì)大數(shù)據(jù)、分布式存儲(chǔ)等八大場(chǎng)景，推出包含高性能開(kāi)源組件、加速軟件包和工具/參考實(shí)現(xiàn)的鯤鵬應(yīng)用使能套件Kunpeng BoostKit，幫助應(yīng)用層開(kāi)發(fā)者釋放更高的性能。除了有掃描、遷移和調(diào)優(yōu)功能外，鯤鵬開(kāi)發(fā)套件Kunpeng DevKit還新增了編譯、無(wú)源碼遷移能力，另外還推出了工具插件化和IDE開(kāi)發(fā)環(huán)境集成。

第三重底氣是開(kāi)放生態(tài)。獨(dú)木難成林，一家企業(yè)的力量畢竟有限，要充分釋放基礎(chǔ)軟硬件平臺(tái)的價(jià)值，需要各類生態(tài)伙伴各展其長(zhǎng)，融合多元能力，共同做大計(jì)算產(chǎn)業(yè)的蛋糕。

如今鯤鵬和昇騰計(jì)算基礎(chǔ)設(shè)施已在多類政企及科研應(yīng)用場(chǎng)景中實(shí)現(xiàn)規(guī)?；逃?，兩大計(jì)算產(chǎn)業(yè)生態(tài)也逐漸變得枝繁葉茂。

可以看見(jiàn)，華為的全棧能力并非一氣呵成，而是通過(guò)與伙伴的合作中汲取養(yǎng)分，遞進(jìn)式地逐步豐富。

而在鯤鵬、昇騰、x86、GPU等多樣性算力的基座鋪就后，新的問(wèn)題擺在華為眼前——面對(duì)高性能分布式計(jì)算對(duì)多樣化計(jì)算資源的訴求，如何實(shí)現(xiàn)算力資源的最優(yōu)匹配、高效利用。

三、破解多樣性算力協(xié)同痛點(diǎn)，讓分布式應(yīng)用構(gòu)建快如搭積木

大數(shù)據(jù)、AI、高性能計(jì)算等新興技術(shù)的發(fā)展，催生了海量數(shù)據(jù)，加上高并發(fā)、低時(shí)延、重負(fù)載、彈性擴(kuò)展的業(yè)務(wù)訴求與日俱增，加速應(yīng)用走向分布式，算力也趨于異構(gòu)。

這給開(kāi)發(fā)者帶來(lái)新的開(kāi)發(fā)負(fù)擔(dān)。

從算力來(lái)看，通過(guò)軟件開(kāi)發(fā)發(fā)揮眾核算力優(yōu)勢(shì)、將應(yīng)用和多樣性算力進(jìn)行最佳匹配，都是不小的挑戰(zhàn)。

從調(diào)度來(lái)看，應(yīng)用性能難以隨著規(guī)模而線性增長(zhǎng)，而管理成本卻隨著系統(tǒng)規(guī)模倍增，應(yīng)用在多樣性算力資源池之間共享資源十分困難。

從應(yīng)用來(lái)看，有狀態(tài)應(yīng)用的數(shù)據(jù)處理復(fù)雜，會(huì)制約并行性能，融合分布式應(yīng)用的并行邏輯更是復(fù)雜。

面對(duì)這些挑戰(zhàn)，華為采用軟硬件解耦的設(shè)計(jì)，打造了適配多種算力平臺(tái)和多場(chǎng)景應(yīng)用的分布式多樣性計(jì)算軟件套件，基于集群加速器、統(tǒng)一調(diào)度器、分布式并行應(yīng)用開(kāi)發(fā)框架三大關(guān)鍵部件，從算法優(yōu)化、集群調(diào)度、應(yīng)用構(gòu)建層層提速，幫開(kāi)發(fā)者降低開(kāi)發(fā)門檻。

首先，從算法優(yōu)化提速。集群加速庫(kù)已覆蓋各種分布式多樣性計(jì)算場(chǎng)景，并與主流分布式應(yīng)用生態(tài)良好對(duì)接，通過(guò)持續(xù)迭代創(chuàng)新，優(yōu)化分布式系統(tǒng)性能。

例如，新發(fā)布的機(jī)器學(xué)習(xí)庫(kù)平均性能較主流開(kāi)源庫(kù)提升超過(guò)50%，圖分析庫(kù)平均性能較主流開(kāi)源庫(kù)提升超過(guò)80%。

基于算法突破創(chuàng)新，集群加速庫(kù)不僅可以大幅提升可處理數(shù)據(jù)規(guī)模和多核并行度，還能加速多樣算力運(yùn)算，減少分布式網(wǎng)絡(luò)通信帶寬消耗。

其次，從集群調(diào)度提速。當(dāng)前調(diào)度器多為專用，缺少能跨多應(yīng)用領(lǐng)域的統(tǒng)一調(diào)度器，系統(tǒng)規(guī)模倍增又會(huì)面臨線性度下降、管理難度倍增的問(wèn)題。

對(duì)此，華為推出統(tǒng)一調(diào)度器，將多樣性算力平臺(tái)與全場(chǎng)景應(yīng)用打通，實(shí)現(xiàn)規(guī)模、調(diào)度性能、資源利用率等三大突破，支持大規(guī)模高效率跨領(lǐng)域資源協(xié)同，可做到無(wú)代碼侵入的AI和大數(shù)據(jù)應(yīng)用生態(tài)整合，在主流AI、HPC、大數(shù)據(jù)等應(yīng)用集成的資源利用率高達(dá)逾90%。

統(tǒng)一調(diào)度器突破大規(guī)模分布式技術(shù)，可支持2萬(wàn)節(jié)點(diǎn)、30萬(wàn)運(yùn)行作業(yè)；并突破了關(guān)鍵調(diào)度算法，能實(shí)現(xiàn)百萬(wàn)核MPI、3分鐘啟動(dòng)，調(diào)度能力達(dá)到5k/秒，在真實(shí)工作場(chǎng)景中，每小時(shí)可完成4M運(yùn)行作業(yè)量。

最后，從應(yīng)用構(gòu)建提速。得益于無(wú)服務(wù)器（Serverless）計(jì)算的發(fā)展，用戶無(wú)需操心運(yùn)行和運(yùn)維所需的資源，能更加專注于自己的業(yè)務(wù)創(chuàng)新。但當(dāng)前Serverless開(kāi)發(fā)高性能并行應(yīng)用場(chǎng)景仍受限制，比如無(wú)狀態(tài)的計(jì)算抽象、無(wú)法進(jìn)行函數(shù)間協(xié)同、函數(shù)間無(wú)直接通信、應(yīng)用開(kāi)發(fā)門檻高等。

對(duì)此，華為打造了基于函數(shù)計(jì)算的分布式并行應(yīng)用開(kāi)發(fā)框架，使得開(kāi)發(fā)者在大規(guī)模分布式系統(tǒng)上享受單機(jī)編程體驗(yàn)，像搭積木般快捷地構(gòu)建分布式并行應(yīng)用。

據(jù)華為計(jì)算產(chǎn)品線研發(fā)總裁熊彥介紹，分布式并行應(yīng)用開(kāi)發(fā)框架的整體技術(shù)架構(gòu)由五個(gè)關(guān)鍵組成部分：

（1）AI for System Builders：通過(guò)AI提升性能調(diào)優(yōu)和故障定位；

（2）通信系統(tǒng)：支持函數(shù)間的直接通信能力，支持毫秒級(jí)函數(shù)快速啟動(dòng)；

（3）數(shù)據(jù)系統(tǒng)：提供高擴(kuò)展低時(shí)延的數(shù)據(jù)緩存系統(tǒng)，萬(wàn)級(jí)函數(shù)實(shí)例擴(kuò)展，緩存讀寫(xiě)縮短10倍。

（4）Function Core：解決資源抽象問(wèn)題，實(shí)現(xiàn)數(shù)據(jù)親和性調(diào)度，多樣性算力使能。

（5）Function Pattern：抽象業(yè)務(wù)應(yīng)用領(lǐng)域并行模型，大幅簡(jiǎn)化分布式并行設(shè)計(jì)。

熊彥介紹，集群加速庫(kù)和統(tǒng)一調(diào)度器將在今年12月上市，而分布式并行應(yīng)用開(kāi)發(fā)框架的上市時(shí)間相對(duì)晚一些，預(yù)計(jì)在明年6月。

分布式多樣性計(jì)算軟件套件落地后，會(huì)進(jìn)一步擴(kuò)展了華為的全棧計(jì)算能力，將鯤鵬昇騰生態(tài)的底座構(gòu)筑地更為堅(jiān)固，使得開(kāi)發(fā)者能更聚焦于業(yè)務(wù)邏輯，加速創(chuàng)新應(yīng)用。

四、開(kāi)放生態(tài)，哺育人才，擬覆蓋2600 院校

僅靠一家企業(yè)難以包打天下，華為將上述全棧能力全部開(kāi)放出來(lái)，和生態(tài)伙伴一起構(gòu)建枝繁葉茂的生態(tài)大樹(shù)。

而這顆大樹(shù)要想長(zhǎng)成參天之勢(shì)，儼然離不開(kāi)一家科技公司的長(zhǎng)久生存之本——人才。

在華為全聯(lián)接大會(huì)首日的主題演講中，華為輪值董事長(zhǎng)郭平坦誠(chéng)談到：“華為現(xiàn)在遭遇很大的困難。持續(xù)的打壓，給我們的經(jīng)營(yíng)帶來(lái)了很大的壓力，求生存是我們的主線?！?/p>

但即便危機(jī)當(dāng)前，郭平在回應(yīng)媒體關(guān)于裁員可能性的問(wèn)題時(shí)，堅(jiān)定地表示：“把沙子變成芯片靠的是什么？靠的是優(yōu)秀人才，華為在將來(lái)會(huì)繼續(xù)保持業(yè)務(wù)的平穩(wěn)和吸納優(yōu)秀人才?！?/p>

華為對(duì)人才的重視，在計(jì)算戰(zhàn)略中同樣得到充分體現(xiàn)。

自2015年公布沃土AI開(kāi)發(fā)者計(jì)劃至今，華為投入大量精力培育鯤鵬和昇騰開(kāi)發(fā)人才，如今已構(gòu)建良性人才生態(tài)，通過(guò)聯(lián)動(dòng)高校開(kāi)設(shè)課程促成產(chǎn)教融合。

畢竟，數(shù)字世界的高樓大廈壘于代碼，開(kāi)發(fā)者是輸出創(chuàng)新代碼的“永動(dòng)機(jī)”。要培養(yǎng)掌握華為鯤鵬和昇騰全棧技術(shù)能力的生力軍，需從高校學(xué)生抓起。

從去年到今年，華為陸續(xù)推出深度學(xué)習(xí)框架MindSpore、ModelArts AI應(yīng)用開(kāi)發(fā)、鯤鵬處理器、openEuler操作系統(tǒng)、openGauss數(shù)據(jù)庫(kù)等學(xué)習(xí)教材和系列教輔資料，未來(lái)還計(jì)劃發(fā)布更多相關(guān)專業(yè)教材。

除了課程和教輔資源外，華為聯(lián)合高校進(jìn)行通用計(jì)算、AI等領(lǐng)域的專業(yè)課程建設(shè)，并向合作高校提供包括現(xiàn)金、軟硬件資源、平臺(tái)資源、師資培訓(xùn)、創(chuàng)新實(shí)踐等方面的支持。

華為也注重提供開(kāi)發(fā)實(shí)踐和行業(yè)應(yīng)用的機(jī)會(huì)，面向?qū)W生開(kāi)展技術(shù)沙龍、大賽、論壇、課程微認(rèn)證等豐富的課外實(shí)踐活動(dòng)，并支持高校向華為推薦優(yōu)秀學(xué)生參加實(shí)習(xí)就業(yè)。

今年已有20多所高校試點(diǎn)融入鯤鵬、昇騰知識(shí)的信息專業(yè)課程，到明年這一數(shù)量將超過(guò)70所。在演講期間，鄧泰華還宣布：“華為與教育部合作，聯(lián)合首批72所高校，共同成立‘智能基座’產(chǎn)教融合協(xié)同育人基地，通過(guò)產(chǎn)學(xué)研協(xié)同為計(jì)算產(chǎn)業(yè)高質(zhì)量發(fā)展奠定人才基礎(chǔ)?！?/p>

華為更長(zhǎng)遠(yuǎn)的目標(biāo)，是覆蓋2600余所高校及高職高專高校，讓鯤鵬、昇騰成為高校學(xué)生必備技能。

這些在開(kāi)發(fā)人才培養(yǎng)方面的投資，將為未來(lái)鯤鵬 昇騰計(jì)算產(chǎn)業(yè)生態(tài)的發(fā)展輸送源源不斷的活水。

結(jié)語(yǔ)：一花獨(dú)放不是春

華為從全棧能力開(kāi)放創(chuàng)新到人才培養(yǎng)的布局，指向的是2萬(wàn)億美元的計(jì)算產(chǎn)業(yè)大藍(lán)海。

2016年，華為提出要建設(shè)“哥斯達(dá)黎加式”生態(tài)，讓利使能，使得華為的伙伴成為新價(jià)值鏈上的最大獲益者。在去年提出計(jì)算戰(zhàn)略時(shí)，華為也再度強(qiáng)調(diào)“有所為，有所不為”的商業(yè)策略，不做應(yīng)用，而是通過(guò)提供硬件開(kāi)放、軟件開(kāi)源、工具和團(tuán)隊(duì)，來(lái)支持合作伙伴的發(fā)展。

基于這樣的策略，華為計(jì)算的黑土地上，正為生態(tài)伙伴和開(kāi)發(fā)者創(chuàng)造更多創(chuàng)新的機(jī)會(huì)和增益的空間，從而促成更為繁榮的計(jì)算生態(tài)。

計(jì)算產(chǎn)業(yè)是個(gè)高度生態(tài)型產(chǎn)業(yè)，離不開(kāi)華為這樣的基礎(chǔ)軟硬件基礎(chǔ)設(shè)施建設(shè)者，離不開(kāi)將先進(jìn)AI技術(shù)實(shí)現(xiàn)商業(yè)化構(gòu)建的技術(shù)層、應(yīng)用層玩家，更離不開(kāi)每一位用AI改變世界的開(kāi)發(fā)者。

隨著華為計(jì)算生態(tài)的持續(xù)擴(kuò)容，鯤鵬和昇騰計(jì)算平臺(tái)的底層算力將會(huì)像水電煤氣那樣，深入千行百業(yè)，成為提升生產(chǎn)力的重要源泉。