智東西（公眾號：zhidxcom）

文 | 心緣

智東西9月25日報道，全面闡述計算產業(yè)戰(zhàn)略一年后，華為曬出了最新的成績單，離“2萬億美元計算產業(yè)大藍海”的目標又近了一步。

經歷了一年風起云涌的落地大潮，今天，華為全聯接大會第三天，華為在鯤鵬 昇騰計算圖譜上，再布下幾枚新的重棋：進一步開放鯤鵬主板，發(fā)布鯤鵬應用使能套件Kunpeng BoostKit、鯤鵬開發(fā)套件Kunpeng DevKit、openEuler 、openGauss、MindSpore社區(qū)最新版本，并推出破解多樣性計算時代核心痛點的“大殺器”——分布式多樣性計算軟件套件。

華為計算產品線總裁鄧泰華表示，該軟件套件“南向屏蔽多樣性算力開發(fā)復雜性，北向使能分布式并行應用的高效開發(fā)，高效釋放多樣性算力潛力，助力分布式應用價值創(chuàng)造。”

至此，鯤鵬 昇騰計算全棧能力已完整揭曉，透過華為在計算產業(yè)的謀篇布局，我們可以看到，華為的多樣性算力資源如何順著“開放創(chuàng)新”的通途，滋養(yǎng)千行百業(yè)的計算沃土，又如何沿著由生態(tài)所衍生的千百條道路，潛移默化地影響千家萬戶。

一、全棧計算能力披露！覆蓋全場景開發(fā)需求

開發(fā)者有日?！叭裏保核懔Y源貴、算法跑得慢、工具使用難。

以種地來類比，就是發(fā)動機燃料太貴，種植和收割莊稼效率低下，勞作工具用起來不順手，這些是拖累在全新土壤上孕育繁茂生態(tài)的核心阻礙。

自公布鯤鵬 昇騰計算產業(yè)戰(zhàn)略以來，華為緊鑼密鼓地將其“硬件開放，軟件開源，使能合作伙伴”的戰(zhàn)略落到實處，陸續(xù)將鯤鵬主板等硬件開放給伙伴，上線服務器操作系統openEuler、企業(yè)級數據庫openGauss、高性能數據虛擬化引擎openLooKeng、全場景AI計算框架MindSpore四個開源社區(qū)，并在18個地區(qū)建設生態(tài)創(chuàng)新中心。

除了華為主導的開源社區(qū)外，華為在Linux Kernel 5.8的代碼貢獻量達到TOP2，在主流場景下，80%開源項目已原生支持鯤鵬。昇騰兼容主流AI框架、110多種主流模型。

鄧泰華說，鯤鵬、昇騰計算領域目前已發(fā)展30萬開發(fā)者、1000多家合作伙伴，通過3000多個解決方案認證。

為了向這一目標靠攏，今天，華為展示了鯤鵬計算和昇騰計算的全棧能力。

從今天展示的全棧能力來看，華為正持續(xù)補充“硬件開放，軟件開源，使能合作伙伴”的內容。

硬件層面，華為將鯤鵬主板升級為“基礎板 擴展板 BMC/BIOS”的全新開放模式，給合作伙伴更多發(fā)揮創(chuàng)新的空間。

軟件層面，鯤鵬社區(qū)推出openEuler 20.09版本，全場景AI計算框架MindSpore 1.0版本也正式發(fā)布。

openEuler 20.09新增自動化測試平臺Crystal-CI，支持鯤鵬、昇騰、x86等多樣性算力；MindSpore 1.0版本將支持模型、算子及硬件處理單元級全自動并行、二階優(yōu)化，對端邊云設備全場景適配，可將大規(guī)模訓練時間從月縮短至天，并能將模型性能提升40%，還提供了可將業(yè)務快速遷移至第三方框架的轉換工具。

據IDC預測，到2023年，全球計算產業(yè)投資空間1.14萬億美元；中國計算產業(yè)投資空間1043億美元，接近全球的10%。在這樣廣闊的市場空間中，華為的計算實力正日益凸顯出來，帶動國內計算生態(tài)鏈的整合與興起。

二、全棧計算能力背后，華為的三重底氣

之所以能構建如此完備的全?；A軟硬件平臺，源自華為的三重底氣。

第一重底氣是技術沉淀。基于過去二十多年積累的芯片研發(fā)功底，華為打造了具有競爭力的鯤鵬和昇騰兩大技術平臺，并在此基礎上布局覆蓋云邊端的全場景的多樣性算力平臺，連同一系列華為研發(fā)的基礎軟件工具，組成了華為計算深厚的技術根基。

軟件工具同樣凝聚了許多華為工程師經年累月的智慧結晶。例如用于AI平臺算子及網絡開發(fā)的異構計算架構CANN，即是由華為多個研發(fā)團隊、歷經數年迭代，才形成端邊云全場景協同、訓練和推理性能全面領先的統一編程架構。

第二重底氣是深入行業(yè)。作為全球領先的ICT基礎設施提供商，華為在自身實踐中積累了豐富的數字化和智能化經驗，亦通過參與各種具體業(yè)務場景的實踐，充分掌握和理解企業(yè)及開發(fā)者的核心痛點，從而更有針對性地提供降本提效的基礎軟硬件設施。

例如，過去一年，經過與合作伙伴的磨合，華為針對大數據、分布式存儲等八大場景，推出包含高性能開源組件、加速軟件包和工具/參考實現的鯤鵬應用使能套件Kunpeng BoostKit，幫助應用層開發(fā)者釋放更高的性能。除了有掃描、遷移和調優(yōu)功能外，鯤鵬開發(fā)套件Kunpeng DevKit還新增了編譯、無源碼遷移能力，另外還推出了工具插件化和IDE開發(fā)環(huán)境集成。

第三重底氣是開放生態(tài)。獨木難成林，一家企業(yè)的力量畢竟有限，要充分釋放基礎軟硬件平臺的價值，需要各類生態(tài)伙伴各展其長，融合多元能力，共同做大計算產業(yè)的蛋糕。

如今鯤鵬和昇騰計算基礎設施已在多類政企及科研應用場景中實現規(guī)?；逃?，兩大計算產業(yè)生態(tài)也逐漸變得枝繁葉茂。

可以看見，華為的全棧能力并非一氣呵成，而是通過與伙伴的合作中汲取養(yǎng)分，遞進式地逐步豐富。

而在鯤鵬、昇騰、x86、GPU等多樣性算力的基座鋪就后，新的問題擺在華為眼前——面對高性能分布式計算對多樣化計算資源的訴求，如何實現算力資源的最優(yōu)匹配、高效利用。

三、破解多樣性算力協同痛點，讓分布式應用構建快如搭積木

大數據、AI、高性能計算等新興技術的發(fā)展，催生了海量數據，加上高并發(fā)、低時延、重負載、彈性擴展的業(yè)務訴求與日俱增，加速應用走向分布式，算力也趨于異構。

這給開發(fā)者帶來新的開發(fā)負擔。

從算力來看，通過軟件開發(fā)發(fā)揮眾核算力優(yōu)勢、將應用和多樣性算力進行最佳匹配，都是不小的挑戰(zhàn)。

從調度來看，應用性能難以隨著規(guī)模而線性增長，而管理成本卻隨著系統規(guī)模倍增，應用在多樣性算力資源池之間共享資源十分困難。

從應用來看，有狀態(tài)應用的數據處理復雜，會制約并行性能，融合分布式應用的并行邏輯更是復雜。

面對這些挑戰(zhàn)，華為采用軟硬件解耦的設計，打造了適配多種算力平臺和多場景應用的分布式多樣性計算軟件套件，基于集群加速器、統一調度器、分布式并行應用開發(fā)框架三大關鍵部件，從算法優(yōu)化、集群調度、應用構建層層提速，幫開發(fā)者降低開發(fā)門檻。

首先，從算法優(yōu)化提速。集群加速庫已覆蓋各種分布式多樣性計算場景，并與主流分布式應用生態(tài)良好對接，通過持續(xù)迭代創(chuàng)新，優(yōu)化分布式系統性能。

例如，新發(fā)布的機器學習庫平均性能較主流開源庫提升超過50%，圖分析庫平均性能較主流開源庫提升超過80%。

基于算法突破創(chuàng)新，集群加速庫不僅可以大幅提升可處理數據規(guī)模和多核并行度，還能加速多樣算力運算，減少分布式網絡通信帶寬消耗。

其次，從集群調度提速。當前調度器多為專用，缺少能跨多應用領域的統一調度器，系統規(guī)模倍增又會面臨線性度下降、管理難度倍增的問題。

對此，華為推出統一調度器，將多樣性算力平臺與全場景應用打通，實現規(guī)模、調度性能、資源利用率等三大突破，支持大規(guī)模高效率跨領域資源協同，可做到無代碼侵入的AI和大數據應用生態(tài)整合，在主流AI、HPC、大數據等應用集成的資源利用率高達逾90%。

統一調度器突破大規(guī)模分布式技術，可支持2萬節(jié)點、30萬運行作業(yè)；并突破了關鍵調度算法，能實現百萬核MPI、3分鐘啟動，調度能力達到5k/秒，在真實工作場景中，每小時可完成4M運行作業(yè)量。

最后，從應用構建提速。得益于無服務器（Serverless）計算的發(fā)展，用戶無需操心運行和運維所需的資源，能更加專注于自己的業(yè)務創(chuàng)新。但當前Serverless開發(fā)高性能并行應用場景仍受限制，比如無狀態(tài)的計算抽象、無法進行函數間協同、函數間無直接通信、應用開發(fā)門檻高等。

對此，華為打造了基于函數計算的分布式并行應用開發(fā)框架，使得開發(fā)者在大規(guī)模分布式系統上享受單機編程體驗，像搭積木般快捷地構建分布式并行應用。

據華為計算產品線研發(fā)總裁熊彥介紹，分布式并行應用開發(fā)框架的整體技術架構由五個關鍵組成部分：

（1）AI for System Builders：通過AI提升性能調優(yōu)和故障定位；

（2）通信系統：支持函數間的直接通信能力，支持毫秒級函數快速啟動；

（3）數據系統：提供高擴展低時延的數據緩存系統，萬級函數實例擴展，緩存讀寫縮短10倍。

（4）Function Core：解決資源抽象問題，實現數據親和性調度，多樣性算力使能。

（5）Function Pattern：抽象業(yè)務應用領域并行模型，大幅簡化分布式并行設計。

熊彥介紹，集群加速庫和統一調度器將在今年12月上市，而分布式并行應用開發(fā)框架的上市時間相對晚一些，預計在明年6月。

分布式多樣性計算軟件套件落地后，會進一步擴展了華為的全棧計算能力，將鯤鵬昇騰生態(tài)的底座構筑地更為堅固，使得開發(fā)者能更聚焦于業(yè)務邏輯，加速創(chuàng)新應用。

四、開放生態(tài)，哺育人才，擬覆蓋2600 院校

僅靠一家企業(yè)難以包打天下，華為將上述全棧能力全部開放出來，和生態(tài)伙伴一起構建枝繁葉茂的生態(tài)大樹。

而這顆大樹要想長成參天之勢，儼然離不開一家科技公司的長久生存之本——人才。

在華為全聯接大會首日的主題演講中，華為輪值董事長郭平坦誠談到：“華為現在遭遇很大的困難。持續(xù)的打壓，給我們的經營帶來了很大的壓力，求生存是我們的主線?！?/p>

但即便危機當前，郭平在回應媒體關于裁員可能性的問題時，堅定地表示：“把沙子變成芯片靠的是什么？靠的是優(yōu)秀人才，華為在將來會繼續(xù)保持業(yè)務的平穩(wěn)和吸納優(yōu)秀人才。”

華為對人才的重視，在計算戰(zhàn)略中同樣得到充分體現。

自2015年公布沃土AI開發(fā)者計劃至今，華為投入大量精力培育鯤鵬和昇騰開發(fā)人才，如今已構建良性人才生態(tài)，通過聯動高校開設課程促成產教融合。

畢竟，數字世界的高樓大廈壘于代碼，開發(fā)者是輸出創(chuàng)新代碼的“永動機”。要培養(yǎng)掌握華為鯤鵬和昇騰全棧技術能力的生力軍，需從高校學生抓起。

從去年到今年，華為陸續(xù)推出深度學習框架MindSpore、ModelArts AI應用開發(fā)、鯤鵬處理器、openEuler操作系統、openGauss數據庫等學習教材和系列教輔資料，未來還計劃發(fā)布更多相關專業(yè)教材。

除了課程和教輔資源外，華為聯合高校進行通用計算、AI等領域的專業(yè)課程建設，并向合作高校提供包括現金、軟硬件資源、平臺資源、師資培訓、創(chuàng)新實踐等方面的支持。

華為也注重提供開發(fā)實踐和行業(yè)應用的機會，面向學生開展技術沙龍、大賽、論壇、課程微認證等豐富的課外實踐活動，并支持高校向華為推薦優(yōu)秀學生參加實習就業(yè)。

今年已有20多所高校試點融入鯤鵬、昇騰知識的信息專業(yè)課程，到明年這一數量將超過70所。在演講期間，鄧泰華還宣布：“華為與教育部合作，聯合首批72所高校，共同成立‘智能基座’產教融合協同育人基地，通過產學研協同為計算產業(yè)高質量發(fā)展奠定人才基礎?！?/p>

華為更長遠的目標，是覆蓋2600余所高校及高職高專高校，讓鯤鵬、昇騰成為高校學生必備技能。

這些在開發(fā)人才培養(yǎng)方面的投資，將為未來鯤鵬 昇騰計算產業(yè)生態(tài)的發(fā)展輸送源源不斷的活水。

結語：一花獨放不是春

華為從全棧能力開放創(chuàng)新到人才培養(yǎng)的布局，指向的是2萬億美元的計算產業(yè)大藍海。

2016年，華為提出要建設“哥斯達黎加式”生態(tài)，讓利使能，使得華為的伙伴成為新價值鏈上的最大獲益者。在去年提出計算戰(zhàn)略時，華為也再度強調“有所為，有所不為”的商業(yè)策略，不做應用，而是通過提供硬件開放、軟件開源、工具和團隊，來支持合作伙伴的發(fā)展。

基于這樣的策略，華為計算的黑土地上，正為生態(tài)伙伴和開發(fā)者創(chuàng)造更多創(chuàng)新的機會和增益的空間，從而促成更為繁榮的計算生態(tài)。

計算產業(yè)是個高度生態(tài)型產業(yè)，離不開華為這樣的基礎軟硬件基礎設施建設者，離不開將先進AI技術實現商業(yè)化構建的技術層、應用層玩家，更離不開每一位用AI改變世界的開發(fā)者。

隨著華為計算生態(tài)的持續(xù)擴容，鯤鵬和昇騰計算平臺的底層算力將會像水電煤氣那樣，深入千行百業(yè)，成為提升生產力的重要源泉。