"千億參數(shù)"大模型再卷風(fēng)云，成功實現(xiàn)CPU通用服務(wù)器上運行

北京2024年7月26日 /美通社/ -- 生成式AI快速發(fā)展，AI算力作為人工智能發(fā)展的重要支撐，正以驚人的速度滲透至每一個計算設(shè)備。一切計算皆AI，為了支撐千行百業(yè)最廣泛的場景，通用服務(wù)器也在"智變"。

不久前，浪潮信息的研發(fā)工程師基于2U4路旗艦通用服務(wù)器NF8260G7，采用領(lǐng)先的張量并行、NF4模型量化等技術(shù)，實現(xiàn)服務(wù)器僅依靠4顆CPU即可運行千億參數(shù) "源2.0" 大模型，成為通用AI算力的新標(biāo)桿。

NF8260G7在2U空間搭載4顆32核英特爾至強處理器，主頻2.4GHz，支持8個內(nèi)存通道，3路UPI總線互聯(lián)，采用32根32G的DDR5內(nèi)存，內(nèi)存容量1024GB，實測內(nèi)存讀帶寬995GB/s，運行效率82.94%。框架和算法方面，NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發(fā)工具，滿足用戶更成熟、易部署、更便捷的開放生態(tài)需求。浪潮信息算法工程師還基于Yuan2.0千億參數(shù)大模型的研發(fā)積累，為NF8260G7部署張量并行環(huán)境，提升4倍計算效率，并通過NF4等量化技術(shù)，將1026億參數(shù)的Yuan2.0大模型容量縮小至1/4，首次實現(xiàn)單機通用服務(wù)器，即可運行千億參數(shù)大模型，為千億參數(shù)AI大模型在通用服務(wù)器的推理部署，提供了性能更強，成本更經(jīng)濟的選擇。

【出題】
算力智變：通用服務(wù)器挑戰(zhàn)「千億參數(shù)」大模型

科技的進(jìn)步，最終目的是"落入凡間"。AIGC正以超乎想象的速度滲透進(jìn)千行百業(yè)，對企業(yè)的算力基礎(chǔ)設(shè)施也提出了更高的要求。為了滿足最廣泛的通用業(yè)務(wù)與新興AI業(yè)務(wù)融合的需求，目前金融、醫(yī)療等許多行業(yè)用戶正在基于通用算力構(gòu)建AI業(yè)務(wù)，實現(xiàn)了通用算力的"AI進(jìn)化"。從效果來看，目前通用服務(wù)器單機已能夠承載幾十到幾百億參數(shù)規(guī)模的AI模型應(yīng)用。

但算力需求仍在爆發(fā)式增長，隨著大模型技術(shù)的不斷發(fā)展，模型參數(shù)量不斷攀升，千億級參數(shù)是智能涌現(xiàn)的門檻，通用算力能否運行千億參數(shù)AI大模型，是衡量其能否支撐千行百業(yè)智能涌現(xiàn)的關(guān)鍵。

千億參數(shù)大模型要在單臺服務(wù)器中高效運行，對計算、內(nèi)存、通信等硬件資源需求量非常大，如果使用以GPU為主的異構(gòu)加速計算方式，千億參數(shù)大約需要200~300GB的顯存空間才放得下，這已經(jīng)遠(yuǎn)超過當(dāng)前業(yè)界主流的AI加速芯片的顯存大小。放得下只是基礎(chǔ)，千億參數(shù)大模型在運行過程中，對數(shù)據(jù)計算、計算單元之間及計算單元與內(nèi)存之間通信的帶寬要求也非常高。千億參數(shù)大模型按照BF16的精度計算，運行時延要小于100ms，內(nèi)存與計算單元之間的通信帶寬至少要在2TB/s以上。

不同參數(shù)規(guī)模服務(wù)器硬件資源需求對比

除了硬件資源的挑戰(zhàn)，為了讓通用服務(wù)器運行千億大模型，軟硬協(xié)同優(yōu)化也是一大難題。比如AI大模型一般基于擅長大規(guī)模并行計算的AI加速卡設(shè)計，通用服務(wù)器的處理器雖然擁有高通用性和高性能的計算核心，但沒有并行工作的環(huán)境。AI大模型需要頻繁地在內(nèi)存和CPU之間搬運算法權(quán)重，但通用服務(wù)器默認(rèn)模型權(quán)重只能傳輸給一個CPU的內(nèi)存，由該CPU串聯(lián)其他CPU進(jìn)行權(quán)重數(shù)據(jù)的傳輸。這就導(dǎo)致CPU與內(nèi)存之間的帶寬利用率不高，通信開銷大。

通用服務(wù)器要運行千億參數(shù)大模型面臨重重挑戰(zhàn)。要填補這一空白，浪潮信息研發(fā)工程師亟需提升通用服務(wù)器AI計算性能，優(yōu)化CPU之間、CPU與內(nèi)存之間的通信效率，建立通用服務(wù)器的大規(guī)模并行計算的算法環(huán)境等軟硬協(xié)同技術(shù)，系統(tǒng)釋放通用服務(wù)器的AI能力。

【解題】
軟硬協(xié)同創(chuàng)新，釋放通用服務(wù)器的智算力

首先，硬件資源方面，為支撐大規(guī)模并行計算，浪潮信息研發(fā)工程師采用2U4路旗艦通用服務(wù)器NF8260G7，對服務(wù)器處理器、內(nèi)存、互連以及框架和算法的適配性等方面進(jìn)行了全面優(yōu)化。

本次運行千億參數(shù)大模型的通用服務(wù)器NF8260G7采用如下配置：

NF8260G7在2U空間搭載4顆英特爾至強處理器6448H，具有AMX（高級矩陣擴展）AI加速功能，核心數(shù)達(dá)到了32核心，基準(zhǔn)主頻2.4GHz，L3 Cache 60MB，支持8個內(nèi)存通道，3路UPI總線互聯(lián)，功耗250W。內(nèi)存方面，NF8260G7配置32根32G DDR5 4800MHZ的內(nèi)存，內(nèi)存帶寬實測值分別為995GB/s（讀帶寬）、423GB/s（寫帶寬）、437GB/s（讀寫帶寬），為滿足千億大模型低延時和多處理器的并發(fā)推理計算打下基礎(chǔ)。

在高速信號互連方面，浪潮信息研發(fā)工程師優(yōu)化了CPU之間，CPU和內(nèi)存之間的走線路徑和阻抗連續(xù)性，依據(jù)三維仿真結(jié)果調(diào)整過孔排列方式，將信號串?dāng)_降低到-60dB以下，較上一代降低50%，通過DOE矩陣式有源仿真找到通道所有corner的組合最優(yōu)解，充分發(fā)揮算力性能?？蚣芎退惴ǚ矫?，浪潮信息通用服務(wù)器也支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發(fā)工具，滿足用戶更成熟、易部署、更便捷的開放生態(tài)需求。

僅依靠硬件創(chuàng)新還遠(yuǎn)遠(yuǎn)不夠。算法層面，浪潮信息算法工程師基于Yuan2.0的算法研發(fā)積累，將1026億參數(shù)的Yuan2.0大模型卷積算子進(jìn)行張量切分，把大模型中的注意力層和前饋層的矩陣計算的權(quán)重分別拆分到多個處理器的內(nèi)存中，為通用服務(wù)器進(jìn)行高效的張量并行計算提供了可能。這種權(quán)重的拆分改變了傳統(tǒng)CPU串聯(lián)傳輸?shù)哪Ｊ剑?顆CPU可以與內(nèi)存實時傳輸獲取算法權(quán)重，協(xié)同并行工作，計算效率提升4倍。

同時，千億參數(shù)大模型在張量并行計算過程中，參數(shù)權(quán)重需要200-300GB的內(nèi)存空間進(jìn)行存儲和計算，在100ms的時間內(nèi)，完成CPU與內(nèi)存數(shù)據(jù)的通信，內(nèi)存帶寬需求至少在2T/s。而4路通用服務(wù)器的內(nèi)存帶寬極限值為1200GB/s，還差一半左右。面對巨大的內(nèi)存帶寬瓶頸，浪潮信息算法工程師需要在不影響模型精度的情況下對模型進(jìn)行量化"瘦身"。浪潮信息研發(fā)工程師們嘗試了不同精度int8、int4、NF4等先進(jìn)量化技術(shù)，最終選擇了更高數(shù)據(jù)精度的NF4量化方案，將模型尺寸瘦身到原來的1/4，在滿足精度需求的條件下，大幅度降低大規(guī)模并行計算的訪存數(shù)據(jù)量，從而達(dá)到實時推理的解碼需求。

【交卷】
填補行業(yè)空白，樹立AI算力新標(biāo)桿

通過系統(tǒng)優(yōu)化，浪潮信息NF8260G7在業(yè)界首次實現(xiàn)僅基于通用處理器，支持千億參數(shù)大模型的運行，讓通用算力可支持的AI大模型參數(shù)規(guī)模突破千億，填補了行業(yè)空白，成為企業(yè)擁有AI的新起點。

人工智能的發(fā)展，是算力、算法和數(shù)據(jù)三要素系統(tǒng)突破的結(jié)果。浪潮信息研發(fā)工程師基于通用服務(wù)器NF8260G7的軟硬件協(xié)同創(chuàng)新，為千億參數(shù)AI大模型在通用服務(wù)器的推理部署，提供了性能更強，成本更經(jīng)濟的選擇，讓AI大模型應(yīng)用可以與云、大數(shù)據(jù)、數(shù)據(jù)庫等應(yīng)用能夠?qū)崿F(xiàn)更緊密的融合，從而充分釋放人工智能在千行百業(yè)中的創(chuàng)新活力，讓人工智能真正"落入凡間"，推動社會和經(jīng)濟的發(fā)展。