北京2024年8月23日 /美通社/ -- 近日,浪潮信息發(fā)布源2.0-M32大模型4bit和8bit量化版,性能比肩700億參數(shù)的LLaMA3開源大模型。4bit量化版推理運行顯存僅需23.27GB,處理每token所需算力約為1.9 GFLOPs,算力消耗僅為同等當量大模型LLaMA3-70B的1/80。而LLaMA3-70B運行顯存為160GB,所需算力為140GFLOPs。
源2.0-M32量化版是"源"大模型團隊為進一步提高模算效率,降低大模型部署運行的計算資源要求而推出的版本,通過采用領先的量化技術,將原模型精度量化至int4和int8級別,并保持模型性能基本不變。源2.0-M32量化版提高了模型部署加載速度和多線程推理效率,在不同硬件和軟件環(huán)境中均能高效運行,降低了模型移植和部署門檻,讓用戶使用更少的計算資源,就能獲取源2.0-M32大模型的強大能力。
源2.0-M32大模型是浪潮信息"源2.0"系列大模型的最新版本,其創(chuàng)新性地提出和采用了"基于注意力機制的門控網(wǎng)絡"技術,構建包含32個專家(Expert)的混合專家模型(MoE),模型運行時激活參數(shù)為37億,在業(yè)界主流基準評測中性能全面對標700億參數(shù)的LLaMA3開源大模型,大幅提升了模型算力效率。
模型量化(Model Quantization)是優(yōu)化大模型推理的一種主流技術,它顯著減少了模型的內(nèi)存占用和計算資源消耗,從而加速推理過程。然而,模型量化可能會影響模型的性能。如何在壓縮模型的同時維持其精度,是量化技術面臨的核心挑戰(zhàn)。
源2.0-M32大模型研發(fā)團隊深入分析當前主流的量化方案,綜合評估模型壓縮效果和精度損失表現(xiàn),最終采用了GPTQ量化方法,并采用AutoGPTQ作為量化框架。為了確保模型精度最大化,一方面定制化適配了適合源2.0-M32結構的算子,提高了模型的部署加載速度和多線程推理效率,實現(xiàn)高并發(fā)推理;另一方面對需要量化的中間層(inter_layers)進行了嚴格評估和篩選,確定了最佳的量化層。從而成功將模型精度量化至int4和int8級別,在模型精度幾乎無損的前提下,提升模型壓縮效果、增加推理吞吐量和降低計算成本,使其更易于部署到移動設備和邊緣設備上。
評測結果顯示,源2.0-M32量化版在多個業(yè)界主流的評測任務中性能表現(xiàn)突出,特別是在MATH(數(shù)學競賽)、ARC-C(科學推理)任務中,比肩擁有700億參數(shù)的LLaMA3大模型。
總之,源2.0-M32大模型量化版在保持推理性能的前提下,顯著降低了計算資源消耗和內(nèi)存占用,其采用的GPTQ量化方法通過精細調(diào)整,成功將模型適配至int4和int8精度級別。通過定制化算子優(yōu)化,源2.0-M32量化版實現(xiàn)了模型結構的深度適配和性能的顯著提升,確保在不同硬件和軟件環(huán)境中均能高效運行。未來,隨著量化技術的進一步優(yōu)化和應用場景的拓展,源2.0-M32量化版有望在移動設備和邊緣計算等領域發(fā)揮更廣泛的作用,為用戶提供更高效的智能服務。
源2.0-M32量化版已開源,下載鏈接如下:
Hugging Face平臺下載鏈接:
https://huggingface.co/IEITYuan/Yuan2-M32-gguf-int4
https://huggingface.co/IEITYuan/Yuan2-M32-hf-int4
https://huggingface.co/IEITYuan/Yuan2-M32-hf-int8
modelscope平臺下載鏈接:
https://modelscope.cn/models/IEITYuan/Yuan2-M32-gguf-int4
https://modelscope.cn/models/IEITYuan/Yuan2-M32-HF-INT4
https://modelscope.cn/models/IEITYuan/Yuan2-M32-hf-int8