北京2025年1月8日 /美通社/ -- 日前，國際標(biāo)準(zhǔn)性能評估組織SPEC公布了AI基準(zhǔn)測試SPEC ML最新進(jìn)展，該基準(zhǔn)已完成面向不同AI負(fù)載下的軟硬件系統(tǒng)的性能、擴(kuò)展性和模算效率三大關(guān)鍵指標(biāo)構(gòu)建。其中模算效率首次納入SPEC ML基準(zhǔn)評測，將填補(bǔ)大模型計算效率評測基準(zhǔn)領(lǐng)域的研究空白。
隨著人工智能更加廣泛的應(yīng)用，為AI/ML建立強(qiáng)大的基準(zhǔn)測試比以往任何時候都更加重要。SPEC ML基準(zhǔn)委員會主席Arthur Kang表示，統(tǒng)一的基準(zhǔn)評測方法不僅有助于簡化模型比較，還將為注重效率、準(zhǔn)確性和可持續(xù)性的創(chuàng)新鋪平道路。目前AMD、英特爾、NVIDIA、浪潮信息、NetApp和Red Hat等科技企業(yè)正在共同參與開發(fā) SPEC ML基準(zhǔn)測試，SPEC呼吁更多伙伴參與到項目中，通過產(chǎn)業(yè)上下游的合作，為大模型的開發(fā)應(yīng)用樹立新的性能評估標(biāo)桿，為AI技術(shù)的高效、綠色、可持續(xù)發(fā)展注入新動力，共創(chuàng)更加繁榮與可持續(xù)的AI新時代。
近年來，隨著預(yù)訓(xùn)練模型的快速發(fā)展，人工智能領(lǐng)域迎來了顯著的技術(shù)進(jìn)步。這些模型通過大規(guī)模數(shù)據(jù)集的預(yù)訓(xùn)練，并結(jié)合微調(diào)技術(shù)來適應(yīng)不同任務(wù)，在自然語言處理和計算機(jī)視覺等多個領(lǐng)域取得了顯著成效。然而，隨著模型結(jié)構(gòu)和參數(shù)量的日益復(fù)雜，其在不同軟件框架和硬件平臺上的表現(xiàn)存在差異，如何全面、公正地比較模型、算力系統(tǒng)的綜合性能變得愈加困難。為了在不增加大規(guī)模計算資源投入的情況下提升模型的準(zhǔn)確性和效率，建立統(tǒng)一的基準(zhǔn)測試體系已成為AI領(lǐng)域的迫切需求，這不僅可以幫助開發(fā)者選擇最適合的技術(shù)方案，還能為優(yōu)化計算資源利用、降低碳排放提供科學(xué)的參考依據(jù)。
但當(dāng)前業(yè)界在模型、框架和硬件協(xié)同效能評估方面存在顯著空白，缺乏統(tǒng)一的評估基準(zhǔn)，評估過程難以量化，導(dǎo)致開發(fā)者難以做出最優(yōu)的技術(shù)選擇。尤其是在大型模型的訓(xùn)練和推理過程中，計算資源和能源的消耗成為行業(yè)面臨的重要挑戰(zhàn)。如何在滿足性能需求的同時優(yōu)化計算資源的利用，降低能源消耗，是當(dāng)前研究和應(yīng)用的關(guān)鍵所在。為此，SPEC ML首次提出將模算效率納入基準(zhǔn)評測，模型本身精度越高、在對應(yīng)軟件上對硬件性能利用率越高、推理及訓(xùn)練所需算力越小，模算效率越高。模算效率的評價對象涵蓋了AI大模型、運(yùn)行框架和硬件算力平臺的一整套軟硬件系統(tǒng)。
模算效率的首次提出，將增強(qiáng)不同預(yù)訓(xùn)練模型、軟件框架和硬件系統(tǒng)之間的可比性，促進(jìn)模型與硬件的協(xié)同優(yōu)化，推動AI計算系統(tǒng)的能效提升和技術(shù)創(chuàng)新：
