北京2022年2月16日 /美通社/ -- 2022 ASC世界大學(xué)生超級計(jì)算機(jī)競賽（ASC22）已進(jìn)入預(yù)賽階段。來自全球各地的300多支參賽隊(duì)伍正在挑戰(zhàn)一道人工智能難題 -- AI語言大模型。組委會提供了100GB高質(zhì)量中文數(shù)據(jù)集，要求參賽隊(duì)基于此數(shù)據(jù)集實(shí)現(xiàn)一個47億參數(shù)的“源”AI語言大模型，以此激發(fā)參賽大學(xué)生對自然語言處理的興趣與創(chuàng)造力，激勵他們向這一人工智能“皇冠上的明珠”發(fā)起沖擊。
AI大模型以其優(yōu)秀的精度表現(xiàn)以及在應(yīng)用中較高的智能化水平，成為了當(dāng)今人工智能研究的熱點(diǎn)。李飛飛教授聯(lián)名發(fā)表的論文中提出，AI大模型的意義在于突現(xiàn)和均質(zhì)，突現(xiàn)意味著通過大模型隱含的知識和推納可帶來讓人振奮的科學(xué)創(chuàng)新靈感，而均質(zhì)則表示大量模型可以為諸多應(yīng)用任務(wù)泛化支持提供統(tǒng)一強(qiáng)大的算法支撐。
過去一年中，AI大模型領(lǐng)域涌現(xiàn)出了一批優(yōu)秀成果，如“源1.0”、“威震天·圖靈”。這些大模型不但能勝任傳統(tǒng)的自然語言處理任務(wù)，還會寫詩、編程、寫小說、寫論文摘要等等，在醫(yī)療、金融、零售、氣象、新聞傳播、文學(xué)藝術(shù)等領(lǐng)域表現(xiàn)出了廣闊的應(yīng)用前景。
雖然大模型擁有巨大的發(fā)展?jié)摿蛻?yīng)用前景，但同樣面臨著算力挑戰(zhàn)。以“源”為例，其采用2128顆加速器訓(xùn)練了16天，算力開銷巨大。于是，分布式訓(xùn)練性能優(yōu)化成為大模型研究的重要方向。
ASC22組委會提供了100GB高質(zhì)量中文數(shù)據(jù)集，要求參賽隊(duì)基于這一數(shù)據(jù)集實(shí)現(xiàn)一個47億參數(shù)的“源”AI語言大模型。但是，組委會并未提供大模型設(shè)計(jì)的參考代碼。這就意味著參賽隊(duì)需要從零開始，自行完成模型結(jié)構(gòu)構(gòu)建和全部訓(xùn)練過程，并合理設(shè)計(jì)模型訓(xùn)練策略，以期得到最佳的計(jì)算性能。因此，這道賽題也變得更具挑戰(zhàn)性：在追求極致性能的同時，還要滿足精度約束，這也是在實(shí)際大模型研發(fā)中，行業(yè)人士經(jīng)常會面臨的關(guān)鍵問題。
正如ASC發(fā)起人、中國工程院院士王恩東所說，隨著人工智能與算力的完美融合，計(jì)算正在向智算演變，可能讓下一代超級計(jì)算機(jī)成為超級智算機(jī)，它不僅是計(jì)算性能的數(shù)量級躍升，同時也能更好地集成機(jī)器學(xué)習(xí)和物理建模。因此，ASC22將自然語言處理這個高性能計(jì)算和人工智能完美結(jié)合的前沿應(yīng)用設(shè)為賽題，將成為參賽隊(duì)比拼AI與超算融合能力的絕佳試驗(yàn)場。
AI大模型賽題專家、浪潮人工智能研究院首席研究員吳韶華表示，這道賽題瞄準(zhǔn)的是分布式訓(xùn)練性能優(yōu)化方向，要求參賽隊(duì)伍在100GB的數(shù)據(jù)集上完成10億個令牌的訓(xùn)練，在滿足精度的條件下，性能越快，得分越高。而訓(xùn)練性能的提升，將直接降低大模型的訓(xùn)練開銷、降低集群能耗，進(jìn)而降低碳排放。希望通過該賽題，參賽隊(duì)伍能對自然語言處理領(lǐng)域的前沿研究形成清晰的認(rèn)知，并且通過創(chuàng)新實(shí)踐，找到具有普適意義的方法，取得計(jì)算性能上的突破。
ASC世界大學(xué)生超算競賽由中國發(fā)起組織，并得到亞洲及歐美相關(guān)專家和機(jī)構(gòu)支持，旨在通過大賽平臺推動各國及地區(qū)間超算青年人才交流和培養(yǎng)，提升超算應(yīng)用水平和研發(fā)能力，發(fā)揮超算的科技驅(qū)動力，促進(jìn)科技與產(chǎn)業(yè)創(chuàng)新。ASC超算大賽迄今已舉行至第10屆，吸引超萬名世界各國大學(xué)生參賽，是全球最大規(guī)模的超算競賽。在最新的2022年賽季，來自世界各國的300多支隊(duì)伍報(bào)名參賽，經(jīng)初賽選拔的隊(duì)伍將參加5月7日-11日在位于合肥的中國科學(xué)技術(shù)大學(xué)舉行的總決賽。
