北京2023年7月26日 /美通社/ -- 近日，浪潮信息成功入選北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴, "源"大模型將持續(xù)加速開(kāi)放賦能，促進(jìn)通用人工智能產(chǎn)業(yè)發(fā)展，提升產(chǎn)業(yè)普惠價(jià)值。
【當(dāng)前，北京正在加快推進(jìn)國(guó)家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)和國(guó)家人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)建設(shè)，打造具有全球影響力的人工智能創(chuàng)新策源地。北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃，由北京市經(jīng)信局聯(lián)合市科委中關(guān)村管委會(huì)、市發(fā)改委等共同發(fā)布，旨在搭建人工智能大模型的開(kāi)放合作平臺(tái)，建立協(xié)同合作機(jī)制，通過(guò)持續(xù)優(yōu)化產(chǎn)業(yè)鏈布局，大幅提升優(yōu)質(zhì)算力、高質(zhì)量數(shù)據(jù)供給支撐能力，培養(yǎng)一批應(yīng)用大模型技術(shù)實(shí)現(xiàn)突破性成長(zhǎng)的標(biāo)桿企業(yè)。】
作為最早布局大模型的企業(yè)之一，浪潮信息在業(yè)界率先推出了中文AI巨量模型"源1.0"，參數(shù)規(guī)模高達(dá)2457億。"源1.0"在語(yǔ)言智能方面表現(xiàn)優(yōu)異，獲得中文語(yǔ)言理解評(píng)測(cè)基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)（zero-shot）和小樣本學(xué)習(xí)（few-shot）兩類(lèi)總榜冠軍。 浪潮信息通過(guò)千億參數(shù)規(guī)模的大模型創(chuàng)新實(shí)踐，已在算力集群構(gòu)建、算力調(diào)度部署、算法模型開(kāi)發(fā)等方面，構(gòu)建起全棧領(lǐng)先的大模型算力系統(tǒng)解決方案，助力大模型訓(xùn)練開(kāi)發(fā)。
在算力集群構(gòu)建上，基于大模型實(shí)測(cè)對(duì)比的集群規(guī)劃，提供包含數(shù)據(jù)中心、算力、網(wǎng)絡(luò)、存儲(chǔ)一體化產(chǎn)品陣列。其中最新一代融合架構(gòu)的AI訓(xùn)練服務(wù)器 NF5688G7采用Hopper架構(gòu)的GPU，較上代平臺(tái)大模型實(shí)測(cè)性能提升近7倍，同時(shí)支持最新的液冷解決方案，可實(shí)現(xiàn)更低的集群能耗比與運(yùn)行成本，PUE小于1.15，以一個(gè)4000卡的智算中心為例，每年可節(jié)電620萬(wàn)度、降碳1700噸。在集群高速互聯(lián)層面，基于原生RDMA實(shí)現(xiàn)整個(gè)集群的全線速組網(wǎng)，并對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行優(yōu)化，可以有效消除混合計(jì)算的計(jì)算瓶頸，確保集群在大模型訓(xùn)練時(shí)始終處于最佳狀態(tài)。
在算力調(diào)度部署上，面對(duì)大模型系統(tǒng)級(jí)開(kāi)發(fā)過(guò)程中所存在的調(diào)度難、部署慢、效率低、集群異常等問(wèn)題，浪潮信息推出AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺(tái)，通過(guò)全生命周期的一體化監(jiān)控及調(diào)度系統(tǒng)，構(gòu)建起完備的模型訓(xùn)練失效恢復(fù)持續(xù)方案，滿足大模型分布式訓(xùn)練中高穩(wěn)定、高穩(wěn)健性等特性要求，實(shí)現(xiàn)訓(xùn)練異常和故障診斷的自動(dòng)處理，縮短斷點(diǎn)續(xù)訓(xùn)時(shí)間90%。同時(shí)，自研分布式任務(wù)自適應(yīng)系統(tǒng)，有效分配底層計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，提升集群利用率與模型訓(xùn)練效率。高效的集群優(yōu)化調(diào)度策略，大幅簡(jiǎn)化大模型訓(xùn)練前大量的、環(huán)境配置、依賴(lài)庫(kù)適配和超參數(shù)調(diào)整工作。
在算法模型開(kāi)發(fā)上，"源1.0"針對(duì)大模型的Attention層和前饋層的模型空間進(jìn)行結(jié)構(gòu)優(yōu)化，改進(jìn)注意力機(jī)制聚焦文章內(nèi)部聯(lián)系的學(xué)習(xí)。千億大模型的創(chuàng)新實(shí)踐，使得浪潮信息具備從數(shù)據(jù)、訓(xùn)練、部署到應(yīng)用落地的全棧開(kāi)發(fā)能力。在訓(xùn)練數(shù)據(jù)處理上，通過(guò)自研海量數(shù)據(jù)過(guò)濾系統(tǒng)（MDFS），建立從數(shù)據(jù)采集、粗濾、質(zhì)量分類(lèi)、精濾的全自動(dòng)化的端到端數(shù)據(jù)工作流程，通過(guò)清洗866TB海量數(shù)據(jù)，獲得5TB高質(zhì)量中文數(shù)據(jù)集。
在助力大模型訓(xùn)練開(kāi)發(fā)方面，浪潮信息推出AI算力服務(wù)，提供經(jīng)"源"清洗驗(yàn)證過(guò)的語(yǔ)言或多模態(tài)的大模型數(shù)據(jù)、算法產(chǎn)品及模型訓(xùn)練資源管理平臺(tái)，為AI創(chuàng)新研究團(tuán)隊(duì)提供先進(jìn)、開(kāi)放、高性能、高質(zhì)量的AI算力資源及配套服務(wù)，賦能AIGC創(chuàng)新發(fā)展。目前，浪潮信息AI算力服務(wù)已成功助力網(wǎng)易伏羲中文預(yù)訓(xùn)練大模型"玉言"登頂中文語(yǔ)言理解權(quán)威測(cè)評(píng)基準(zhǔn)CLUE分類(lèi)任務(wù)榜單，并在多項(xiàng)任務(wù)上超過(guò)人類(lèi)水平。
浪潮信息AI團(tuán)隊(duì)將"源1.0"成功的系統(tǒng)工程經(jīng)驗(yàn)應(yīng)用于智算中心算力系統(tǒng)，對(duì)集群架構(gòu)、高速互聯(lián)、算力調(diào)度等進(jìn)行全面優(yōu)化，對(duì)分布式訓(xùn)練策略進(jìn)行了針對(duì)性?xún)?yōu)化，通過(guò)合理設(shè)計(jì)張量并行、流水并行和數(shù)據(jù)并行，精準(zhǔn)調(diào)整模型結(jié)構(gòu)和訓(xùn)練過(guò)程的超參數(shù)，最終實(shí)現(xiàn)千億參數(shù)規(guī)模的大模型訓(xùn)練算力效率達(dá)至53.5%。
目前，浪潮信息"源1.0"已在眾多行業(yè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用的快速落地，真正實(shí)現(xiàn)AIGC的產(chǎn)業(yè)普惠：通過(guò)構(gòu)建強(qiáng)大穩(wěn)健的基礎(chǔ)大模型，讓千行百業(yè)擁有"順勢(shì)而為"的大模型能力。浪潮信息推出的"源1.0"開(kāi)源開(kāi)放計(jì)劃，開(kāi)放模型API、工具鏈、數(shù)據(jù)集，構(gòu)建"開(kāi)放、共贏"的開(kāi)發(fā)者社區(qū)生態(tài)，助力開(kāi)發(fā)者快速創(chuàng)新，目前"源開(kāi)發(fā)者社區(qū)"已匯聚了近萬(wàn)名高水平開(kāi)發(fā)者，孵化出眾多創(chuàng)新應(yīng)用。
在智能客服領(lǐng)域，通過(guò)將"源"大模型的智能力與復(fù)雜的服務(wù)場(chǎng)景進(jìn)行深度融合，打造專(zhuān)家級(jí)數(shù)據(jù)中心智能客服大腦，憑借強(qiáng)大的學(xué)習(xí)能力，"源曉服"能夠?qū)χR(shí)庫(kù)進(jìn)行自主化學(xué)習(xí)，可覆蓋終端用戶92%的咨詢(xún)問(wèn)題，將復(fù)雜技術(shù)咨詢(xún)的業(yè)務(wù)處理時(shí)長(zhǎng)降低65%，整體服務(wù)效率達(dá)160%，榮獲評(píng)哈佛商業(yè)評(píng)論鼎革獎(jiǎng)。
在智慧政務(wù)領(lǐng)域，基于源大模型打造的AI社區(qū)助理"臨小助"，可為基層社區(qū)工作者提供沉浸式、針對(duì)性的一對(duì)一群眾工作能力培訓(xùn), 社區(qū)工作者通過(guò)手機(jī)載體與"臨小助"進(jìn)行互動(dòng)對(duì)話形式，讓社區(qū)小白"秒變"服務(wù)群眾的能人。目前，"臨小助"已投入使用，在某高頻場(chǎng)景中, 社區(qū)工作人員培訓(xùn)學(xué)習(xí)效率提升5倍, 有效輔助問(wèn)答建議達(dá)至75%。
在智慧文創(chuàng)領(lǐng)域，開(kāi)發(fā)者開(kāi)發(fā)出首個(gè)AI劇本殺；基于"源1.0"，開(kāi)發(fā)并上線一個(gè)會(huì)"鬧情緒"的AI陪練，幫助心理咨詢(xún)師更專(zhuān)業(yè)及時(shí)地提供各種服務(wù)和治療方案。除此之外，"AI數(shù)字人魯迅"、數(shù)字演員、陪伴機(jī)器人、游戲NPC對(duì)話等極具創(chuàng)新的應(yīng)用也在不斷地孵化落地。
"源1.0"作為新型的大模型算法基礎(chǔ)設(shè)施，正通過(guò)強(qiáng)大的通用智能和全棧的工具鏈服務(wù)能力，助力千行百業(yè)開(kāi)發(fā)運(yùn)行更多的智能應(yīng)用。
