omniture

浪潮發(fā)布高性能分布式存儲(chǔ)平臺(tái)AS15000G7,加速AI產(chǎn)業(yè)化變革

2023-08-31 15:32 2460

突破數(shù)據(jù)瓶頸,浪潮高性能存儲(chǔ)平臺(tái)加速產(chǎn)業(yè)數(shù)智化變革

北京2023年8月31日 /美通社/ -- 當(dāng)前,AIGC技術(shù)的爆發(fā),讓產(chǎn)業(yè)智能化和智能產(chǎn)業(yè)化進(jìn)入高速發(fā)展期,數(shù)據(jù)作為關(guān)鍵生產(chǎn)要素,正在成為這輪全球增長和科技創(chuàng)新的引擎。近日,浪潮參加由百易傳媒舉辦的2023全球閃存峰會(huì),并在會(huì)上重磅發(fā)布高性能分布式存儲(chǔ)平臺(tái)AS15000G7,以在性能、管理、融合和效率方面追求極致的智慧存儲(chǔ)新品,構(gòu)筑智慧世界基石,推進(jìn)AI產(chǎn)業(yè)化變革。

AI大模型對(duì)數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)帶來的機(jī)遇與挑戰(zhàn)

AIGC是當(dāng)前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng)新的核心技術(shù),其具備強(qiáng)大的認(rèn)知智能,在搜索引擎、藝術(shù)創(chuàng)作、影音游戲,以及金融、教育、醫(yī)療、工業(yè)等領(lǐng)域有著廣闊的應(yīng)用前景。Gartner預(yù)測,到2023年將有20%的內(nèi)容被AIGC所創(chuàng)建;到2025 年人工智能生成數(shù)據(jù)占比將達(dá)到10%。據(jù)分析師預(yù)測,到2032年,生成式AI市場規(guī)模將達(dá)到2,000億美元,占據(jù)人工智能支出總額的約20%,明顯高出當(dāng)前的5%。換言之,未來十年市場規(guī)??赡苊績赡昃蜁?huì)翻一番。

AIGC的爆發(fā),源自于大模型的逐漸成熟,大模型成熟的先決條件是大規(guī)模高質(zhì)量的數(shù)據(jù)、強(qiáng)大的算力和成熟優(yōu)化的算法,而其中,數(shù)據(jù)質(zhì)量和數(shù)量決定了算法的效果和性能。隨著參數(shù)量和數(shù)據(jù)量的極速膨脹,數(shù)據(jù)存儲(chǔ)與管理正在成為制約AIGC產(chǎn)業(yè)發(fā)展的瓶頸:一是要支撐基于海量多元異構(gòu)數(shù)據(jù)的歸集、標(biāo)注、訓(xùn)練、推理和歸檔全生命周期管理;二是要承載AIGC數(shù)據(jù)訓(xùn)練推理時(shí)的高性能、低延時(shí)、大容量、易擴(kuò)展、自由流動(dòng)的嚴(yán)苛需求。大模型訓(xùn)練數(shù)據(jù)多元、數(shù)據(jù)作業(yè)流程長、多態(tài)大模型數(shù)據(jù)量持續(xù)增長、多模計(jì)算大模型性能要求高,對(duì)當(dāng)前AI數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施提出了新挑戰(zhàn):

  • 數(shù)據(jù)歸集與準(zhǔn)備:大模型的數(shù)據(jù)包括從互聯(lián)網(wǎng)及數(shù)字圖書館上收集的海量文本型數(shù)據(jù),以及多渠道獲取的圖片型和視頻型數(shù)據(jù),對(duì)這些多元異構(gòu)海量數(shù)據(jù)預(yù)處理后才能用于大模型訓(xùn)練,在此作業(yè)流程中數(shù)據(jù)的搬運(yùn)和加載,要去存儲(chǔ)系統(tǒng)多協(xié)議互訪互通,存儲(chǔ)成為應(yīng)用平臺(tái)的關(guān)鍵瓶頸;
  • 數(shù)據(jù)訓(xùn)練:大模型海量多元異構(gòu)數(shù)據(jù)的訓(xùn)練,通常采用將數(shù)據(jù)加載到成百上千個(gè)節(jié)點(diǎn)內(nèi)存中并行計(jì)算的方法,此過程中頻繁地從數(shù)據(jù)集取Token,每個(gè)Token一般4字節(jié),實(shí)時(shí)高并發(fā)小IO性能需要極低的延遲,對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的吞吐性能提出了嚴(yán)苛的要求;
  • 數(shù)據(jù)推理:機(jī)器學(xué)習(xí)大模型要求頻繁的參數(shù)調(diào)優(yōu),當(dāng)服務(wù)器故障、網(wǎng)絡(luò)故障造成節(jié)點(diǎn)中斷時(shí),需要數(shù)據(jù)存儲(chǔ)提供高帶寬,確保Checkpoint機(jī)制可以快速訪問數(shù)據(jù),使數(shù)據(jù)能夠重新加載,訓(xùn)練能夠快速恢復(fù);
  • 數(shù)據(jù)歸檔:越多的數(shù)據(jù)投喂結(jié)果越精準(zhǔn)的工作原理,決定了大模型訓(xùn)練存在深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、連接多、參數(shù)和數(shù)據(jù)集種類復(fù)雜、數(shù)據(jù)量大的特征,大模型訓(xùn)練過程中快速迭代,產(chǎn)生大量訓(xùn)練數(shù)據(jù)和人工標(biāo)注數(shù)據(jù),對(duì)這些資產(chǎn)高效存儲(chǔ)與管理,且最大化數(shù)據(jù)基礎(chǔ)設(shè)施投資回報(bào)比,成為數(shù)據(jù)基礎(chǔ)設(shè)施廠商必須解決的問題。

浪潮高性能分布式存儲(chǔ)平臺(tái)AS15000G7

產(chǎn)業(yè)發(fā)展的根本在于科技創(chuàng)新。浪潮作為最早布局AI產(chǎn)業(yè)的企業(yè)之一,圍繞智算中心業(yè)務(wù)布局,打造了算力、算法、數(shù)據(jù)全棧解決方案。在數(shù)據(jù)存儲(chǔ)領(lǐng)域,浪潮秉承"存儲(chǔ)即平臺(tái)"的產(chǎn)品理念,準(zhǔn)確識(shí)別客戶痛點(diǎn)積極布局面向AIGC應(yīng)用場景的數(shù)據(jù)全生命周期存儲(chǔ)解決方案,并基于業(yè)界對(duì)大模型訓(xùn)練的數(shù)據(jù)存儲(chǔ)在性能、管理、融合和效率方面更極致的需求,重磅發(fā)布高性能分布式存儲(chǔ)AS15000G7平臺(tái),助力AIGC在金融、教育、醫(yī)療等領(lǐng)域突破海量多元異構(gòu)數(shù)據(jù)存力瓶頸,加速釋放數(shù)據(jù)價(jià)值。


極致性能,加速AI大模型訓(xùn)練。AS15000G7采用高吞吐并行存儲(chǔ)系統(tǒng),通過GDS、RDMA技術(shù)縮短I/O路徑;通過智能元數(shù)據(jù)管理,提前緩存用戶數(shù)據(jù)和文件系統(tǒng)元數(shù)據(jù),顯著提升數(shù)據(jù)訪問和檢索速度;獨(dú)有的智能網(wǎng)絡(luò)優(yōu)化技術(shù),可實(shí)現(xiàn)多個(gè)子網(wǎng)與指定目的地通信,每對(duì)守護(hù)進(jìn)程之間建立多個(gè)TCP連接并通信,顯著提升網(wǎng)絡(luò)端口并發(fā)能力,實(shí)現(xiàn)傳輸端口帶寬翻數(shù)倍,時(shí)延縮短50%以上,小文件級(jí)傳輸?shù)臅r(shí)延可降至毫秒級(jí)。

極致管理,AI訓(xùn)練全流程透明可控。AS15000G7新品可同時(shí)搭載AIStation調(diào)度平臺(tái)和InView數(shù)據(jù)管理平臺(tái),對(duì)AI服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)智能運(yùn)維。支持訓(xùn)練推理全流程的多租戶管理、資源分配、數(shù)據(jù)管理分析;支持本地和云端的系統(tǒng)性能監(jiān)控,其中云端監(jiān)控支持多數(shù)據(jù)中心統(tǒng)一界面管理,自動(dòng)預(yù)警功能可幫助本地運(yùn)維人員早發(fā)現(xiàn)問題早處理, HDD/SSD壽命和故障預(yù)測功能在14天內(nèi)的準(zhǔn)確率高于95%,處于業(yè)界領(lǐng)先水平,可幫助客戶提前做好設(shè)備更新迭代規(guī)劃,保證數(shù)據(jù)的可靠性和可用性;同時(shí)支持納管多品牌存儲(chǔ)系統(tǒng),實(shí)現(xiàn)IT設(shè)備高利用率??偟脕碚f,一套存儲(chǔ)平臺(tái)可以實(shí)現(xiàn)對(duì)AIGC數(shù)據(jù)采集、清洗、訓(xùn)練、推理、歸檔不同場景全流程的設(shè)備資源監(jiān)控和管理,助力客戶更加專注于大模型訓(xùn)練本身。

極致融合,海納多源異構(gòu)巨量數(shù)據(jù)。AS15000G7平臺(tái)基于其融合架構(gòu),支持文本、圖片、音頻、視頻等多種類型數(shù)據(jù)存儲(chǔ),可對(duì)文件、對(duì)象、大數(shù)據(jù)以及視頻的存儲(chǔ)方式進(jìn)行并行訪問,支持多協(xié)議實(shí)時(shí)互訪互通和系統(tǒng)扁平擴(kuò)展。而且數(shù)據(jù)訪問過程中保持語義一致、性能無損,從而對(duì)AI大模型海量多源異構(gòu)非結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn)高效共享。

極致效率,提升用戶IT設(shè)備投資回報(bào)比。AS15000G7平臺(tái)基于自動(dòng)化的數(shù)據(jù)分層和遷移,在確保對(duì)應(yīng)用安全透明的前提下,可實(shí)現(xiàn)熱溫冷冰數(shù)據(jù)全生命周期的管理,通過基于閃存、磁盤、磁帶、光盤的性能型、均衡型、容量型三種機(jī)型的按需靈活配置,存儲(chǔ)TB級(jí)數(shù)據(jù)成本可降低超50%,TCO降低35%。

"當(dāng)前,各個(gè)廠商紛紛投資IT基礎(chǔ)設(shè)施,訓(xùn)練自己的大模型,國內(nèi)已發(fā)布的AI模型超過了100個(gè),'百模爭秀'的格局初現(xiàn),云廠商和運(yùn)營商對(duì)IT硬件的投資往往是數(shù)千甚至上萬節(jié)點(diǎn)規(guī)模,而行業(yè)型大廠投資在幾百節(jié)點(diǎn)規(guī)模,在建設(shè)布局時(shí)考慮到AI大模型對(duì)高性能AI服務(wù)器、高吞吐并行存儲(chǔ)系統(tǒng)、低延遲RDMA網(wǎng)絡(luò)的嚴(yán)苛需求,將數(shù)據(jù)中心的計(jì)算、全閃存儲(chǔ)、混閃存儲(chǔ)按照1:1:1黃金比例建設(shè),用戶可最大化獲得投資回報(bào)比。"浪潮信息存儲(chǔ)產(chǎn)品線副總經(jīng)理劉希猛表示。

得益于前瞻布局和技術(shù)創(chuàng)新,浪潮高性能分布式存儲(chǔ)AS15000G7平臺(tái),已在"源"大模型中部署,并在智能客服、生物識(shí)別、互聯(lián)網(wǎng)金融、精準(zhǔn)營銷等云數(shù)智新場景廣泛應(yīng)用。面對(duì)生成式AI掀起的變革浪潮,浪潮將秉承"存儲(chǔ)即平臺(tái)"的產(chǎn)品理念,不斷精耕數(shù)據(jù)存儲(chǔ)產(chǎn)品和解決方案,以極致性能、極致管理、極致融合、極致效率的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施,讓數(shù)據(jù)存力像水電一樣賦能千行百業(yè),服務(wù)大眾,成為人人可見、普適易用、高效互聯(lián)的基礎(chǔ)設(shè)施,革命性地提升人類生產(chǎn)生活水平。

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection