omniture

浪潮:智算時代AI性能需求6年增長30萬倍,存儲怎么辦?

2021-09-01 15:26 6052

北京2021年9月1日 /美通社/ -- 智算時代的序幕已經拉開,互聯的萬物,一切皆計算機。智慧計算融入到千行萬業(yè)的圖景,正在徐徐鋪開。這是一個數據成為生產要素的時代,智慧計算將勞動者由人變成了人+AI,將數據變成了一種新的生產資料,將計算力驅動的信息化設備變成了生產工具。

智算時代,算力供應呈現多元化發(fā)展趨勢,包括科學計算、關鍵計算、云計算、AI計算等,支持這些多元、異構的計算,需要新型數據中心。

工信部在《新型數據中心發(fā)展三年行動計劃(2021-2023年)》對新型數據中心的定義是:以支撐經濟社會數字轉型、智能升級、融合創(chuàng)新為導向,以5G、工業(yè)互聯網、云計算、人工智能等應用需求為牽引,匯聚多元數據資源、運用綠色低碳技術、具備安全可靠能力、提供高效算力服務、賦能千行百業(yè)應用的新型基礎設施,具有高技術、高算力、高能效、高安全特征。并明確指出:引導新型數據中心集約化、高密化、智能化建設,加快高性能、智能計算中心部署。

先以AI計算為例。2018年5月,一篇著名的OpenAI博客分析,自 2012 年以來,AI算力需求總增長約30萬倍(如下圖),也即3.4月翻一倍(相比之下,摩爾定律約每兩年翻倍,總增長約7倍)。


迅猛增長的AI算力需求,對底層IT基礎設施,包括存儲提出了新的挑戰(zhàn)。

再以云計算為例。國內最大的云計算公司阿里云,在2020年的雙11當天零點零分26秒,迎來流量洪峰,訂單創(chuàng)建峰值達58.3萬筆/秒(也即TPS,Transaction Per Second,代表每秒執(zhí)行的事務數)。

這么高的性能需求,會對與之相關的電商、銀行、物流等上下游的企業(yè)造成很大的壓力。例如2017年雙11,農業(yè)銀行核心系統(tǒng)全天交易量4.49億筆。其實,無論云計算,還是邊緣計算等,都已經或將要和私有云或者數據中心的業(yè)務系統(tǒng)打通,實現數據的處理、流動和共享,為全產業(yè)鏈聯動,提供及時交付和響應。另外,無論是AI計算、科學計算,還是萬物互聯帶來的計算,都已經或將要實現從非結構化數據到結構化數據的轉換,以及終端(含手機、車載大屏等)的可視化呈現,為個人或組織提供參考和決策依據;在這個過程中,轉換后結構化數據的數據處理、安全,和再在線(類似從AI訓練到推理,如抓捕逃犯),離不開為關鍵計算提供支撐的IT基礎設施,如集中式存儲。

當我們關注存儲性能時,通常有IOPS(每秒IO個數)和延時(處理IO所需時間,通常以毫秒,也即ms為單位)兩大指標。上面雙11所述的TPS是每秒交易數,是從業(yè)務視角來觀察性能的,通常一個訂單的操作會聯動多個數據庫的增刪改查操作,導致多個存儲IO的讀寫操作。不過,需要注意的是,不同業(yè)務TPS帶動的IO數有時相差很大。

我們再來看關鍵計算的幾個例子。為了追求極致的性能,有些行業(yè)用戶無所不用其極。

Spread Networks 大概從 2010 年開始,花費 3 億美元挖通修建了一條橫穿阿巴拉契亞山脈的光纜隧道,目的是讓光纜不用繞道,將數據傳輸時間縮短大約3毫秒。

2013 年,一組破冰隊伍和特制的極地冰山電纜鋪設船將開始建造第一艘跨北極海底光纜。其中兩條名為“Artic Fibre”和“Arctic Link”的光纜將跨過加拿大北極群島的西北通道。第三條類似走向的海底光纜,俄羅斯跨北極海底光纜(ROTACS)將會圍繞北歐北部的斯堪的納維亞半島和俄羅斯進行鋪設。通過這三條海底光纜,全球兩大金融交易中心英國倫敦和日本東京將幾乎得以直連,相比現有方案節(jié)省近8000公里,兩地間的數據傳輸時間也從大約0.23秒減少至0.17秒,這項工程耗資大約15億美元。

2017年彭博社報道,Jump Trading公司在芝加哥商品交易所數據中心對面,花了1400萬美元買了一塊12萬平方米的空地(如下圖),并架設了微波通信基站,僅僅為了節(jié)省0.07毫秒時間。眾所周知,眨眼常被形容快,它的時間約0.4秒;而Jump Trading花費巨資,只是為了快5700分之一眨眼的時間。

可想而知,在一些行業(yè)的某些特定應用上,為了追求高性能、低延遲,用戶愿意不惜代價。筆者曾服務過的一個國內部委用戶,僅僅為了縮短幾毫秒的延時,數年下來,已經投入了數億元人民幣在集中式存儲上。

就像人類在體育競賽中所展現的精神一樣,追求更快、更高、更強是永恒不變的動力,存儲性能競賽也是如此。

2021年6月,全球存儲性能委員會(Storage Performance Council,簡稱SPC)公布了新的SPC-1基準評測報告,浪潮分布式存儲AS13000G5以630萬IOPS(每秒讀寫操作的次數)、0.5ms時延的評測值,刷新了分布式存儲性能全球最優(yōu)成績。這是繼浪潮存儲在“統(tǒng)一存儲”賽道奪得16控、8控、單位成本性能世界冠軍之后,在“分布式存儲”領域實現新突破,成為存儲全球性能領跑者。

2021年8月,SPC公布了最新SPC-1基準評測榜單,浪潮存儲高端全閃HF18000G5獲得2300萬IOPS(每秒讀寫操作次數)、不超過0.3ms延時的評測值,位列性能總榜全球第一,如下圖。

2021年8月,浪潮高端全閃奪得性能總榜全球第一
2021年8月,浪潮高端全閃奪得性能總榜全球第一

浪潮存儲的優(yōu)異性能表現,對智算時代中的科學計算、云計算、AI計算,如核心交易用到的數據庫,以及OLAP、郵件系統(tǒng)、虛擬化、AI等業(yè)務的存儲系統(tǒng)選型具有極高的參考價值。浪潮存儲會在集中式全閃、分布式全閃新存儲領域持續(xù)投入,以性能全面碾壓、技術實力領先、市場增速領跑的強大產品和市場競爭力加速企業(yè)數字化轉型,形成全球存儲新勢力。

作者:浪潮信息首席架構師 葉毓睿

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯網、科技、媒體、通訊企業(yè)的經營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection