omniture

云南天文臺(tái):基于分布式存儲(chǔ),為天文觀測(cè)構(gòu)建新數(shù)據(jù)底座

2023-02-23 15:42 3361

北京2023年2月23日 /美通社/ -- 晴空萬(wàn)里、群星璀璨的麗江高美古,在納西語(yǔ)中的釋義是"天氣好、星星多、離天最近的地方"。這里的年平均晴天超200天,視寧度達(dá)到世界優(yōu)良臺(tái)址的水平,大氣潔凈透明,抬頭可見(jiàn)滿天的繁星、清晰的銀河,近年來(lái)逐步成為國(guó)內(nèi)重要的天文觀測(cè)站點(diǎn),逐步成為國(guó)內(nèi)外天文工作者的觀測(cè)圣地。建設(shè)在高美古的中國(guó)科學(xué)院云南天文臺(tái)麗江觀測(cè)站(以下簡(jiǎn)稱麗江觀測(cè)站),擁有獨(dú)特的地理環(huán)境優(yōu)勢(shì),經(jīng)過(guò)多年的建設(shè),逐步建設(shè)完成了2.4米、1.8米、1.6米等多種口徑規(guī)格光學(xué)望遠(yuǎn)鏡和一批小口徑的遠(yuǎn)程/自動(dòng)望遠(yuǎn)鏡、日冕儀、射電望遠(yuǎn)鏡等科學(xué)觀測(cè)裝置,云南天文臺(tái)的南方天文觀測(cè)集群已經(jīng)初具規(guī)模。

隨著天文觀測(cè)需求的不斷提升,天文觀測(cè)所產(chǎn)生的觀測(cè)數(shù)據(jù)量也越來(lái)越大,這也對(duì)數(shù)據(jù)存儲(chǔ)和處理提出了更高的要求。為此,麗江觀測(cè)站采用浪潮分布式存儲(chǔ)構(gòu)建三級(jí)數(shù)據(jù)存儲(chǔ)平臺(tái),為天文研究乃至今后的數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)研究提供有利的硬件平臺(tái)支撐。

云南天文臺(tái)麗江觀測(cè)站的2.4米光學(xué)望遠(yuǎn)鏡
云南天文臺(tái)麗江觀測(cè)站的2.4米光學(xué)望遠(yuǎn)鏡

天文觀測(cè)儀器背后驚人的數(shù)據(jù)需求

麗江觀測(cè)站擁有多種型號(hào)的天文望遠(yuǎn)鏡,包括光學(xué)望遠(yuǎn)鏡、日冕儀和射電望遠(yuǎn)鏡,整個(gè)觀測(cè)站的觀測(cè)能力已經(jīng)覆蓋了從光學(xué)到射電的波段范圍,每年能開(kāi)展多項(xiàng)具有國(guó)際先進(jìn)水平的天體物理觀測(cè)和研究工作。天文領(lǐng)域的科研工作者借助觀測(cè)儀器設(shè)備對(duì)星體進(jìn)行觀測(cè),并采集數(shù)據(jù)以便進(jìn)一步研究。

近些年隨著新的天文觀測(cè)技術(shù)快速發(fā)展,觀測(cè)的廣度和精度得到極大提升,讓天文工作者更清晰觀測(cè)到天文目標(biāo),也更準(zhǔn)確驗(yàn)證已有物理模型。與此同時(shí),新的天文觀測(cè)儀器采集的數(shù)據(jù)量也有了量級(jí)的提升,如麗江觀測(cè)站正在調(diào)試的云南大學(xué)1.6米多通道測(cè)光巡天望遠(yuǎn)鏡,其中裝置了3臺(tái)大靶面的科學(xué)技術(shù)CCD相機(jī),每個(gè)相機(jī)由4片9k*9k的芯片拼接而成,在觀測(cè)過(guò)程中三臺(tái)相機(jī)同時(shí)曝光,一次曝光就能產(chǎn)生近1GB的觀測(cè)數(shù)據(jù),一個(gè)觀測(cè)夜的觀測(cè)數(shù)據(jù)量近3TB,一年的原始觀測(cè)數(shù)據(jù)接近1PB。如何有效傳輸觀測(cè)站眾多望遠(yuǎn)鏡觀測(cè)采集的數(shù)據(jù)、支撐計(jì)算平臺(tái)高效分析和處理觀測(cè)數(shù)據(jù)、安全存儲(chǔ)原始數(shù)據(jù)和價(jià)值數(shù)據(jù),給麗江天文觀測(cè)站的觀測(cè)數(shù)據(jù)管理提出了新的需求。

首先,數(shù)據(jù)性能需求。在數(shù)據(jù)采集過(guò)程中,天文望遠(yuǎn)鏡觀測(cè)產(chǎn)生的數(shù)據(jù),需要通過(guò)數(shù)據(jù)采集程序,實(shí)時(shí)地完成數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、計(jì)算、數(shù)據(jù)存盤等多個(gè)任務(wù)。數(shù)據(jù)量根據(jù)觀測(cè)設(shè)備數(shù)量及型號(hào)等因素會(huì)有不同,數(shù)據(jù)采集過(guò)程就對(duì)存儲(chǔ)提出了數(shù)GB/s至數(shù)十GB/s的帶寬需求,以保障數(shù)據(jù)穩(wěn)定寫(xiě)入。數(shù)據(jù)計(jì)算過(guò)程,作為以數(shù)據(jù)為驅(qū)動(dòng)的天文觀測(cè)任務(wù),科研計(jì)算平臺(tái)需要存儲(chǔ)集群平臺(tái)提供數(shù)十GB/s聚合帶寬的讀寫(xiě)能力以保證計(jì)算任務(wù)并行的高效性。在實(shí)現(xiàn)用戶數(shù)據(jù)共享的同時(shí),還要針對(duì)不同的用戶進(jìn)行權(quán)限控制和配額限制,以實(shí)現(xiàn)存儲(chǔ)數(shù)據(jù)的安全高效使用。

其次,數(shù)據(jù)的長(zhǎng)期保存需求。天文觀測(cè)的原始數(shù)據(jù)要通過(guò)合理的生命周期管理系統(tǒng)進(jìn)行永久歸檔保留,數(shù)據(jù)的自動(dòng)化遷移歸檔、數(shù)據(jù)的安全性、歸檔數(shù)據(jù)長(zhǎng)期保存成本、存儲(chǔ)的易擴(kuò)展性是數(shù)據(jù)歸檔存儲(chǔ)考慮的重要因素。

分層存儲(chǔ)方案滿足不同天文數(shù)據(jù)的需求

麗江觀測(cè)站為了滿足天文科研工作者對(duì)望遠(yuǎn)鏡觀測(cè)數(shù)據(jù)的存儲(chǔ)和分析處理過(guò)程中高帶寬存儲(chǔ)資源需求,從而滿足大量文件的頻繁讀寫(xiě),采用了浪潮的計(jì)算節(jié)點(diǎn)和分布式存儲(chǔ)搭建了三級(jí)分層的存儲(chǔ)資源池,通過(guò)浪潮分布式存儲(chǔ)高性能節(jié)點(diǎn)AS13000G5-H搭建高速存儲(chǔ)層提供并行讀寫(xiě)能力,滿足前端多個(gè)計(jì)算節(jié)點(diǎn)同時(shí)在存儲(chǔ)上進(jìn)行數(shù)據(jù)讀寫(xiě)的需求;采用浪潮分布式存儲(chǔ)AS13000G5-M系列4U60高密節(jié)點(diǎn)提供2PB低速存儲(chǔ)空間,用于存儲(chǔ)前端回傳的觀測(cè)原始數(shù)據(jù)以及計(jì)算集群計(jì)算處理后的歸檔數(shù)據(jù)。

浪潮存儲(chǔ)
浪潮存儲(chǔ)

為天文觀測(cè)任務(wù)提供性能保障

浪潮AS13000G5-H通過(guò)私有客戶端,能夠使接收到的數(shù)據(jù)并發(fā)寫(xiě)入每個(gè)數(shù)據(jù)節(jié)點(diǎn),打破傳統(tǒng)存儲(chǔ)的單存儲(chǔ)節(jié)點(diǎn)性能限制,通過(guò)RDMA協(xié)議,有效降低數(shù)據(jù)傳輸過(guò)程中的時(shí)延,進(jìn)一步提升傳輸效率,單存儲(chǔ)節(jié)點(diǎn)性能可達(dá)到GB/s讀寫(xiě)帶寬。通過(guò)并行文件系統(tǒng)可以添加更多的存儲(chǔ)節(jié)點(diǎn),性能和容量隨節(jié)點(diǎn)數(shù)的增加而線性增長(zhǎng)。

科研項(xiàng)目的階段性增長(zhǎng)可以按需滿足、高效運(yùn)維

為保障天文數(shù)據(jù)長(zhǎng)期可靠保存、彈性擴(kuò)展的需求,浪潮存儲(chǔ)在架構(gòu)和運(yùn)維方面進(jìn)行了創(chuàng)新。

擴(kuò)展性方面,浪潮存儲(chǔ)基于分布式存儲(chǔ)架構(gòu)支持靈活擴(kuò)展,可隨著天文科研項(xiàng)目需求橫向擴(kuò)展,運(yùn)用獨(dú)特的擴(kuò)容算法,在擴(kuò)容同時(shí)可保障業(yè)務(wù)性能無(wú)明顯波動(dòng),性能與容量隨著節(jié)點(diǎn)的擴(kuò)展而線性增長(zhǎng),避免對(duì)現(xiàn)有接收業(yè)務(wù)和科研計(jì)算任務(wù)讀寫(xiě)訪問(wèn)性能造成影響,存儲(chǔ)空間可達(dá)到EB級(jí)別,滿足了未來(lái)天文觀測(cè)儀器設(shè)備提升的存儲(chǔ)增長(zhǎng)需求。

在可靠性方面,浪潮分布式存儲(chǔ)采用糾刪策略,允許多個(gè)節(jié)點(diǎn)損壞時(shí)業(yè)務(wù)不中斷,保證觀測(cè)任務(wù)以及計(jì)算任務(wù)7x24小時(shí)的連續(xù)業(yè)務(wù)訪問(wèn),保障天文工作者科研項(xiàng)目順利進(jìn)行。同時(shí)還可搭配InView智能管理平臺(tái),對(duì)于天文觀測(cè)海量數(shù)據(jù)中心的設(shè)備進(jìn)行管理,提供容量、性能、故障等預(yù)測(cè)性分析等一系列智能化功能,幫助運(yùn)維人員預(yù)防硬件潛在故障,同時(shí)降低存儲(chǔ)的復(fù)雜性和維護(hù)成本。

占地260余畝麗江觀測(cè)站園區(qū)里運(yùn)行的光學(xué)望遠(yuǎn)鏡每年都要執(zhí)行數(shù)千次的觀測(cè)任務(wù),積累大量的原始觀測(cè)數(shù)據(jù),這些觀測(cè)數(shù)據(jù)幫助科研工作者取得了大量研究成果,加速中國(guó)天文研究的發(fā)展。如借助2.4米望遠(yuǎn)鏡光譜觀測(cè)發(fā)現(xiàn)了數(shù)十個(gè)高紅移類星體,不斷刷新中國(guó)發(fā)現(xiàn)類星體的紅移記錄;通過(guò)系外行星的精確視向速度搜尋工作,已經(jīng)發(fā)現(xiàn)若干顆系外行星候選源;擅長(zhǎng)搜尋新的凌食系外行星系統(tǒng)的寬視場(chǎng)巡天望遠(yuǎn)鏡(小口徑望遠(yuǎn)鏡),幫助科學(xué)家們發(fā)現(xiàn)了10多顆凌食系外行星候選體以及200多顆其它類型的變?cè)?。正在建設(shè)的云南大學(xué)1.6米多通道測(cè)光巡天望遠(yuǎn)鏡,建成后將通過(guò)3臺(tái)相機(jī)進(jìn)行同時(shí)曝光的巡天觀測(cè),將直接提供星空的"彩色電影"。

未來(lái)云南天文臺(tái)麗江觀測(cè)站也將在此基礎(chǔ)上,不斷進(jìn)行天文學(xué)高新技術(shù)創(chuàng)新,為天文學(xué)的科學(xué)應(yīng)用研究服務(wù)提供高質(zhì)量的觀測(cè)數(shù)據(jù),發(fā)揮南方天文觀測(cè)集群的前沿作用,推動(dòng)天文領(lǐng)域研究的快速發(fā)展,探索宇宙奧秘。

消息來(lái)源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection