北京2021年3月12日 /美通社/ -- HDFS（Hadoop Distributed File System）作為通用的分布式文件系統(tǒng)，可以提供高可擴展、低成本、高可靠的海量數(shù)據(jù)存儲，并廣泛應用于大數(shù)據(jù)存儲和分析方向。
近年來伴隨5G、物聯(lián)網(wǎng)、人工智能等領域的快速發(fā)展，數(shù)據(jù)量規(guī)模不斷增大，同時隨著大數(shù)據(jù)應用的多樣化發(fā)展，對數(shù)據(jù)的利用也更加成熟與深入，更大數(shù)據(jù)量以及更加靈活的數(shù)據(jù)處理場景對HDFS的數(shù)據(jù)存儲與數(shù)據(jù)讀寫吞吐提出了越來越高的要求。
為應對這些挑戰(zhàn)，浪潮著力研發(fā)與集成的面向分布式文件系統(tǒng)的智能存儲管理技術Smart Storage Management（簡稱SSM）應運而生。通過多項新技術及特性來解決存儲場景中的各類挑戰(zhàn)，助力大數(shù)據(jù)產品提供更加高效、智能的存儲解決方案。
現(xiàn)今存儲技術面臨哪些疑難挑戰(zhàn)？
說到疑難挑戰(zhàn)，首先當推基于異構存儲介質的數(shù)據(jù)存儲管理。從硬件平臺來看， HDFS的設計初衷是基于通用的廉價硬件提供可靠、高吞吐的數(shù)據(jù)存儲和訪問。但隨著硬件的迅速發(fā)展，傳統(tǒng)的磁盤性能和存儲容量都已達到瓶頸，新硬件如固態(tài)硬盤、非易失性內存和SMR磁盤等受到廣泛關注。
目前，HDFS已有的功能和研究雖然可以兼容多類型的異構介質，實現(xiàn)對異構存儲介質的訪問和使用，但沒有很好的機制讓其智能感知不同設備的I/O特性，并根據(jù)數(shù)據(jù)的訪問特征動態(tài)改變存儲方式，在異構的環(huán)境下最大程度發(fā)揮各類硬件的性能優(yōu)勢。
其次則是面向大規(guī)模存儲的容量壓力。為了系統(tǒng)的可靠性，傳統(tǒng)HDFS通過副本策略來保障數(shù)據(jù)的安全，通常默認為三副本，但存儲利用率僅為1/3。如果使用糾刪碼（Erasure Code，EC）來替換副本策略確實可以提供與副本相同的容錯能力，并使用較少的存儲空間，但在典型的糾刪碼中如果要求存儲額外開銷不超過50%的話，相應的糾刪碼卻會占用更多的計算資源，所以當系統(tǒng)面臨存儲壓力時，用戶常常希望將不常使用的數(shù)據(jù)使用糾刪碼存儲，降低存儲壓力。
但目前的HDFS技術僅支持基于目錄的副本到糾刪碼轉換，轉換后業(yè)務訪問文件的路徑將發(fā)生改變，并無便捷的機制自動化進行。
面向應用負載的自適應存儲挑戰(zhàn)也不容忽視。從上層應用來看，一方面在大數(shù)據(jù)Hadoop生態(tài)系統(tǒng)不斷發(fā)展的過程中，HDFS因其自身的穩(wěn)定可靠、簡單易用、擴展性高等優(yōu)點使越來越多上層應用和系統(tǒng)將其作為統(tǒng)一的底層存儲，其上存儲的數(shù)據(jù)類型和支持的分析負載也越來越多元化。
另一方面，在企業(yè)中不同部門和用戶經?；谕环萑繑?shù)據(jù)進行查詢分析，帶來同一份數(shù)據(jù)服務多樣的查詢負載。在這種應用場景下，基于人工制定策略的存儲優(yōu)化就難以生效，勢必需要提供基于應用負載的自適應優(yōu)化技術來應對。
智能存儲管理（SSM）技術 聚焦兩核心、三場景、四技術、五特性
面對異構環(huán)境下如何最大程度發(fā)揮各類硬件性能優(yōu)勢的難題以及來自存儲的數(shù)據(jù)類型和支持的分析負載越來越多元化與應用負載的自適應優(yōu)化等方面的挑戰(zhàn)，智能存儲管理（SSM）提供了智能化的解決方案。
何為智能存儲管理Smart Storage Management（SSM）？
概念上，智能存儲管理（SSM）被定義為面向 HDFS的智能管理架構，主要提供針對新型存儲設備、高速網(wǎng)絡、新計算的存儲優(yōu)化與數(shù)據(jù)優(yōu)化解決方案，實現(xiàn)端到端的數(shù)據(jù)管理服務，聚焦點可以概括為“兩核心、三場景、四技術、五特性”。
『兩大核心』SSM的核心是基于數(shù)據(jù)熱度的智能化管理來實現(xiàn)自動化面向存儲的全生命周期優(yōu)化。在數(shù)據(jù)熱度方面，典型的應用場景中通常80%的計算工作負載用于處理20%的數(shù)據(jù)，在動態(tài)變化環(huán)境中針對局部數(shù)據(jù)進行優(yōu)化尤其困難。
面對該問題，SSM通過收集文件系統(tǒng)操作數(shù)據(jù)與狀態(tài)信息，利用多項指標分析數(shù)據(jù)訪問模式，從文件級別定義數(shù)據(jù)熱度，針對熱度信息統(tǒng)籌規(guī)劃相應地優(yōu)化數(shù)據(jù)管理方式。
在智能決策方面，SSM建立了基于規(guī)則的智能決策體系，圍繞現(xiàn)有的大數(shù)據(jù)存儲模式智能地構建了實用的解決方案。未來，SSM目標將利用歷史數(shù)據(jù)和指標學習，從而使系統(tǒng)具有預測數(shù)據(jù)訪問模式與持久學習能力，實現(xiàn)穩(wěn)定可持續(xù)的智能化管理。
「三種場景」目前SSM在三種典型場景下表現(xiàn)突出，例如多存儲模式。SSM適用于數(shù)據(jù)存儲模式豐富的應用場景，可以提供更加靈活的存儲模式選擇；在數(shù)據(jù)優(yōu)化上則提供了小文件合井、數(shù)據(jù)災備、數(shù)據(jù)壓縮等新功能，適用于對數(shù)據(jù)優(yōu)化有需求的應用場景；智能化管理是面向大規(guī)模集群的數(shù)據(jù)管命周期的自動化管理。
『四項技術』SSM主要通過四項技術實現(xiàn)智能的存儲管理，主要包括通過分布式集群自治技術解決管理服務的高可用問題來實現(xiàn)存儲管理集群去中心化；利用分布式事件驅動技術實現(xiàn)面向高并發(fā)場景的輕量級計算服務與監(jiān)督機制，提升管理操作執(zhí)行效率與容錯性。
基于規(guī)則的智能存儲管理技術解決存儲數(shù)據(jù)量巨大、數(shù)據(jù)增量高、數(shù)據(jù)類型混雜難以管理的問題，實現(xiàn)數(shù)據(jù)生命周期的智能化管理；憑借數(shù)據(jù)熱度感知技術解決存儲資源利用不均、資源浪費問題，實現(xiàn)數(shù)據(jù)冷熱分層等。
『五種特性』面向用戶場景，SSM最終體現(xiàn)為五類典型的特性增強，主要包括如下：
總體來看，智能存儲管理（SSM），以數(shù)據(jù)熱度識別及智能化的決策體系為核心，配置面向應用場景的技術優(yōu)化整體方案（異構存儲增強、糾刪碼增強、小文件合并、自動化災備、透明化壓縮），自動化智能化的解決HDFS存儲面向異構介質、存儲空間及應用負載等方向的挑戰(zhàn)，大大提升HDFS分布式存儲的易用性及適用場景。
基于智能存儲管理（SSM）技術 浪潮云海Insight帶來更優(yōu)體驗
作為面向海量數(shù)據(jù)存儲、計算、挖掘的一站式企業(yè)級大數(shù)據(jù)解決方案，浪潮云海Insight大數(shù)據(jù)平臺采用新型技術架構可承擔企業(yè)大規(guī)模數(shù)據(jù)的采集集成、多樣存儲、規(guī)模計算以及智能分析挖掘等工作，支撐企業(yè)數(shù)據(jù)中心業(yè)務模型快速落地，助力企業(yè)信息化智能轉型。
具體來說云海Insight團隊從客戶需求出發(fā)，結合業(yè)務場景對智能存儲管理技術（SSM）進行全面的方案驗證及增強，最終在大數(shù)據(jù)平臺中將智能存儲管理技術產品化，包括智能存儲的一鍵安裝、可視化運維、基于票據(jù)的認證架構等，解決了用戶針對大數(shù)據(jù)平臺的備份災備、數(shù)據(jù)生命周期管理、小文件合并等技術的訴求，提供了更優(yōu)秀的用戶體驗。
舉個例子，某客戶的業(yè)務場景中，云海Insight團隊將其近兩個月的訪問頻次高的數(shù)據(jù)定義為熱數(shù)據(jù)，使用三副本存儲；后四個月的訪問頻次低的數(shù)據(jù)定義為冷數(shù)據(jù)，使用糾刪碼存儲。通過SSM定義數(shù)據(jù)熱度判定策略以及完成自動化的文件及從副本到糾刪碼的轉換，最終總存儲空間節(jié)省三分之一，且業(yè)務無需任何改變，大大提升了系統(tǒng)的可用性。
經過多方實踐驗證，面向HDFS的智能存儲管理技術能夠免去外界觸發(fā)完成數(shù)據(jù)管理并進一步細化管理粒度，實現(xiàn)一次規(guī)則定制即可完成數(shù)據(jù)生命周期管理的解決方案，達成效果：
隨著大數(shù)據(jù)與人工智能的蓬勃發(fā)展，人工智能賦予存儲管理無限可能，利用智能算法提高大數(shù)據(jù)的調度和智能管理能力已成為技術發(fā)展的必然趨勢。未來，智能存儲管理技術（SSM）將基于深度學習優(yōu)化計算框架，浪潮云海Insight也將進一步從整體上提升存儲管理的智能化水平，為用戶提供更優(yōu)秀的解決方案。
