北京2025年3月5日 /美通社/ -- 近期，浪潮信息正式推出元腦R1推理服務(wù)器，搭載自研NVMe SSD，通過系統(tǒng)創(chuàng)新和軟硬協(xié)同優(yōu)化，單機即可部署運行DeepSeek R1 671B模型，幫助客戶顯著降低DeepSeek R1全參數(shù)模型的部署難度及成本，并提升推理服務(wù)性能，加速千行百業(yè)探索智能涌現(xiàn)。
當(dāng)前，DeepSeek開源多版本模型，助力各行業(yè)加速應(yīng)用大模型技術(shù)推動業(yè)務(wù)升級轉(zhuǎn)型。其中，DeepSeek R1 671B模型作為全參數(shù)基礎(chǔ)大模型，相比蒸餾模型具有更強的泛化能力、更高的準確性和更好的上下文理解能力，但也對系統(tǒng)顯存容量、顯存帶寬、互連帶寬和延遲提出了更高要求：在FP8精度下至少需要約800GB顯存承載，F(xiàn)P16/BF16精度下需要1.4TB以上的顯存空間；此外，DeepSeek R1是典型的長思維鏈模型，具有短輸入、長輸出的應(yīng)用特點，推理解碼階段依賴更高的顯存帶寬和極低的通信延遲。面向671B模型的算力特征和系統(tǒng)需求，元腦R1推理服務(wù)器提供領(lǐng)先的顯存容量、顯存帶寬和通信速度，能夠助力企業(yè)高效完成DeepSeek全參數(shù)模型的本地化部署。
元腦R1推理服務(wù)器NF5688G7是領(lǐng)先的高算效AI計算平臺，原生搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失。在顯存方面，提供1128GB HBM3e高速顯存，滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征，在推理解碼階段可實現(xiàn)全力加速。在通信方面，GPU P2P帶寬達900GB/s，保障單機部署張量并行最佳通訊性能，基于最新推理框架單機可支持20-30用戶并發(fā)。在SSD方面，搭載自研NVMe SSD，讀寫達7400/6200MB/s，可以有效保證高效存儲。同時，單臺NF5688G7配備3200Gbps無損擴展網(wǎng)絡(luò)，可根據(jù)用戶業(yè)務(wù)需求增長實現(xiàn)敏捷擴展，提供成熟的R1服務(wù)器Turnkey解決方案。
元腦R1推理服務(wù)器NF5868G8是專為大推理模型（Large Reasoning Model）創(chuàng)新設(shè)計的高吞吐推理服務(wù)器，業(yè)界首次實現(xiàn)單機支持16張標準PCIe雙寬卡，提供高達1536GB顯存容量，支持在FP16/BF16精度下單機部署DeepSeek 671B模型。創(chuàng)新研發(fā)基于PCIe Fabric的16卡全互連拓撲，任意兩卡P2P通信帶寬可達128GB/s，降低通信延遲超60%。通過軟硬協(xié)同優(yōu)化，相較傳統(tǒng)2機8卡PCIe機型，NF5868G8可將DeepSeek 671B模型推理性能提升近40%，目前已支持多元AI加速卡選配。
元腦R1推理服務(wù)器NF5868G8是基于自研部件的整體解決方案，面對DeepSeek的模型規(guī)模龐大參數(shù)，如DeepSeek-V3總參數(shù)達6710億，如此大規(guī)模的參數(shù)在模型訓(xùn)練和推理過程中需要實時存儲和快速調(diào)用，SSD與CPU、GPU等硬件協(xié)同工作，減少存儲系統(tǒng)對整體性能的瓶頸限制，縮短訓(xùn)練時間。
元腦SSD能夠提供足夠的存儲空間和快速的讀寫能力，確保參數(shù)的高效訪問，從而提升模型穩(wěn)定運行速度。NS6500/6600G2 NVMe SSD集成了3D eTLC NAND 閃存，順序讀寫達7400/6200MB/s，幫助整機帶寬提升10%以上；可靠性和穩(wěn)定性方面，平均無故障時間（MTBF）達280萬小時，相較業(yè)界提升40%，誤碼率（UBER）10e -18，較同類產(chǎn)品降低90%，特別是智能動態(tài)溫控技術(shù)，可以保障DeepSeek長時間負載不掉速且穩(wěn)定運行。作為專為企業(yè)數(shù)據(jù)中心、云服務(wù)、IoT、AI及機器學(xué)習(xí)等領(lǐng)域打造的企業(yè)級SSD，以業(yè)界領(lǐng)先的性能、可靠性、穩(wěn)定性、安全性全面支撐NF5688G7推理服務(wù)器高效、穩(wěn)健、安全運行。
浪潮信息是全球領(lǐng)先的IT基礎(chǔ)設(shè)施產(chǎn)品、方案和服務(wù)提供商，通過發(fā)展新一代以系統(tǒng)為核心的計算架構(gòu)，打造開放、多元、綠色的元腦智算產(chǎn)品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領(lǐng)先伙伴，加速人工智能的創(chuàng)新和應(yīng)用落地。
