上海2021年8月25日 /美通社/ -- 今天燧原科技在一年一度的Hot Chips大會上由首席架構師劉彥和資深芯片設計總監(jiān)馮闖一起介紹了第一代云端訓練芯片“邃思1.0”的架構細節(jié)。Hot Chips是全球高性能微處理器和集成電路相關的重要會議之一，芯片行業(yè)巨頭每年都借此機會展示自己公司的最新成果，包括處理器體系結構，基礎架構計算平臺，內存處理等各類技術。
燧原科技第一代通用人工智能訓練芯片“邃思1.0”封裝示意圖
邃思1.0是燧原科技2019年12月發(fā)布的第一代云端AI訓練芯片，采用眾核結構，其計算核心采用了燧原科技自研的GCU-CARE計算引擎。整個SOC擁有32個GCU-CARE計算引擎，組成4個計算群組，全面支持常見AI張量數據格式（FP32/FP16/BF16, INT8/INT16/INT32），更全面地支撐客戶業(yè)務。CARE還創(chuàng)新地通過復用張量核心，用更有效的晶體管效率提供了標量、向量、張量以及多種數據精度的計算能力。
GCU-DARE數據架構，面向數據流優(yōu)化，在數據流動中進行處理。512GB/s的HBM和200GB/s的GCU-LARE互聯，數倍于傳統GPU、CPU；強勁的分布式片上共享緩存，提供10TB/s的超大帶寬；可編程共享緩存，可控線程內、線程間數據常駐共享，消除不必要的IO訪問，既降低了數據訪問延時，又節(jié)約了寶貴的IO帶寬；同時，DARE架構還提供數據異步加載接口，支持數據與運算的流水執(zhí)行，提高運算并行度。
四路 GCU-LARE智能互聯，200GB/s的高速低延時片間互聯接口，靈活支持不同規(guī)模的計算需求，可支持千卡級規(guī)模集群，為大中小型數據中心提供基于不同需求的人工智能訓練產品組合。
“邃思1.0”SOC
邃思1.0人工智能加速芯片專為云端訓練場景設計，支持CNN、RNN、LSTM、BERT等常用人工訓練模型，可用于圖像、流數據、語音等訓練場景。采用標準PCIe 4.0接口，廣泛兼容主流AI服務器，可滿足數據中心大規(guī)模部署的需求，且能效比領先。
演講的最后部分，劉彥還介紹了上個月剛剛在世界人工智能大會上發(fā)布的“邃思2.0”訓練芯片。經過全新升級迭代后，邃思2.0的計算能力、存儲和帶寬、互聯能力較第一代訓練產品有巨大提升，對超大規(guī)模的模型支持能力獲得顯著增強。由此，燧原科技成為國內首家發(fā)布第二代人工智能訓練產品組合的公司。
邃思2.0進行了大規(guī)模的架構升級，針對人工智能計算的特性進行深度優(yōu)化，夯實了支持通用異構計算的基礎；支持全面的計算精度，涵蓋從FP32、TF32、FP16、BF16到INT8，單精度FP32峰值算力達到40 TFLOPS，單精度張量TF32峰值算力達到160 TFLOPS。同時搭載了4顆HBM2E片上存儲芯片，高配支持64 GB內存，帶寬達1.8 TB/s。GCU-LARE也全面升級，提供雙向300 GB/s互聯帶寬，支持數千張云燧CloudBlazer加速卡互聯，實現優(yōu)異的線性加速比。
燧原科技第二代通用人工智能訓練芯片“邃思2.0”
而同步升級的馭算TopsRider軟件平臺，成為燧原科技構建原始創(chuàng)新軟件生態(tài)的基石。通過軟硬件協同架構設計，充分發(fā)揮邃思2.0的性能；基于算子泛化技術及圖優(yōu)化策略，支持主流深度學習框架下的各類模型訓練；利用Horovod分布式訓練框架與GCU-LARE互聯技術相互配合，為超大規(guī)模集群的高效運行提供解決方案。開放升級的編程模型和可擴展的算子接口，為客戶模型的優(yōu)化提供了自定義的開發(fā)能力。
