北京2024年7月31日 /美通社/ -- 7 月 28 日下午,CSDN 高端技術(shù)領(lǐng)導(dǎo)者社群「智研社-The Intelliger」第三期活動在北京鼎好超互聯(lián) AGI 科技生態(tài)創(chuàng)新空間成功舉辦。
活動特別邀請到 Stability AI 機(jī)器學(xué)習(xí)運維主管、知名 AI 開源組織 LAION 工程負(fù)責(zé)人 & 創(chuàng)始人 Richard Vencu 和 CSDN 創(chuàng)始人 & 董事長、中國開源軟件推進(jìn)聯(lián)盟副主席蔣濤進(jìn)行深度對話,CSDN 高級副總裁李建忠、Momenta 工程質(zhì)量負(fù)責(zé)人鄒欣、華為"天才少年"申博、白??萍紕?chuàng)始人盧億雷、榮耀首席專家張軼博等重磅嘉賓到場,匯聚了大模型技術(shù)專家、大廠技術(shù)大牛、大模型公司 CXO、生態(tài)合作伙伴代表。現(xiàn)場嘉賓一起交流思想、分享經(jīng)驗,進(jìn)行 AGI 相關(guān)前沿科技的深入探討。
「智研社-The Intelliger」由 CSDN CTO 俱樂部重磅升級而來。CSDN 高級副總裁李建忠在開場中為大家介紹了智研社未來發(fā)展的三個方向:
一是為技術(shù)人提供充分溝通交流的平臺;
二是提供 AGI 技術(shù)發(fā)展與應(yīng)用實踐的探討與合作空間;
三是帶領(lǐng)中國 AGI 技術(shù)人走向全球,參與國際 AGI 技術(shù)交流,抓住 AI 爆發(fā)帶來的機(jī)遇。
在當(dāng)今快速發(fā)展的人工智能領(lǐng)域,大規(guī)模計算資源的管理成為了一個關(guān)鍵挑戰(zhàn)。Stability AI 機(jī)器學(xué)習(xí)運維主管、知名 AI 開源組織 LAION 工程負(fù)責(zé)人 & 創(chuàng)始人 Richard Vencu 在現(xiàn)場帶來了《在 AWS 云上打造 Stability AI 超級計算機(jī)》的主題演講,深入闡述了在云環(huán)境中運行 5000 個 GPU 的經(jīng)驗,揭示了這一規(guī)模計算所面臨的挑戰(zhàn)及其解決策略。
核心挑戰(zhàn)在于:
機(jī)器學(xué)習(xí)訓(xùn)練與推理的差異:Vencu 指出,機(jī)器學(xué)習(xí)訓(xùn)練本質(zhì)上不是一個網(wǎng)絡(luò)問題,而機(jī)器學(xué)習(xí)推理則是。這種區(qū)別源于推理需要通過標(biāo)準(zhǔn)化的網(wǎng)絡(luò)通道向全球用戶提供服務(wù)。
多團(tuán)隊需求管理:不同 AI 團(tuán)隊對規(guī)模和上市時間的要求各不相同,導(dǎo)致優(yōu)先級不斷變化。這要求資源管理系統(tǒng)具有高度的靈活性。
共享環(huán)境中的信任問題:在共享的高性能計算(HPC)集群中,用戶通常無法獲得 root 訪問權(quán)限,這限制了系統(tǒng)的靈活性。
大規(guī)模資源管理:主要目標(biāo)是減少 GPU 的閑置時間,提高利用率,并減少因缺陷導(dǎo)致的停機(jī)時間。
使用追蹤:需要精確追蹤每個項目和用戶的資源使用情況,以便進(jìn)行報告、稅務(wù)處理和計費。
作為解決方案,Vencu 推薦使用 SLURM 作為資源調(diào)度器。SLURM 是一個有20多年歷史的開源系統(tǒng),維護(hù)良好,提供搶占和重新排隊機(jī)制(腳本需要意識到這一點并能夠自行恢復(fù))、跨不同優(yōu)先級的優(yōu)先機(jī)制和公平共享機(jī)制。這些功能有效解決了最大的挑戰(zhàn)——最小化 GPU 閑置時間。
在現(xiàn)場,Vencu 和到場嘉賓進(jìn)行了互動,為那些希望在云中部署大規(guī)模 AI 計算資源的開發(fā)者提供了寶貴的見解和實踐指導(dǎo)。云環(huán)境中管理大規(guī)模 GPU 資源是一項復(fù)雜的任務(wù),涉及多個方面的挑戰(zhàn)。通過采用適當(dāng)?shù)馁Y源調(diào)度策略、嚴(yán)格的安全措施、靈活的項目管理以及全面的監(jiān)控系統(tǒng),可以顯著提高資源利用率,降低成本,同時滿足不同團(tuán)隊的需求。
隨著大模型的廣泛應(yīng)用,AI 技術(shù)已經(jīng)在自然語言處理、計算機(jī)視覺、多模態(tài)理解等領(lǐng)域取得了顯著的突破。大模型強(qiáng)大的生成能力和理解能力,還在各種領(lǐng)域的實際應(yīng)用中展現(xiàn)了巨大的潛力。然而,大模型的訓(xùn)練和推理需要龐大的計算資源,AI 基礎(chǔ)設(shè)施(AI Infra)的建設(shè)成為了當(dāng)前技術(shù)發(fā)展的關(guān)鍵。
為了解答這一系列問題,由 Momenta 工程質(zhì)量負(fù)責(zé)人、CSDN 《新程序員》內(nèi)容顧問鄒欣主持,Stability AI 機(jī)器學(xué)習(xí)運維主管、知名 AI 開源組織 LAION 工程負(fù)責(zé)人 & 創(chuàng)始人 Richard Vencu 和 CSDN 創(chuàng)始人 & 董事長、中國開源軟件推進(jìn)聯(lián)盟副主席蔣濤展開圓桌對話,圍繞"2024 大模型技術(shù)演進(jìn)與 AI Infra 創(chuàng)新"的話題進(jìn)行了多個方面的探討。
以下是他們對每一方面內(nèi)容的討論焦點:
計算機(jī)系統(tǒng)的架構(gòu)轉(zhuǎn)變
大模型與小模型并存發(fā)展
開源 vs 閉源模型
數(shù)據(jù)與訓(xùn)練挑戰(zhàn)
AGI 展望
「智研社-The Intelliger」是由 CSDN 發(fā)起創(chuàng)立的高端技術(shù)領(lǐng)導(dǎo)者社群。「智研社-The Intelliger」的前身為 CTO 俱樂部,自 2009 年由 CSDN 創(chuàng)辦以來,是極具影響力的高端技術(shù)管理者分享與交流的平臺。隨著大模型技術(shù)的迅猛發(fā)展,人工智能將成為未來 10 年最有影響力的技術(shù)力量,必將重塑行業(yè)格局并引領(lǐng)創(chuàng)新浪潮。CTO 俱樂部正式更名為「智研社 The-Intelliger」,意味著其將以全新的面貌迎接 AGI 新紀(jì)元的到來。
活動主辦方 CSDN 作為中文技術(shù)社區(qū)的領(lǐng)導(dǎo)者,通過打造「智研社-The Intelliger」在全球各大技術(shù)中心城市的系列活動,匯聚技術(shù)領(lǐng)導(dǎo)者與行業(yè)精英,洞察技術(shù)趨勢,站在 AGI 的新起點上,推動技術(shù)革新和戰(zhàn)略思維的交融,引領(lǐng)技術(shù)領(lǐng)導(dǎo)者走向全球。
活動聯(lián)合主辦方鼎好超互聯(lián)AGI科技生態(tài)創(chuàng)新空間,鼎好超互聯(lián)"AGI 科技生態(tài)創(chuàng)新空間"由世紀(jì)互聯(lián)與鼎好 DH3 共同打造??臻g持續(xù)吸納全國一線 Al 企業(yè)與人才,匯聚市場智算資源、科研資源、資金資源、市場資源和社群資源,為各行各業(yè)面向 AGI 轉(zhuǎn)型提供從訓(xùn)練到推理的新型基礎(chǔ)設(shè)施,致力于成為中國 AGI 發(fā)展的"助推器"和"加速器"。