Caicloud Clever v1.3.0發(fā)布：開發(fā)、生產(chǎn)無縫銜接的AI DevOps

杭州2019年1月17日電 /美通社/ -- 2019年1月16日，才云 Caicloud 隆重推出 Caicloud Clever 的 1.3.0 版本，為用戶提供一站式、高效、易用的開發(fā)與交付體驗。Caicloud Clever 是才云 Caicloud 基于自身云容器技術(shù)打造的人工智能云平臺，從硬件資源管理到模型高效開發(fā)，再到模型的自動部署，它可以貫穿企業(yè) AI 應(yīng)用開發(fā)的整個過程。

現(xiàn)如今，人工智能在學術(shù)界和工業(yè)界屢現(xiàn)重大突破，而 Kubernetes 作為一個容器編排平臺，也在短短幾年間迎來了迅速崛起。在許多專家看來，它們的結(jié)合似乎可以為企業(yè)業(yè)務(wù)創(chuàng)新帶來無窮的可能性 -- 智慧城市、聯(lián)網(wǎng)汽車、智慧醫(yī)療……它們不僅能為企業(yè)提供利用技術(shù)搶占未來市場的機遇，也為整個社會接入智慧文明提供了初步嘗試。

但是，開發(fā)、部署機器學習產(chǎn)品也意味著大規(guī)模的復(fù)雜性，以下圖某 500 強企業(yè)的供應(yīng)鏈預(yù)測項目為例：

某500強企業(yè)供應(yīng)鏈預(yù)測

可以發(fā)現(xiàn)，模型訓(xùn)練代碼只是很小的一部分，企業(yè)在開發(fā)過程中還需對海量數(shù)據(jù)進行預(yù)處理，對模型進行持續(xù)評估，并進行迭代更新。而除去復(fù)雜的開發(fā)環(huán)節(jié)，企業(yè)還要兼顧開發(fā)進度監(jiān)控和最實際的落地部署，這些都對傳統(tǒng)操作系統(tǒng)提出了嚴峻挑戰(zhàn)。

事實上，這也是業(yè)界看好 Kubernetes 和 AI “聯(lián)姻”的原因。容器為流程運行提供了緊湊的環(huán)境，它們易于擴展，能在各種環(huán)境中移植 -- 從開發(fā)到測試再到生產(chǎn) -- 可以將大型完整應(yīng)用程序分解為有針對性、易于維護的微服務(wù)，完美契合 AI 應(yīng)用開發(fā)的各個階段。

針對以上背景，基于 Kubernetes 的人工智能云平臺 Caicloud Clever 在新發(fā)布的 1.3.0 版本中做了大量優(yōu)化，新增 AI DevOps 支持，致力于解決企業(yè) AI 模型開發(fā)、上線的諸多痛點。

亮點一：精準化資源調(diào)度

AI 產(chǎn)品本質(zhì)上是由數(shù)據(jù)驅(qū)動的，為了保證模型的準確度和魯棒性，海量計算資源不可或缺。但鑒于計算資源成本高昂，企業(yè)也在迫切地尋找高效合理利用資源的有效解決方案。

得益于 Caicloud Compass 強大的資源管理能力（基于 Kubernetes 原生能力優(yōu)化），Caicloud Clever 可以自動按需調(diào)度包括 GPU 在內(nèi)的計算資源，讓用戶可以在不關(guān)注物理資源的情況下托管訓(xùn)練任務(wù)、應(yīng)用服務(wù)等。它還支持基于 Workspace 的資源隔離，允許用戶針對不同項目、團隊定制 Workspace 資源，按策略較大化資源利用率。

亮點二：模塊化開發(fā)集成

除了計算資源，AI 產(chǎn)品開發(fā)的挑戰(zhàn)還在于需要將許多不同的軟件庫集合在一起，也就是構(gòu)建完整的軟件生態(tài)系統(tǒng)。針對這方面的需求，Caicloud Clever 也做了大量優(yōu)化，提供多種預(yù)定義任務(wù)模板，支持多語言多框架開發(fā)環(huán)境，大大降低了企業(yè)進入門檻：

• 支持一鍵托管 Jupyter 等開發(fā)環(huán)境；
• Caicloud Clever Jupyter 預(yù)置 TensorFlow、PyTorch、MXNet、Caffe 等框架；
• 支持 Python、Shell 等腳本開發(fā)及自定義開發(fā)環(huán)境；
• 開發(fā)環(huán)境可與任務(wù)模塊關(guān)聯(lián)，用戶可從任務(wù)模塊直接進入對應(yīng)開發(fā)環(huán)境；
• Caicloud Clever 細粒度引導(dǎo)，方便工程師快速上手訓(xùn)練。

亮點三：版本化數(shù)據(jù)運維

對于機器學習/深度學習模型的“糧食” -- 數(shù)據(jù)，Caicloud Clever 提供數(shù)據(jù)倉庫、模型倉庫等集裝式版本化數(shù)據(jù)管理，進一步簡化數(shù)據(jù)的調(diào)用、共享方式，讓數(shù)據(jù)能以更有效的方式在 AI 模塊中流動。

在任務(wù)模塊，用戶可以通過點選把目標數(shù)據(jù)集用于數(shù)據(jù)清洗或訓(xùn)練；在模型倉庫中，各類模型可以按版本快速部署；在工程流中，Caicloud Clever 也提供按條件更新服務(wù)的支持。真正實現(xiàn)了 AI 流程中的各個模塊以數(shù)據(jù)相互連接。

亮點四：可視化訓(xùn)練管理

而為了方便算法科學家、服務(wù)運維者、項目管理者等不同角色從不同角度審視任務(wù)表狀態(tài)，把控任務(wù)進度。Caicloud Clever 支持可視化創(chuàng)建 TensorFlow、PyTorch 等框架的分布式多卡集群訓(xùn)練任務(wù)，支持實時訓(xùn)練日志及 GPU 等資源實時監(jiān)控。保障項目的順利進行和按時完成，促進團隊合作。

亮點五：工程化 AI 全流程安排

考慮到 AI 產(chǎn)品開發(fā)涉及多個步驟，每個步驟所需的技能各異。Caicloud Clever 以工程流圖連接模塊、數(shù)據(jù)以及人，提高團隊協(xié)作力及工程效率，加速工程化。

在 Caicloud Clever 平臺上，用戶可以創(chuàng)建從數(shù)據(jù)清洗、模型訓(xùn)練到模型服務(wù)等不同階段的任務(wù)模塊，涵蓋 AI 全流程。工程師、科學家可以在任務(wù)模塊上進行開發(fā)，架構(gòu)師、項目經(jīng)理可自由編排 AI 模塊至工程流圖，快速將功能模塊拼接成工程項目。

亮點六：自動化生產(chǎn)部署

此外，Caicloud Clever 也支持工程流圖一鍵式發(fā)布為生產(chǎn)流水線，所見即所得，無縫銜接 AI 工程開發(fā)與生產(chǎn)落地。用戶可基于工程流圖持續(xù)迭代開發(fā)，在不同迭代發(fā)布不同版本的流水線，流水線按條件觸發(fā)流圖流程，實現(xiàn) AI 工程實驗到生產(chǎn)的自動化部署。

把握創(chuàng)新機遇，敏態(tài)成就商機

隨著 AI 技術(shù)和云計算的蓬勃發(fā)展，Kubernetes 愈發(fā)呈現(xiàn)出向上支持高并發(fā)、數(shù)據(jù)類和 AI 類應(yīng)用業(yè)務(wù)的趨勢 -- 越來越多公司正在把 Kubernetes 作為運行其工作負載的平臺，而 AI 類業(yè)務(wù)正是一項日益重要的工作負載。

面對變化，尋找方向邁出第一步往往是最難的。AI 為企業(yè)提供了降低運營成本、改善決策和服務(wù)客戶的新形式，而像 Caicloud Clever 這樣基于 Kubernetes 的平臺，勢必會成為幫助企業(yè)采用 AI 和機器學習的首選協(xié)同平臺。所以，你選好你的第一步了嗎？