北京2017年4月27日電 /美通社/ -- 智能互聯(lián)時代造就的“數(shù)據(jù)洪流”,正沖擊著傳統(tǒng)的企業(yè)管理與運營模式,以及人類日常的生活與工作方式。而數(shù)據(jù),在這一變革浪潮中正在成為洞察未來發(fā)展趨向、加速業(yè)務流程變革,以在日趨激烈的市場競爭環(huán)境中獲取競爭優(yōu)勢的新資源。
然而,企業(yè)用戶傳統(tǒng)的數(shù)據(jù)分析平臺在選型、搭建、運維以及后期拓展等方面面臨昂貴的計算、存儲和網(wǎng)絡設備,復雜的軟件堆棧等技術障礙造成的嚴峻挑戰(zhàn)。對數(shù)據(jù)資源的有效利用,既需要高效、靈活的IT基礎設施保障,也需要創(chuàng)新的服務交付模式,而英特爾與金山云在KMR上的深入合作,讓云計算和數(shù)據(jù)分析的深入融合造就數(shù)據(jù)處理模式的新變革,并在用戶服務等領域提供了一種兼具性能和成本優(yōu)勢的新型解決方案。
“大象”上云分幾步?
自2012年成立以來,憑借領先的VPC和虛擬化技術,金山云成為國內首家提供混合云部署方案的云服務提供商。得益于游戲、視頻、醫(yī)療等垂直行業(yè)客戶的拓展,其已經(jīng)發(fā)展成為國內較大的云存儲廠商之一,每天積累約500TB數(shù)據(jù)量,而總數(shù)據(jù)量已經(jīng)高達400PB。企業(yè)業(yè)務運營積累的大量數(shù)據(jù),要求企業(yè)具備利用數(shù)據(jù)驅動企業(yè)分析、決策和管理的能力,在過去四年多的發(fā)展歷程中,金山云基于開放的英特爾架構,正在以數(shù)據(jù)分析技術和人工智能賦予云計算不同應用場景、不同發(fā)展階段的新潛能,以有效應對企業(yè)用戶的新需求。
2016年1月,金山云推出了金山云托管Hadoop服務(Kingsoft MapReduce,KMR),KMR是一個可伸縮的通用數(shù)據(jù)計算和分析平臺,它以Apache Hadoop 和Apache Spark兩大數(shù)據(jù)計算框架為基礎,通過自動調度彈性計算服務(KEC),幫助快速構建分布式數(shù)據(jù)分析系統(tǒng)。這樣一來,用戶可以一站式地通過云計算,在KMR框架上便捷地進行計算和分析。
與傳統(tǒng)的Hadoop平臺相比,KMR提供了豐富的管理功能和便捷的程序開發(fā)接口,使企業(yè)可以高效、自動化地進行數(shù)據(jù)處理和分析工作,節(jié)省管理成本和使用成本。另外,彈性伸縮,靈活計費;快速部署,完全托管;全面的服務可用性保障與云服務產(chǎn)品深度整合的優(yōu)勢也是這一數(shù)據(jù)分析平臺的技術優(yōu)勢。
作為國內領先的電商平臺,擁有幾十大類、數(shù)百萬種產(chǎn)品的當當網(wǎng),成為金山云KMR服務的受益者之一?;趯`活的云計算數(shù)據(jù)分析洞察力的需求,金山云和當當網(wǎng)之間通過專線將本地數(shù)據(jù)和云端數(shù)據(jù)打通,并通過KMR集群在云上搭建Storm和Kafka實時數(shù)據(jù)分析集群,在業(yè)務需求變化時可以動態(tài)地調整計算資源,有效控制IT成本。此外,通過數(shù)據(jù)庫服務和底層基于英特爾強大的芯片加速技術和存儲能力,妥善保障當當網(wǎng)的業(yè)務訪問。云計算結合性能強大的數(shù)據(jù)分析服務,不僅讓當當網(wǎng)有效實現(xiàn)了本地數(shù)據(jù)和云上數(shù)據(jù)的打通,加速獲取數(shù)據(jù)洞察;更妥善解決了雙十一等促銷節(jié)點導致的陡增的計算資源需求壓力,讓當當穩(wěn)妥應對業(yè)務增長帶來的技術挑戰(zhàn)。
金山云技術產(chǎn)品部高級產(chǎn)品經(jīng)理楊亮介紹說:“通過這個項目,可以幫助當當網(wǎng)在很大的用戶促銷壓力下,保證IT系統(tǒng)的穩(wěn)定運行,同時可以大幅度減少運維和資源應用成本。此外,通過金山云的服務,可以幫助用戶優(yōu)化業(yè)務靈活性,調整資源配置?!?/p>
英特爾賦予KMR芯動力,助力釋放云端數(shù)據(jù)價值
強大的數(shù)據(jù)分析能力根植于高性能、靈活、敏捷的IT基礎設施,開放的英特爾架構以高效的分布式計算拓展能力,成為金山云在云計算時代底層硬件架構的首選。從傳統(tǒng)的IT架構到云上的大數(shù)據(jù),隨著計算、存儲和網(wǎng)絡性能的不斷提升,計算集群和存儲集群可以獨立構建并通過高速互聯(lián)網(wǎng)相互連接,通過對象存儲、虛擬化、容器等技術實現(xiàn)多租戶的安全性和靈活性的結合。由此,硬件的革命使Big Data加上Cloud成為可能,成為Big Data As a Service。
在KMR實際的研發(fā)、運營和服務交付過程中,英特爾至強E5 v4處理器,以及快速、穩(wěn)定、高效的SSD硬盤,為產(chǎn)品構建和用戶服務提供了堅實的基礎;同時,英特爾在開源項目和軟件上進行優(yōu)化,類似于BigDL等框架,對優(yōu)化Spark機器學習的性能有巨大幫助。英特爾不僅為金山云提供了性能強勁的硬件平臺,也積極與金山云一起對數(shù)據(jù)收集、存儲、處理、展現(xiàn)的每一個模塊進行優(yōu)化,尋求進一步的合作。
同時,隨著人工智能需求與應用的爆發(fā),為了幫助行業(yè)用戶在數(shù)據(jù)時代輕松應對創(chuàng)新多變的業(yè)務需求,金山云與英特爾在深度學習領域開展深入合作,搭建了KDL高性能異構計算平臺。通過統(tǒng)一資源調度,金山云讓客戶可以很容易地訪問云存儲和高性能異構計算集群,并且在上層整合了大數(shù)據(jù)和深度學習運行,從而為客戶提供一站式深度學習平臺,幫客戶處理好預處理、訓練、評估、預測四個階段的研發(fā)任務,幫助企業(yè)能夠更加快速的迭代。
“大數(shù)據(jù)提供的是并行計算和分布式存儲,云提供的是動態(tài)配置。我們利用機器學習的大腦,大數(shù)據(jù)的輪子來算,云計算提供了一個動態(tài)分配引擎,三者結合到一起實際上就實現(xiàn)了云上的大數(shù)據(jù)機器學習。”英特爾技術專家解釋了云、數(shù)據(jù)分析和深度學習三者緊密的聯(lián)系和融合價值。
未來,英特爾與金山云還將繼續(xù)開拓創(chuàng)新、延伸合作,積極發(fā)揮金山云豐富的云服務產(chǎn)品功能與英特爾強大且穩(wěn)定的平臺優(yōu)勢,共同構建多層次的人工智能解決方案。“金山云接下來會響應國家的號召,與廣大科研院所,還有英特爾這樣的科技界的合作伙伴一起,構建我們金山云多層次的人工智能解決方案,為我們整個行業(yè)提供基礎的視覺、聽覺、自然語言、VR/AR等等技術能力,再到我們更上層的行業(yè)解決方案?!苯鹕皆拼髷?shù)據(jù)和AI技術總監(jiān)張東進說,“金山云將在醫(yī)療、金融、交通、物聯(lián)網(wǎng)等等重大行業(yè)里面進行深入研究,為我們廣大的合作伙伴提供行業(yè)解決方案,全面助力數(shù)字社會的加速發(fā)展。”