北京2017年4月27日電 /美通社/ -- 智能互聯時代造就的“數據洪流”,正沖擊著傳統(tǒng)的企業(yè)管理與運營模式,以及人類日常的生活與工作方式。而數據,在這一變革浪潮中正在成為洞察未來發(fā)展趨向、加速業(yè)務流程變革,以在日趨激烈的市場競爭環(huán)境中獲取競爭優(yōu)勢的新資源。
然而,企業(yè)用戶傳統(tǒng)的數據分析平臺在選型、搭建、運維以及后期拓展等方面面臨昂貴的計算、存儲和網絡設備,復雜的軟件堆棧等技術障礙造成的嚴峻挑戰(zhàn)。對數據資源的有效利用,既需要高效、靈活的IT基礎設施保障,也需要創(chuàng)新的服務交付模式,而英特爾與金山云在KMR上的深入合作,讓云計算和數據分析的深入融合造就數據處理模式的新變革,并在用戶服務等領域提供了一種兼具性能和成本優(yōu)勢的新型解決方案。
“大象”上云分幾步?
自2012年成立以來,憑借領先的VPC和虛擬化技術,金山云成為國內首家提供混合云部署方案的云服務提供商。得益于游戲、視頻、醫(yī)療等垂直行業(yè)客戶的拓展,其已經發(fā)展成為國內較大的云存儲廠商之一,每天積累約500TB數據量,而總數據量已經高達400PB。企業(yè)業(yè)務運營積累的大量數據,要求企業(yè)具備利用數據驅動企業(yè)分析、決策和管理的能力,在過去四年多的發(fā)展歷程中,金山云基于開放的英特爾架構,正在以數據分析技術和人工智能賦予云計算不同應用場景、不同發(fā)展階段的新潛能,以有效應對企業(yè)用戶的新需求。
2016年1月,金山云推出了金山云托管Hadoop服務(Kingsoft MapReduce,KMR),KMR是一個可伸縮的通用數據計算和分析平臺,它以Apache Hadoop 和Apache Spark兩大數據計算框架為基礎,通過自動調度彈性計算服務(KEC),幫助快速構建分布式數據分析系統(tǒng)。這樣一來,用戶可以一站式地通過云計算,在KMR框架上便捷地進行計算和分析。
與傳統(tǒng)的Hadoop平臺相比,KMR提供了豐富的管理功能和便捷的程序開發(fā)接口,使企業(yè)可以高效、自動化地進行數據處理和分析工作,節(jié)省管理成本和使用成本。另外,彈性伸縮,靈活計費;快速部署,完全托管;全面的服務可用性保障與云服務產品深度整合的優(yōu)勢也是這一數據分析平臺的技術優(yōu)勢。
作為國內領先的電商平臺,擁有幾十大類、數百萬種產品的當當網,成為金山云KMR服務的受益者之一。基于對靈活的云計算數據分析洞察力的需求,金山云和當當網之間通過專線將本地數據和云端數據打通,并通過KMR集群在云上搭建Storm和Kafka實時數據分析集群,在業(yè)務需求變化時可以動態(tài)地調整計算資源,有效控制IT成本。此外,通過數據庫服務和底層基于英特爾強大的芯片加速技術和存儲能力,妥善保障當當網的業(yè)務訪問。云計算結合性能強大的數據分析服務,不僅讓當當網有效實現了本地數據和云上數據的打通,加速獲取數據洞察;更妥善解決了雙十一等促銷節(jié)點導致的陡增的計算資源需求壓力,讓當當穩(wěn)妥應對業(yè)務增長帶來的技術挑戰(zhàn)。
金山云技術產品部高級產品經理楊亮介紹說:“通過這個項目,可以幫助當當網在很大的用戶促銷壓力下,保證IT系統(tǒng)的穩(wěn)定運行,同時可以大幅度減少運維和資源應用成本。此外,通過金山云的服務,可以幫助用戶優(yōu)化業(yè)務靈活性,調整資源配置?!?/p>
英特爾賦予KMR芯動力,助力釋放云端數據價值
強大的數據分析能力根植于高性能、靈活、敏捷的IT基礎設施,開放的英特爾架構以高效的分布式計算拓展能力,成為金山云在云計算時代底層硬件架構的首選。從傳統(tǒng)的IT架構到云上的大數據,隨著計算、存儲和網絡性能的不斷提升,計算集群和存儲集群可以獨立構建并通過高速互聯網相互連接,通過對象存儲、虛擬化、容器等技術實現多租戶的安全性和靈活性的結合。由此,硬件的革命使Big Data加上Cloud成為可能,成為Big Data As a Service。
在KMR實際的研發(fā)、運營和服務交付過程中,英特爾至強E5 v4處理器,以及快速、穩(wěn)定、高效的SSD硬盤,為產品構建和用戶服務提供了堅實的基礎;同時,英特爾在開源項目和軟件上進行優(yōu)化,類似于BigDL等框架,對優(yōu)化Spark機器學習的性能有巨大幫助。英特爾不僅為金山云提供了性能強勁的硬件平臺,也積極與金山云一起對數據收集、存儲、處理、展現的每一個模塊進行優(yōu)化,尋求進一步的合作。
同時,隨著人工智能需求與應用的爆發(fā),為了幫助行業(yè)用戶在數據時代輕松應對創(chuàng)新多變的業(yè)務需求,金山云與英特爾在深度學習領域開展深入合作,搭建了KDL高性能異構計算平臺。通過統(tǒng)一資源調度,金山云讓客戶可以很容易地訪問云存儲和高性能異構計算集群,并且在上層整合了大數據和深度學習運行,從而為客戶提供一站式深度學習平臺,幫客戶處理好預處理、訓練、評估、預測四個階段的研發(fā)任務,幫助企業(yè)能夠更加快速的迭代。
“大數據提供的是并行計算和分布式存儲,云提供的是動態(tài)配置。我們利用機器學習的大腦,大數據的輪子來算,云計算提供了一個動態(tài)分配引擎,三者結合到一起實際上就實現了云上的大數據機器學習?!庇⑻貭柤夹g專家解釋了云、數據分析和深度學習三者緊密的聯系和融合價值。
未來,英特爾與金山云還將繼續(xù)開拓創(chuàng)新、延伸合作,積極發(fā)揮金山云豐富的云服務產品功能與英特爾強大且穩(wěn)定的平臺優(yōu)勢,共同構建多層次的人工智能解決方案?!敖鹕皆平酉聛頃憫獓业奶栒?,與廣大科研院所,還有英特爾這樣的科技界的合作伙伴一起,構建我們金山云多層次的人工智能解決方案,為我們整個行業(yè)提供基礎的視覺、聽覺、自然語言、VR/AR等等技術能力,再到我們更上層的行業(yè)解決方案?!苯鹕皆拼髷祿虯I技術總監(jiān)張東進說,“金山云將在醫(yī)療、金融、交通、物聯網等等重大行業(yè)里面進行深入研究,為我們廣大的合作伙伴提供行業(yè)解決方案,全面助力數字社會的加速發(fā)展?!?/p>