上海2023年7月6日 /美通社/ -- 隨著LLM"百模大戰(zhàn)"的逼近，行業(yè)用戶需要更加快速地基于現(xiàn)有LLM大模型，開發(fā)面向本行業(yè)、本企業(yè)的定制大模型及生成式AI應(yīng)用。在2023年7月6日的2023世界人工智能大會（WAIC）上，與全球領(lǐng)先AI公司合作超過27年的澳鵬重磅推出智能LLM大模型開發(fā)平臺，同時(shí)宣布面向生成式AI戰(zhàn)略升級——從AI數(shù)據(jù)服務(wù)"破圈"進(jìn)入全棧AI服務(wù)。
澳鵬智能LLM大模型開發(fā)平臺面向行業(yè)AI提供集大模型數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型推理、模型部署應(yīng)用于一體，涵蓋從數(shù)據(jù)集管理、數(shù)據(jù)標(biāo)注、計(jì)算資源調(diào)度、模型評估、模型微調(diào)等全棧能力，幫助企業(yè)輕松擁抱大模型，構(gòu)建生成式AI應(yīng)用，為最終用戶實(shí)現(xiàn)變革性體驗(yàn)。此外，澳鵬LLM產(chǎn)品線還包括基礎(chǔ)數(shù)據(jù)、基線模型、模型評估&微調(diào)、應(yīng)用開發(fā)等全鏈條產(chǎn)品、平臺與服務(wù)。
澳鵬全球高級副總裁、大中華區(qū)及北亞區(qū)總經(jīng)理田小鵬博士
"2023年下半年，LLM大模型和生成式AI市場將呈現(xiàn)巨大的迸發(fā)與成長態(tài)勢。生成式AI的大時(shí)代，才剛剛開始"，澳鵬全球高級副總裁、大中華區(qū)及北亞區(qū)總經(jīng)理田小鵬博士表示。"澳鵬聚焦于高效經(jīng)濟(jì)量產(chǎn)行業(yè)大模型與生成式AI應(yīng)用，為各行業(yè)智能化轉(zhuǎn)型全面賦能！"
戰(zhàn)略升級正當(dāng)時(shí)
2023年上半年可謂是LLM基礎(chǔ)大模型的"春秋戰(zhàn)國"時(shí)期，從全球到中國紛紛誕生了眾多基礎(chǔ)大模型，還有更多的團(tuán)隊(duì)在跑步入場基礎(chǔ)大模型的研發(fā)。截止2023年6月底，在Github上已經(jīng)收錄了來自中國的85家大模型——主要為LLM基礎(chǔ)大模型，以及部分面向行業(yè)和特定領(lǐng)域的大模型，再加上全球頂級的基礎(chǔ)大模型，"百模大戰(zhàn)"已經(jīng)不是夸張的表達(dá)。
"百模大戰(zhàn)"仍在鏖戰(zhàn)中，但也成功讓AI突破了科技圈，引發(fā)了更廣泛人群的關(guān)注與重視。在全球，根據(jù)IBM商業(yè)價(jià)值研究院在6月底發(fā)布的年度CEO調(diào)查，四分之三受訪CEO認(rèn)為，擁有最先進(jìn)的生成式人工智能的企業(yè)將擁有競爭優(yōu)勢。在中國，Gartner中國企業(yè)人工智能趨勢浪潮3.0指出，中國企業(yè)正在將人工智能項(xiàng)目從原型轉(zhuǎn)向生產(chǎn)，大多數(shù)企業(yè)已不再糾結(jié)于為何需要AI能力，而更加關(guān)注AI工程化能力的建設(shè)。
在2023年下半年，LLM大模型工業(yè)化量產(chǎn)和工程化落地的趨勢，正從"百模大戰(zhàn)"中清晰地浮現(xiàn)出來，特別是眾多的行業(yè)和企業(yè)客戶更加關(guān)注如何選擇已有的LLM大模型并微調(diào)后適配本行業(yè)和企業(yè)的業(yè)務(wù)場景，真正將AI用于提高行業(yè)和企業(yè)生產(chǎn)力。簡單理解，就是高效經(jīng)濟(jì)地量產(chǎn)行業(yè)LLM大模型以及將行業(yè)大模型端到端落地到企業(yè)中真正提升生產(chǎn)力，這將是2023年下半年的AI市場重點(diǎn)。
在2023年初，長期致力于為AI企業(yè)和企業(yè)AI提供高質(zhì)量標(biāo)注數(shù)據(jù)的澳鵬，審時(shí)度勢、大膽"押注"，全面展開了公司戰(zhàn)略升級——從AI數(shù)據(jù)服務(wù)擴(kuò)展向全棧AI服務(wù)，致力于成為面向垂直行業(yè)的AI服務(wù)商。澳鵬新任全球CEO Armughan Ahmad在公司2022年報(bào)中表示，AI數(shù)據(jù)標(biāo)注是基礎(chǔ)，而生成式AI所代表的全棧AI服務(wù)是增長S曲線，也是澳鵬接下來的戰(zhàn)略重點(diǎn)。澳鵬已經(jīng)有強(qiáng)大的AI數(shù)據(jù)標(biāo)注工具、平臺和服務(wù)，接下來就是在此基礎(chǔ)上，快速推動工業(yè)化量產(chǎn)行業(yè)大模型以及生成式AI應(yīng)用，打開萬億新增經(jīng)濟(jì)體量。
大模型開發(fā)一站打盡
想要快速工業(yè)化量產(chǎn)行業(yè)LLM大模型以及生成式AI應(yīng)用，就需要面向行業(yè)的大模型開發(fā)平臺，這也是2023年下半年的AI市場熱點(diǎn)和重點(diǎn)。在2023年上半年，已經(jīng)有部分科技企業(yè)推出了面向行業(yè)的大模型定制化開發(fā)或解決方案，而專業(yè)化的第三方大模型開發(fā)平臺及端到端AI大模型開發(fā)服務(wù)，還是市場空白點(diǎn)。
澳鵬智能LLM大模型開發(fā)平臺由澳鵬中國團(tuán)隊(duì)研發(fā)，是面向LLM大模型微調(diào)（Fine-tune）的開發(fā)平臺，主要是對業(yè)界已有的開源基礎(chǔ)大模型進(jìn)行選型的基礎(chǔ)上，再針對游戲、醫(yī)療、客服等行業(yè)和業(yè)務(wù)場景大模型進(jìn)行微調(diào)。澳鵬中國產(chǎn)品負(fù)責(zé)人周波介紹，澳鵬智能LLM大模型開發(fā)平臺包括數(shù)據(jù)、模型和計(jì)算資源管理三大模塊。
澳鵬智能LLM大模型開發(fā)平臺架構(gòu)圖
對于LLM大模型研發(fā)來說，高質(zhì)量的標(biāo)注數(shù)據(jù)十分關(guān)鍵。ChatGPT之所以能脫穎而出，就是引入了高質(zhì)量的人工標(biāo)注數(shù)據(jù)。而對UC伯克利的LLM排行榜分析發(fā)現(xiàn)，高質(zhì)量的微調(diào)數(shù)據(jù)集比模型規(guī)模更重要，特別是在預(yù)訓(xùn)練和微調(diào)階段管理高質(zhì)量的數(shù)據(jù)集，是縮小模型規(guī)模同時(shí)保持模型高質(zhì)量的關(guān)鍵方法。越來越多的研究發(fā)現(xiàn)，高質(zhì)量的標(biāo)注數(shù)據(jù)對于模型微調(diào)結(jié)果以及縮小模型規(guī)模同時(shí)保持模型質(zhì)量來說，是十分重要甚至是關(guān)鍵方法。
澳鵬智能LLM大模型開發(fā)平臺的數(shù)據(jù)模塊來自于澳鵬中國的另一個(gè)拳頭產(chǎn)品：MatrixGo企業(yè)級高精度數(shù)據(jù)標(biāo)注平臺，MatrixGo是面向深度學(xué)習(xí)和機(jī)器學(xué)習(xí)數(shù)據(jù)標(biāo)注的企業(yè)級平臺，不僅有強(qiáng)大的標(biāo)注工具集，還有AI輔助標(biāo)注，靈活、可視的工作流，以及Open API與外部數(shù)據(jù)平臺的集成和數(shù)據(jù)閉環(huán)。澳鵬中國開發(fā)團(tuán)隊(duì)針對LLM的開發(fā)需求，結(jié)合MatrixGo的技術(shù)，開發(fā)了LLM大模型開發(fā)平臺的數(shù)據(jù)模塊，可確保數(shù)據(jù)標(biāo)注質(zhì)量和效率，同時(shí)不斷降低標(biāo)注成本。
澳鵬智能LLM大模型開發(fā)平臺的數(shù)據(jù)模塊包括數(shù)據(jù)集管理與數(shù)據(jù)采集標(biāo)注，其中：數(shù)據(jù)集管理包括數(shù)據(jù)處理、數(shù)據(jù)檢索、數(shù)據(jù)可視化、數(shù)據(jù)切片等功能；數(shù)據(jù)采集標(biāo)注包括人員管理、工作流引擎、標(biāo)注工具引擎和自動標(biāo)算法等功能。
澳鵬智能LLM大模型開發(fā)平臺的核心為模型模塊，包括模型評估、模型微調(diào)和模型部署三大部分，其中：模型評估提供了A/B測試、標(biāo)準(zhǔn)語料測試、自定義測試、測試結(jié)果可視化和模型分析等功能，模型微調(diào)提供了開源模型庫、模型管理、訓(xùn)練任務(wù)管理等功能，模型部署提供了自動化部署、運(yùn)行監(jiān)控、標(biāo)準(zhǔn)API和自動封裝SDK等。
模型評估主要服務(wù)于開源大模型的選型，包括用標(biāo)準(zhǔn)語料包或是自定義語料包進(jìn)行測試，針對不同的開源大模型或同一大模型的不同版本進(jìn)行A/B測試后，對相關(guān)測試結(jié)果進(jìn)行分析和可視化，再結(jié)合模型參數(shù)、占用資源等，選定要進(jìn)行微調(diào)的大模型。
澳鵬智能LLM大模型開發(fā)平臺模型微調(diào)示例
模型微調(diào)則是在對選定的大模型，用高質(zhì)量標(biāo)注數(shù)據(jù)和RLHF人工反饋增強(qiáng)學(xué)習(xí)，針對不同的場景進(jìn)行微調(diào)。模型微調(diào)的結(jié)果將返回到模型評估，兩者聯(lián)動完成模型迭代，直到達(dá)成預(yù)期效果。模型部署則是將微調(diào)成功后的大模型部署到客戶的計(jì)算資源環(huán)境中，并可以API或SDK方式對外服務(wù)。
澳鵬智能LLM大模型開發(fā)平臺的計(jì)算資源管理則是對客戶的計(jì)算資源進(jìn)行任務(wù)管理和資源調(diào)度，包括CPU和GPU的資源，以及對上層應(yīng)用的支持與調(diào)度等。
澳鵬智能LLM大模型開發(fā)平臺可以使用澳鵬中國自研的基礎(chǔ)大模型，也可以使用客戶自有或是第三方的開源基礎(chǔ)大模型。
在自研基礎(chǔ)大模型方面，澳鵬中國研發(fā)團(tuán)隊(duì)主要基于開源社區(qū)的工作，也在橫向評估其它的選型方案。澳鵬中國自研大模型的特色，主要是在自有數(shù)據(jù)集上進(jìn)行微調(diào)，包括通用話題對話以及具有專業(yè)性背景的語料等。澳鵬本身就對外提供了超過250個(gè)預(yù)標(biāo)注的音頻、圖像、文字和視頻等數(shù)據(jù)集，這些高質(zhì)量標(biāo)注數(shù)據(jù)集對于大模型預(yù)訓(xùn)練來說十分珍貴。此外，澳鵬中國研發(fā)團(tuán)隊(duì)還在關(guān)注學(xué)界、工業(yè)界的進(jìn)展，從模型結(jié)構(gòu)、優(yōu)化方式和部署效率等方面，不斷優(yōu)化自研大模型。
在第三方大模型的合作方面，澳鵬全球與NVIDIA、AWS等深入合作，特別是與NVIDIA等大模型以及企業(yè)級AI開發(fā)平臺的深入合作，將澳鵬的數(shù)據(jù)工具鏈、標(biāo)注眾包團(tuán)隊(duì)以及數(shù)據(jù)服務(wù)等與大廠的大模型、AI平臺和工具等結(jié)合，為行業(yè)和企業(yè)提供端到端的一站式生成式AI解決方案。此外，澳鵬還與Cohere、Reka AI等企業(yè)級大模型初創(chuàng)公司合作，強(qiáng)強(qiáng)聯(lián)合提供高度安全的定制專有模型。在中國，澳鵬中國也與知名基礎(chǔ)大模型深入合作，了解這些大模型的特點(diǎn)及可適用場景，為客戶提供專業(yè)的選型方案和咨詢服務(wù)。
技術(shù)共創(chuàng)，與AI領(lǐng)軍者共同成長
作為交付數(shù)據(jù)經(jīng)驗(yàn)豐富的提供方，澳鵬智能LLM大模型開發(fā)平臺的最大差異化競爭優(yōu)勢在于，從零樣本、半監(jiān)督學(xué)習(xí)的角度，快速響應(yīng)迭代模型和數(shù)據(jù)交付。
作為長期從事有監(jiān)督學(xué)習(xí)數(shù)據(jù)標(biāo)注服務(wù)商，澳鵬在項(xiàng)目交付方面擁有大量的實(shí)踐經(jīng)驗(yàn)，可為LLM訓(xùn)練與微調(diào)任務(wù)以及生成式AI應(yīng)用，持續(xù)挖掘數(shù)據(jù)價(jià)值。主要優(yōu)勢包括：
第一，與客戶的算法應(yīng)用共同成長。由于行業(yè)客戶在早期實(shí)踐生成式AI的時(shí)候，很難在一開始就明確項(xiàng)目需求，需要邊合作、邊探索、邊開發(fā)，通過不斷迭代而最終完成應(yīng)用構(gòu)建。
澳鵬善于管理和統(tǒng)籌交付周期，可以分批次向客戶交付數(shù)據(jù)采標(biāo)、模型優(yōu)化、應(yīng)用測試等，模型優(yōu)化可以與數(shù)據(jù)采標(biāo)交替進(jìn)行；可以用小樣本、增量學(xué)習(xí)的方式驅(qū)動模型在項(xiàng)目中快速迭代，數(shù)據(jù)采標(biāo)更快地集成到應(yīng)用測試中；甚至可以將標(biāo)注工程視為客戶LLM性能測試之前的"預(yù)質(zhì)檢"，這樣相當(dāng)將客戶行業(yè)或業(yè)務(wù)場景的知識前置，也就是預(yù)訓(xùn)練的預(yù)訓(xùn)練。
第二，更好地把握"Human in the loop"。該開發(fā)平臺會分析人工在采集標(biāo)注過程中的種種交互行為，而澳鵬在這方面有豐富的經(jīng)驗(yàn)，可以將其轉(zhuǎn)換為RLHF算法中的"獎勵功能"，并可挖掘更細(xì)粒度的標(biāo)注信息等等，為制備大模型提供更多的數(shù)據(jù)養(yǎng)料，體現(xiàn)了對于數(shù)據(jù)挖掘維度的深刻理解。
第三，長期合作可帶來數(shù)據(jù)采標(biāo)的規(guī)模效應(yīng)。澳鵬的開發(fā)平臺具備大規(guī)模、安全、高質(zhì)量的數(shù)據(jù)，以及完整的視覺、文本、語音類的行業(yè)基準(zhǔn)模型，且在多個(gè)采標(biāo)項(xiàng)目上實(shí)踐過。在每一個(gè)項(xiàng)目完結(jié)階段，都能產(chǎn)出一個(gè)性能不俗、與客戶需求完全鏡像的模型算法和高質(zhì)量的數(shù)據(jù)benchmark。
新澳鵬：全鏈條AI服務(wù)商
自從LLM大模型在全球爆紅以來，就一度有大模型將統(tǒng)治AI界的論調(diào)。但經(jīng)過2023年上半年的"百模大戰(zhàn)"，大家逐漸認(rèn)識到深度學(xué)習(xí)與LLM大模型對于AI應(yīng)用來說，都同等重要。所謂LLM大模型，即模型參數(shù)達(dá)到百億、千億以上，具有"智能涌現(xiàn)"的通用基礎(chǔ)AI大模型，但由于參數(shù)和占用計(jì)算資源龐大等特點(diǎn)，并不適用于企業(yè)和行業(yè)場景，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)則在實(shí)際應(yīng)用中有著不可取代的價(jià)值。
澳鵬全球高級副總裁、大中華區(qū)及北亞區(qū)總經(jīng)理田小鵬博士表示，對于未來的AI市場和智能經(jīng)濟(jì)，澳鵬的策略是深度學(xué)習(xí)與大模型，兩手抓、兩手硬。
首先，深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等對于當(dāng)下的數(shù)字化轉(zhuǎn)型來說正在發(fā)揮實(shí)效，特別是適用于實(shí)時(shí)計(jì)算和邊緣計(jì)算等企業(yè)級場景，在智能汽車、智能物聯(lián)網(wǎng)、智能制造等領(lǐng)域發(fā)揮著重要的作用，澳鵬仍將堅(jiān)持面向深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域的AI數(shù)據(jù)服務(wù)，同時(shí)與頂尖AI企業(yè)的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)平臺形成端到端解決方案，滿足企業(yè)當(dāng)下的AI工程化落地需求。
2023年6月底，澳鵬Appen企業(yè)級高精度人工智能輔助數(shù)據(jù)標(biāo)注平臺——MatrixGo正式上線SaaS版本。MatrixGo自發(fā)布以來，已經(jīng)經(jīng)歷了數(shù)千個(gè)AI數(shù)據(jù)標(biāo)注項(xiàng)目的實(shí)戰(zhàn)打磨，累積了來自各行各業(yè)、各種類型項(xiàng)目豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。MatrixGo SaaS版本的上線，讓企業(yè)客戶能夠更快速地部署MatrixGo，最快一天開通使用、投入生產(chǎn)，同時(shí)可以獲得專業(yè)的使用培訓(xùn)和客服支持，SaaS版本還將持續(xù)為客戶提供即時(shí)更新的MatrixGo最新版本，讓企業(yè)客戶使用最新和最先進(jìn)的數(shù)據(jù)服務(wù)，打造高質(zhì)量深度學(xué)習(xí)和機(jī)器學(xué)習(xí)應(yīng)用。
此外，澳鵬也將LLM技術(shù)用于改善數(shù)據(jù)標(biāo)注工具和平臺，不斷強(qiáng)化澳鵬在深度學(xué)習(xí)和機(jī)器學(xué)習(xí)數(shù)據(jù)服務(wù)方面的競爭優(yōu)勢。新推出的文檔智能產(chǎn)品可以從非結(jié)構(gòu)化文檔中自動提取信息，例如從掃描文檔或文檔照片中提取內(nèi)容，準(zhǔn)確率達(dá)到99%，這極大拓展了企業(yè)AI數(shù)據(jù)源。NLP自動標(biāo)注則采用小樣本或零樣本學(xué)習(xí)和LLM模型，對數(shù)據(jù)進(jìn)行自動化標(biāo)注，從而加速數(shù)據(jù)供應(yīng)。澳鵬在2022年還投資了全球頂尖的視覺AI合成數(shù)據(jù)供應(yīng)商MindTech，可以提供一系列高質(zhì)量多維度多角度的合成逼真圖片，應(yīng)對小樣本甚至零樣本問題。
其次，澳鵬將對LLM大模型進(jìn)行戰(zhàn)略投入，推出以澳鵬智能LLM大模型開發(fā)平臺為代表的LLM產(chǎn)品線。澳鵬LLM產(chǎn)品線包括基礎(chǔ)數(shù)據(jù)、基線模型、評估與微調(diào)以及上層生成式AI應(yīng)用等四大部分。
LLM基礎(chǔ)數(shù)據(jù)提供成品數(shù)據(jù)集、數(shù)據(jù)爬取、數(shù)據(jù)清洗和開源數(shù)據(jù)等，為LLM基礎(chǔ)大模型訓(xùn)練以及微調(diào)大模型提供高質(zhì)量數(shù)據(jù)集。
基線模型則提供自研模型和第三方開源或商用模型，以及支持客戶自有模型，澳鵬自研模型可根據(jù)使用場景定制化、模型私有化體積可以根據(jù)運(yùn)行資源要求進(jìn)行限制，支持私有化部署、云平臺API調(diào)用等，第三方合作模型則包括Reka、Cohere等國內(nèi)外優(yōu)秀的商用和開源大模型。
評估和微調(diào)包括專家語料、RLHF、A/B測試和模型評價(jià)等LLM大模型訓(xùn)練服務(wù)。澳鵬在全球有上百萬的眾包數(shù)據(jù)收集和標(biāo)注員，支持235+種語言和方言，也有專門面向金融、零售、工業(yè)和醫(yī)療等行業(yè)的專家眾包資源。過去，這些資源服務(wù)于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注；未來，面向LLM大模型的訓(xùn)練需求，這些資源還能夠提供提示詞-輸出語料包、專業(yè)領(lǐng)域語料包，以及將人工嵌入到LLM大模型訓(xùn)練的人工反饋增強(qiáng)環(huán)節(jié)，實(shí)現(xiàn)RLHF算法，提升模型的專業(yè)領(lǐng)域能力。
模型評估包括A/B測試、模型評價(jià)、紅藍(lán)對抗和基準(zhǔn)測試等方法，主要是由澳鵬的LLM專家和眾包資源一起，評估不同大模型以及同一大模型不同版本的輸出結(jié)果，對模型輸出進(jìn)行評價(jià)以避免歧視和涉黃等風(fēng)險(xiǎn)，在多輪對話對抗中評估模型的能力，以及使用行業(yè)標(biāo)準(zhǔn)語料包對大模型進(jìn)行基準(zhǔn)測試。
第三，在更遠(yuǎn)期，澳鵬將把深度學(xué)習(xí)和機(jī)器學(xué)習(xí)與LLM大模型結(jié)合起來，端到端為企業(yè)客戶開發(fā)生成式AI應(yīng)用，從數(shù)據(jù)到模型再到應(yīng)用開發(fā)，提供全鏈條的咨詢與應(yīng)用開發(fā)服務(wù)，進(jìn)而成為核心AI供應(yīng)商。
相比于其它LLM和生成式AI賽道的參與者，澳鵬有非常扎實(shí)的數(shù)據(jù)"底盤"和全鏈條的數(shù)據(jù)工具鏈、平臺和人力資源，而數(shù)據(jù)能力才是LLM和生成式AI的王道。此外，澳鵬還與全球AI企業(yè)、AI生態(tài)有著長達(dá)27年的合作關(guān)系歷史，也參與了大量企業(yè)和行業(yè)AI落地的項(xiàng)目實(shí)踐，有著豐富的企業(yè)級項(xiàng)目實(shí)施經(jīng)驗(yàn)。這些都為澳鵬在LLM和生成式AI時(shí)代的自我顛覆，打下了堅(jiān)實(shí)的基礎(chǔ)。
展望未來：LLM大模型和生成式AI是全球智能進(jìn)化的"奇點(diǎn)"，而一個(gè)全新姿態(tài)的澳鵬正在LLM大模型和生成式AI中崛起。從頂級AI數(shù)據(jù)服務(wù)商，到快速切入行業(yè)LLM大模型和生成式AI賽道，再向生成式AI應(yīng)用以及全鏈條AI咨詢開發(fā)發(fā)展，澳鵬正基于過去27年的積累，在全球智能進(jìn)化"奇點(diǎn)"時(shí)刻，把握機(jī)會、迅速蝶變，并與全球AI生態(tài)一起，打開生成式AI的大未來。
