近日,由天翼云與華為聯(lián)合打造的魔樂(lè)(Modelers)開(kāi)發(fā)者社區(qū),在天翼云中國(guó)行·貴州站活動(dòng)現(xiàn)場(chǎng)上線發(fā)布。依托全場(chǎng)景開(kāi)源模型資源、易用的模型開(kāi)發(fā)套件,以及強(qiáng)大的共建共享生態(tài)系統(tǒng)等優(yōu)勢(shì),社區(qū)將使能開(kāi)發(fā)者高效進(jìn)行AI應(yīng)用創(chuàng)新,促進(jìn)國(guó)產(chǎn)AI生態(tài)繁榮!目前,社區(qū)已面向廣大開(kāi)發(fā)者正式開(kāi)放注冊(cè)。
隨著人工智能技術(shù)的飛速發(fā)展,中文AI應(yīng)用的創(chuàng)新已成為推動(dòng)行業(yè)發(fā)展的關(guān)鍵力量。在此背景下,魔樂(lè)開(kāi)發(fā)者社區(qū)(modelers.cn)應(yīng)運(yùn)而生。魔樂(lè)社區(qū)致力于聚合優(yōu)質(zhì)中文AI資源,使能AI應(yīng)用創(chuàng)新,加速伙伴商業(yè)閉環(huán),通過(guò)提供極致易用的工具鏈,端到端支持AI應(yīng)用開(kāi)發(fā)的全流程。同時(shí),結(jié)合國(guó)產(chǎn)化算力的使能,社區(qū)將助力孵化國(guó)產(chǎn)原生模型,為開(kāi)發(fā)者打造一個(gè)開(kāi)放、共享的人工智能生態(tài)社區(qū)。
魔樂(lè)社區(qū)集成了開(kāi)發(fā)工具鏈、模型庫(kù)、數(shù)據(jù)集和體驗(yàn)空間等核心組件,覆蓋自然語(yǔ)言處理、視覺(jué)、音頻等領(lǐng)域,提供原生模型、易用開(kāi)發(fā)工具、豐富的生態(tài)資源,幫助每一位開(kāi)發(fā)者獲取領(lǐng)先的人工智能技術(shù),打造出更有競(jìng)爭(zhēng)力和差異化的模型及應(yīng)用。
魔樂(lè)社區(qū)有什么優(yōu)勢(shì)?
1. 資源豐富
a. 海量?jī)?yōu)質(zhì)中文AI資源
五大專(zhuān)區(qū),1000+優(yōu)質(zhì)大模型,涵蓋TeleChat等主流大模型,構(gòu)成了魔樂(lè)社區(qū)的豐富資源庫(kù)。開(kāi)發(fā)者在這里不僅可以體驗(yàn)前沿的AI技術(shù),還可以輕松下載所需的模型,應(yīng)用到自己的項(xiàng)目中。
b. 千款大模型一鍵式離線復(fù)現(xiàn),使能開(kāi)發(fā)者快速搭建開(kāi)發(fā)環(huán)境,構(gòu)建AI應(yīng)用
魔樂(lè)社區(qū)致力于簡(jiǎn)化AI模型開(kāi)發(fā)流程,讓創(chuàng)新觸手可及。通過(guò)一鍵式離線復(fù)現(xiàn)功能,開(kāi)發(fā)者可以迅速搭建自己的開(kāi)發(fā)環(huán)境,并開(kāi)始構(gòu)建AI應(yīng)用。通過(guò)將最佳適配全棧打包、分層解耦,社區(qū)可提供開(kāi)放的容器鏡像,消除傳統(tǒng)開(kāi)發(fā)中復(fù)雜的環(huán)境搭建流程。無(wú)論是資深開(kāi)發(fā)者還是新手,都能夠在魔樂(lè)社區(qū)找到適合自己的工具和資源,輕松實(shí)現(xiàn)AI夢(mèng)想,共同推動(dòng)技術(shù)進(jìn)步。
c. 7000+高質(zhì)量數(shù)據(jù)集資源,讓模型構(gòu)建全流程更高效
魔樂(lè)社區(qū)已與OpenDataLab合作,將逐步接入超7000個(gè)數(shù)據(jù)集,涵蓋計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、多模態(tài)、通用機(jī)器學(xué)習(xí)、音頻識(shí)別等AI熱門(mén)領(lǐng)域。這些數(shù)據(jù)集經(jīng)過(guò)精心整理與標(biāo)注,可為用戶(hù)提供可靠的數(shù)據(jù)支撐,助力構(gòu)建更加精準(zhǔn)、可靠的AI模型。
2. 工具齊全
a. 提供高易用性的API,僅需幾行代碼即可實(shí)現(xiàn)微調(diào)、推理等任務(wù),快速實(shí)現(xiàn)開(kāi)發(fā)者與研究人員的創(chuàng)意
魔樂(lè)社區(qū)提供的開(kāi)發(fā)套件,支持從模型訓(xùn)練到部署的全流程,原生兼容PyTorch 和 MindSpore等主流框架,通過(guò)幾行代碼即可實(shí)現(xiàn)模型微調(diào)、推理等任務(wù)。
以“星辰TeleChat_12B對(duì)話”為例,開(kāi)發(fā)者可以在該模型主頁(yè)獲取詳盡的“模型介紹”,包括其架構(gòu)、參數(shù)和性能指標(biāo)。頁(yè)面上可一鍵訪問(wèn)數(shù)據(jù)集,無(wú)縫切換至體驗(yàn)空間,利用魔樂(lè)社區(qū)提供的工具和容器鏡像,實(shí)現(xiàn)離線復(fù)現(xiàn)和應(yīng)用開(kāi)發(fā),讓創(chuàng)新觸手可及。
b. 支持 Accelerate、MindSpeed等主流加速庫(kù),讓模型訓(xùn)練更輕松
魔樂(lè)社區(qū)支持 Accelerate、MindSpeed等主流加速庫(kù)。這些加速庫(kù)通過(guò)優(yōu)化并行算法、通信協(xié)議和顯存資源管理,顯著提升了計(jì)算效率,縮短了訓(xùn)練時(shí)間,讓大模型的訓(xùn)練變得更加輕松和快速。
c. 支持昇騰NPU等多種處理器,無(wú)需修改代碼即可靈活切換計(jì)算資源
借助魔樂(lè)社區(qū)提供的工具鏈,開(kāi)發(fā)者可通過(guò)簡(jiǎn)單的參數(shù)配置,輕松匹配業(yè)務(wù)訴求,實(shí)現(xiàn)在多種算力間的靈活選擇。這一設(shè)計(jì)不僅減少了開(kāi)發(fā)過(guò)程中的復(fù)雜性,也極大提升了資源的利用效率。無(wú)論是處理大規(guī)模數(shù)據(jù)集還是進(jìn)行復(fù)雜的計(jì)算任務(wù),魔樂(lè)社區(qū)都能提供強(qiáng)大的后端支持,確保開(kāi)發(fā)者能夠?qū)W⒂趧?chuàng)新和優(yōu)化算法本身。
3. 算力資源充沛
魔樂(lè)社區(qū)依托天翼云等企業(yè)的算力資源支持,為用戶(hù)提供了高性能的計(jì)算環(huán)境。無(wú)論是模型訓(xùn)練還是推理部署,用戶(hù)都能享受到流暢的計(jì)算體驗(yàn)。
作為國(guó)內(nèi)領(lǐng)先的云計(jì)算服務(wù)提供商,天翼云在構(gòu)建AI開(kāi)發(fā)者社區(qū)方面展現(xiàn)出了獨(dú)特的優(yōu)勢(shì):
a. 提供免費(fèi)的國(guó)產(chǎn)化算力資源,支持體驗(yàn)空間在線推理
b. 算力資源充沛,為社區(qū)提供穩(wěn)定、高效的智算資源
天翼云擁有覆蓋全國(guó)的智算算力布局,圍繞AI產(chǎn)業(yè)集聚區(qū)規(guī)劃建設(shè)北京、上海、廣東、浙江、安徽人工智能公共算力中心,智算總規(guī)模已達(dá)到21EFLOPS。天翼云在上海、北京打造的萬(wàn)卡池,是全國(guó)最早建成并真正投產(chǎn)運(yùn)行的兩個(gè)國(guó)產(chǎn)化、全液冷、單集群萬(wàn)卡公共智算中心。依托自身智能算力布局,天翼云能夠?yàn)槟?lè)開(kāi)發(fā)者社區(qū)提供穩(wěn)定、高效的智算資源。
c. 提供先進(jìn)的技術(shù)平臺(tái):
天翼云息壤一體化智算服務(wù)平臺(tái)面向行業(yè)大模型訓(xùn)推場(chǎng)景,提供模型開(kāi)發(fā)、訓(xùn)練、調(diào)優(yōu)的全鏈路服務(wù)。通過(guò)自研訓(xùn)練框架,打造核心加速算子集合,支持多維度混合全自動(dòng)并行,提供萬(wàn)卡級(jí)超大規(guī)模異構(gòu)模型訓(xùn)練能力,自動(dòng)兼容國(guó)產(chǎn)芯片,實(shí)現(xiàn)與頭部訓(xùn)推框架的無(wú)縫對(duì)接,覆蓋行業(yè)主流開(kāi)源大模型,將訓(xùn)練效率提升了50%;通過(guò)自研推理框架,構(gòu)建推理加速算子集合、量化壓縮模型輕量化技術(shù),提供異構(gòu)硬件的推理能力,使推理速度提升28%。平臺(tái)基于軟硬件協(xié)同設(shè)計(jì),打造了全鏈路故障感知和恢復(fù)、全鏈路日志監(jiān)控和斷點(diǎn)續(xù)訓(xùn)&續(xù)推等核心技術(shù),大幅提升有效訓(xùn)練時(shí)間和推理可用性,保障大模型訓(xùn)推場(chǎng)景穩(wěn)定高效運(yùn)行。
攜手開(kāi)發(fā)者,共筑AI新生態(tài)
魔樂(lè)社區(qū)誠(chéng)摯地邀請(qǐng)每一位開(kāi)發(fā)者加入這個(gè)大家庭,共同探索AI無(wú)限潛力。在這里,您可以與全球的AI愛(ài)好者交流心得、分享經(jīng)驗(yàn);可以快速利用大量的模型資源以及高質(zhì)量的數(shù)據(jù)集資源,快速構(gòu)建并分享自己的AI應(yīng)用;也可以借助充沛的算力資源與齊全的開(kāi)發(fā)工具鏈,將創(chuàng)意與想法轉(zhuǎn)化為現(xiàn)實(shí)。讓我們攜手并進(jìn),在AI的征途中不斷前行,共筑AI新生態(tài)。