近日,由天翼云與華為聯(lián)合打造的魔樂(Modelers)開發(fā)者社區(qū),在天翼云中國行·貴州站活動(dòng)現(xiàn)場上線發(fā)布。依托全場景開源模型資源、易用的模型開發(fā)套件,以及強(qiáng)大的共建共享生態(tài)系統(tǒng)等優(yōu)勢,社區(qū)將使能開發(fā)者高效進(jìn)行AI應(yīng)用創(chuàng)新,促進(jìn)國產(chǎn)AI生態(tài)繁榮!目前,社區(qū)已面向廣大開發(fā)者正式開放注冊。
隨著人工智能技術(shù)的飛速發(fā)展,中文AI應(yīng)用的創(chuàng)新已成為推動(dòng)行業(yè)發(fā)展的關(guān)鍵力量。在此背景下,魔樂開發(fā)者社區(qū)(modelers.cn)應(yīng)運(yùn)而生。魔樂社區(qū)致力于聚合優(yōu)質(zhì)中文AI資源,使能AI應(yīng)用創(chuàng)新,加速伙伴商業(yè)閉環(huán),通過提供極致易用的工具鏈,端到端支持AI應(yīng)用開發(fā)的全流程。同時(shí),結(jié)合國產(chǎn)化算力的使能,社區(qū)將助力孵化國產(chǎn)原生模型,為開發(fā)者打造一個(gè)開放、共享的人工智能生態(tài)社區(qū)。
魔樂社區(qū)集成了開發(fā)工具鏈、模型庫、數(shù)據(jù)集和體驗(yàn)空間等核心組件,覆蓋自然語言處理、視覺、音頻等領(lǐng)域,提供原生模型、易用開發(fā)工具、豐富的生態(tài)資源,幫助每一位開發(fā)者獲取領(lǐng)先的人工智能技術(shù),打造出更有競爭力和差異化的模型及應(yīng)用。
魔樂社區(qū)有什么優(yōu)勢?
01資源豐富
·海量優(yōu)質(zhì)中文AI資源
五大專區(qū),1000+優(yōu)質(zhì)大模型,涵蓋TeleChat等主流大模型,構(gòu)成了魔樂社區(qū)的豐富資源庫。開發(fā)者在這里不僅可以體驗(yàn)前沿的AI技術(shù),還可以輕松下載所需的模型,應(yīng)用到自己的項(xiàng)目中。
·千款大模型一鍵式離線復(fù)現(xiàn),使能開發(fā)者快速搭建開發(fā)環(huán)境,構(gòu)建AI應(yīng)用
魔樂社區(qū)致力于簡化AI模型開發(fā)流程,讓創(chuàng)新觸手可及。通過一鍵式離線復(fù)現(xiàn)功能,開發(fā)者可以迅速搭建自己的開發(fā)環(huán)境,并開始構(gòu)建AI應(yīng)用。通過將最佳適配全棧打包、分層解耦,社區(qū)可提供開放的容器鏡像,消除傳統(tǒng)開發(fā)中復(fù)雜的環(huán)境搭建流程。無論是資深開發(fā)者還是新手,都能夠在魔樂社區(qū)找到適合自己的工具和資源,輕松實(shí)現(xiàn)AI夢想,共同推動(dòng)技術(shù)進(jìn)步。
·7000+高質(zhì)量數(shù)據(jù)集資源,讓模型構(gòu)建全流程更高效
魔樂社區(qū)已與OpenDataLab合作,將逐步接入超7000個(gè)數(shù)據(jù)集,涵蓋計(jì)算機(jī)視覺、自然語言處理、多模態(tài)、通用機(jī)器學(xué)習(xí)、音頻識(shí)別等AI熱門領(lǐng)域。這些數(shù)據(jù)集經(jīng)過精心整理與標(biāo)注,可為用戶提供可靠的數(shù)據(jù)支撐,助力構(gòu)建更加精準(zhǔn)、可靠的AI模型。
02工具齊全
·提供高易用性的API,僅需幾行代碼即可實(shí)現(xiàn)微調(diào)、推理等任務(wù),快速實(shí)現(xiàn)開發(fā)者與研究人員的創(chuàng)意
魔樂社區(qū)提供的開發(fā)套件,支持從模型訓(xùn)練到部署的全流程,原生兼容PyTorch和MindSpore等主流框架,通過幾行代碼即可實(shí)現(xiàn)模型微調(diào)、推理等任務(wù)。
以“星辰TeleChat_12B對話”為例,開發(fā)者可以在該模型主頁獲取詳盡的“模型介紹”,包括其架構(gòu)、參數(shù)和性能指標(biāo)。頁面上可一鍵訪問數(shù)據(jù)集,無縫切換至體驗(yàn)空間,利用魔樂社區(qū)提供的工具和容器鏡像,實(shí)現(xiàn)離線復(fù)現(xiàn)和應(yīng)用開發(fā),讓創(chuàng)新觸手可及。
·支持Accelerate、MindSpeed等主流加速庫,讓模型訓(xùn)練更輕松
魔樂社區(qū)支持Accelerate、MindSpeed等主流加速庫。這些加速庫通過優(yōu)化并行算法、通信協(xié)議和顯存資源管理,顯著提升了計(jì)算效率,縮短了訓(xùn)練時(shí)間,讓大模型的訓(xùn)練變得更加輕松和快速。
·支持多種處理器,無需修改代碼即可靈活切換計(jì)算資源
借助魔樂社區(qū)提供的工具鏈,開發(fā)者可通過簡單的參數(shù)配置,輕松匹配業(yè)務(wù)訴求,實(shí)現(xiàn)在多種算力間的靈活選擇。這一設(shè)計(jì)不僅減少了開發(fā)過程中的復(fù)雜性,也極大提升了資源的利用效率。無論是處理大規(guī)模數(shù)據(jù)集還是進(jìn)行復(fù)雜的計(jì)算任務(wù),魔樂社區(qū)都能提供強(qiáng)大的后端支持,確保開發(fā)者能夠?qū)W⒂趧?chuàng)新和優(yōu)化算法本身。
03算力資源充沛
魔樂社區(qū)依托天翼云等企業(yè)的算力資源支持,為用戶提供了高性能的計(jì)算環(huán)境。無論是模型訓(xùn)練還是推理部署,用戶都能享受到流暢的計(jì)算體驗(yàn)。
作為國內(nèi)領(lǐng)先的云計(jì)算服務(wù)提供商,天翼云在構(gòu)建AI開發(fā)者社區(qū)方面展現(xiàn)出了獨(dú)特的優(yōu)勢:
·提供免費(fèi)的國產(chǎn)化算力資源,支持體驗(yàn)空間在線推理
·算力資源充沛,為社區(qū)提供穩(wěn)定、高效的智算資源
天翼云擁有覆蓋全國的智算算力布局,圍繞AI產(chǎn)業(yè)集聚區(qū)規(guī)劃建設(shè)北京、上海、廣東、浙江、安徽人工智能公共算力中心,智算總規(guī)模已達(dá)到21EFLOPS。天翼云在上海、北京打造的萬卡池,是全國最早建成并真正投產(chǎn)運(yùn)行的兩個(gè)國產(chǎn)化、全液冷、單集群萬卡公共智算中心。依托自身智能算力布局,天翼云能夠?yàn)槟烽_發(fā)者社區(qū)提供穩(wěn)定、高效的智算資源。
·提供先進(jìn)的技術(shù)平臺(tái)
天翼云息壤一體化智算服務(wù)平臺(tái)面向行業(yè)大模型訓(xùn)推場景,提供模型開發(fā)、訓(xùn)練、調(diào)優(yōu)的全鏈路服務(wù)。通過自研訓(xùn)練框架,打造核心加速算子集合,支持多維度混合全自動(dòng)并行,提供萬卡級(jí)超大規(guī)模異構(gòu)模型訓(xùn)練能力,自動(dòng)兼容國產(chǎn)芯片,實(shí)現(xiàn)與頭部訓(xùn)推框架的無縫對接,覆蓋行業(yè)主流開源大模型,將訓(xùn)練效率提升了50%;通過自研推理框架,構(gòu)建推理加速算子集合、量化壓縮模型輕量化技術(shù),提供異構(gòu)硬件的推理能力,使推理速度提升28%。平臺(tái)基于軟硬件協(xié)同設(shè)計(jì),打造了全鏈路故障感知和恢復(fù)、全鏈路日志監(jiān)控和斷點(diǎn)續(xù)訓(xùn)&續(xù)推等核心技術(shù),大幅提升有效訓(xùn)練時(shí)間和推理可用性,保障大模型訓(xùn)推場景穩(wěn)定高效運(yùn)行。
攜手開發(fā)者,共筑AI新生態(tài)
魔樂社區(qū)誠摯地邀請每一位開發(fā)者加入這個(gè)大家庭,共同探索AI無限潛力。在這里,您可以與全球的AI愛好者交流心得、分享經(jīng)驗(yàn);可以快速利用大量的模型資源以及高質(zhì)量的數(shù)據(jù)集資源,快速構(gòu)建并分享自己的AI應(yīng)用;也可以借助充沛的算力資源與齊全的開發(fā)工具鏈,將創(chuàng)意與想法轉(zhuǎn)化為現(xiàn)實(shí)。讓我們攜手并進(jìn),在AI的征途中不斷前行,共筑AI新生態(tài)。