摩爾線程國產(chǎn)GPU重大里程碑！千卡集群完成30億參數(shù)大模型實(shí)訓(xùn)
5月27日消息，摩爾線程、無問芯穹聯(lián)合宣布，雙方已經(jīng)正式完成MT-infini-3B 3B(30億參數(shù))規(guī)模大模型的實(shí)訓(xùn)，基于摩爾線程國產(chǎn)全功能GPU MTT S4000組成的千卡集群，以及無問芯穹的AIStudio PaaS平臺。
本次實(shí)訓(xùn)充分驗(yàn)證了夸娥千卡智算集群在大模型訓(xùn)練場景下的可靠性，同時也在行業(yè)內(nèi)率先開啟了國產(chǎn)大語言模型與國產(chǎn)GPU千卡智算集群深度合作的新范式。
據(jù)悉，這次的MT-infini-3B模型訓(xùn)練總共用時13.2天，全程穩(wěn)定無中斷，集群訓(xùn)練穩(wěn)定性達(dá)到100%，千卡訓(xùn)練和單機(jī)相比擴(kuò)展效率超過90%。
目前，實(shí)訓(xùn)出來的MT-infini-3B性能在同規(guī)模模型中躋身前列，相比在國際主流硬件上(尤其是NVIDIA)訓(xùn)練而成的其他模型，在C-Eval、MMLU、CMMLU等3個測試集上均實(shí)現(xiàn)性能領(lǐng)先。
無問芯穹正在打造“M種模型”和“N種芯片”之間的“M x N”中間層產(chǎn)品，實(shí)現(xiàn)多種大模型算法在多元芯片上的高效、統(tǒng)一部署，已與摩爾線程達(dá)成深度戰(zhàn)略合作。
摩爾線程是第一家接入無問芯穹并進(jìn)行千卡級別大模型訓(xùn)練的國產(chǎn)GPU公司，夸娥千卡集群已與無穹Infini-AI順利完成系統(tǒng)級融合適配，完成LLama2 700億參數(shù)大模型的訓(xùn)練測試。
T-infini-3B的訓(xùn)練，則是行業(yè)內(nèi)首次實(shí)現(xiàn)基于國產(chǎn)GPU芯片從0到1的端到端大模型實(shí)訓(xùn)案例。
就在日前，基于摩爾線程的夸娥千卡集群，憨猴集團(tuán)也成功完成了7B、34B、70B不同參數(shù)量級的大模型分布式訓(xùn)練，雙方還達(dá)成戰(zhàn)略合作。
經(jīng)雙方共同嚴(yán)苛測試，兼容適配程度高，訓(xùn)練效率達(dá)到預(yù)期，精度符合要求，整個訓(xùn)練過程持續(xù)穩(wěn)定。
標(biāo)簽： 摩爾線程 國產(chǎn)GPU
搶先讀
- 摩爾線程國產(chǎn)GPU重大里程碑！千卡集群完成30億參數(shù)大模型實(shí)訓(xùn)
- 環(huán)球觀熱點(diǎn)：國家發(fā)改委：5月29日國內(nèi)成品油價格不作調(diào)整
- 摩爾線程國產(chǎn)GPU重大里程碑！千卡集群完成30億參數(shù)大模型實(shí)訓(xùn)
- 天津：進(jìn)一步調(diào)整優(yōu)化差別化住房信貸政策-環(huán)球關(guān)注
- 頭條焦點(diǎn)：阿里影業(yè)發(fā)布2024財(cái)年業(yè)績：強(qiáng)勁增長，布局未來
- 世界速看：阿里影業(yè)發(fā)布2024財(cái)年業(yè)績：強(qiáng)勁增長，布局未來
- 每日信息：阿里影業(yè)發(fā)布2024財(cái)年業(yè)績：強(qiáng)勁增長，布局未來
- 駐馬店市驛城區(qū)人民街道建新街社區(qū)開展“六一慰問暖童心 濃濃關(guān)懷顯真情”志愿服務(wù)活動
- ?西平縣譚店小學(xué)開展“唱紅歌·迎六一”合唱比賽活動
- 每日快看：?河南省農(nóng)業(yè)農(nóng)村廳專家驗(yàn)收組來西平開展省級水產(chǎn)良種場驗(yàn)收工作
- 西平縣專探東溝小學(xué)舉行“放飛夢想，快樂成長”慶六一文藝匯演活動 視訊
- 鄧州市九龍鎮(zhèn)衛(wèi)生院：健康宣講進(jìn)校園 優(yōu)化育人好環(huán)境 當(dāng)前熱門
- ?西平縣文廣旅局開展《中華人民共和國民法典》宣傳活動
- ?西平縣應(yīng)急管理局機(jī)關(guān)黨支部開展“爭當(dāng)先鋒模范 助三夏生產(chǎn)”主題黨日活動
- ?西平縣文廣旅局深入開展文化市場安全生產(chǎn)摸排檢查
- 淅川法院老城法庭：六一普法進(jìn)校園 攜手共筑童心路_世界速訊
- 環(huán)球消息！?西平縣嫘祖初級中學(xué)邀請縣教育課程與教學(xué)發(fā)展中心檢查工作
- ?西平縣實(shí)驗(yàn)小學(xué)舉行“童心永向黨 筑夢新時代”慶?！傲弧眱和?jié)綜合素質(zhì)展演
- 駐馬店開發(fā)區(qū)城市管理局：全力“護(hù)綠” 加強(qiáng)苗木澆水養(yǎng)護(hù)力度
- 當(dāng)前訊息：社旗法院：晨間執(zhí)行再發(fā)力 雷霆出擊顯威力
- 每日熱聞!方城法院：錦旗表謝意 司法暖人心
- 新野法院開展第一次“豫劍執(zhí)行—夏季雷霆執(zhí)行月”專項(xiàng)執(zhí)行活動 -環(huán)球關(guān)注
- 南陽市宛城區(qū)法院組織開展觀看“楊根思連”先進(jìn)事跡專題節(jié)目
- 駐馬店市第二十五小學(xué)女子足球隊(duì)榮獲駐馬店市第八屆“市長杯”校園足球聯(lián)賽季軍|全球焦點(diǎn)
- 鄧州法院：愛心敲門 情暖童心
- 當(dāng)前播報(bào):鞏義市法院到新野縣法院交流營商環(huán)境工作
- 西峽法院：成立山茱萸法庭 服務(wù)藥材產(chǎn)業(yè)大發(fā)展
- 鎮(zhèn)平縣法院：訴前調(diào)解典型案例 繪就鎮(zhèn)法新“楓”景_快播
- ?西平縣住建局開展房地產(chǎn)市場“雙隨機(jī)、一公開”聯(lián)合檢查工作
- 環(huán)球簡訊:遂平縣花莊鎮(zhèn)：網(wǎng)格化管理為“三夏”生產(chǎn)護(hù)航
- 深度剖析新銳茶飲荷田水鋪：聽名字就有點(diǎn)苦的中藥茶飲是好生意？
- 環(huán)球看點(diǎn)！港股市場正回暖 上市儲備企業(yè)數(shù)量持續(xù)增加
- 【環(huán)球速看料】多家上市銀行中期分紅議案獲股東大會通過
- 即時焦點(diǎn)：港股市場正回暖 上市儲備企業(yè)數(shù)量持續(xù)增加
- 推動房企高質(zhì)量發(fā)展 大名城穩(wěn)健經(jīng)營資產(chǎn)持續(xù)優(yōu)化
- 國資委：推進(jìn)國有企業(yè)整合重組、有序進(jìn)退、提質(zhì)增效 天天新消息
- 以便捷“收舊”推動積極“換新” 多地加快再生資源回收體系建設(shè) 全球視訊
- 國資委：推進(jìn)國有企業(yè)整合重組、有序進(jìn)退、提質(zhì)增效 播資訊
- ?清“掛案” 卸“包袱”——西平縣檢察監(jiān)督助力企業(yè)“輕裝”前行
- ?愛心匯聚 熱血傳遞——西平縣焦莊鄉(xiāng)無償獻(xiàn)血志愿活動火熱進(jìn)行|通訊
- 環(huán)球速遞！西峽農(nóng)商銀行：“增信賦能”讓鄉(xiāng)村振興更出彩
- 確山縣城管局開展急救知識和技能培訓(xùn) 全球微速訊
- 駐馬店經(jīng)濟(jì)開發(fā)區(qū)開源辦事處大劉莊村黨支部組織開展“學(xué)習(xí)先進(jìn)楷模 爭做時代先鋒”主題黨日活動
- 天天訊息：鄧州市水務(wù)集團(tuán)自來水有限公司：做好水質(zhì)監(jiān)測 優(yōu)化健康環(huán)境
- ?羅山縣市場監(jiān)管局莽張市場監(jiān)管所扎實(shí)推進(jìn)農(nóng)民專業(yè)合作社、家庭農(nóng)場年報(bào)工作 環(huán)球熱點(diǎn)評
- 大自然家居集團(tuán)董事長佘學(xué)彬談德智家：不忘初心，聚焦剛需、錘煉品質(zhì)
- 觀速訊丨鄧州市住建局：強(qiáng)化業(yè)務(wù)培訓(xùn) 優(yōu)化服務(wù)環(huán)境
- ?西平縣人民醫(yī)院：來自“娘家人”的溫暖 每日動態(tài)
- 鄧州市古城實(shí)驗(yàn)小學(xué)：慶“六一”戲曲展演 優(yōu)化育人好環(huán)境|當(dāng)前聚焦
- 河南國韻光照酒業(yè)集團(tuán)：舉辦迎端午冰雕黃酒上市廠商聯(lián)誼洽談會
- 駐馬店開發(fā)區(qū)城市管理局持續(xù)開展餐飲場所油煙治理和燃?xì)獍踩珜ｍ?xiàng)檢查
- 福田汽車呼吁共筑行業(yè)清朗環(huán)境 以堅(jiān)守與創(chuàng)新引領(lǐng)良性發(fā)展
- 駐馬店市回族小學(xué)舉辦“書香溢彩”讀書月誦讀比賽|今日要聞
- 駐馬店市第二十一小學(xué)黨支部開展“恪守‘六大紀(jì)律’ 筑牢思想根基”學(xué)習(xí)研討會
- 世界速遞！乘“數(shù)”而上蓄勢向“新” 開辟增長新空間
- 中國人民銀行190個縣域派出機(jī)構(gòu)掛牌
- 文旅領(lǐng)域設(shè)備更新實(shí)施方案出臺 推動游樂設(shè)施、演藝設(shè)備等升級
- 直播大灣區(qū)丨“粵來粵美”：探尋文旅融合 賦能鄉(xiāng)村振興
- 海南?？冢寒a(chǎn)銷對接助力荔枝果農(nóng)解煩憂
- 全國產(chǎn)糧第一大省黑龍江春耕生產(chǎn)已全面告捷
- 焦點(diǎn)消息！中國航天員“太空行走”盤點(diǎn)
- 邁進(jìn)“服務(wù)升級元年” 歐派堅(jiān)定大家居戰(zhàn)略勇攀新峰|世界速讀
- 【全球報(bào)資訊】?駐馬店市生態(tài)環(huán)境局西平分局開展農(nóng)村環(huán)境整治成效現(xiàn)場檢查工作
- 世界熱議:逐夢紅領(lǐng)巾 爭做好隊(duì)員——駐馬店實(shí)驗(yàn)小學(xué)舉行新隊(duì)員入隊(duì)儀式
- 新縣：舉行醫(yī)療衛(wèi)生安全事件應(yīng)急演練
- ?信陽市人大常委會來息縣視察調(diào)研校園安全暨“雙減”工作 環(huán)球觀熱點(diǎn)
- 多部門推出政策“組合拳” 促進(jìn)房地產(chǎn)平穩(wěn)健康發(fā)展
- 花園城市建設(shè)與城市更新同頻推進(jìn) 焦點(diǎn)速讀
- 智慧助老 電信相伴——中國電信愛心翼站服務(wù)在身邊
- ?商城縣觀廟鎮(zhèn)：“一村一品”興村富民_天天看點(diǎn)
- 水利部門采取多種措施應(yīng)對汛情
- 售價20.08萬-25.58萬，沃爾沃純電SUV EX30正式上市
- 每日消息!深化五心守護(hù)伴知音 從故宮到凡爾賽宮成都站暨神龍汽車32周年慶開啟
- 環(huán)球即時看！保樂力加中國攜手聯(lián)合國訓(xùn)練研究所發(fā)起大學(xué)生預(yù)防酒駕主題科普行動
- 漲價策略顯效，業(yè)績大漲的香奈兒：繼續(xù)漲價
- ?西平縣柏苑街道全力以赴開展抗旱搶種工作
- 鄧州市水務(wù)集團(tuán)自來水有限公司：守護(hù)用戶安全飲水 優(yōu)化居民健康環(huán)境 快看
- 平安產(chǎn)險(xiǎn)2023年度企業(yè)社會責(zé)任報(bào)告：堅(jiān)守金融為民初心 以高質(zhì)量發(fā)展助力強(qiáng)國建設(shè)
- ?西平縣重渠賈橋小學(xué)舉行新少先隊(duì)員隊(duì)前教育 世界關(guān)注
- 資訊：遂平縣花莊鎮(zhèn)開展移風(fēng)易俗主題宣傳月活動
- 中醫(yī)傳承——香港中醫(yī)藥油世家黃天賜教授揭秘止痛方
- 【環(huán)球速看料】玩轉(zhuǎn)AI！西南大學(xué)人工智能學(xué)院科普課解鎖“神奇的人工智能”
- 3440億！大基金三期成立，或?qū)l(fā)力關(guān)鍵設(shè)備材料零部件投資 精選
- 3440億！大基金三期成立，或?qū)l(fā)力關(guān)鍵設(shè)備材料零部件投資
- 全球今日訊！?訪民情 問需求 謀發(fā)展——西平縣人民檢察院檢察長帶案下鄉(xiāng)走訪調(diào)研
- 實(shí)現(xiàn)多個首次！中國航天員已圓滿完成14次出艙活動
- 【練精兵 鑄警魂】 泌陽法院司法警察大隊(duì)選派5名干警參加全市法院業(yè)務(wù)骨干培訓(xùn)班
- 全球觀熱點(diǎn)：浉河區(qū)武勝關(guān)街道辦事處籌建處開展“全市安全日”防汛應(yīng)急演練
- 天天快報(bào)!在上海嘉定感受智能汽車創(chuàng)新“熱帶雨林”
- 世界要聞：駐馬店市驛城區(qū)東風(fēng)街道：為兒童撐起“綠色天空” 東風(fēng)街道“掃黃打非”進(jìn)行時
- ?西平縣人和鄉(xiāng)召開第十二屆人民代表大會三次會議 世界熱點(diǎn)評
- 每日時訊!郵儲銀行鄧州支行：進(jìn)企業(yè)送惠貸 優(yōu)化金融服務(wù)環(huán)境
- 駐馬店市驛城區(qū)新華街道團(tuán)工委舉辦六一“心”成長健康講座-世界獨(dú)家
- 駐馬店市第二人民醫(yī)院：七旬老人的兩感謝信|環(huán)球?qū)崟r
- 駐馬店市驛城區(qū)老街街道飛龍社區(qū)：黨建引領(lǐng)新風(fēng)尚 踐行分類齊參與_世界快看
- 今日快看!固始縣人民醫(yī)院：醫(yī)者暖人心 錦旗寄真情
- 駐馬店市驛城區(qū)朱古洞鄉(xiāng)：風(fēng)吹麥浪黨旗紅 助農(nóng)惠民促振興
- 全球即時看！固始縣李店鎮(zhèn)：科技賦能 助力鄉(xiāng)村振興
- 精選！潢川縣衛(wèi)健委組織開展全縣婦幼健康重點(diǎn)工作督導(dǎo)質(zhì)控
- 全球觀焦點(diǎn)：鄧州法院：商會來了“法律特派員”