字節(jié)攻克MoE關(guān)鍵瓶頸，訓(xùn)練成本節(jié)省40%
2025-03-10 18:01
3月10日，字節(jié)豆包大模型團隊官宣開源一項針對MoE架構(gòu)的關(guān)鍵優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍，成本節(jié)省40%。據(jù)了解，該技術(shù)已實際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練，累計幫助節(jié)省了數(shù)百萬GPU小時訓(xùn)練算力。（證券時報）
喜歡您正在閱讀的內(nèi)容嗎？歡迎免費訂閱泰伯每周精選電郵。
立即訂閱
聲明：泰伯網(wǎng)登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述，文章內(nèi)容僅供參考。
