字節(jié)豆包大模型團(tuán)隊提出稀疏模型架構(gòu)，推理成本最高可降低83%
2025-02-12 14:42
據(jù)豆包大模型團(tuán)隊消息，字節(jié)跳動豆包大模型Foundation團(tuán)隊近期提出UltraMem，一種同樣將計算和參數(shù)解耦的稀疏模型架構(gòu)，在保證模型效果的前提下解決了推理的訪存問題。據(jù)介紹，該架構(gòu)有效解決了MoE推理時高額的訪存問題，推理速度較MoE架構(gòu)提升2-6倍，推理成本最高可降低83%。（36氪）
喜歡您正在閱讀的內(nèi)容嗎？歡迎免費訂閱泰伯每周精選電郵。
立即訂閱
聲明：泰伯網(wǎng)登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述，文章內(nèi)容僅供參考。
