華為云CTO張宇昕：大模型時代需要全新的網(wǎng)絡(luò)互聯(lián)技術(shù)
2024-02-26 11:45
2月26日消息，華為云CTO張宇昕在巴塞羅那華為云峰會表示，大模型時代對算力有著全新的要求：1、聯(lián)算比。未來需要全新的網(wǎng)絡(luò)互聯(lián)技術(shù)來解決運(yùn)算量和GPU算力之間的巨大差距。2、容算比。當(dāng)前在模型訓(xùn)練過程中為獲取足夠顯存容量，存在不必要的GPU算力閑置。3、存算比。當(dāng)前在模型訓(xùn)練過程中，大量的時間消耗在GPU數(shù)據(jù)加載，造成算力的進(jìn)一步浪費(fèi)?；诖?，云的系統(tǒng)架構(gòu)將從“以CPU為中心的主從架構(gòu)”向“多元算力對等架構(gòu)” 躍遷。（科創(chuàng)板日報）
喜歡您正在閱讀的內(nèi)容嗎？歡迎免費(fèi)訂閱泰伯每周精選電郵。
立即訂閱
聲明：泰伯網(wǎng)登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點(diǎn)或證實(shí)其描述，文章內(nèi)容僅供參考。
