騰訊昨日發(fā)布其自研星脈網(wǎng)絡 2.0 版本，升級后的星脈網(wǎng)絡支持單集群 10 萬卡組網(wǎng)，網(wǎng)絡通信效率比上一代提升 60%，大模型訓練效率提升 20%，故障定位從天級降低至分鐘級。
騰訊自研交換機從 25.6T 升級到 51.2T，容量提升一倍;自研硅光模塊從 200G 升級到 400G，速率提升一倍;搭載自研算力網(wǎng)卡;整機通信帶寬 3.2T，為業(yè)界最高。
騰訊自研全新通信協(xié)議 TiTa2.0 的部署位置從交換機轉(zhuǎn)移到了網(wǎng)卡上，擁塞算法也從被動擁塞算法升級為主動擁塞控制算法，將星脈網(wǎng)絡的通信效率提升 30%，讓大模型的訓練效率提升 10%。
騰訊全新高性能集合通信庫 TCCL2.0 采用 NVLINK+NET 異構(gòu)并行通信，實現(xiàn)數(shù)據(jù)的并行傳輸。Auto-Tune Network Expert 自適應算法可以根據(jù)機型、網(wǎng)絡規(guī)模、模型算法等差異，自動調(diào)整數(shù)據(jù)包分割大小、匹配算法等參數(shù)。星脈網(wǎng)絡通信性能提升 30%，讓大模型的訓練效率再提升 10%。
TiTa 與 TCCL 升級帶來的效果疊加，讓星脈網(wǎng)絡的通信效率共提升 60%，大模型訓練效率共提升 20%。
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
談談企業(yè)數(shù)據(jù)管理的核心內(nèi)容和最佳實踐
