9月28日消息，“中國(guó)電信人工智能研究院”官方公眾號(hào)今天宣布，中國(guó)電信人工智能研究院成功完成國(guó)內(nèi)首個(gè)基于全國(guó)產(chǎn)化萬(wàn)卡集群訓(xùn)練的萬(wàn)億參數(shù)大模型，并正式對(duì)外開(kāi)源首個(gè)基于全國(guó)產(chǎn)化萬(wàn)卡集群和國(guó)產(chǎn)深度學(xué)習(xí)框架訓(xùn)練的千億參數(shù)大模型——星辰語(yǔ)義大模型TeleChat2-115B。
官方表示，這項(xiàng)科研成果標(biāo)志著國(guó)產(chǎn)大模型訓(xùn)練真正實(shí)現(xiàn)全國(guó)產(chǎn)化替代，正式進(jìn)入全國(guó)產(chǎn)自主創(chuàng)新、安全可控的新階段。
TeleChat2-115B基于中國(guó)電信自研的天翼云“息壤一體化智算服務(wù)平臺(tái)”和人工智能公司“星海AI平臺(tái)”訓(xùn)練完成。據(jù)介紹，其在保證訓(xùn)練精度的前提下利用多種優(yōu)化手段提升模型訓(xùn)練效率和穩(wěn)定性，實(shí)現(xiàn)了GPU同等算力計(jì)算效率超93%，模型有效訓(xùn)練時(shí)長(zhǎng)占比超98%。
針對(duì)超大參數(shù)模型訓(xùn)練，TeleAI采用了大量小模型進(jìn)行Scaling，進(jìn)而驗(yàn)證不同模型結(jié)構(gòu)的有效性。同時(shí)，在數(shù)據(jù)配比方面，基于小模型實(shí)驗(yàn)結(jié)果反饋，采用回歸預(yù)測(cè)模型，得到較優(yōu)數(shù)據(jù)配比。
在Post-Training(后訓(xùn)練)方面，TeleAI首先針對(duì)數(shù)學(xué)、代碼和邏輯推理等內(nèi)容合成了大量問(wèn)答數(shù)據(jù)，用于SFT(監(jiān)督式微調(diào))第一階段模型訓(xùn)練。
其次，其采用迭代式更新策略，使用模型對(duì)提示詞數(shù)據(jù)進(jìn)行指令復(fù)雜性提升與多樣性擴(kuò)充，通過(guò)模型合成和人工標(biāo)注提升答案質(zhì)量，并利用拒絕采樣獲取優(yōu)質(zhì)SFT數(shù)據(jù)及RM(獎(jiǎng)勵(lì)模型)代表性數(shù)據(jù)，用于SFT訓(xùn)練和DPO(偏好對(duì)齊)訓(xùn)練，以及模型效果迭代。
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。
王愛(ài)民：組織行為學(xué)在MES當(dāng)中的應(yīng)用...
