9月29日消息，AMD在Huggingface平臺公布了自家首款“小語言模型”AMD-Llama-135m，該模型具有推測解碼功能，擁有6700億個(gè)token，采用Apache2.0開源許可。
據(jù)介紹，這款模型主打“推測解碼”能力，其基本原理是使用小型草稿模型生成一組候選token，然后由更大的目標(biāo)模型進(jìn)行驗(yàn)證。這種方法允許每次前向傳遞生成多個(gè)token，而不會(huì)影響性能，從而顯著減少RAM占用，實(shí)現(xiàn)效率提升。
AMD表示，這款模型在四個(gè)AMDInstinctMI250節(jié)點(diǎn)訓(xùn)練了六天，其“編程專用版本”變體AMD-Llama-135m-code則額外耗費(fèi)了四天時(shí)間進(jìn)行微調(diào)。
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
2024年企業(yè)最關(guān)心的三大熱門詞：新質(zhì)...
