Time-MoE采用了創(chuàng)新的混合專家架構(gòu)，能以較低的計(jì)算成本實(shí)現(xiàn)高精度預(yù)測(cè)。研發(fā)團(tuán)隊(duì)還發(fā)布了Time-300B數(shù)據(jù)集，為時(shí)序分析提供了豐富的訓(xùn)練資源，為各行各業(yè)的時(shí)間序列預(yù)測(cè)任務(wù)帶來了新的解決方案。
在當(dāng)今以數(shù)據(jù)為驅(qū)動(dòng)的時(shí)代，時(shí)序預(yù)測(cè)已成為眾多領(lǐng)域不可或缺的核心組成。然而，構(gòu)建一個(gè)兼具強(qiáng)大性能與高效運(yùn)算的大規(guī)模時(shí)序預(yù)測(cè)模型始終是一個(gè)巨大的挑戰(zhàn)。此外，高質(zhì)量的大型公共時(shí)間序列數(shù)據(jù)庫的匱乏進(jìn)一步加劇了這一難題。
近日，由來自普林斯頓大學(xué)、格里菲斯大學(xué)等全球多地的華人國際科研團(tuán)隊(duì)攜手通力合作，創(chuàng)新性地提出了一種基于混合專家架構(gòu)(MixtureofExperts,MoE)的時(shí)間序列基礎(chǔ)模型Time-MoE，首次將時(shí)間序列預(yù)訓(xùn)練大模型的參數(shù)規(guī)模推向十億級(jí)別，在時(shí)序預(yù)測(cè)領(lǐng)域?qū)崿F(xiàn)了里程碑式的突破。
與此同時(shí)，團(tuán)隊(duì)精心整理了預(yù)訓(xùn)練數(shù)據(jù)集Time-300B，這是目前時(shí)序領(lǐng)域最大的公開數(shù)據(jù)集，為各類時(shí)序任務(wù)提供了前所未有的通用解決方案。這是首次在時(shí)序領(lǐng)域中采用如此大規(guī)模的預(yù)訓(xùn)練模型，標(biāo)志著時(shí)序預(yù)測(cè)技術(shù)邁入了一個(gè)全新的時(shí)代。
Time-MoE模型通過MoE架構(gòu)的獨(dú)特優(yōu)勢(shì)，將模型參數(shù)成功擴(kuò)展至24億，不僅顯著提升了預(yù)測(cè)精度，還在降低計(jì)算成本的同時(shí)超越了眾多現(xiàn)有模型，全面達(dá)到了SOTA(StateoftheArt)水平。
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
王愛民：排產(chǎn)調(diào)度的幾種實(shí)際運(yùn)用方式...
