6 月 6 日消息,微軟在本周一發(fā)布了首個(gè)用于天氣預(yù)測(cè)的大型大氣基礎(chǔ)模型Aurora(極光),可實(shí)現(xiàn)天氣和大氣變化的高精度預(yù)報(bào)。
Aurora是一個(gè)13億參數(shù)的基礎(chǔ)模型,用于天氣和大氣過(guò)程的高分辨率預(yù)報(bào)。Aurora是一款靈活的3D Swin Transformer,帶有基于3D感知器的編碼器和解碼器。在預(yù)訓(xùn)練時(shí),Aurora進(jìn)行了優(yōu)化,以最大限度地減少具有不同分辨率、變量和壓力水平的多個(gè)異構(gòu)數(shù)據(jù)集的損失。然后分兩個(gè)階段對(duì)模型進(jìn)行微調(diào) :( 1) 預(yù)訓(xùn)練權(quán)重的短前置時(shí)間微調(diào) (2) 長(zhǎng)前置時(shí)間 (rollout) 使用低秩自適應(yīng) (LoRA) 進(jìn)行微調(diào)。然后部署經(jīng)過(guò)微調(diào)的模型,以解決不同分辨率的各種運(yùn)營(yíng)預(yù)測(cè)場(chǎng)景。據(jù)微軟官方宣稱,Aurora 是一個(gè)有著 13 億參數(shù)的基礎(chǔ)模型,同時(shí)還帶有基于 3D 感知器的編碼器和解碼器。
Aurora 經(jīng)過(guò)超過(guò)一百萬(wàn)小時(shí)的不同天氣和氣候數(shù)據(jù)訓(xùn)練。Aurora 利用基礎(chǔ)建模方法的優(yōu)勢(shì),為各種大氣預(yù)測(cè)問(wèn)題(包括訓(xùn)練數(shù)據(jù)有限、異構(gòu)變量和極端事件)提供業(yè)務(wù)預(yù)測(cè)。
團(tuán)隊(duì)在預(yù)訓(xùn)練時(shí)分兩個(gè)階段對(duì) Aurora 模型進(jìn)行了優(yōu)化,以最大限度地減少具有不同分辨率、變量和壓力水平的多個(gè)異構(gòu)數(shù)據(jù)集的損失,得以適應(yīng)不同分辨率的各種運(yùn)營(yíng)預(yù)測(cè)場(chǎng)景。除此之外 Aurora 模型還有以下特性,IT之家整理官方介紹如下:
Aurora 能夠在不到一分鐘的時(shí)間內(nèi)生成 5 天的全球空氣污染預(yù)測(cè)和 10 天的高分辨率天氣預(yù)報(bào)。
Aurora 在空氣質(zhì)量預(yù)測(cè)方面表現(xiàn)出色,能夠以較小的計(jì)算成本提供與 CAMS(哥白尼大氣監(jiān)測(cè)服務(wù))相當(dāng)?shù)念A(yù)測(cè)。
Aurora 在 0.1° 精度下進(jìn)行天氣預(yù)測(cè),能夠準(zhǔn)確預(yù)測(cè)極端天氣事件,如風(fēng)暴 Ciarán。
Aurora 在預(yù)測(cè)極端值方面優(yōu)于現(xiàn)有的 AI 模型和數(shù)值天氣預(yù)報(bào)模型。
Aurora 能夠在多樣數(shù)據(jù)集的預(yù)訓(xùn)練中表現(xiàn)出色,優(yōu)于專門的深度學(xué)習(xí)模型和最先進(jìn)的數(shù)值天氣預(yù)測(cè)模型。
分享到微信 ×
打開微信,點(diǎn)擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。