9月24日消息，火山引擎正式發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型，面向企業(yè)市場開啟邀測，這也意味著字節(jié)跳動正式宣告進軍AI視頻生成。
該模型支持高效的DiT融合計算單元、全新設(shè)計的擴散模型訓(xùn)練方法和深度優(yōu)化的Transformer結(jié)構(gòu)，可以實現(xiàn)更充分地壓縮編碼視頻與文本，支持一致性多鏡頭生成，能夠大幅提升視頻生成的泛化能力。
官方介紹稱，無論是語義理解能力，多個主體運動的復(fù)雜交互畫面，還是多鏡頭切換的內(nèi)容一致性，豆包視頻生成大模型均達到業(yè)界先進水平。
火山引擎總裁譚待表示，“視頻生成有很多難關(guān)亟待突破。豆包兩款模型會持續(xù)演進，在解決關(guān)鍵問題上探索更多可能性，加速拓展AI視頻的創(chuàng)作空間和應(yīng)用落地。”
譚待表示，豆包視頻生成大模型支持多風(fēng)格多比例的一致性多鏡頭生成，可應(yīng)用在電商營銷、動畫教育、城市文旅、微劇本等領(lǐng)域。
此外，譚待表示，豆包大模型發(fā)布以來使用量爆發(fā)式增長。截至9月，豆包語言模型的日均tokens使用量超過1.3萬億，相比5月首次發(fā)布時猛增十倍，多模態(tài)數(shù)據(jù)處理量也分別達到每天5000萬張圖片和85萬小時語音。
此前視頻生成模型大多只能完成簡單指令，豆包視頻生成模型則能實現(xiàn)自然連貫的多拍動作與多主體復(fù)雜交互。有創(chuàng)作者在搶鮮體驗豆包視頻生成模型時發(fā)現(xiàn)，其生成的視頻不僅能夠遵循復(fù)雜指令，讓不同人物完成多個動作指令的互動，人物樣貌、服裝細節(jié)甚至頭飾在不同運鏡下也保持一致，接近實拍效果。
據(jù)火山引擎介紹，豆包視頻生成模型基于DiT架構(gòu)，通過高效的DiT融合計算單元，讓視頻在大動態(tài)與運鏡中自由切換，擁有變焦、環(huán)繞、平搖、縮放、目標(biāo)跟隨等多鏡頭語言能力。豆包視頻生成模型具備專業(yè)級光影布局和色彩調(diào)和，畫面視覺極具美感和真實感。
深度優(yōu)化的Transformer結(jié)構(gòu)，則大幅提升了豆包視頻生成的泛化能力，支持3D動畫、2D動畫、國畫、黑白、厚涂等多種風(fēng)格，適配電影、電視、電腦、手機等各種設(shè)備的比例，不僅適用于電商營銷、動畫教育、城市文旅、微劇本等企業(yè)場景，也能為專業(yè)創(chuàng)作者和藝術(shù)家們提供創(chuàng)作輔助。
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
王愛民：組織行為學(xué)在MES當(dāng)中的應(yīng)用...
