Movie Gen

Movie Gen ai官网,meta影片音频生成模型

简介

Movie Gen是由Meta（原Facebook公司）推出的一款AI影片音频生成模型。它能够透過简單的文本输入生成高质量的影片和音效，还支持精准的影片编輯。用户可以输入文本描述生成高清影片、上传圖像制作个性化影片，或根据指令修改影片内容。Movie Gen还可以生成与影片同步的背景音樂和音效，适合内容創作者、電影制作人等使用。

Movie Gen ai官网: https://ai.meta.com/research/movie-gen/

Meta公司在10月4日發布了Movie Gen最新研究成果，包含一系列能生成1080p影片和同步音频的基礎模型，支持多种宽高比。这一成果标志着多模態LLM產業級应用方面取得了重要进展。与Sora不同，Meta透過一篇92页的論文公開了Movie Gen的架构和訓练細節，包括架构、訓练方法、資料管理、評估、并行訓练和推理優化等。

1. Movie Gen模型系列：基礎模型能生成与文本提示相符的影片和音频，實现影片个性化、编輯和音频生成
2. 影片生成：30B参數的變换器模型生成长达16秒影片。个性化影片包含特定人物和丰富細節
3. 精确影片编輯：模型能根据文本提示执行添加、删除或替换元素的编輯任務
4. 音频生成：13B参數模型生成长达45秒高质量音频，与影片同步
5. 技術革新：論文介绍了架构、訓练、資料、評估和推理優化等方面的技術創新
6. A/B人类評估：人类評估者更偏好Movie Gen模型結果，顯示其在媒体生成任務上的先进性

主要功能和特色

Movie Gen的主要功能包括：

文本生成影片：用户只需输入一段文本描述，Movie Gen就可以生成独特的高清影片，最长可达16秒。
个性化影片生成：用户可以上传自己的圖片，Movie Gen將生成包含该人物的个性化影片。
精准影片编輯：透過文本指令，Movie Gen可以對影片进行局部或全局的编輯，修改指定的元素。
音频生成：Movie Gen还可以生成与影片同步的高质量音效和配樂，支持最长45秒的音频生成。