animatediff官网,Stable Diffusion AI影片生成插件,將静態圖片轉化為动態动画
animatediff简介
AnimateDiff可以將静態圖片轉化為动態动画。该方法适用于不同类型的圖片,且不需要特定的调整。透過訓练好的運动建模模块,可以直接將个性化T2I模型轉化為动画。该方法还可以推广到3D卡通和2D动画领域。该方法可以成為个性化动画生成的简單有效基线。使用 AnimateDiff 需要安装SD插件和AnimateDiff模型。
github開源專案地址:https://github.com/guoyww/animatediff
WebUI插件地址:https://github.com/continue-revolution/sd-webui-animatediff
arxiv論文地址:https://arxiv.org/abs/2307.04725
AnimateDiff 使用控制模块来影响 Stable Diffusion 模型。它透過各种短影片剪輯进行訓练。控制模块可以對圖像生成过程进行调節,以生成一系列看起来像它学習的影片剪輯的圖像。简單来說,SD 模型的訓练是透過大量的圖片进行訓练。而 AnimateDiff 则是透過大量的短影片来进行訓练圖片之间的衔接(影片帧的流畅性)結合 SD 模型,在出圖的时候就可以透過 AnimateDiff 模型對生成出的每一張圖进行微调,最后拼接成短影片。
AnimateDiff :更優质的动画生成体验
在 AnimateDiff 中,作者提出了一种將任何定制化文生圖模型拓展用于动画生成的框架,可以在保持原有定制化模型画面质量的基礎上,生成相应的动画片段。為色彩斑斓的鹅卵石,增添一些动態的光澤。
Stable diffusion中快速生成不闪烁动画的插件,叫AnimateDiff。Animatediff是香港中文大学團队開源的AI影片生成方法,基于Stable DIffusion的開源基建,8月份開源模型之后,一个月就把AI影片生成的质量提高了几个等級。比如下面这个影片就是用Animatediff从0生成的,只需要一段提示词,用户可以描述在影片的第几秒出现什么样的画面!
插件安装教程
1. 启动“Stable Diffusion”,点擊“擴展”—“可下载”—再点擊“加载擴展列表”,搜索關键词“AnimateDiff”,点擊“安装“,安装完成之后,重启一下“Stable Diffusion”即可。
从网址安装,复制Github的URL,將插件的URL粘贴到“擴展的git仓库网址”上,在点擊”安装“,安装完成之后,重启一下”Stable Diffusion“即可。
插件Github URL:https://github.com/continue-revolution/sd-webui-animatediff.git
3. 插件安装包安装,在Github下载该插件的安装包并安装到“Stable Diffusion”目錄中的“extensions”資料夾中即可。(文末提供安装包)
模型下载
安装好插件之后,还需要下载一个动画模型和八个控制镜頭的LoRA模型,(控制镜頭的模型可以不用下载,但是动画模型必须下载),动画模型下载最新的“mm_sd_v15_v2.ckpt“这个即可,它是最新的也是最穩定效果最好的。
下载好模型后就需要把模型放到對应的資料夾里面。“mm_sd_v15_v2.ckpt”这个模型放到“…\sd-webui-aki-v4.2\extensions\sd-webui-animatediff\model”資料夾即可,LoRA模型放到“…\sd-webui-aki-v4.2\models\lora”即可。
安装好插件并把模型放到對应的資料夾之后,重启Stable Diffusion就可以看到“AnimateDiff”这个插件啦。
在线体验animatediff
1.打開:
https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff
2. 先后選择 Base DreamBooth Model 与 Motion Module (可跳过此步,直接使用默认配置,也可自己调整)
3. 填寫 Prompt 和 Negative Prompt
示例:Prompt masterpiece, best quality, 1girl, solo, cherry blossoms, hanami, pink flower, white flower, spring season, wisteria, petals, flower, plum blossoms, outdoors, falling petals, white hair, black eyes
Negative Prompt worst quality, low quality, nsfw, logo
4.点擊 Generate,等待一分鐘左右,獲得生成的动画影片
数据评估
本站ai工具百寶箱提供的animatediff都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由ai工具百寶箱实际控制,在2025年6月11日 上午1:42收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,ai工具百寶箱不承担任何责任。