mimicmotion

mimicmotion官网,騰讯推出的Al人像动態影片生成框架

什么是MimicMotion?

MotionClone是一个開源的克隆参考影片中的運动的技術，可用于准确的控制文生影片的運动軌跡。MimicMotion是騰讯的研究人员推出的一个高质量的人类动作影片生成框架，利用置信度感知的姿態引導技術，确保影片帧的高质量和时间上的平滑过渡。此外，Mimic Motion透過区域損失放大和手部区域增强，顯著減少了圖像失真，提升了人像手部动作的細節表现。该框架还能透過漸进式潛在融合策略生成长影片，能够生成高质量、长时间且符合特定动作指導的人类动作影片，同时顯著提高了影片生成的控制性和細節丰富度。

github專案地址: https://github.com/tencent/MimicMotion

論文地址: http://arxiv.org/abs/2406.19680v1

MimicMotion的目标是从單个参考圖像和一系列要模仿的姿势中生成高质量的、姿势引導的人类影片。这项任務包括合成符合所提供的姿势序列的逼真運动，同时保持對参考圖像的視觉保真度。作者利用特定的预訓练影片擴散模型的能力来減少从頭開始訓练影片擴散模型的資料需求和计算成本。穩定影片擴散(Stable Video Diffusion, SVD)是一种基于大規模影片資料集訓练的開源圖像到影片擴散模型。与其他当代型号相比，它在影片质量和多样性方面都表现出良好的性能，MimicMotion的模型結构旨在集成预訓练的穩定影片擴散(SVD)模型，以利用其圖像到影片的生成能力。

主要功能和特色

•生成多样化影片：MimicMotion能够根据用户提供的姿態指導生成各种动作的影片内容。無論是舞蹈、運动还是日常活动，只要提供相应的姿態序列，Mimic Motion都能够創造出相应的动態影片。

。控制影片长度：用户可以根据自己的需求指定影片的持續时問，MimicMotion能够生成人几秒鐘的短片段到几分鐘甚至更长的完整影片，提供靈活性以适应不同的应用場景。

。姿態引導控制：框架使用参考姿態作為条件，确保生成的影片内容在动作上与指定的姿態保持一致。

MimicMotion允許用户對影片的动作进行精确控制，實现高度定制化的影片生成。 •細節质量保證：MimicMotion特别關注影片中的細節，尤其是手部等容易失真的区域。透過置信度感知的策略，系統能够在这些区域提供更清晰的視觉效果。

。时间平滑性：為了提供更自然的觀看体验，Mimicotion确保影片帧之间的过渡平滑，遊免出现卡顿或不連貫的现象，使得影片看起来更加流畅自然。

。減少圖像失真：透過置信度感知的姿態引導，Mimicotion能够辨識并減少由于姿態估计不准确導致的圖像失真，尤其是在人物手部区域。

•长影片生成：MimicMotion采用漸进式潛在融合技術，允許系統在生成长影片时保持高时间連貫性。

该技術透過在影片段之间融合潛在特征，有效避免了闪烁和不連貫现象。

•資源消耗控制：在生成影片时，MimicMotion優化算法以确保資源消耗保持在合理范围内。即使在生成較长影片时，也能有效地管理计算資源，避免过高的成本。

•姿態引導的影片生成：Mimic Motion利用用户提供的姿態序列作為输入条件，引導影片内容的生成， 允許模型根据姿態的變化合成相应的动作。

、置信度感知的姿態指導：框架引入了置信度的概念，透過分析姿態估计模型提供的置信度分數，對姿態序列中的每个關键点进行加權。这样，模型可以更加信賴那些置信度高的關键点，減少不准确姿態估计對生成結果的影晌。

。区域損失放大：特别针對手部等容易失真的区域，MimicMotion透過提高这些区域在損失函數中的杈重，增强模型對这些区域的訓练，从而提高生成影片的手部細節质量。

•潛在擴散模型：MimicMotion使用潛在擴散模型来提高生成效率和质量，模型透過在低维潛在空問中进行擴散过程，而不是直接在像素空問操作，从而減少了计算成本。

•漸进式潛在融合：為了生成长影片，MimicMotion采用了一种漸进式潛在融合策略。在影片段之問， 透過逐步融合重叠帧的潛在特征，實现了影片段之問的平滑过渡，避免了生成长影片时可能出现的闪烁和不連貫现象。

•预訓练模型的利用：MimicMotion基于一个预訓练的影片生成模型 （如Stable Video Diffusion, SVD），減少了从頭開始訓练模型所需的資料量和计算資源。

•U-Net和PoseNet的結构：MimicMotion的模型結构包括一个用于空间时间交互的U-Net和一个用于提取姿態序列特征的PoseNet。这些網路結构共同工作，以實现高质量的影片生成。

•跨帧平滑性：MimicMotion在生成过程中考慮了帧之间的时间關系，确保了影片帧之间的連貫性和平滑性。