wav2lip官网,github,AI虚擬主播數字人嘴型同步模型
简介
最近两年,數字人受到越来越多人的關注。數字人可分為3D和2D。3D的话比較出名的是虚幻引擎的meta human,背后的技術涉及到blendshape等等。而本文將介绍两个比較知名的2D數字人算法,分别是SadTalker和Wav2Lip。另外,最近泰勒斯威夫特說中文的影片很火,据說背后用到的算法之一是GeneFace++,不过限于篇幅和它的前提知識比較多,本文暂时不講。
wav2lip官网: https://github.com/Rudrabha/Wav2Lip
論文:
《A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild
http://cdn.iiit.ac.in/cdn/cvit.iiit.ac.in/images/Projects/Speech-to-Lip/paper.pdf

2D數字人根据输入类型的不同,还可以进一步分為影片+音频,wav2lip和geneface属于这一类,这一类算法只生成新的口型,另一类的输入是圖片+音频,sadtalker属于这一类,这一类不仅生成新的口型,还生成頭部運动,复雜度較高。
Wav2Lip技術原理
数据评估
关于wav2lip特别声明
本站ai工具百寶箱提供的wav2lip都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由ai工具百寶箱实际控制,在2025年10月13日 上午12:15收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,ai工具百寶箱不承担任何责任。
相关导航
暂无评论...
