AniPortrait是什么

AniPortrait是腾讯开源的照片对口型AI视频生成框架，类似于此前阿里推出的EMO，能够通过音频和一张参考肖像图片生成高质量的动画。AniPortrait的工作原理分为两个阶段：首先从音频中提取3D面部特征，并将其转换为2D面部标记点；然后，利用扩散模型和运动模块，将这些标记点转换成连贯且逼真的动画。该框架的优势在于其生成的动画具有高度的自然性和多样性，同时提供了编辑和再现面部动作的灵活性。