arXiv · Computer Vision· Yu Han, Dejan Markovic, Alexander Richard, Wojciech Zielonka, Akshay Venkatesh, Cheng-hsin Wuu, Michael Zollhoefer·· 4 hr agoAI score38
无需知识蒸馏:通过非因果噪声整形实现单次前向传播的实时说话头像
No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping
AI brief
FaceGAN 通过非因果噪声整形,让音频驱动的面部动画在每帧单次前向传播中生成表情与头部姿态,无需扩散模型的多步网络评估。论文论证音频条件面部运动位于低维流形,单次前向 GAN 即可胜任;因驱动噪声为合成信号,其未来可即时采样,音频到表情路径保持因果,支持完全因果运行。FaceGAN 在生成质量上匹配或超越现有方法,且为前馈结构、注意力窗口有界,可无限生成而不漂移。
Source: arXiv · Computer Vision · arxiv.org