arXiv · Audio and Speech· Akshita Gupta, Tatiana Likhomanenko, Karren Dai Yang, Richard He Bai, Zakaria Aldeneh, Navdeep Jaitly·· 3 hr agoAI score26
多模态同步机制：基于解码器的视频-文本-语音合成研究
Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis
AI brief
研究以 Visatronic 统一 decoder-only Transformer 在 VoxCeleb2 上做视频-文本-语音合成（VTTS），比较全局顺序索引与共时有序索引，二者在域内同步效果相当，但域迁移时同步取决于 token 排序与位置 ID 设计的交互。
Source: arXiv · Audio and Speech · arxiv.org