视频文本转语音中多模态同步机制研究

该事件围绕视频-文本-语音合成（VTTS）中的多模态同步机制展开。2026年10月12日，arXiv Audio and Speech 发表一手研究，提出名为 Visatronic 的统一 decoder-only Transformer，在 VoxCeleb2 数据集上进行视频-文本-语音合成。研究比较了两种索引方式：全局顺序索引与共时有序索引。结果显示，二者在域内同步效果相当；但在域迁移场景中，同步表现取决于 token 排序与位置 ID 设计的交互。该工作为理解 VTTS 中跨模态对齐提供了实证依据，但目前仅见这一篇报道，尚未有后续验证或扩展结果。

Generated from reports · updated 2 hr ago

There is not enough continuous observation data to draw a trend yet.