StereoBind：学习动态空间对应以实现沉浸式联合视频音频生成

StereoBind 框架通过运动轨迹将视觉源运动绑定到立体声生成，包含视觉运动绑定、空间轨迹编码器和残差轨迹 RoPE 三种互补机制。研究团队构建了 StereoWorld-29K 大规模立体声音视频数据集和 StereoWorldBench 评测基准。实验表明 StereoBind 在保持整体音视频质量的同时显著提升了立体声生成的空间对齐效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。