WorldSonus:面向世界模型的实时空间音频框架
Get the story
2026年10月7日,arXiv Audio and Speech 频道发布一手论文,介绍 WorldSonus——一个面向世界模型的交互式视频转音频框架,用于实时空间声音合成。该框架采用流式因果自回归扩散架构,以 0.41 的实时因子(RTF)合成音频块,并通过以音频为中心的字幕管线与按块索引的提示词调度,在生成过程中实现动态声音控制。实验显示,WorldSonus 在开放域视频转音频基准上可匹配或超越现有双向模型的声学质量与空间对齐表现。目前公开信息仅含该论文,尚未见后续独立验证或产品化报道。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Audio and SpeechWorldSonus:为世界模型带来实时空间声音合成
WorldSonus 是一个面向世界模型的交互式视频转音频框架,用于实时空间声音合成。它采用流式因果自回归扩散架构,以 0.41 的实时因子(RTF)合成音频块,并通过以音频为中心的字幕管线与按块索引的提示词调度实现生成中的动态声音控制。实验显示,WorldSonus 在开放域视频转音频基准上可匹配或超越现有双向模型的声学质量与空间对齐表现。
Heat trend
Current heat 9·Comparable peak 10(Oct 7)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.