Skip to content
arXiv · Audio and Speech· Kyungsu Kim, Yejin Kim, Kyogu Lee·· 3 hr agoAI score30

LiveSynth:用于乐器克隆与文本生成乐器的流式神经合成器

LiveSynth: A Streaming Neural Synthesizer for Instrument Cloning and Text-to-Instrument

AI brief

LiveSynth 是一款流式神经合成器,支持零样本乐器克隆与文本生成乐器,可实时交互演奏。系统以无反馈因果 Transformer conditioned on MIDI 事件与 CLAP 音色嵌入,以 100 Hz 输出连续音频潜变量,再由因果变分自编码器解码为音频,并支持逐帧音色渐变与 MIDI 条件 dropout 实现自主续写。

Source: arXiv · Audio and Speech · arxiv.org