arXiv · Computation and Language· Xinnian Zhao, Chia-Hua Wu, Pu Wang, Hugo Van Hamme·· 4 hr agoAI score35
Local Prototype Reconstruction：面向文本兼容的语音到 LLM 桥接预训练
Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
AI brief
论文提出 Local Prototype Reconstruction（LPR），一种轻量仅训练阶段正则化方法，要求每个对齐后的桥接 token 都能由冻结 LLM token 嵌入的小邻域重构，硬单原型锚点为其极限情形。
Source: arXiv · Computation and Language · arxiv.org