跳到正文
原文
arXiv · Computation and Language· Takanori Kotama, Shun-ichiro Hayashi, Daichi Mukunoki, Tetsuya Hoshino, Takahiro Katagiri·· 3 小时前AI 评分25

NinaXander:通过共享潜在空间组合不同架构族的冻结语言模型

NinaXander: Feasibility and Limits of Composing Frozen Language Models Across Architecture Families via a Shared Latent Space

AI 导读

NinaXander 通过共享潜在适配器将冻结语言模型跨架构族组合,RWKV-4-Raven-7B 与 Tulu-Pythia-6.9b 在不同层连接无需重新训练适配器。

来源:arXiv · Computation and Language · arxiv.org