arXiv · Machine Learning· Yundaichuan Zhan, Weishi Wang, Wenbiao Liu, Daniel Dahlmeier, Chengwei Qin, Juncheng Li, Fredrik D. Johansson, Zhongqi Yue·· 6 小时前AI 评分42
Dyad：通过原生类型化决策扩展大语言模型
Dyad: Extending Large Language Models with Native Typed Decision-Making
AI 导读
Dyad 在预训练 LLM 上附加环境条件动作编码器，并行嵌入候选动作描述并与模型内部状态打分。冻结 LLM 仅训练动作编码器在四个未见过环境中取得一致提升；联合优化在 ALFWorld 上相对 9B 模型获得 3.80% 绝对增益，同时改善通用知识、推理与编码能力。
来源：arXiv · Machine Learning · arxiv.org