模型切片上的协同学习与推理研究

论文提出协同学习方法，用模型切片在相当参数预算下以多个较小异构模型替代单一大型模型，并通过金字塔监督结合协议蒸馏与步骤级监督优化推理与交互决策。在多跳问答、数学推理、代码生成和开放式约束生成四类任务上，训练后的异构模型达到与原大模型及多智能体基线相当或更优的性能，同时推理效率更高。