Principled Thoughts for Latent Recursive LLM Systems

REST（REpresentation-Supervised Thoughts）在仅用交叉熵（CE）监督最终解码答案的训练基础上，增加因果性、最小性、可分离性和稳定性四个可微分损失。跨数学、科学、医学和代码生成 7 个基准，相同训练数据、计算量和隐空间预算下，REST 比纯 CE 训练准确率最高提升 7.5 个百分点，收敛速度提升 30%。隐状态思考更易解码和解释，且无需推理时架构改动或额外参数。