跳到正文
热点事件持续更新

REST:基于表示监督的潜递归LLM思维训练目标

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

2026-09-30,arXiv发表Principled Thoughts for Latent Recursive LLM Systems,提出REST(REpresentation-Supervised Thoughts)。该方法在仅用交叉熵监督最终解码答案的训练基础上,增加因果性、最小性、可分离性和稳定性四个可微分损失。在数学、科学、医学和代码生成等7个基准上,相同训练数据、计算量和隐空间预算下,REST比纯CE训练准确率最高提升7.5个百分点,收敛速度提升30%。隐状态思考更易解码和解释,且无需推理时架构改动或额外参数。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

9月30日
  1. arXiv · Artificial Intelligence
    Principled Thoughts for Latent Recursive LLM Systems

    REST(REpresentation-Supervised Thoughts)在仅用交叉熵(CE)监督最终解码答案的训练基础上,增加因果性、最小性、可分离性和稳定性四个可微分损失。跨数学、科学、医学和代码生成 7 个基准,相同训练数据、计算量和隐空间预算下,REST 比纯 CE 训练准确率最高提升 7.5 个百分点,收敛速度提升 30%。隐状态思考更易解码和解释,且无需推理时架构改动或额外参数。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。