跳到正文

#推理

今日 7 条
今天9月30日周三
  1. arXiv · Machine Learning60

    从 Pass@K 与 Pass@1 的差距中学习

    论文提出 GapFT,通过单次解码结果筛选训练样本,聚焦策略单样本失败但 K 样本内可恢复的问题。在 LogiQA 2.0 和 ReClor 上,基于 Llama-3.1-8B 的 Pass@1 相对提升 14.4 和 13.9 点,单次解码达到源模型 verifier-selected Pass@4 水平,且仅用全量验证池三分之一的匹配预算。

    推荐理由:通过区分首句成功与K样本内恢复的失败,针对性填补模型单次推理的能力缺口。

  2. arXiv · Machine Learning67

    Sage:带语义纠错的形式化框架

    arXiv 论文提出 Sage(Semantic Agent-Guided Formalization Engine),用四阶段分解生成加双信号语义纠错循环,替代整体翻译。

    推荐理由:通过分解生成与双信号语义纠错,Sage 把形式化翻译中的假设丢失和空真问题从 70.9% 压到 2.7%,为数学形式化数据瓶颈提供了可复现的工程路径。

  3. AWS Machine Learning Blog59

    GPT-6.1 Sol 在 Amazon Bedrock 上正式可用,为智能体工作流带来接近 Astra 的推理能力

    GPT-6.1 Sol 现已在 Amazon Bedrock 上正式可用,据 OpenAI 称其以约 GPT-6 Astra 五分之一的成本在 DeepSWE v1.1 上达到相近推理水平。它同时在多步工作流、复杂文档分析和透明度评估上优于前代 GPT-6 Sol,并可通过 Codex、ChatGPT Work 及 Bedrock API 应用于编码、文档处理和跨系统协调场景。

  4. Digital Trends · AI82

    OpenAI 发布 GPT-6.1 Sol,编码与科学推理接近 Astra 但成本约五分之一

    OpenAI 在撤回 GPT-6.1 Astra 后发布 GPT-6.1 Sol,宣称在编码、计算机使用、专业与科学任务上接近 Astra。DeepSWE 上 Sol 匹配 Astra 且成本约五分之一,OSWorld 2.0 离线集接近 Astra,Terminal-Bench Science 0.1 得分翻倍但 Astra 仍领先。

    推荐理由:原文给出具体测试分数与单价对比,读者可据此评估 Sol 在成本与能力之间是否值得替代 Astra。

9月29日周二
  1. Apple Machine Learning Research62

    通信瓶颈:语言模型中树结构表达式序列化的往返研究

    Apple ML 团队提出往返协议评估 16 个模型对树结构算术表达式的序列化与恢复,发现通道失真且不对称,最佳模型对组合可达 92.9%,约 73.6% 失败源自生成端,结构难度主导而非模型族,约 3600 条微调样本即可让开放权重模型超越未训练 Gemini-3.1-Pro。

    推荐理由:通过生成与提取的往返协议揭示模型间序列化树结构的失真瓶颈,为改进模型通信提供可量化依据。

9月25日周五
9月23日周三
9月16日周三
9月9日周三
9月8日周二
9月3日周四
  1. Google DeepMind70

    Google DeepMind 发布 Gemini 3.8 Flash 与 3.8 Flash Cyber

    Google DeepMind 发布 Gemini 3.8 Flash 和 Gemini 3.8 Flash Cyber,前者延续 3.7 Flash 的速度与定价(每百万输入 token 0.75 美元、每百万输出 token 3.75 美元),在软件工程、智能体任务和多步推理上明显提升。

    推荐理由:3.8 Flash 在相同价格下把提升集中在长周期编码与智能体任务,读者可据此判断是否替换现有生产模型。

9月2日周三
  1. Hugging Face Blog56

    BenchMIRT:LLM 基准实际上在测量什么?

    Allen AI 提出 BenchMIRT,用多维项目反应理论逐题审计 LLM 基准,从 100 个模型、16 个基准、34K+ 题中独立恢复出安全与推理两个维度。分析显示 BBQ、WMDP 等基准的得分更依赖推理能力;保留 10% 题目仍能维持排名,模型在未见过题目上的预测准确率达 79%。

8月25日周二
  1. Hugging Face Blog67

    Granite 4.2 推理模型构建方法解析

    IBM Granite 4.2 推理模型家族(3B/8B/30B)采用分阶段强化学习流水线构建,支持思考/非思考切换与低思考预算模式。8B 与 30B 经过智能体 RL 训练,可在真实沙盒环境中进行代码编辑、终端操作与网页搜索,训练基于 NeMo-RL 与 NeMo-Gym,最终以 Apache 2.0 许可证开源。

    推荐理由:详细展示了从可验证奖励到智能体环境交互的分阶段强化学习流水线,为构建具备工具调用能力的推理模型提供了可复现的训练框架。

8月14日周五
8月13日周四
  1. Microsoft Research44

    MindTopo 揭示 VLM 的空间推理能力

    微软研究院的新基准 MindTopo 发现,专有与开放权重多模态模型在静态拓扑推理上明显强于交互规划,且都远低于人类。它按连续性、分离、顺序、包围和绳结五类,测试静态场景问答,以及模拟环境中须维持或改变关系的动作规划。规划失败常在理解场景之后出现,模型失去对结构关系的追踪,或提出违反环境约束的动作。

8月12日周三
  1. Google Research66

    空货架还是丢失的钥匙?回忆是参数化事实性的瓶颈

    Google Research 提出知识剖析框架,发现前沿大模型的事实性错误主要源于回忆失败而非知识未编码。WikiProfile 基准包含 2,150 条维基百科事实,每个事实配 10 个问题,评测了 13 个 LLM 约 450 万条响应。

    推荐理由:该研究将大模型的 factual error 重新定义为 recall 失败而非 encoding 失败,并证明思考机制可恢复约四成到六成已编码但无法直接提取的事实。

  2. Microsoft Research64

    CARE-X介绍:面向临床有用的放射学视觉语言模型

    CARE-X是微软研究介绍的胸部X光统一视觉语言模型,结合生成式报告与结构化预测并通过DAPO奖励对齐学习优化临床正确性。该模型在ReXVQA基准达到94%准确率,并在印度Narayana Health临床数据上验证了罕见ICU病理检测效果。工具增强测量实验显示,Qwen3-VL-4B-Instruct结合确定性计算工具后,测量依赖条件的F1平均提升43.6个百分点。

    推荐理由:CARE-X通过联合训练生成与判别能力,在统一模型中实现灵活报告生成与校准预测,为放射学人工智能提供了可迁移的多任务优化方法。

7月26日周日
  1. Berkeley AI Research60

    ABBEL:教大语言模型更新信念以实现高效长程交互

    Berkeley AI Research 提出 ABBEL 框架,将交互历史压缩为自然语言信念状态,并通过信念评分监督信念内容。在 CollabBench 协作编程中,ABBEL 恢复约一半全上下文性能差距,峰值上下文 token 数降至约 4.2 万,训练步数减半;在 Combination Lock 游戏中,结合领域知识的信念评分可接近或超越全上下文模型。

    推荐理由:通过将摘要隔离为可监督的信念状态,在协作编程和组合游戏中以更少训练步数和更低显存缩小了与全上下文模型的性能差距。

7月21日周二
7月18日周六
7月15日周三
  1. Hugging Face Blog65

    Thinking Machines 发布 Inkling 多模态开源模型

    Inkling 由 Thinking Machines 发布,是一个原生接收图像、文本和音频输入的大规模多模态开源模型,总参数约 1T、活跃参数 41B,支持 1M 上下文窗口。

    推荐理由:Inkling 是原生接收图音文三模态的大规模开源模型,提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎,读者可据此评估其在多模态推理基准中的相对位置。

7月2日周四
7月1日周三
6月27日周六
  1. Google Research59

    Pixel上通过冻结MTP加速Gemini Nano模型

    Google Research在Pixel 9和10上部署冻结多Token预测架构,通过将MTP头附加到已冻结的Gemini Nano v3模型实现端侧加速。该架构利用零拷贝设计,MTP头直接交叉关注主模型KV缓存,在通知摘要和校对任务中提速50%以上,每实例节省130MB内存。

6月25日周四
6月6日周六
  1. Sebastian Raschka16

    LLM 研究论文清单:2026 年 1 月至 5 月

    summary_zh: Sebastian Raschka 整理了 2026 年 1 月至 5 月他标记的 LLM 研究论文清单,涵盖架构与模型设计、高效训练与推理、稀疏注意力与长上下文、推理与测试时计算、强化学习、智能体系统、编码智能体、扩散语言模型及评测基准等类别。

5月16日周六
  1. Google DeepMind83

    Gemini 3.5 Flash 发布:前沿智能与智能体能力

    Google DeepMind 发布 Gemini 3.5 Flash,在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和 CharXiv Reasoning(84.2%)上表现领先,输出速度比其他前沿模型快 4 倍。

    推荐理由:原文给出 Flash 在多个基准上的具体分数与速度倍数,读者可据此对比其与上一代 Pro 的能力变化。

5月8日周五
  1. Berkeley AI Research73

    自适应并行推理:高效推理扩展的新范式

    伯克利研究团队综述了自适应并行推理(APR)范式,提出模型可自主决定何时分解任务、生成多少并行线程以及如何协调。APR 通过特殊控制标记在推理时动态分配串行与并行计算,相比固定并行和多数投票等方法能减少冗余并避免上下文膨胀。文中对比了 Multiverse 等修改推理引擎与 ThreadWeaver 等保持引擎不变的系统设计,并讨论了基于关键路径的并行效率奖励和当前开放问题。

    推荐理由:原文梳理了自适应并行推理的范式与推理系统实现差异,读者可据此理解不同并行策略在延迟和准确率上的权衡。

4月22日周三
  1. Google Research59

    ReasoningBank:赋能智能体从经验中学习

    Google Research提出ReasoningBank框架,使智能体能从成功与失败经验中蒸馏推理模式并实现测试时自我进化。在WebArena和SWE-Bench-Verified上,基于Gemini-2.5-Flash的ReasoningBank相比无记忆基线分别提升8.3%和4.6%成功率。MaTTS通过并行与串行缩放进一步增强学习效果。

4月16日周四
  1. Google Research56

    设计真实世界的合成数据集:机制设计与从第一原理推理

    Google Research 提出 Simula 框架,将合成数据生成重构为机制设计问题,通过推理驱动实现可控制的数据集构建。论文发表于 Transactions on Machine Learning Research,在网络安全、法律推理、数学等五个领域最多生成 512K 数据点,全系统一致优于简单基线,且高质量数据比单纯增加数量更有效。