Basis 用 GPT-6 Astra 以 2 倍速度完成税务工作簿
Basis 用 GPT-6 Astra 完成一份 50 个标签页的税务工作簿,速度达到 GPT-5.6 Sol 的 2 倍。该模型对用户意图的理解更强,让 Basis 对实际使用更有信心。
Basis 用 GPT-6 Astra 完成一份 50 个标签页的税务工作簿,速度达到 GPT-5.6 Sol 的 2 倍。该模型对用户意图的理解更强,让 Basis 对实际使用更有信心。
summary_zh: UK AISI 通过 EvalEval 的 Evaluation Cards 平台公开分享五个基准的评估结果,覆盖 Claude Opus 4/4.5/4.6、GPT-5/5.2/5.4 六个前沿模型,并附带 HealthBench、Humanity's Last Exam、SWE-Bench Pro 等评测的设置与配置信息。
summary_zh: Google DeepMind 联合新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons,对 Gemini Flash Lite 模型开展全球首个双盲评估,外部评测被限制在加密环境中,防止模型提前接触测试题目。
Together AI 在 113 个 DeepSWE 任务、每侧 452 次 rollout 上对比 GLM-5.3(max)与 GPT-5.6 Sol(max)。
推荐理由:同一跑道上 GLM-5.3 以一半价格逼近 Sol,在重试和覆盖率上反而反超,读者可据此设计前端开源、后端旗舰的级联路由。
Together AI 在 DeepSWE 上对比 GLM-5.3 与 Claude Fable 5:首次尝试通过率 69.0% vs 69.7%,GLM-5.3 每次调用 $3.99。
推荐理由:在精度相近时,GLM-5.3 以五分之一成本覆盖更多任务,为预算有限的工程团队提供了清晰的选型与路由依据。
Import AI 469 期报道 DiG-bench 基准,该基准包含 70 个游戏测试 AI 系统探索隐藏规则的能力。Opus 5 和 Fable 5 是最佳模型,仅在 tier 7 取得 0.2 成功率,而人类可达 100%。
Together AI 在 DeepSWE 基准上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5:Fable 首试准确率 69.7% 高于 Pro 的 62.8%。
推荐理由:在 DeepSWE 评测中两款模型价格相差 90 倍但表现接近,读者可据此判断何时值得为 Fable 支付溢价。
微软研究院的新基准 MindTopo 发现,专有与开放权重多模态模型在静态拓扑推理上明显强于交互规划,且都远低于人类。它按连续性、分离、顺序、包围和绳结五类,测试静态场景问答,以及模拟环境中须维持或改变关系的动作规划。规划失败常在理解场景之后出现,模型失去对结构关系的追踪,或提出违反环境约束的动作。
Import AI 468 分析了 23 个关于递归自改进的低风险政策建议,包括提供透明度、风险管理策略和国际合作等七大类别。作者还讨论了游戏理论论文 Racing to Ruin 如何通过信任和透明度实现 AI 竞赛的稳定协调,以及 PostTrainBench 基准上 AI 系统自动化 R&D 表现优于人类基线的事实。
DharmaOCR 通过领域专精与两阶段训练(监督微调 + DPO),在巴西葡萄牙语基准上得分 0.925,显著高于 Mistral OCR4 的 0.798 与 Unlimited-OCR 的 0.7587。监督微调将参数集中于巴西葡萄牙语的词汇、句法与文档结构,DPO 阶段则降低推理时的退化率与不稳定输出。两阶段缺一不可:微调建立领域能力,DPO 确保该能力在生产条件下稳定。
Google Research 推出 PaperVizAgent 与 ScholarPeer 两款学术智能体,分别用于生成论文配图和自动同行评审。
summary_zh: 文章梳理了 LLM 评估的 4 种主流方法:multiple choice、verifiers、leaderboards 和 LLM judges,并将其分为 benchmark-based 与 judgment-based 两大类。
summary_zh: Mistral 提出用结构化输出(Structured Outputs)实现 RAG Triad 评估框架,通过 Context Relevance、Groundedness、Answer Relevance 三个指标,结合"LLM As a Judge"对检索与生成结果进行自动评分。