StudentBench 研究：AI 辅导与人类辅导在 GRE 学习增益上等效
StudentBench 是一套 AI 教学评测套件与公开平台，基于 2,383 名参与者和 175,000+ 学生-AI 消息，测量了 LLM 辅导与人类辅导在 GRE 数量与言语部分的增益。
Why it matters: 研究对比了 AI 与人类辅导在 GRE 学习增益上的等效性，为教育场景下的 LLM 教学能力提供了可复现的评测基准。
论文研究
All topics值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展的精选解读。
Latest selected
21–40 of 255arXiv · Computers and SocietySelectedAI score7272 arXiv · Computers and SocietySelectedAI score6262 使用微调LLM识别英国警方事件日志中的脆弱性指标
作者基于近3000份英国警方脱敏事件日志，测试了将开源美国警务LLM分类管线迁移至英国场景的可行性。LLM可在大规模上给出有意义的脆弱性患病率估计，但单次分类不稳定、聚合结果系统性偏高，需大量人工审核与统计校正才能得到可辩护的总体估计，个体层面错误仍频繁不可预测。
Why it matters: 研究揭示LLM在警务脆弱性指标识别中的系统性偏差与不确定性，为公共部门落地大模型提供方法论警示。
arXiv · Computers and SocietySelectedAI score7474 Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety
论文测试 6 个主流模型在 4 个预注册安全基准上的表现，比较直接 API 与 ReAct、多智能体、map-reduce 三种脚手架。测量方式（选择题 vs 开放题）平均造成 5-20 pp 的安全分数差异，基准选择解释 15.1% 的结果变异，而脚手架架构仅解释 0.5%。
Why it matters: 同一基准题用不同评分格式可导致 5-20 pp 的安全测量差异，提示部署前需审视评测方法本身。
arXiv · Multiagent SystemsSelectedAI score6262 ARCHER：用于可执行法规的智能体规则与合规框架
论文提出 ARCHER，一种测试驱动、确定性编排的多智能体程序合成框架，可从监管规范自动生成可审计的验证代码。实验覆盖四种骨干模型，ARCHER 相比单次提示基线平均联合准确率提升 82%；自建开源模型能以约 1/4 成本达到前沿 API 97.8% 的准确率。
Why it matters: ARCHER 通过确定性多智能体编排显著提升合规检查准确率，并为自建开源模型提供低成本高准确率的可行路径。
arXiv · Information RetrievalSelectedAI score6060 AI 聊天机器人检索医学证据的效果：模型、用户角色与样本量的影响
研究评估 Claude Sonnet 5、Gemini 3.1 Pro 和 ChatGPT GPT-5.5 在 20 个临床问题上的检索表现，ChatGPT 召回率 63.1%，显著高于 Claude 的 37.0% 和 Gemini 的 17.3%；研究者角色召回高于临床与患者角色；样本量每翻倍，检索几率提高 50%（OR 1.50，95% CI 1.24-1.81）。
Why it matters: 三款主流大模型在医学问答中的检索召回差异显著，读者可借此评估自身工作流中模型选型的证据基础。
arXiv · Computation and LanguageSelectedAI score6666 终端智能体能信任自己的验证吗？诊断与改进自验证
论文提出诊断框架，系统评估终端智能体在 TerminalBench2.1 上的自验证行为，发现验证几乎总会触发，但错误检出率仅 61.43%、修复率仅 49.36%，主要瓶颈在检测与修复而非启动验证。
Why it matters: 诊断了终端智能体自验证的漏检与修复率，并给出蒸馏方法提升修复效果。
arXiv · Information RetrievalSelectedAI score6262 omni-macos：Apple Silicon 上的本地全模态搜索
omni-macos 是一个把文本、代码、文档、图像、音频和视频嵌入同一表示空间的搜索引擎，编码器、索引和存储均运行在本地 Mac 上，不上传索引、查询或向量。它在统一内存预算内维护后台索引器与交互搜索框，对每个分块只嵌入一次、仅对变更分块重编码，查询时用索引的 one-bit 副本精确重打分，并在五款加速器宽度八倍、内存三十二倍的 Mac 上完成评测。
Why it matters: 该研究在 Apple Silicon 上实现了本地全模态检索，为隐私敏感场景下的多模态搜索提供了可复现的工程路径。
arXiv · Computers and SocietySelectedAI score7373 教育 AI 中 LLM-as-Judge 误报问题研究：MagicSchool 的实践与优化
MagicSchool 的 K-12 AI 产品每月处理数百万条师生消息，团队沿学生安全、语气与教学角色、教学价值、结构质量四维度监控输出。研究发现误报逐渐主导标记，挤占分析师对真实缺陷的注意力。
Why it matters: 教育 AI 场景下通过三重优化将误报率大幅压低，同时保持严重案例捕获率，为 LLM-as-Judge 的实际部署提供可复用的调优路径。
arXiv · Multiagent SystemsSelectedAI score6262 Mid-Harness：在模型与执行环境之间扩展动作以提升终端智能体可靠性
该研究提出 Mid-Harness 方法，在模型生成动作后、执行前引入采样与验证环节，保持生成器和执行环境不变。实验显示，GPT-5.6 Sol 作为验证器时，Pass@1 从 50.00% 提升至 68.03%；TMAX-9B 自验证时成对验证效果最佳。将强验证器响应蒸馏到 TMAX-9B 后进一步提升 Pass@1，且动作与轨迹联合缩放能以更低 token 成本达到更高成功率。
Why it matters: 论文提出在模型与执行环境之间引入验证环节，用更少的轨迹采样实现更高成功率，为终端智能体的测试时计算分配提供了新方向。
arXiv · Information RetrievalSelectedAI score6262 LLM 工具注册表中面向 Agent 的信息设计：修辞、位置与结构的预注册测试
论文测试了 OpenAI 两款模型在工具注册表中的选择行为，发现堆叠赞美可使工具被选率提升约 43 个百分点，与可验证规格相当；列表首位工具被选率高出约 72 个百分点。结构化字段有助于模型选中能完成任务的工具，但附上销售文案会削弱或消除这一优势。
Why it matters: 预注册实验揭示销售话术和列表位置会显著改变模型选工具的结果，对注册表设计有直接参考价值。
arXiv · Human-Computer InteractionSelectedAI score6262 审计 AI Companion 的自我描述：证据在哪里
论文提出将 agent 自我描述与用户判断及实现记录对照的审计方法，把每条声明标记为 supported、contradicted 或 unresolved，并应用于自主 companion Lita（部署一个月、9 名同事）。参与者认可风格性声明，拒绝关系性声明，记忆评分在中位及以上，但三层记忆中有两层从未执行累积步骤。
Why it matters: 为自我描述可信度提供了可复现的审计框架，读者可据此审视 companion agent 的自述是否真有实现依据。
arXiv · Multiagent SystemsSelectedAI score6969 多智能体系统中潜在通信的安全性
论文指出即使良性训练的潜在通信链路也会增加有害服从性，攻击者可通过优化链路或投毒训练数据放大该效果。在三种通信拓扑和四类安全基准上，有害服从性均值从 27.9 升至 76.9；基于强化学习的攻击在两项良性效用基准上准确率也更高。调整奖励可修复被攻破链路，且无需更新智能体。
Why it matters: 多智能体系统的内部通信通道可能绕过单智能体安全对齐，读者可据此评估部署多智能体系统时的整体安全风险。
arXiv · Computation and LanguageSelectedAI score6060 Recovering Off-Policy Supervision for Speculative Decoding
论文提出基于 rollout 的训练框架，通过 Anchor-Label Relabelling（ALR）和 In-Rollout Anchors（IRA）恢复被离策略 token 破坏的监督信号。在固定视觉语言和文本语料上，贪婪接受长度较 DFlash 最高提升 36.5%，单轮即超越最佳擦除策略，三轮后达到目标重生成响应的接受长度。代码已开源。
Why it matters: 为固定语料上的推测解码训练提供了恢复完整监督的新方法，在接受长度和计算效率上对现有擦除基线形成优势。
arXiv · Information RetrievalSelectedAI score6262 Conversational Capture：多轮人机交互中生成引擎优化的轨迹级评估框架
论文提出 conversational capture 概念，指出早期被引用的来源在后续对话中更可能被再次引用，并通过历史条件检索和用户追问两个通道形成闭环。形式化为两层闭环系统，定义累积对话可见性、直接/反馈分解、捕获系数、复利比和误排诊断等轨迹级指标。
Why it matters: 研究把 GEO 从单次可见性扩展到多轮对话轨迹，揭示了早期引用会通过历史检索与追问形成复利效应。
arXiv · Information RetrievalSelectedAI score7979 Galahad 通过字节精确记忆让 LLM 阅读成为一次性成本
论文提出 Galahad 内存层，让 vLLM、SGLang 等运行时缓存 KV 状态，避免重复计算。
Why it matters: 原文给出具体数字和三种运行时对比，读者可据此评估 Galahad 在能耗与延迟上的实际收益。
arXiv · Computers and SocietySelectedAI score6262 面向社会与心理健康的生成式 AI 真实世界试点
研究对 299 名美国抑郁或焦虑症状中度及以上成人进行单臂自然主义试点，10 周内抑郁和焦虑症状显著下降（Cohen's d 0.93 和 0.79），孤独感、行为激活和社会互动改善。参与者分为无应答（57.2%）、改善（37.1%）和快速改善（5.7%）三组，早期治疗联盟和更高参与度与更好结果相关；自动化安全保护经临床医生确认适当升级，AI 根据严重程度动态调整临床与非临床内容比例。
Why it matters: 真实世界试点为面向心理健康的生成式 AI 提供了可行性证据，并揭示了症状改善与参与度的关联。
arXiv · Computers and SocietySelectedAI score6060 Trust Is Not a Score：高风险 AI 智能体的运行时保证契约
论文提出 Runtime Assurance Contract（RAC），一种策略级形式化模式，绑定自主边界、组件资格、证据状态、转换策略、人工审核容量与非补偿门限。
Why it matters: 提出运行时保证契约的形式化框架，为高风险 AI 智能体的权限切换提供可验证机制。
arXiv · Multiagent SystemsSelectedAI score6262 多智能体讨论在隐瞒异议时收益递减
arXiv 论文提出一个由四种行为（隐瞒异议、内化答案、看到异议后重新考虑、纠正到正确答案）构成的简约模型，解释多智能体讨论何时提升准确率、何时陷入错误共识。模型指出讨论推翻错误多数的前提是隐瞒率 c 低于临界值 c* = γ/(γ+a)，并通过贝叶斯方法从对话日志估计参数。在 HiddenBench 和 MedEInst 上，隐瞒率越高讨论收益越小；明确指示不隐瞒以及关闭推理都能提升收益。
Why it matters: 研究揭示了讨论机制何时优于多数投票，为设计多智能体系统提供了可量化的边界条件。
arXiv · Multiagent SystemsSelectedAI score6060 VirusCascade：劫持LLM推荐智能体的协作反思机制
论文提出VirusCascade，是首个针对LLM推荐智能体的黑盒定向推广攻击，通过反思清洗和跨智能体传播两个可利用属性，将对抗证据注入单一智能体并扩散至系统。实验在四个真实数据集上达到E@20均值0.384，比最强基线高出0.185，已被NDSS 2027接收。
Why it matters: 揭示了LLM推荐智能体之间递归反思机制可被利用为攻击传播路径，对多智能体系统的安全性评估有参考价值。
arXiv · Computation and LanguageSelectedAI score6060 KlinikeBench：超越诊断准确率的大语言模型临床评估基准
arXiv 论文提出 KlinikeBench，包含 333 个由临床医生撰写的任务，在隔离沙盒中评估大语言模型与虚拟患者的交互式临床接诊能力。31 个模型和 7 个模型家族的实验显示，表现最好的模型（如 GPT-6-astra 和 Claude Opus 5）在任务成功率低于 30%，尽管其诊断准确率达 90.7%。基准揭示诊断准确率与交互式临床评估之间存在显著差距。
Why it matters: 原文揭示了诊断准确率与交互式临床评估之间的显著差距，为理解大语言模型在真实医患对话中的实际边界提供了新测试平台。