把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
ASCEND 是一个运行在研究者笔记本上的 AI 代理接口，通过多重认证连接 Slurm 集群与 GPU 工作站，远程调用 Claude Code 或 Codex 且不持有凭证。四个案例显示它完成了故障恢复循环、天气模型评估复现、12693 行求解器并行化，并暴露两处未定义行为；策略校验器拒绝了 29/30 个构造违规。
Why it matters: 论文展示了在 HPC 与 GPU 工作站场景下由本地策略校验驱动的自主科学计算代理，为远程可信自动化提供了一条可复现的技术路径。
omni-macos 是一个把文本、代码、文档、图像、音频和视频嵌入同一表示空间的搜索引擎，编码器、索引和存储均运行在本地 Mac 上，不上传索引、查询或向量。它在统一内存预算内维护后台索引器与交互搜索框，对每个分块只嵌入一次、仅对变更分块重编码，查询时用索引的 one-bit 副本精确重打分，并在五款加速器宽度八倍、内存三十二倍的 Mac 上完成评测。
Why it matters: 该研究在 Apple Silicon 上实现了本地全模态检索，为隐私敏感场景下的多模态搜索提供了可复现的工程路径。
论文提出 Galahad 内存层，让 vLLM、SGLang 等运行时缓存 KV 状态，避免重复计算。
Why it matters: 原文给出具体数字和三种运行时对比，读者可据此评估 Galahad 在能耗与延迟上的实际收益。
论文提出 TomasuLLM 运行时，在保持任务正确性的前提下按预测顺序提前执行 Agent 工具调用，并在验证后按轨迹顺序提交。在 SWE-bench Verified、Terminal-Bench 2.0 和 SWE-Marathon 上分别提速 1.31x、1.35x 和 1.27x，4010 条审计记录零误接受。https://arxiv.org/abs/2609.38201
Why it matters: 为长时工具延迟提供了乱序执行思路，读者可借此评估它对现有 Agent 工作流的潜在加速空间。