Together AI 端点支持 A/B 测试模型
Together AI 在端点层新增 A/B 实验功能，通过控制组与变体部署的百分比分流对比真实用户指标。实验挂载到端点，控制组在基础流量中按权重抽取后重新采样到变体，变体权重必须为零；支持 95/5 到 50/50 多档流量与最多 20 个变体，通过 etag 防止并发更新冲突。
推荐理由：平台在端点层原生支持 A/B 实验与滚动升级的编排，读者可据此把新模型上线从自建分流逻辑中解耦。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 41–60 条 · 共 85 条Together AI精选AI 评分7676
Hugging Face Blog精选AI 评分7474 Strands Robots、LeRobot 与 Hugging Face Storage Buckets 打通录制、训练与部署循环
Strands Robots 演示了用 Storage Bucket 记录 LeRobot 格式数据、通过字节级去重同步、从 Hub 流式读取训练、再以 mode='real' 部署到物理机器人的完整循环。示例使用 SO-100 机械臂和 mock policy，配套 notebook 在模拟环境即可运行。
推荐理由：原文给出一条从录制到训练再到部署的完整数据循环，读者可据此判断它会怎样改变现有机器人工作流。
Google DeepMind精选AI 评分7676 WeatherNext AI 模型在气旋预报上实现突破，预测精度平均提前一天
Google DeepMind 发布 WeatherNext 模型，在气旋路径、强度和风场预测上平均比前代多出一天预报精度，相当于十年气象进展。该模型已在 Nature 发表论文，并在 2025 年飓风季帮助 NHC 对 Hurricane Melissa 做出历史性预报。
推荐理由：该模型在气旋路径、强度和风场预测上平均多出一天预报精度，相当于十年气象学进展，并已开源模型与代码供研究社区使用。
Meta Engineering · AI精选AI 评分7171 Meta GEM 训练：如何将广告推荐基础模型效率在 LLM 规模下翻倍
Meta 发布 GEM 训练细节，通过定制推荐内核库、混合超低精度训练、拓扑感知 5D 并行与 SM-free 通信等协同设计，将端到端训练效率翻倍至 20–25% MFU，并在 12 个月内将训练 FLOPs 扩展 4 倍。
推荐理由：Meta 分享了 GEM 在 LLM 规模下训练推荐模型的具体方法，为跨推荐与 LLM 的基础设施协同设计提供可迁移经验。
Microsoft Research精选AI 评分8282 Orchard：面向可扩展智能体 AI 的开源框架
Microsoft Research 发布开源框架 Orchard，核心是 Orchard Env，一个基于 Kubernetes 的可复用环境服务，支持软件工程、网页导航和个人助理智能体的训练与评估。
推荐理由：开源框架 Orchard 把训练、评估与真实部署 harness 打通，让小参数模型也能在 SWE-bench 等基准接近前沿系统。
Microsoft Research精选AI 评分7979 Echoverse：面向计算机使用智能体的深度演化环境
Microsoft Research 发布 Echoverse，包含 10 个深度领域世界和 2 个能力世界，通过数据库锚定的真实状态与可重置环境训练计算机使用智能体。
推荐理由：高保真合成环境与模型共同进化的闭环设计，为计算机使用智能体提供了可复现的训练与评估新路径。
Berkeley AI Research精选AI 评分6262 K-Search：从 CUDA 到 MLX 的内核优化迁移研究
Berkeley Sky Lab 与 IBM Research 将 K-Search 进化式内核搜索框架扩展至 MLX 后端，通过结构化 CUDA-to-MLX 翻译层在 Apple Silicon 上复现专家级性能。在注意力内核上达到原生 MLX 的 0.97 倍速度，Mamba SSM prefill 相比社区 mlx-lm 提升约 20 倍；代码与后端已开源。
推荐理由：结构化翻译层让 CUDA 经验可迁移到 Apple Silicon，读者可借此评估跨平台内核优化的可行边界。
Together AI精选AI 评分7676 ThunderAgent：大规模合成数据生成中的 Agent 推理提速 2 倍
ThunderAgent 在单 8×H100 节点上相对 SGLang 达到 2.5 倍吞吐量、P50 延迟降低约 10 倍，8 节点集群实现 2.4 倍加速且接近线性扩展。
推荐理由：把多轮 agent 请求视为程序而非独立请求，让 KV cache 命中率提升并缓解多节点负载不均。
Hugging Face Blog精选AI 评分6868 Nunchaku Lite 正式接入 Diffusers，4-bit 量化扩散模型推理无需额外推理引擎
Nunchaku Lite 现已原生集成到 Diffusers，用户可通过 from_pretrained() 直接加载 4-bit 量化扩散模型，无需单独推理引擎或本地 CUDA 编译。
推荐理由：Nunchaku Lite 现已原生接入 Diffusers，无需额外引擎即可通过 from_pretrained() 加载 4-bit 量化模型，在 RTX 5090 上 VRAM 从 24GB 降至约 12GB，推理加速约 30%。
Together AI精选AI 评分7373 Together AI 推出专用模型推理平台 Dedicated Model Inference
Together AI 发布 Dedicated Model Inference 平台，支持部署自有或开源权重模型，并提供部署配置、预热加速、Canary/蓝绿/滚动发布、A/B 与影子流量测试及 Prometheus 可观测性。平台覆盖从实验到生产的全生命周期，并同步开启自定义训练（含 LoRA 与强化学习）封闭测试。
推荐理由：原文给出部署预热、流量切换与可观测性等具体能力，读者可以据此判断它能否降低自研推理栈的运维成本。
Together AI精选AI 评分6060 Together GPU Clusters 新增可靠性与运维控制功能
Together GPU Clusters 推出被动健康检查、自动节点修复、Slinky 1.0 等功能，覆盖 GPU 总线故障、热节流、Xid 错误等场景。配合集群详情页、外部 OIDC、启动脚本和验收测试选项，提升多团队场景下的可观测性、访问控制与自定义能力。
推荐理由：原文给出了平台健康与运维控制两方面的具体能力变化，读者可以据此评估它对现有训练与推理工作流的影响。
Hugging Face Blog精选AI 评分6565 Thinking Machines 发布 Inkling 多模态开源模型
Inkling 由 Thinking Machines 发布，是一个原生接收图像、文本和音频输入的大规模多模态开源模型，总参数约 1T、活跃参数 41B，支持 1M 上下文窗口。
推荐理由：Inkling 是原生接收图音文三模态的大规模开源模型，提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎，读者可据此评估其在多模态推理基准中的相对位置。
Amazon Science精选AI 评分7676 Turnstile：在 Agent 交互中捕获 token ID 以改进强化学习
Amazon Science 发布 Rust 编写的代理 Turnstile，在模型生成时刻精确记录 token ID、log 概率、loss mask 与 MoE 路由轨迹，并导出与框架无关的 TrainingSequence。
推荐理由：原文给出了精确的 token 级记录方法，读者可据此避免 RL 训练中因重渲染导致的信号偏差。
Hugging Face Blog精选AI 评分6565 transformers vLLM 后端达到原生推理速度
Hugging Face 更新 vLLM 的 transformers 建模后端，在 Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B-FP8 三种模型上达到或超越原生 vLLM 吞吐。模型作者只需添加 --model-impl transformers 标志即可自动获得优化推理，无需手写自定义实现。
推荐理由：transformers 后端现已达到原生 vLLM 实现同等吞吐，模型作者无需重写代码即可在 vLLM 中获得优化推理性能。
Berkeley AI Research精选AI 评分6060 Intelligence is Free, Now What? Data Systems for, of, and by Agents
Berkeley EAIR 发表观点文章，探讨当推理成本接近零时数据系统面临的三重挑战：Data Systems For Agents（为智能体推测性查询重新设计，如共享扫描与近似答案）、Data Systems Of Agents（为多智能体集群提供结构化记忆与协调子层）、Data Systems By Agents（由智能体从零合成定制数据系统并验证正确性）。
推荐理由：原文从推理成本骤降切入，提出数据系统需为智能体重塑的三重挑战，为理解Agent与数据基础设施的共演化提供了一个可迁移的分析框架。
Hugging Face Blog精选AI 评分7070 SkyPilot 集成 Hugging Face Storage：零 egress 跨云读取 Hub 数据
Hugging Face 与 SkyPilot 联合推出 store: hf 存储后端，用 hf:// URL 将 HF Bucket 或 Hub repo 挂载到 SkyPilot 任务，实现跨云 GPU 任务零 egress 读取。
推荐理由：Hugging Face Storage 成为 SkyPilot 官方存储后端，团队可在任意云上运行 GPU 任务并免费读取 Hub 数据，无需跨云拷贝或承担 egress 费用。
Hugging Face Blog精选AI 评分8282 LeRobot v0.6.0 发布：Imagine, Evaluate, Improve
LeRobot v0.6.0 发布，引入世界模型策略（VLA-JEPA、FastWAM、LingBot-VA）、新 VLA 模型（GR00T N1.7、MolmoAct2、EO-1、Multitask DiT、EVO1）和奖励模型 API（Robometer、TOPReward）。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
Lilian Weng精选AI 评分7777 Harness Engineering for Self-Improvement
Lilian Weng 梳理了 harness 工程如何支撑递归自改进（RSI），将 harness 定义为围绕基础模型的运行时系统，负责编排执行、工具调用、上下文管理、状态持久化与结果评估。
推荐理由：原文系统梳理了 harness 工程的设计模式与优化路径，读者可借此理解自改进循环中非模型层的角色与边界。
MIT News · AI精选AI 评分6262 MIT 与 Microsoft 提出 Murakkab 系统，提升 AI Agent 工作流的速度与能效
MIT 和 Microsoft 研究人员开发了 Murakkab 系统，开发者可用自然语言描述意图，系统自动选择模型、工具并动态配置硬件资源。测试显示，该方法在视频问答和代码生成任务中仅用约 35% 的计算量、27% 的能耗和不到 25% 的成本，同时满足性能要求。
推荐理由：原文给出了具体优化幅度和动态配置方法，读者可以据此评估云上 Agent 工作流的能效潜力。
Mistral AI精选AI 评分6464 Mistral OCR 4 发布
Mistral 发布 OCR 4，支持 170 种语言的单容器自托管文档解析，返回边界框、区块分类与内联置信度。
推荐理由：独立标注者平均 72% 偏好 OCR 4，配合单容器自托管与结构化输出，为企业 RAG 和智能体工作流提供了兼顾数据主权与提取精度的 OCR 方案。