跳到正文

#部署/工程

今日 67 条
8月14日周五
  1. Hugging Face Blog74

    Strands Robots、LeRobot 与 Hugging Face Storage Buckets 打通录制、训练与部署循环

    Strands Robots 演示了用 Storage Bucket 记录 LeRobot 格式数据、通过字节级去重同步、从 Hub 流式读取训练、再以 mode='real' 部署到物理机器人的完整循环。示例使用 SO-100 机械臂和 mock policy,配套 notebook 在模拟环境即可运行。

    推荐理由:原文给出一条从录制到训练再到部署的完整数据循环,读者可据此判断它会怎样改变现有机器人工作流。

8月13日周四
  1. Weaviate Blog30

    Building Foundry Part 2:创意工作流在何处断裂

    创意团队随项目规模扩大,文件夹命名漂移、标签质量下降、关键词搜索词汇不匹配三重问题叠加,最终检索失效。解决方案需结合语义相似性、关键词匹配与元数据过滤的双阶段路径:先 ingest 生成 embedding 与元数据,再通过 vector database 一次检索融合语义与关键词信号,并用元数据约束保证生产环境精度。

8月12日周三
8月11日周二
  1. Ollama Blog76

    NVIDIA Nemotron 3.5 Lightning 模型发布

    NVIDIA Nemotron 3.5 Lightning 现已上线 Ollama,30B 总参数、每 token 仅 3B 活跃参数,基于混合专家架构,专为本地 Agent 设计。模型支持 1M 上下文、推测解码多令牌预测,经称可达 4 倍吞吐量与 30% 更快任务完成时间,权重与数据集均开源,可在 RTX PC、工作站、DGX Spark / Station 及云端运行。

    推荐理由:开源本地 Agent 模型兼顾 3B 活跃参数与 1M 上下文,读者可据此评估在 RTX 设备上跑高吞吐多步任务的可行性。

  2. GitHub Engineering65

    GitHub Copilot SDK for Java 发布

    GitHub 发布 Copilot SDK for Java 1.0.7-preview.1,提供框架无关且支持 BYOK 的 Java 端 Copilot 集成方式。SDK 支持注解、lambda 和 JSON Schema 三种工具定义,通过虚拟线程与 Jakarta EE 组合,并可在 Open Liberty 26 上运行示例房产推荐代理应用。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

8月10日周一
  1. Ollama Blog72

    Meta Superintelligence Labs 开源多模态模型 Muse Glimmer 已在 Ollama 上可用

    Meta Superintelligence Labs 发布开源多模态模型 Muse Glimmer(30B,Apache 2.0),已在 Ollama 上线,支持 128K+ 上下文,专为本地 Agent 工作流设计。

    推荐理由:原文给出了本地 Agent 工作流的具体入口和 Apple Silicon 上的性能提升,读者可以据此判断它会怎样改变本地编码与多模态调用方式。

8月6日周四
  1. Google DeepMind76

    WeatherNext AI 模型在气旋预报上实现突破,预测精度平均提前一天

    Google DeepMind 发布 WeatherNext 模型,在气旋路径、强度和风场预测上平均比前代多出一天预报精度,相当于十年气象进展。该模型已在 Nature 发表论文,并在 2025 年飓风季帮助 NHC 对 Hurricane Melissa 做出历史性预报。

    推荐理由:该模型在气旋路径、强度和风场预测上平均多出一天预报精度,相当于十年气象学进展,并已开源模型与代码供研究社区使用。

8月5日周三
  1. Microsoft Semantic Kernel72

    GitHub Copilot Agent 在 Microsoft Agent Framework 中正式发布

    GitHub Copilot Agent 在 Microsoft Agent Framework 中正式发布,支持 .NET 和 Python。Copilot 负责模型调用、工具执行、规划与会话状态,Agent Framework 提供指令、流式传输、中间件、可观测性与人工审批。

    推荐理由:GitHub Copilot 的编码能力与 Agent Framework 的扩展性结合,开发者可在同一编程模型里接入 MCP、自定义工具和审批治理。

  2. GitHub Engineering60

    GitHub Stacked Pull Requests:将巨型 AI 生成 PR 拆分为可审查的分层栈

    GitHub 推出 stacked pull requests 原生支持与 gh-stack CLI 扩展,把单个体量庞大的 AI 生成 PR 拆成数据、API、链路、UI 四层独立可审栈。配合 gh-stack skills 让编码 Agent 按层提交、CI 逐层校验,并通过 stack map 与 rebase/sync 命令维护栈一致性。

    推荐理由:原文给出分层 PR 的具体结构与 CLI 命令,读者可迁移该工作流以降低 AI 生成代码的审查负担。

8月4日周二
  1. Meta Engineering · AI71

    Meta GEM 训练:如何将广告推荐基础模型效率在 LLM 规模下翻倍

    Meta 发布 GEM 训练细节,通过定制推荐内核库、混合超低精度训练、拓扑感知 5D 并行与 SM-free 通信等协同设计,将端到端训练效率翻倍至 20–25% MFU,并在 12 个月内将训练 FLOPs 扩展 4 倍。

    推荐理由:Meta 分享了 GEM 在 LLM 规模下训练推荐模型的具体方法,为跨推荐与 LLM 的基础设施协同设计提供可迁移经验。

  2. Microsoft Research82

    Orchard:面向可扩展智能体 AI 的开源框架

    Microsoft Research 发布开源框架 Orchard,核心是 Orchard Env,一个基于 Kubernetes 的可复用环境服务,支持软件工程、网页导航和个人助理智能体的训练与评估。

    推荐理由:开源框架 Orchard 把训练、评估与真实部署 harness 打通,让小参数模型也能在 SWE-bench 等基准接近前沿系统。

8月1日周六
7月31日周五
  1. Microsoft Semantic Kernel67

    Microsoft Agent Framework 集成 GitHub Copilot CLI 与 Squad 构建智能体团队

    Microsoft Agent Framework 正式集成 GitHub Copilot CLI/SDK 与开源多智能体框架 Squad,提供 Squad.Agents.AI NuGet 包,将 Squad 团队包装为标准 MAF AIAgent。

    推荐理由:MAF与Squad通过一个NuGet包和DI调用即可组合,适合已有MAF流水线的开发者低成本接入会随使用积累领域知识的多智能体团队。

  2. Microsoft Research45

    EvoLib:将经验转化为演化知识

    EvoLib是一个让大语言模型在推理过程中从自身经验自主学习的框架,无需真实标签或外部反馈,将过去尝试转化为可复用技能和反思性洞察。在数学推理、代码编写和长时序任务上,EvoLib一致优于检索式记忆方法,以更少token实现更高性能,并将测试时计算更有效地转化为性能增益。该框架无需模型更新,可应用于任何通过API部署的黑盒语言模型,且对任务顺序具有鲁棒性。

7月30日周四
  1. Hugging Face Blog36

    GPU 管理:为什么闲置 GPU 如同停飞的飞机

    GPU 成本按日历小时计费,产出只按计算小时计算,企业 AI 的瓶颈从模型质量转移到算力利用率。航空业用飞机地面时间预测生存率,同样,企业 GPU 预算相近时,分化取决于硬件是否真正被使用。集群上线后的核心问题从"能否拿到加速器"变成"能否让 GPU 持续忙碌",而利用率由调度、网络、运维等下游决策共同决定。

7月29日周三
  1. Berkeley AI Research62

    K-Search:从 CUDA 到 MLX 的内核优化迁移研究

    Berkeley Sky Lab 与 IBM Research 将 K-Search 进化式内核搜索框架扩展至 MLX 后端,通过结构化 CUDA-to-MLX 翻译层在 Apple Silicon 上复现专家级性能。在注意力内核上达到原生 MLX 的 0.97 倍速度,Mamba SSM prefill 相比社区 mlx-lm 提升约 20 倍;代码与后端已开源。

    推荐理由:结构化翻译层让 CUDA 经验可迁移到 Apple Silicon,读者可借此评估跨平台内核优化的可行边界。

7月23日周四
  1. Hugging Face Blog68

    Nunchaku Lite 正式接入 Diffusers,4-bit 量化扩散模型推理无需额外推理引擎

    Nunchaku Lite 现已原生集成到 Diffusers,用户可通过 from_pretrained() 直接加载 4-bit 量化扩散模型,无需单独推理引擎或本地 CUDA 编译。

    推荐理由:Nunchaku Lite 现已原生接入 Diffusers,无需额外引擎即可通过 from_pretrained() 加载 4-bit 量化模型,在 RTX 5090 上 VRAM 从 24GB 降至约 12GB,推理加速约 30%。

  2. Together AI73

    Together AI 推出专用模型推理平台 Dedicated Model Inference

    Together AI 发布 Dedicated Model Inference 平台,支持部署自有或开源权重模型,并提供部署配置、预热加速、Canary/蓝绿/滚动发布、A/B 与影子流量测试及 Prometheus 可观测性。平台覆盖从实验到生产的全生命周期,并同步开启自定义训练(含 LoRA 与强化学习)封闭测试。

    推荐理由:原文给出部署预热、流量切换与可观测性等具体能力,读者可以据此判断它能否降低自研推理栈的运维成本。

  3. Vector Institute33

    Mixture-of-Experts:从稀疏路由到多模态部署

    MoE 模型通过路由器为每个 token 动态选择少量专家子网络激活,在增加总参数的同时保持每 token 计算稀疏。文章首先解释路由决策、负载均衡与训练中 specialization 的形成机制,随后报告了在 4 张 A100 GPU 上微调 350 亿参数多模态 MoE 的经验,涵盖 5 种失败的 sharding 方案、最终成功的方法,以及按层路由审计揭示的音频、视频与文本容量分配。

7月20日周一
  1. Together AI42

    Together AI 与 Y Combinator 合作推出首个 YC 专属 GPU 集群

    Together AI 与 Y Combinator 合作推出首个 YC 专属 GPU 集群,为 YC 旗下 AI 原生初创公司提供按需 GPU 资源。创业公司可通过 Together 自助门户直接预订、配置和管理 GPU,享受长期价格而无需长期承诺,集群当前已满载运行。该集群覆盖从单节点到大规模扩展的需求,创始人还可获得 Together 团队在推理与训练方面的最佳实践支持。

7月18日周六
  1. GitHub Engineering42

    AI 编程时代“小需求”的成本结构变了

    代码生成变便宜后,“是否做这个需求”的评审成本往往高于写代码本身。用 AI 先产出最小可运行补丁,能把抽象的范围争论转为具体证据:四行代码加测试即可上线;触及权限或数据保留等核心契约的请求则暴露真实复杂度。关键区分不是“能否生成”,而是“人类能否 confidently review 并承担后续所有权”。

7月16日周四
7月15日周三
  1. Together AI60

    Together GPU Clusters 新增可靠性与运维控制功能

    Together GPU Clusters 推出被动健康检查、自动节点修复、Slinky 1.0 等功能,覆盖 GPU 总线故障、热节流、Xid 错误等场景。配合集群详情页、外部 OIDC、启动脚本和验收测试选项,提升多团队场景下的可观测性、访问控制与自定义能力。

    推荐理由:原文给出了平台健康与运维控制两方面的具体能力变化,读者可以据此评估它对现有训练与推理工作流的影响。

  2. Hugging Face Blog65

    Thinking Machines 发布 Inkling 多模态开源模型

    Inkling 由 Thinking Machines 发布,是一个原生接收图像、文本和音频输入的大规模多模态开源模型,总参数约 1T、活跃参数 41B,支持 1M 上下文窗口。

    推荐理由:Inkling 是原生接收图音文三模态的大规模开源模型,提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎,读者可据此评估其在多模态推理基准中的相对位置。

7月14日周二