Skip to content

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

201 selectedRelated topics开源生态数据与训练端侧 AI

Latest selected

121–140 of 201
Aug 18Tue
  1. Hugging Face Blog62

    Dharma AI:GPU管理实践——相同集群提升33个百分点利用率

    Dharma AI发布约束感知GPU分配器,在七种基准场景中对比FIFO调度器,相同硬件与负载下GPU利用率提升最多33个百分点,优先级加权输出最多提升105%。该方法将实时推理视为需求曲线而非固定预留,按优先级跨整个调度 horizon 放置批量任务,并通过22维特征预测训练负载与周需求画像来支撑调度决策。

    Why it matters: 同一集群通过调整分配顺序而非更换硬件,实现了最高33个百分点的利用率提升,为企业GPU调度提供了可复用的约束感知方法。

Aug 17Mon
  1. Together AI76

    Together AI 端点支持 A/B 测试模型

    Together AI 在端点层新增 A/B 实验功能,通过控制组与变体部署的百分比分流对比真实用户指标。实验挂载到端点,控制组在基础流量中按权重抽取后重新采样到变体,变体权重必须为零;支持 95/5 到 50/50 多档流量与最多 20 个变体,通过 etag 防止并发更新冲突。

    Why it matters: 平台在端点层原生支持 A/B 实验与滚动升级的编排,读者可据此把新模型上线从自建分流逻辑中解耦。

Aug 14Fri
  1. Cloudflare · AI64

    Cloudflare Workers 新增 Access 保护,可一键将内部应用设为私有

    Cloudflare 发布 Access on Workers,支持在账户、单个 Worker 或命名空间级别默认启用认证,无需开发者逐一配置。用户可通过身份提供商、邮箱或群组控制访问,并直接从 ctx.access 获取认证用户信息,无需手动验证 JWT。该功能基于新代理 FL2 推出,现已对所有用户开放。

    Why it matters: 原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

  2. Hugging Face Blog74

    Strands Robots、LeRobot 与 Hugging Face Storage Buckets 打通录制、训练与部署循环

    Strands Robots 演示了用 Storage Bucket 记录 LeRobot 格式数据、通过字节级去重同步、从 Hub 流式读取训练、再以 mode='real' 部署到物理机器人的完整循环。示例使用 SO-100 机械臂和 mock policy,配套 notebook 在模拟环境即可运行。

    Why it matters: 原文给出一条从录制到训练再到部署的完整数据循环,读者可据此判断它会怎样改变现有机器人工作流。

Aug 11Tue
  1. Ollama Blog76

    NVIDIA Nemotron 3.5 Lightning 模型发布

    NVIDIA Nemotron 3.5 Lightning 现已上线 Ollama,30B 总参数、每 token 仅 3B 活跃参数,基于混合专家架构,专为本地 Agent 设计。模型支持 1M 上下文、推测解码多令牌预测,经称可达 4 倍吞吐量与 30% 更快任务完成时间,权重与数据集均开源,可在 RTX PC、工作站、DGX Spark / Station 及云端运行。

    Why it matters: 开源本地 Agent 模型兼顾 3B 活跃参数与 1M 上下文,读者可据此评估在 RTX 设备上跑高吞吐多步任务的可行性。

  2. GitHub Engineering65

    GitHub Copilot SDK for Java 发布

    GitHub 发布 Copilot SDK for Java 1.0.7-preview.1,提供框架无关且支持 BYOK 的 Java 端 Copilot 集成方式。SDK 支持注解、lambda 和 JSON Schema 三种工具定义,通过虚拟线程与 Jakarta EE 组合,并可在 Open Liberty 26 上运行示例房产推荐代理应用。

    Why it matters: 原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

  3. Cloudflare · AI77

    Cloudflare Agents Week 发布汇总

    Cloudflare 在 Agents Week 期间推出 Workers 计算机运行时、Agent 开发生命周期(ADLC)、Cloudflare Agents、Wallets、Agent Access Model、WebMCP、MCPv2、Kitesurf 浏览器、AI Search 及统一 AI 控制平面等工具与平台更新。

    Why it matters: Cloudflare 把 Agent 全生命周期接入平台,读者可据此评估自研 Agent 工作流与基础设施选型。

Aug 10Mon
  1. Ollama Blog72

    Meta Superintelligence Labs 开源多模态模型 Muse Glimmer 已在 Ollama 上可用

    Meta Superintelligence Labs 发布开源多模态模型 Muse Glimmer(30B,Apache 2.0),已在 Ollama 上线,支持 128K+ 上下文,专为本地 Agent 工作流设计。

    Why it matters: 原文给出了本地 Agent 工作流的具体入口和 Apple Silicon 上的性能提升,读者可以据此判断它会怎样改变本地编码与多模态调用方式。

Aug 6Thu
  1. Google DeepMind76

    WeatherNext AI 模型在气旋预报上实现突破,预测精度平均提前一天

    Google DeepMind 发布 WeatherNext 模型,在气旋路径、强度和风场预测上平均比前代多出一天预报精度,相当于十年气象进展。该模型已在 Nature 发表论文,并在 2025 年飓风季帮助 NHC 对 Hurricane Melissa 做出历史性预报。

    Why it matters: 该模型在气旋路径、强度和风场预测上平均多出一天预报精度,相当于十年气象学进展,并已开源模型与代码供研究社区使用。

Aug 5Wed
  1. Microsoft Semantic Kernel72

    GitHub Copilot Agent 在 Microsoft Agent Framework 中正式发布

    GitHub Copilot Agent 在 Microsoft Agent Framework 中正式发布,支持 .NET 和 Python。Copilot 负责模型调用、工具执行、规划与会话状态,Agent Framework 提供指令、流式传输、中间件、可观测性与人工审批。

    Why it matters: GitHub Copilot 的编码能力与 Agent Framework 的扩展性结合,开发者可在同一编程模型里接入 MCP、自定义工具和审批治理。

  2. GitHub Engineering60

    GitHub Stacked Pull Requests:将巨型 AI 生成 PR 拆分为可审查的分层栈

    GitHub 推出 stacked pull requests 原生支持与 gh-stack CLI 扩展,把单个体量庞大的 AI 生成 PR 拆成数据、API、链路、UI 四层独立可审栈。配合 gh-stack skills 让编码 Agent 按层提交、CI 逐层校验,并通过 stack map 与 rebase/sync 命令维护栈一致性。

    Why it matters: 原文给出分层 PR 的具体结构与 CLI 命令,读者可迁移该工作流以降低 AI 生成代码的审查负担。

Aug 4Tue
  1. Meta Engineering · AI71

    Meta GEM 训练:如何将广告推荐基础模型效率在 LLM 规模下翻倍

    Meta 发布 GEM 训练细节,通过定制推荐内核库、混合超低精度训练、拓扑感知 5D 并行与 SM-free 通信等协同设计,将端到端训练效率翻倍至 20–25% MFU,并在 12 个月内将训练 FLOPs 扩展 4 倍。

    Why it matters: Meta 分享了 GEM 在 LLM 规模下训练推荐模型的具体方法,为跨推荐与 LLM 的基础设施协同设计提供可迁移经验。

  2. Microsoft Research82

    Orchard:面向可扩展智能体 AI 的开源框架

    Microsoft Research 发布开源框架 Orchard,核心是 Orchard Env,一个基于 Kubernetes 的可复用环境服务,支持软件工程、网页导航和个人助理智能体的训练与评估。

    Why it matters: 开源框架 Orchard 把训练、评估与真实部署 harness 打通,让小参数模型也能在 SWE-bench 等基准接近前沿系统。

Aug 3Mon
Jul 31Fri
  1. Microsoft Semantic Kernel67

    Microsoft Agent Framework 集成 GitHub Copilot CLI 与 Squad 构建智能体团队

    Microsoft Agent Framework 正式集成 GitHub Copilot CLI/SDK 与开源多智能体框架 Squad,提供 Squad.Agents.AI NuGet 包,将 Squad 团队包装为标准 MAF AIAgent。

    Why it matters: MAF与Squad通过一个NuGet包和DI调用即可组合,适合已有MAF流水线的开发者低成本接入会随使用积累领域知识的多智能体团队。

Jul 29Wed
  1. Berkeley AI Research62

    K-Search:从 CUDA 到 MLX 的内核优化迁移研究

    Berkeley Sky Lab 与 IBM Research 将 K-Search 进化式内核搜索框架扩展至 MLX 后端,通过结构化 CUDA-to-MLX 翻译层在 Apple Silicon 上复现专家级性能。在注意力内核上达到原生 MLX 的 0.97 倍速度,Mamba SSM prefill 相比社区 mlx-lm 提升约 20 倍;代码与后端已开源。

    Why it matters: 结构化翻译层让 CUDA 经验可迁移到 Apple Silicon,读者可借此评估跨平台内核优化的可行边界。

Jul 23Thu
  1. Hugging Face Blog68

    Nunchaku Lite 正式接入 Diffusers,4-bit 量化扩散模型推理无需额外推理引擎

    Nunchaku Lite 现已原生集成到 Diffusers,用户可通过 from_pretrained() 直接加载 4-bit 量化扩散模型,无需单独推理引擎或本地 CUDA 编译。

    Why it matters: Nunchaku Lite 现已原生接入 Diffusers,无需额外引擎即可通过 from_pretrained() 加载 4-bit 量化模型,在 RTX 5090 上 VRAM 从 24GB 降至约 12GB,推理加速约 30%。