Skip to content

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

201 selectedRelated topics开源生态数据与训练端侧 AI

Latest selected

141–160 of 201
Jul 23Thu
  1. Together AI73

    Together AI 推出专用模型推理平台 Dedicated Model Inference

    Together AI 发布 Dedicated Model Inference 平台,支持部署自有或开源权重模型,并提供部署配置、预热加速、Canary/蓝绿/滚动发布、A/B 与影子流量测试及 Prometheus 可观测性。平台覆盖从实验到生产的全生命周期,并同步开启自定义训练(含 LoRA 与强化学习)封闭测试。

    Why it matters: 原文给出部署预热、流量切换与可观测性等具体能力,读者可以据此判断它能否降低自研推理栈的运维成本。

Jul 21Tue
  1. Weaviate Blog72

    Weaviate Query Profiling:慢查询耗时分解功能上线

    Weaviate 在 v1.36.9 引入 query profiling,v1.38 正式可用;用户通过 per-query flag 可在单次响应中获取跨 shard 与节点的耗时分解,覆盖向量搜索、关键词评分和过滤器评估,而不涉及生成模块或重排。

    Why it matters: 原文给出了从被动日志到按需内联分析的路径变化,读者可以据此判断调试慢查询的方式会如何改变。

Jul 15Wed
  1. Together AI60

    Together GPU Clusters 新增可靠性与运维控制功能

    Together GPU Clusters 推出被动健康检查、自动节点修复、Slinky 1.0 等功能,覆盖 GPU 总线故障、热节流、Xid 错误等场景。配合集群详情页、外部 OIDC、启动脚本和验收测试选项,提升多团队场景下的可观测性、访问控制与自定义能力。

    Why it matters: 原文给出了平台健康与运维控制两方面的具体能力变化,读者可以据此评估它对现有训练与推理工作流的影响。

  2. Hugging Face Blog65

    Thinking Machines 发布 Inkling 多模态开源模型

    Inkling 由 Thinking Machines 发布,是一个原生接收图像、文本和音频输入的大规模多模态开源模型,总参数约 1T、活跃参数 41B,支持 1M 上下文窗口。

    Why it matters: Inkling 是原生接收图音文三模态的大规模开源模型,提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎,读者可据此评估其在多模态推理基准中的相对位置。

Jul 14Tue
Jul 9Thu
Jul 8Wed
  1. Hugging Face Blog65

    transformers vLLM 后端达到原生推理速度

    Hugging Face 更新 vLLM 的 transformers 建模后端,在 Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B-FP8 三种模型上达到或超越原生 vLLM 吞吐。模型作者只需添加 --model-impl transformers 标志即可自动获得优化推理,无需手写自定义实现。

    Why it matters: transformers 后端现已达到原生 vLLM 实现同等吞吐,模型作者无需重写代码即可在 vLLM 中获得优化推理性能。

Jul 7Tue
  1. CMU Robotics Institute67

    CMU 推出 RIO 机器人统一软件框架

    CMU Robotics Institute 发布开源框架 RIO,提供机器人控制、数据采集、遥操作和 AI 部署的统一接口,减少跨平台重复搭建工作。研究人员称学生可在约两小时内完成机械臂拆箱并实现遥操作;团队部分成员通过 Lavoro AI 继续推进该技术。

    Why it matters: 原文给出统一接口和模块化组件,读者可据此判断它能否降低跨平台机器人部署的工程门槛。

  2. JetBrains · AI76

    JetBrains AI for Teams and Organizations:从碎片化 AI 使用到协同软件开发

    JetBrains 推出面向团队与组织的 AI 能力,提供共享上下文、可复用 Agent 工作流、组织级治理与成本控制。新增团队自动化与云代理、JetBrains Context、JetBrains Central 及 CLI 管理,并支持 MCP/ACP 开放集成。

    Why it matters: 原文给出跨工具治理与信用体系的变化,读者可以据此评估组织级 AI 协作与成本管理的可行性。

  3. Berkeley AI Research60

    Intelligence is Free, Now What? Data Systems for, of, and by Agents

    Berkeley EAIR 发表观点文章,探讨当推理成本接近零时数据系统面临的三重挑战:Data Systems For Agents(为智能体推测性查询重新设计,如共享扫描与近似答案)、Data Systems Of Agents(为多智能体集群提供结构化记忆与协调子层)、Data Systems By Agents(由智能体从零合成定制数据系统并验证正确性)。

    Why it matters: 原文从推理成本骤降切入,提出数据系统需为智能体重塑的三重挑战,为理解Agent与数据基础设施的共演化提供了一个可迁移的分析框架。

  4. Hugging Face Blog70

    SkyPilot 集成 Hugging Face Storage:零 egress 跨云读取 Hub 数据

    Hugging Face 与 SkyPilot 联合推出 store: hf 存储后端,用 hf:// URL 将 HF Bucket 或 Hub repo 挂载到 SkyPilot 任务,实现跨云 GPU 任务零 egress 读取。

    Why it matters: Hugging Face Storage 成为 SkyPilot 官方存储后端,团队可在任意云上运行 GPU 任务并免费读取 Hub 数据,无需跨云拷贝或承担 egress 费用。

Jul 4Sat
  1. Lilian Weng77

    Harness Engineering for Self-Improvement

    Lilian Weng 梳理了 harness 工程如何支撑递归自改进(RSI),将 harness 定义为围绕基础模型的运行时系统,负责编排执行、工具调用、上下文管理、状态持久化与结果评估。

    Why it matters: 原文系统梳理了 harness 工程的设计模式与优化路径,读者可借此理解自改进循环中非模型层的角色与边界。

Jun 25Thu
  1. MIT News · AI62

    MIT 与 Microsoft 提出 Murakkab 系统,提升 AI Agent 工作流的速度与能效

    MIT 和 Microsoft 研究人员开发了 Murakkab 系统,开发者可用自然语言描述意图,系统自动选择模型、工具并动态配置硬件资源。测试显示,该方法在视频问答和代码生成任务中仅用约 35% 的计算量、27% 的能耗和不到 25% 的成本,同时满足性能要求。

    Why it matters: 原文给出了具体优化幅度和动态配置方法,读者可以据此评估云上 Agent 工作流的能效潜力。

  2. Weaviate Blog72

    Weaviate 1.38 发布:HFresh 与 MCP Server 进入通用可用

    Weaviate v1.38 开源版与云版本同步发布,HFresh 磁盘向量索引与内置 MCP Server 达到通用可用。异步复制改为集群级单调度器并默认开启,Boost API 与嵌套对象过滤作为预览功能加入。

    Why it matters: HFresh 与 MCP Server 同时进入 GA,读写分离的运行时配置和集群级异步复制重构对运维方式有直接影响。

Jun 23Tue
  1. Mistral AI64

    Mistral OCR 4 发布

    Mistral 发布 OCR 4,支持 170 种语言的单容器自托管文档解析,返回边界框、区块分类与内联置信度。

    Why it matters: 独立标注者平均 72% 偏好 OCR 4,配合单容器自托管与结构化输出,为企业 RAG 和智能体工作流提供了兼顾数据主权与提取精度的 OCR 方案。

  2. MIT News · AI62

    MIT发布Gleanmer芯片,低功耗实时3D建图助力小型机器人

    MIT研究人员发布名为Gleanmer的系统级芯片,仅消耗约6毫瓦功率即可实时构建详细3D地图,功耗仅为现有最佳建图芯片的2.5%。芯片采用高斯椭球(Gaussian)替代传统体素表示,并结合单遍生成与高斯融合算法,大幅降低内存与功耗,可帮助小型无人机在工业HVAC系统等复杂环境中避障规划路径。

    Why it matters: 算法与硬件协同设计让低功耗实时3D建图成为可能,为小型自主机器人和轻量AR设备提供了新的能效路径。

Jun 11Thu
  1. Ollama Blog62

    Ollama MLX引擎在Apple Silicon上性能再提升,支持NVFP4与快照系统

    Ollama更新MLX引擎,在Apple Silicon上最高提速20%,并新增对NVIDIA NVFP4格式的支持,使模型量化质量损失约为q4_K_M的一半。Ollama推出快照系统,在Agent多子Agent切换、思考模型推理和分支重试时保存模型状态,避免重复处理上下文。用户可下载最新版Ollama后运行gemma4:12b-mlx模型,或通过ollama launch在编码Agent中使用。

    Why it matters: Ollama在Apple Silicon上通过MLX引擎支持NVFP4格式并引入快照系统,读者可据此评估本地Agent工作流的性能提升与跨端部署可能性。