跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

126条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 121–126 条 · 共 126 条
8月5日周二
  1. Ollama Blog73

    OpenAI 发布 gpt-oss 开源模型(20B 与 120B)

    OpenAI 联合 Ollama 发布 gpt-oss-20b 与 gpt-oss-120b 两个开源权重模型,支持 Agentic 能力、链式推理、可配置推理强度和 MXFP4 量化,20B 模型可在 16GB 内存运行,120B 模型可单卡 80GB GPU 部署。

    推荐理由:本地即可运行 OpenAI 最新开源权重模型,读者能据此评估自身硬件是否满足部署门槛。

7月30日周三
6月3日周二
  1. Ollama Blog67

    Minions:Ollama 与前沿模型的安全隐私协作协议

    Stanford Hazy Research 推出 Minions 协议,通过 NVIDIA Hopper H100 远程证明与加密 enclave 实现 Ollama 本地模型与云端前沿模型的端到端加密协作,敏感上下文不离开设备,延迟增加不到 1%。项目已开源并提供 Streamlit 演示与 Python 示例代码。

    推荐理由:原文给出了端到端加密协作协议的实现路径和实测开销,读者可据此评估本地-云端混合架构的安全性与成本平衡。

3月7日周五
  1. Mistral AI72

    Mistral OCR 文档理解 API 发布

    Mistral 推出 OCR API,支持图像和 PDF 输入,以 interleaved 文本与图片结构化输出,并作为默认文档理解模型集成到 Le Chat。API 在 la Plateforme 以 1000 页/$ 开放,批量推理每美元页数约翻倍,同时提供自托管选项。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

10月21日周一
6月21日周三
  1. TensorFlow Blog62

    TensorFlow Lite 实现移动端胎儿超声评估

    Google Research 推出基于 TensorFlow Lite 的移动端胎儿超声评估模型,支持非专家通过盲扫协议获取孕周与胎位预测。模型在 Pixel 设备上实现 30 帧/秒以上实时推理,且无精度损失,并提供扫查质量反馈。

    推荐理由:原文给出移动端实时推理速度与质量反馈机制,读者可据此评估该工具在低资源场景下的可用性。