TensorFlow Lite XNNPack 支持动态范围量化
TensorFlow 官方宣布 XNNPack 的全连接和卷积算子支持动态范围量化,Stable Diffusion 推理速度最高提升 6.2 倍,且无需校准数据集即可启用。从 TensorFlow 2.17 起,预编译二进制默认开启该能力。
推荐理由:原文给出动态量化在多个模型上的加速数据,读者可据此评估在旧设备上部署 AI 功能的可行性。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
TensorFlow 官方宣布 XNNPack 的全连接和卷积算子支持动态范围量化,Stable Diffusion 推理速度最高提升 6.2 倍,且无需校准数据集即可启用。从 TensorFlow 2.17 起,预编译二进制默认开启该能力。
推荐理由:原文给出动态量化在多个模型上的加速数据,读者可据此评估在旧设备上部署 AI 功能的可行性。
Ollama 推出对 OpenAI Chat Completions API 的内置兼容支持,可使用 cURL、OpenAI Python/JS 库及 Vercel AI SDK、Autogen 等框架本地调用模型。
推荐理由:本地 Ollama 新增 OpenAI 兼容接口,开发者可沿用既有 SDK 与工具链对接本地模型。