Transformers 支持运行 llama.cpp GGUF 量化模型
Hugging Face 的 transformers 库新增 GGUF 模型支持，用户可通过熟悉的 API 在 Apple Silicon Mac 上运行 llama.cpp 量化 checkpoint。
推荐理由：transformers 新增 GGUF 支持，在 Apple Silicon 上通过熟悉 API 运行量化模型，性能接近 llama.cpp，为本地推理提供便捷入口。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 1–6 条 · 共 6 条Hugging Face Blog精选AI 评分6666
Hugging Face Blog精选AI 评分7777 Meta 发布开源多模态模型 Muse Glimmer，面向本地智能体场景
Meta 发布 30B 参数多模态模型 Muse Glimmer，由 Muse 蒸馏而来，采用 Apache 2.0 许可，面向本地智能体场景。
推荐理由：原文给出 30B 多模态模型在同级开放模型中的基准对照，可据此判断本地智能体方案与部署路径的选型空间。
Google DeepMind精选AI 评分6464 Google DeepMind 发布 DiffusionGemma：4 倍加速的并行扩散文本生成实验模型
Google DeepMind 发布开源实验模型 DiffusionGemma，采用并行扩散架构替代逐 token 生成，在本地 GPU 上实现最高 4 倍推理加速。
推荐理由：DiffusionGemma 采用并行扩散架构替代传统逐 token 生成方式，在本地 GPU 上实现最高 4 倍推理加速，为交互式本地工作流提供了新的速度方案。
Google DeepMind精选AI 评分7373 Google DeepMind 发布 Gemma 4 12B 统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的 12B 多模态模型，采用无编码器架构，视觉和音频输入直接进入 LLM 主干，16GB 显存或统一内存即可本地运行。
推荐理由：无编码器架构把视觉与音频直接接入 LLM 主干，读者可了解端侧多模态模型在显存与延迟上的取舍。
Google Research精选AI 评分6666 Google Research发布PHRM系统：通过智能手机摄像头实现被动心率监测
Google Research在Nature发表PHRM研究，通过智能手机前置摄像头在日常使用中被动监测心率，跨肤色MAPE<10%，RHR估计MAE<5bpm达到可穿戴设备精度。研究基于35万+视频片段和近700名多样本参与者，覆盖浅色到深色皮肤群体，并公开了最大规模智能手机视频数据集及预训练PHRM-mini模型供合格研究者申请。
推荐理由：PHRM在大规模日常使用中实现跨肤色符合行业标准的心率监测，MAE低于5bpm的RHR估计达到可穿戴设备水平，为智能手机被动健康追踪设立了新基准。
Mistral AI精选AI 评分6969 Mistral AI 发布 Voxtral 语音理解模型
Mistral AI 发布 Voxtral 语音理解模型，提供 24B 和 3B 两个版本，均采用 Apache 2.0 开源许可。模型支持最长 30 分钟音频转录和 40 分钟理解，内置问答与摘要功能，并原生支持多语言自动识别。
推荐理由：Voxtral以不到同类API一半的价格提供接近商用水平的语音理解能力，为开源ASR与闭源服务之间的鸿沟提供了可部署的替代方案。