Hugging Face Blog·Sep 22, 2026, 08:00· 17d agoSelectedAI score66

Transformers 支持运行 llama.cpp GGUF 量化模型

Transformers now runs llama.cpp quants

AI brief

Hugging Face 的 transformers 库新增 GGUF 模型支持，用户可通过熟悉的 API 在 Apple Silicon Mac 上运行 llama.cpp 量化 checkpoint。

Why it matters

transformers 新增 GGUF 支持，在 Apple Silicon 上通过熟悉 API 运行量化模型，性能接近 llama.cpp，为本地推理提供便捷入口。

Source: Hugging Face Blog · huggingface.co