TensorFlow Blog· TensorFlow Blog·· 2024-04-10精选AI 评分62
TensorFlow Lite XNNPack 支持动态范围量化
Faster Dynamically Quantized Inference with XNNPack
AI 导读
TensorFlow 官方宣布 XNNPack 的全连接和卷积算子支持动态范围量化,Stable Diffusion 推理速度最高提升 6.2 倍,且无需校准数据集即可启用。从 TensorFlow 2.17 起,预编译二进制默认开启该能力。
推荐理由
原文给出动态量化在多个模型上的加速数据,读者可据此评估在旧设备上部署 AI 功能的可行性。
来源:TensorFlow Blog · blog.tensorflow.org