在 Raspberry Pi 上使用 LiteRT 和 Gemma 掌握边缘 AI

Google AI Edge 的 LiteRT 运行时可在 Raspberry Pi 5 上部署 Gemma 系列轻量模型，实现完全离线的实时边缘推理。Gemma 4 E2B 通过 LiteRT-LM 达到 99 tokens/sec 预填充和 9 tokens/sec 解码，峰值内存仅 1432 MB，端到端生成速度约 27.3 字符/秒。