Sebastian Raschka· Sebastian Raschka, PhD·· 2026-05-16AI 评分48
Gemma 4、Laguna XS.2、ZAYA1-8B 与 DeepSeek V4 的架构进展：KV 共享、mHC 与压缩注意力
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
AI 导读
Gemma 4 E2B/E4B 采用跨层 KV 共享以缩减长上下文缓存；Laguna XS.2 引入逐层注意力预算分配；ZAYA1-8B 使用压缩卷积注意力；DeepSeek V4 结合 mHC 与压缩注意力。原文聚焦 Transformer 块、残差流、KV 缓存与注意力计算部分，未涉及数据集、训练计划或 benchmark 对比。
来源：Sebastian Raschka · magazine.sebastianraschka.com