arXiv · Machine Learning Theory· Kimia Kazemian, Menghan Xu, John Thickstun, Sarah Dean·· 4 hr agoAI score38
空间归纳头：多维元胞自动机的上下文学习
Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata
AI brief
论文提出空间归纳头，用两层 gather-and-match 电路让 Transformer 在多维元胞自动机中完成上下文学习：第一层重建相关空间邻域，第二层将配置与先前出现匹配并实现贝叶斯计数。
Source: arXiv · Machine Learning Theory · arxiv.org