跳到正文
原文
arXiv · Machine Learning Theory· Samuel Larson·· 5 小时前AI 评分35

Constant-Memory Recall: Learned Associations in a Fixed Matrix State

Constant-Memory Recall: Learned Associations in a Fixed Matrix State

AI 导读

论文研究了一个小规模 DeltaNet 变体,在 32 KiB 固定循环矩阵状态下记忆 32 个键值对,达到 99.95% 平均准确率。填充上下文扩展至 1,798 tokens 时召回率仍接近完美,但清零第一块记忆后召回消失。参数匹配的向量和 Transformer 基线仍接近随机水平,包括额外搜索训练后的 Transformer。

来源:arXiv · Machine Learning Theory · arxiv.org