语言模型中柏拉图表征的一种理论

论文提出一种理论，解释多语言语言模型内层为何呈现相似的跨语言表征，即柏拉图表征假说。研究假设数据存在跨语言共享的抽象层级结构，并用共享上层生成规则的概率上下文无关文法生成合成语言，验证贝叶斯最优 next-token 预测器 belief propagation 的消息编码与 transformer 行为吻合。