Parcae：基于稳定循环架构以更少参数实现更强性能

Together AI 发布 Parcae，一种稳定的循环语言模型架构，在相同数据和参数下比先前循环模型降低最多 6.3% 验证困惑度。770M Parcae 达到与 1.3B Transformer 相当的质量，并给出循环次数的幂律缩放关系。团队已开源训练代码与模型。