跳到正文

#开源/仓库

今日 1 条
今天9月30日周三
  1. Google Developers · AI76

    MaxText 复现 Olmo 3 7B 预训练:TPU 大规模训练案例研究

    Google 团队在 Google Cloud TPUs 上用 MaxText 从头复现了 Ai2 的 Olmo 3 7B 预训练与中期退火,覆盖 stage-1(约 5.93T token / 1.41M 步)和 stage-2(47,684 步),在多个 held-out 指标上与 Ai2 参考曲线对齐。

    推荐理由:通过独立复现展示了跨框架验证方法与数据加载陷阱,读者可借鉴其 held-out 评估策略和 resume 校验手段。

9月22日周二
8月21日周五
7月20日周一
  1. Interconnects85

    Kimi K3:开放权重的前沿升级

    Moonshot AI 于 7 月 16 日发布 2.8T 参数 MoE 模型 Kimi K3,权重将于 7 月 27 日开放。在 Vals AI Index 排名第 2,Artificial Analysis 智力指数排名第 3(仅次于 Claude Fable 与 GPT-5.6 Sol Max),在 Frontend Code Arena 排名第 1。

    推荐理由:K3 让开放权重模型首次逼近前沿,读者可据此重新评估开放与闭源模型的能力差距及扩散节奏。

6月29日周一
4月15日周三
  1. Together AI67

    Parcae:基于稳定循环架构以更少参数实现更强性能

    Together AI 发布 Parcae,一种稳定的循环语言模型架构,在相同数据和参数下比先前循环模型降低最多 6.3% 验证困惑度。770M Parcae 达到与 1.3B Transformer 相当的质量,并给出循环次数的幂律缩放关系。团队已开源训练代码与模型。

    推荐理由:原文给出具体困惑度对比与参数减半效果,读者可据此评估循环架构在边缘部署中的实际参数效率。

3月17日周二
2月25日周三
8月9日周六
  1. Sebastian Raschka60

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 开源权重模型

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 两款开源权重模型,是自 GPT-2 以来首次开放大权重模型。模型采用 MoE、SwiGLU、GQA、滑动窗口注意力和 RMSNorm 等现代设计,并支持 MXFP4 量化以在单卡运行。两款模型均为推理模型,支持低/中/高推理强度调节,并在多个基准上接近 OpenAI 自有闭源模型。

3月17日周一