跳到正文
原文
Andrej Karpathy · Notes·· 2026-02-12AI 评分70

microgpt:200行Python从零实现GPT

microgpt

AI 导读

Andrej Karpathy发布开源项目microgpt,单文件200行纯Python无依赖,完成数据集加载、分词、自定义autograd、GPT-2风格架构、Adam优化器、训练与推理全流程。模型在32,000个名字数据集上训练1,000步,损失从约3.3降至约2.37,并生成新名字样例。附逐步代码解读与从train0.py到train5.py的渐进构建路径。

来源:Andrej Karpathy · Notes · karpathy.github.io