Andrej Karpathy · Notes·· 2026-02-12AI 评分70
microgpt:200行Python从零实现GPT
microgpt
AI 导读
Andrej Karpathy发布开源项目microgpt,单文件200行纯Python无依赖,完成数据集加载、分词、自定义autograd、GPT-2风格架构、Adam优化器、训练与推理全流程。模型在32,000个名字数据集上训练1,000步,损失从约3.3降至约2.37,并生成新名字样例。附逐步代码解读与从train0.py到train5.py的渐进构建路径。
来源:Andrej Karpathy · Notes · karpathy.github.io