GPT-3 的工作原理与训练过程可视化解析

summary_zh: GPT-3 是一个基于 Transformer 解码器架构的大语言模型，包含 96 层、175B 参数，上下文窗口为 2048 tokens，训练使用了 300B tokens 数据集，估算消耗 355 GPU 年和 $4.6m。