GPT-2：更好的语言模型
OpenAI 发布 GPT-2，因担心滥用而分阶段发布，展现大模型涌现能力。
事件概述
2019年2月，OpenAI 发布了 GPT-2。这个模型拥有15亿参数，在800万网页文本上训练。GPT-2 展现了惊人的文本生成能力，能够生成长篇连贯的文章。由于担心模型可能被用于制造虚假信息，OpenAI 最初只发布了小型版本，后来才逐步发布完整模型。GPT-2 的发布引发了关于 AI 安全和开放研究的重要讨论。更重要的是，它展示了模型规模扩大后涌现出的新能力，为后来 GPT-3 和更大规模模型的发展指明了方向。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2018 年 BERT 以"双向"在判别式基准大胜，单向语言模型一度被视为落伍。OpenAI 却押注另一条路：不改方向，只放大规模。2019 年 2 月，Radford 等人发表《Language Models are Unsupervised Multitask Learners》（GPT-2），把参数从 1.17 亿提升到 15 亿，数据扩到约 40GB 的 WebText。核心主张：足够大的模型仅凭"预测下一个词"就能零样本胜任多任务；OpenAI 还因安全顾虑暂缓发布完整权重，引发开放与责任的广泛讨论。
核心要点
- 1把 GPT-1 架构放大十倍（15 亿参数），证明"规模即多任务能力"。
- 2提出零样本（zero-shot）任务迁移：仅靠续写提示即可胜任多任务。
- 3WebText 用 Reddit 高赞链接做质量过滤，约 800 万网页、40GB。
- 4因滥用风险暂缓发布完整权重，开创大模型"分级发布"先例。
- 5在 8 项语言建模基准中的 7 项取得零样本最优。
- 6奠定"提示即编程"的雏形，直接影响 GPT-3 及以后的范式。
原理与技术细节
GPT-2 沿用 GPT-1 的解码器架构，仅做工程增强：把层归一化移到子块输入、在末尾再加一层归一化，从而稳定 48 层深网；上下文从 512 扩到 1024，词表扩大，批大小提升到 512。最大配置 48 层、隐藏维度 1600、约 15 亿参数。训练数据 WebText 由 Reddit 上获赞≥3 的链接抓取约 800 万网页构成，作为质量过滤。关键不在架构变化，而在规模：模型无需任何微调，只要用恰当的文本提示（prompt）"续写"，就能在零样本下完成问答、摘要、翻译等任务，并在 8 项语言建模基准中的 7 项上达到零样本最优。
影响与后续
GPT-2 验证了"规模定律"的苗头：参数与数据翻倍，困惑度稳定下降、能力持续涌现。它让行业第一次认真看待"通用语言模型可零样本多任务"的设想，也把生成式模型的能力与安全治理推到聚光灯下。其分级发布成为后来 AI 安全与开源之争的常引用案例。局限在于零样本质量仍不稳、易重复或"一本正经胡说"，且 15 亿参数今天已属轻量。
学习要点
- 规模本身就能催生多任务与零样本能力，不必改架构。
- 提示（prompt）是把任务"说"给模型听的接口。
- 能力越强，发布策略与安全责任越重要。
- 今天看来小的模型，曾因能力引发巨大争议。
术语表
模型未见过任何标注样本，仅凭提示直接完成新任务。
先发布小模型、暂缓完整权重以评估风险的负责任披露做法。
GPT-2 所用的网页语料，由 Reddit 高赞链接抓取约 800 万网页构成。