GPT-3：规模即能力
OpenAI 发布拥有1750亿参数的 GPT-3，展示大规模语言模型的涌现能力。
事件概述
2020年5月，OpenAI 发布了 GPT-3，这是当时最大的语言模型，拥有1750亿参数。GPT-3 在 Few-shot 学习上展现出惊人能力：仅需少量示例就能完成翻译、问答、代码生成等多种任务，无需针对特定任务微调。这一现象被称为"上下文学习"。GPT-3 的成功证明了"缩放定律"——模型能力随规模增加而持续提升，开启了大规模语言模型研究的新纪元。GPT-3 API 的开放催生了无数 AI 应用创业公司。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
GPT-2 已暗示"规模带来能力"，但尚不惊人。OpenAI 进一步加倍：2020 年 5 月提交、NeurIPS 2020 发表的《Language Models are Few-Shot Learners》（GPT-3）由 Tom Brown 等 31 位作者完成，把参数推到 1750 亿——是 GPT-2 的百余倍、当时最大稠密模型。其目标不再是微调，而是证明：足够大的模型仅凭提示中的少数示例即可适配新任务，全程无需梯度更新。这把"预训练即一切"推向极致，也催生了后来的 ChatGPT 与 API 经济。
核心要点
- 1参数量跃升至 1750 亿，是 GPT-2 的百余倍、当时最大稠密模型。
- 2提出上下文学习：提示中给少量示例，模型无需更新权重即可适配新任务。
- 3少样本/单样本/零样本皆可行，范式从"微调"转向"提示"。
- 4在翻译、问答、算术与代码等任务上展现远超随机的少样本能力。
- 5生成的新闻文本已可乱真，凸显大模型滥用的社会风险。
- 6通过 API 商业化，直接铺垫了后来的 ChatGPT 与提示工程生态。
原理与技术细节
GPT-3 仍是基于缩放点积注意力的稠密解码器 Transformer（96 层、隐藏维度 12288、96 头、上下文 2048），在约 3000 亿词元的过滤版 Common Crawl 混合语料上训练。它的核心发现是上下文学习（in-context learning）：把任务说明与少量示例直接写进提示，模型在不更新任何权重的情况下"读懂"模式并完成新任务——少样本（few-shot）、单样本（one-shot）乃至零样本皆可行。这意味着任务适配不再需要训练，而是把知识"藏在提示里"。论文还发现 GPT-3 生成的新闻文章已让人类评估者难以辨别真伪，引发对滥用的担忧。
影响与后续
GPT-3 把"规模即能力"从口号变为可复现现象，并让上下文学习成为大模型使用的主流方式。它推动 OpenAI 走向 API 商业化，也激发了对"涌现能力""提示工程"的研究热潮。局限明显：推理仍不稳、事实易错、训练能耗与成本高昂、对训练语料中的偏见照单全收。但它确立了"越大越通用"的路线，直至 ChatGPT 引爆生成式 AI 时代。
学习要点
- 上下文学习让"不训练也能学新任务"成为现实。
- 规模带来的能力跃迁，往往超过线性预期。
- 提示工程是一门新的人机协作接口学科。
- 能力越强，事实性与安全越需要单独应对。
术语表
模型从提示中的示例自行归纳任务模式、无需梯度更新的学习方式。
仅在提示中提供极少量（如几个）示例即可完成新任务的设定。
模型规模达到某一阈值后突然出现、小模型不具备的能力。