Llama 2：商用开源大模型
Meta 发布 Llama 2，首个可商用的开源大语言模型。
事件概述
2023年7月，Meta 正式发布了 Llama 2 系列，包括70亿、130亿和700亿参数版本。与 LLaMA 不同，Llama 2 采用开放许可证，允许商业使用。模型经过了人类反馈强化学习（RLHF）微调，在对话和安全方面表现更好。Llama 2 的发布是开源大模型的里程碑事件，使得企业和开发者可以免费部署高性能大模型。它推动了整个开源 AI 生态的发展，催生了无数应用和衍生模型。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2023 年 7 月 18 日，Meta 与微软联合发布 Llama 2 系列（7B/13B/70B 三档），并首次允许免费商业使用。半年前的 LLaMA 1 权重泄露意外点燃了开源社区，催生了 Alpaca、Vicuna 等大量衍生模型，证明了市场对开放权重模型的饥渴，但也让 Meta 意识到「泄漏式开源」不可持续。Llama 2 的回应是制度化：官方开放权重 + 可商用许可 + 经过 RLHF 微调的对话版本。它迅速成为开源生态的基座——此后的 Mistral、Qwen 及无数微调模型都以 Llama 2 为起点或对照，「开源 vs 闭源」的大模型路线之争由此进入白热化阶段。
核心要点
- 12023 年 7 月 18 日发布，7B/13B/70B 三档，首次允许免费商业使用。
- 2在 2 万亿 token 的公开数据上预训练，上下文长度 4096。
- 3对话版本经过 SFT 与 RLHF（含人类反馈与安全红队测试）微调。
- 4权重开放但许可证附使用限制（月活超 7 亿需额外授权），并非完全 OSI 开源。
- 5成为开源大模型生态的基座，直接对标并倒逼 GPT-3.5 级闭源产品降价。
原理与技术细节
Llama 2 的预训练沿用标准 decoder-only Transformer，关键工程在数据与对齐。数据上使用 2 万亿 token 的公开数据混合（刻意排除已知含个人信息的站点），上下文 4096；70B 版本用分组查询注意力（GQA）提升推理效率。对齐上分两步：先监督微调（SFT，约 2.7 万条高质量指令对话），再用 RLHF 训练奖励模型并做近端策略优化（PPO）；Meta 论文详细披露了安全流程——红队对抗测试、有害性评分与「拒绝-有用」平衡的调参。与 GPT 系相比，Llama 2 的模型能力并不占优（大致对标 GPT-3.5），但它把「可商用 + 可本地部署 + 可微调」三件事同时做到官方支持，这个组合本身就是产品。
影响与后续
Llama 2 是开源大模型运动的制度性起点：它把此前灰色地带的「权重泄漏 + 社区微调」变成了官方支持的正规军，一年内催生了数以万计的衍生模型与完整的开源工具链（vLLM、llama.cpp、量化生态）。商业上，它给所有闭源厂商施加了价格压力——GPT-3.5 API 此后数次大幅降价，「开源追平闭源一代」的节奏从此成为行业预期。它同时也树立了「开放权重 ≠ 开源」的许可证范式，引发关于 OSI 定义与真正开放标准的持续讨论。局限同样清晰：英文中心的数据构成、对中文等语言支持有限、许可证的使用限制条款，以及 Meta 对后续 Llama 3 更严格的「研究优先」策略，都说明开放程度始终是战略变量而非道德承诺。
学习要点
- 「开放权重 + 可商用许可」本身就是产品形态，用户为可控性与成本买单。
- 许可证条款（月活阈值、命名规范）是比模型能力更精密的商业设计。
- 开源基座的价值不在单点性能，而在让整个生态在其上生长。
- 数据构成的偏向会原样传递给下游所有微调模型。
术语表
公开模型参数文件供下载与微调，但训练数据、代码与许可证可能仍有限制。
用人类偏好训练奖励模型、再以强化学习优化策略的对齐技术，Llama 2 对话版的核心。
让多组查询头共享少量键值头的注意力变体，在质量几乎不降的前提下省显存、加速推理。