DALL·E：文本到图像
OpenAI 发布 DALL·E，首次实现从文本描述生成高质量图像。
事件概述
2021年1月，OpenAI 发布了 DALL·E，这是一个能够根据文本描述生成图像的模型。DALL·E 结合了 GPT-3 的语言理解能力和 VQ-VAE 的图像生成技术，可以生成各种创意图像：从"穿着芭蕾舞裙的柯基犬"到"由时钟构成的培根"。模型拥有120亿参数，展示了多模态学习的巨大潜力。DALL·E 的成功开创了文本到图像生成领域，为后来的 DALL·E 2、Stable Diffusion 等模型奠定了基础。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2021 年 1 月 5 日，OpenAI 发布 DALL·E（名字向画家 Dalí 与机器人 WALL·E 致敬），第一次让大众看到「文字直接变图像」的惊人效果：「穿着芭蕾舞裙的柯基犬」「由时钟构成的培根」这类反常识组合被高质量渲染出来，引发病毒式传播。技术路线上，DALL·E 没有采用当时刚兴起的扩散模型，而是把 GPT-3 的自回归语言建模范式迁移到多模态：用一个离散 VAE 把图像压缩成 token 序列，把文本 token 与图像 token 拼接成一个序列，用 120 亿参数的自回归 Transformer 统一建模。这个「万物皆可 token 序列」的思路，预示了后来多模态大模型的通用架构。
核心要点
- 12021 年 1 月 5 日 OpenAI 发布，首次大规模展示文本到图像生成。
- 2用离散 VAE 把 256×256 图像压缩为图像 token，与文本 token 拼接。
- 3120 亿参数自回归 Transformer 统一建模图文联合分布。
- 4继承了 GPT-3 的范式：生成即下一个 token 预测，只是词表里多了图像。
- 5开启了文本到图像赛道，直接启发 DALL·E 2、Stable Diffusion 等后续浪潮。
原理与技术细节
DALL·E 的流程分两步。第一步是压缩：用离散变分自编码器（dVAE，源自 VQ-VAE）把每张 256×256 图像编码为 32×32 个离散视觉 token，每个 token 来自 8192 的码本——这一步把图像生成从像素空间搬到了「视觉词表」空间，序列长度从 19 万降到 1024。第二步是建模：把 BPE 文本 token（最多 256 个）与视觉 token 拼接，用 Transformer 以因果注意力自回归地预测下一个 token，文本提供条件，模型逐 token「写出」图像，最后用 dVAE 解码回像素。训练数据是 2.5 亿图文对。这个设计的精妙在于完全复用语言模型的训练与推理设施；局限也很直观——自回归逐 token 生成 1024 个视觉 token 速度慢，且 token 化损失了细节，这些正是后来扩散模型胜出的原因。
影响与后续
DALL·E 是「生成式 AI 元年」叙事的真正开端：它让公众第一次直观感受到模型可以理解并组合抽象概念，而不是复制训练图像。它验证了多模态自回归路线的可行性，这条路线的直接后裔包括谷歌的 Parti、以及今天多模态大模型的「视觉 token 化」方案。商业与产品层面，DALL·E 促成了 OpenAI 的多模态战略，一年后 DALL·E 2 用扩散模型重做，质量与可控性大幅提升。它也把「创意版权、训练数据合规、深度伪造」等议题推到了公众讨论中心——DALL·E 发布后几个月内，这些讨论就成为了监管听证会的常客。
学习要点
- 「万物皆可 token」：把新模态塞进自回归 Transformer 是最通用的多模态路线。
- 离散 VAE 是连接连续图像与序列模型的桥梁，代价是细节损失与算力开销。
- 组合泛化（反常识 prompt）比保真度更能体现模型的语义理解水平。
- 先验证范式可行性、再用更好的生成模型替换，是典型的产品化节奏。
术语表
把图像编码为离散视觉 token 的自编码器，源自 VQ-VAE，让图像可被序列模型处理。
逐个预测序列中下一个 token 的生成方式，DALL·E 用它逐 token「写出」图像。
离散 VAE 码本对应的图像 patch 集合，相当于图像领域的「单词表」。