CLIP：连接视觉与语言
OpenAI 发布 CLIP，通过对比学习实现强大的视觉-语言理解能力。
事件概述
2021年1月，OpenAI 发布了 CLIP（Contrastive Language-Image Pre-training）。CLIP 通过在4亿对图像-文本数据上进行对比学习，学习到了强大的视觉-语言联合表示。CLIP 可以进行零样本图像分类：只需提供类别名称，无需针对特定数据集训练。它在 ImageNet 等多个数据集上达到了与监督训练相当的性能。CLIP 的成功展示了大规模预训练在多模态学习中的威力，其图像编码器被广泛应用于 Stable Diffusion、DALL·E 2 等生成模型。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
CLIP 由 OpenAI 于 2021 年 2 月提出（论文《Learning Transferable Visual Models From Natural Language Supervision》，发表于 ICML 2021）。其动机源于传统视觉模型依赖人工标注的固定类别监督，导致模型泛化差、难以迁移。OpenAI 团队转而利用互联网上天然存在的海量「图片—文本」配对作为弱监督信号，用对比学习从零训练一个能理解视觉概念的双编码器模型。CLIP 的核心洞见是：只要给模型足够多的图文配对数据，它就能学会把图像和文字映射到同一语义空间，从而仅凭文字描述即可对图像做「零样本」分类。这一思路把 NLP 的规模化预训练范式成功迁移到视觉领域，为后来的多模态与文生图模型奠定了通用基础。
核心要点
- 1用 4 亿「图文对」从零训练，摆脱人工标注的固定类别监督。
- 2图像编码器（ViT/ResNet）与文本编码器（Transformer）分别映射到同一向量空间。
- 3采用对比学习：拉近匹配图文、推远不匹配图文（批次内负样本）。
- 4支持零样本分类：仅用「a photo of a dog」这类文本提示即可直接分辨图像。
- 5零样本即可匹配原始 ResNet-50 在 ImageNet 上的准确率，且更抗分布偏移。
- 6成为 DALL-E 2、Stable Diffusion 等文生图模型所通用的文本理解骨干组件。
原理与技术细节
CLIP 的训练目标非常朴素：给定一批 N 个图文对，模型要预测「哪个文本和哪张图真正配对」。做法是分别用图像编码器和文本编码器把图片、文字转成向量，归一化后用余弦相似度算出一个 N×N 的相似度矩阵；对角线是真正配对（正样本），其余是负样本。损失函数采用对称 InfoNCE：对每行、每列都做交叉熵，让匹配的 Pair 相似度尽可能高、其余尽可能低。训练时批次很大（论文用 32,768），意味着每张图都要在数万个负样本中「找对对象」，从而得到判别力强的表示。推理时完全不微调：把每个候选类别名套进提示模板（如「a photo of a {label}」）编码成文本向量，谁和图像向量最相似就判为哪类。温度参数 τ 是可学习的，控制分布锐度。
影响与后续
CLIP 证明了「网络规模的弱监督」足以训练出可迁移的视觉表示，开启了多模态对齐研究的主流方向。它被广泛用作文生图模型的文本编码器，并催生了 BLIP、ALIGN、Florence 等大量视觉-语言模型。其「零样本」能力也让图像检索、内容审核、机器视觉的提示工程成为可能。局限在于训练数据带有互联网偏见，且对细粒度、抽象或分布外任务仍会失败；零样本表现虽好但远低于有监督微调。后续研究还指出其鲁棒性提升主要来自评测方式变化，而非真正的理解。
学习要点
- 规模化的「弱监督 + 对比学习」可以从零学到可迁移的通用表示。
- 把任务表述成「图文配对」比直接预测标签更能激发泛化能力。
- 零样本分类的关键在于把类别名变成自然语言提示，再比相似度。
- 同一表示空间可被下游文生图、检索等任务复用，价值远超单任务。
术语表
一种表示学习方法，通过拉近正样本、推远负样本，把相似样本在向量空间中聚集到一起。
模型在推理时面对训练阶段未曾见过的类别，仅凭文本描述等提示即可完成分类。
一张图像与其配对的说明文字组成的数据单元，是多模态模型的核心训练样本。