Gemini：Google 多模态模型
Google 发布 Gemini 多模态大模型，原生支持文本、图像、音频和视频。
事件概述
2023年12月，Google DeepMind 发布了 Gemini 模型系列。Gemini 是一个原生多模态模型，从头开始设计以处理文本、图像、音频和视频等多种模态。Gemini Ultra 在多项基准测试中超越了 GPT-4，特别是在多模态任务上表现突出。Gemini 的发布标志着 Google 在大模型竞争中的强势回归。模型分为 Ultra、Pro 和 Nano 三个版本，分别针对不同规模和场景的应用需求。Gemini 还推动了 Google 搜索、广告和云服务的 AI 升级。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2023 年 12 月 6 日，Google DeepMind 发布 Gemini 1.0 系列（Ultra/Pro/Nano），这是 Google 在 Bard 开局不利、被 ChatGPT 压制近一年后的战略反攻。Gemini 的关键差异是「原生多模态」：从预训练第一天起就用文本、图像、音频、视频的混合数据联合训练，而非给语言模型外接视觉编码器。官方基准中，Gemini Ultra 成为第一个在 MMLU（57 科综合知识考试）上超过人类专家分数线（90.0% vs 人类约 89.8%）的模型。发布会 demo 的精彩与随后「部分演示经过剪辑」的澄清形成尴尬对照，但产品层面 Gemini 迅速进入 Bard 与 Pixel，2024 年起全面更名，成为 Google 全系产品的 AI 底座。
核心要点
- 12023 年 12 月 6 日发布，Ultra/Pro/Nano 三档覆盖云端到手机。
- 2原生多模态：预训练即混合文本、图像、音频与视频，而非外接编码器。
- 3Gemini Ultra 在 MMLU 上达到 90.0%，首个超过人类专家分数线的模型。
- 4发布演示部分经剪辑处理后引发争议，暴露了演示与产品的落差风险。
- 5成为 Google 全系产品（搜索、Bard/Gemini、Pixel、Workspace）的 AI 底座。
原理与技术细节
Gemini 的技术要点有三。其一，多模态数据管线：视频被采样为帧序列、音频被转为声学 token 与文本交错，所有模态共享同一 Transformer 词汇与训练目标，使模型能在同一上下文里回答「这段视频里发生了什么」并引用音频证据。其二，三档规模的系统化：Ultra 面向云端复杂任务，Pro 是主力 API 模型（后成为 Bard 引擎），Nano 经蒸馏量化到手机端侧运行——这与后来行业「云端大模型 + 端侧小模型」的分层完全一致。其三，对齐与安全沿用了 DeepMind 的 Spanner/Robo 红队体系与 Google 的安全分类器。工程上，Gemini 的发布也标志着 Google 把 Brain 与 DeepMind 合并后的研究-产品-基础设施（TPU）全栈打通，这是它与纯模型公司的结构性差异。
影响与后续
Gemini 的发布把大模型竞争正式推入「多模态原生」阶段：此后一年内，GPT-4V、Claude 3 纷纷把视觉作为默认输入，「看图说话」从卖点变成基线。它也证明了两件事：Google 的全栈（数据、TPU、产品渠道）一旦组织起来仍是顶级战斗力；以及基准营销的危险——MMLU 超过人类线的宣传随后因测试集污染与方法争议被反复审视，推动了行业对评测污染（test contamination）的重视。对 Google 自身，Gemini 是搜索帝国 AI 转型的枢纽：2024 年 AI Overviews 进入搜索、Gemini 取代 Bard 品牌、Pixel 与 Android 全面集成，生成式 AI 从此写入了 Google 的每一个产品界面。
学习要点
- 原生多模态从预训练开始混合模态，比事后外接编码器更接近统一智能。
- 云端/端侧分层（Ultra/Pro/Nano）是模型产品化的标准规模谱系。
- 演示视频经过包装是公关事故，基准宣称要经得起污染审查。
- 全栈巨头（数据 + 芯片 + 渠道）的组织动员能力是长期竞争变量。
术语表
从预训练起就混合处理多种模态数据的训练方式，区别于给语言模型外接模态编码器。
覆盖 57 科的综合知识基准，长期作为衡量模型知识广度与人类水平对比的标准考卷。
基准数据泄漏进训练集导致指标虚高的现象，是基准可信度的核心威胁。