LSTM 神经网络
Hochreiter 和 Schmidhuber 提出 LSTM，解决循环神经网络的长期依赖问题。
事件概述
1997年，Sepp Hochreiter 和 Jürgen Schmidhuber 发表了关于长短期记忆网络（LSTM）的开创性论文。LSTM 通过引入门控机制（输入门、遗忘门、输出门）和记忆单元，解决了标准循环神经网络的梯度消失问题，使网络能够学习长期依赖关系。这一创新在随后的二十年中成为序列建模的核心技术，广泛应用于语音识别、机器翻译、时间序列预测等领域。LSTM 是深度学习时代之前最重要的神经网络创新之一，直到 Transformer 出现才逐渐被取代。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
循环神经网络（RNN）理论上可用反馈连接记住历史输入，但训练时反向传播通过时间（BPTT）的误差信号会随步数指数级衰减或爆炸，导致无法学习跨越多步的依赖。Sepp Hochreiter 在 1991 年的学位论文中从理论上证明了这一问题。1997 年，Hochreiter（慕尼黑工业大学）与 Jürgen Schmidhuber（IDSIA）在《Neural Computation》发表《Long Short-Term Memory》，用带门控的记忆单元与「恒定误差传送带」(constant error carousel) 解决了梯度消失，使网络能记住上千步之前的信息。
核心要点
- 1LSTM 专为克服 RNN 的梯度消失/爆炸、学习长程依赖而设计。
- 2核心部件是记忆单元与恒定误差传送带，使梯度可长期无损流动。
- 3原始结构含输入门与输出门，控制信息写入与读出（遗忘门后于 2000 年加入）。
- 4在跨度超过一千步的人造任务上，LSTM 首次取得成功。
- 5成为语音识别、机器翻译等序列建模二十年的主力架构。
原理与技术细节
普通 RNN 中，误差沿时间反向传播需反复连乘权重，导致梯度要么趋零（消失）要么发散（爆炸）。LSTM 的解法是构造一条「恒定误差传送带」：记忆单元 c_t 的状态更新以加法为主（c_t = f·c_{t-1} + …），加法不会让梯度指数衰减，从而把误差近乎恒定地传递下去。门控用 sigmoid 单元（输出 0 到 1 的软开关）控制这条传送带：输入门决定当前信息能否写入细胞状态，输出门决定细胞状态有多少输出到隐藏层；它们与遗忘门（2000 年加入）一起，让网络学会「何时记、何时忘、何时读」。打个比方，记忆单元像一条不漏水的管道，门就是管道上的阀门，误差可以顺着管道安然流过很远的距离。
影响与后续
LSTM 让循环网络首次能稳定学习长程依赖，成为 2000—2010 年代语音识别、机器翻译、手写识别与语言建模的主力，并被 Google、Apple 等大规模部署。它也有局限：串行计算难以并行、门结构较复杂、在极长序列上仍受限。2017 年 Transformer 以自注意力取代循环结构后，LSTM 在许多任务上被取代，但门控记忆思想影响深远。
学习要点
- 梯度消失/爆炸是训练循环网络的根本障碍，LSTM 用加法状态破解。
- 门控机制本质是可微的「记忆开关」，学会何时记与忘。
- 架构创新往往源于对失败机理的精确数学分析（Hochreiter 1991）。
- 再强的序列模型，也可能被更简单的并行范式（注意力）超越。
术语表
反向传播时梯度随层数或步数指数趋零或发散，使深层或循环网络难以训练的现象。
LSTM 中保存长期状态的核心部件，靠恒定误差传送带让梯度长期无损流动。
以 0 到 1 的 sigmoid 输出控制信息流动的软开关，如输入门、遗忘门、输出门。